Contratei um servidor dedicado na iweb instalei o cpanel e configurei tudo certo (eu creio), mas quando crio uma nova conta para hospedagem e vou no registro.br para definir o dns no dominio aparece a mensagem dns desconhecido, e também não tenho nenhum domínio registrado para o server, como devo fazer para resolver.

Isso não é problema no dns e sim falta de configuração. Você já configurou as zonas ns1 e ns2 em seu dominio no whm?

sim, só q qnd eu clico pra ver os nameservers no campo onde mostra o ip aparece NO IP, mas ja configurei os nameservers do servidor.

Você vai editar a zona de DNS do domínio em questão..

Talvez o servidor tenha criado duas zonas ns1.dominio.com.br ns2.dominio.com.br, caso não, você entre na zona dominio.com.br e adicione duas entradas A:

ns1 IP

ns2 IP2

o ip do ns1 é o principal do servidor e o ns2 é o slave?

o ip do ns1 é o principal do servidor e o ns2 é o slave?

Exatamente.

Não deu certo ja fiz isso antes, não é preciso registrar um domínio exclusivo para o servidor. E como faço para configurar o dominio para o servidor.

veja se configurou o cpanel corretamente neste video:

1. Verifique o IP no menu "Basic cPanel & WHM Setup" e veja o Campo em "Basic Config" se ta o IP principal que te passaram, normalmente vem outro.

2. Mude os nameservers no mesmo menu, para os teus IPS que serão usado como DNS.

3. Crie a primeira conta que será usada como DNS.

4. Edite essa conta criando o teu ns1 e ns2, apontando para os outros IPS, ficando o principal sem nenhum DNS, o segundo e teceiro como DNS e os outros você pode usar depois.

5. Entre no teu SSH e veja o arquivo /etc/nameserverips se ta correto, e /var/cpanel/nameserverips.yaml, caso não esteja veja esse link http://support.webhosting.uk.com/index.php?/whuk/Knowledgebase/Article/View/259/1/changing-the-nameserver-ips-of-the-whm

6. Veja o item Nameserver IPs se está puxando os teus

7. ATENÇÃO -> Peça a eles a criação do reverso dos teus IPS, IP X para ns1, IP Y para ns2. (Isso mesmo, eles criam pra você, só criar um ticket)

Depois desses passos você testa no www.terra.com.br/postmaster se ta dando certo teu reverso, de um outro servidor ou outro faz testes com dig se retorna certinho.

Ai veja se consegue mudar o registro.

Vou tentar isso, e posto o resultado, vlw.