Gerador de Robots.txt Online

Crie um arquivo de controle de indexação para o seu site com facilidade

O arquivo robots.txt é essencial para qualquer site que deseja orientar os mecanismos de busca (como Google, Bing, DuckDuckGo etc.) sobre o que deve ou não ser rastreado em suas páginas.

Com a nossa ferramenta gratuita, você pode criar seu próprio arquivo robots.txt personalizado em poucos cliques – mesmo que não entenda nada de programação.

Como usar?

Preencha os campos abaixo conforme a necessidade do seu site. A ferramenta gerará o conteúdo automaticamente.

User-Agent (robô):

Indique qual robô essa regra irá afetar.

- Use * para aplicar a todos os robôs.
- Ex: Googlebot para apenas o Google, Bingbot para o Bing.

Disallow (não permitir):

Liste os caminhos (URLs ou pastas) que você não deseja que os robôs indexem.

- Um por linha.
- Exemplo: /admin/, /area-restrita/

Allow (permitir):

Indique as áreas que devem ser indexadas, mesmo dentro de pastas bloqueadas por Disallow.

- Exemplo: /admin/publico/

Crawl-delay (atraso entre acessos):

Define um intervalo (em segundos) entre os acessos do robô para evitar sobrecarga no servidor.

- Exemplo: 10 (o robô esperará 10 segundos entre cada solicitação)

Sitemap (opcional):

Informe a URL do seu sitemap. Isso facilita e acelera a indexação correta do seu site.

- Exemplo: https://www.seusite.com/sitemap.xml

Você pode fazer seu sitemap.xml aqui em Gerador de sitemap para o Google

Atenção!

Nossa ferramenta foi desenvolvida para facilitar a geração do arquivo robots.txt, mas você deve revisar o conteúdo antes de publicá-lo no seu site, principalmente se estiver lidando com páginas sensíveis ou sistemas de login.

Se tiver dúvidas, recomendamos consultar um especialista em SEO ou um desenvolvedor web.

Gerador de Robots.txt

Crie facilmente um arquivo `robots.txt` para orientar os robôs dos buscadores sobre o que pode ou não ser acessado no seu site

📄 Resultado:

Validar Robots.txt

FAQ

Perguntas frequentes

O que acontece se eu bloquear uma página errada?

O Google pode deixar de indexar (ou até desindexar) a página. Use com cuidado.

Posso ter múltiplos User-Agents?

Sim! Mas nossa versão atual trabalha com um por vez. Em breve, poderemos liberar uma versão avançada com suporte múltiplo.

Onde coloco o robots.txt?

Ele deve estar na raiz do domínio. Exemplo: https://www.seusite.com/robots.txt

Posso usar essa ferramenta para WordPress, Loja Virtual, etc.?

Sim! Desde que seu servidor use Apache ou aceite esse tipo de controle, o arquivo funcionará normalmente.

Sobre a diretiva Allow no arquivo robots.txt:

O que ela faz?

Ela indica explicitamente quais áreas (pastas ou arquivos) o robô de busca pode acessar, mesmo que estejam dentro de uma pasta bloqueada por Disallow.

Se você deixar o Allow em branco:

O robô seguirá apenas as regras de Disallow. Ou seja, se uma pasta estiver bloqueada por Disallow, tudo dentro dela também será bloqueado, exceto se houver uma regra Allow especificando um caminho dentro dessa pasta.

Sobre precisar inserir todos os links para indexar:

Você não precisa listar todos os links do seu site no robots.txt.

O robots.txt é um arquivo de diretrizes para os robôs, não um mapa do site.

Para indexar seu site corretamente:
- Use o robots.txt para bloquear ou liberar diretórios e arquivos importantes.
- Use um sitemap.xml para informar aos buscadores todas as URLs que deseja que sejam indexadas.