Verificador de Robots.txt
Busque e analise o arquivo robots.txt de qualquer site. Veja regras por user-agent, encontre URLs de sitemap e teste se uma URL está bloqueada. Grátis, sem necessidade de conta.
Enter a domain without protocol (e.g., example.com). Fetched via CORS proxy.
About Robots.txt Checker
Analise o arquivo robots.txt de qualquer site para entender como os mecanismos de busca são instruídos a rastrear o site. Extraia regras por user-agent, encontre referências de sitemap e teste caminhos de URL contra regras de bloqueio. Tudo no seu navegador.
Parse de robots.txt
Extraia todas as regras de qualquer robots.txt: diretivas de user-agent, regras de Allow/Disallow, Crawl-delay e URLs de Sitemap. Tabelas estruturadas por agente.
Teste de URL contra regras
Verifique se um caminho de URL específico seria bloqueado pelas regras do robots.txt. Veja qual regra corresponde e se o caminho é permitido ou bloqueado.
Descoberta de Sitemap
Extraia automaticamente todas as diretivas de Sitemap do arquivo robots.txt. Nunca perca uma URL de sitemap ao auditar a configuração de SEO de um site.
Visualização bruta e resumo
Veja o robots.txt bruto completo junto com estatísticas estruturadas: total de regras, user-agents encontrados e referências de sitemap. Copie o conteúdo bruto para análise adicional.