Robots.txt Generator

Robots.txt Generator

Padrão - todos os robôs são:	Permitido Recusou
Atraso de rastreamento:	Padrão - sem atraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa do site: (deixe em branco se você não tiver)
Robôs de pesquisa:	Google	O mesmo que o padrão Permitido Recusou
	Google Image	O mesmo que o padrão Permitido Recusou
	Google Mobile	O mesmo que o padrão Permitido Recusou
	MSN Search	O mesmo que o padrão Permitido Recusou
	Yahoo	O mesmo que o padrão Permitido Recusou
	Yahoo MM	O mesmo que o padrão Permitido Recusou
	Yahoo Blogs	O mesmo que o padrão Permitido Recusou
	Ask/Teoma	O mesmo que o padrão Permitido Recusou
	GigaBlast	O mesmo que o padrão Permitido Recusou
	DMOZ Checker	O mesmo que o padrão Permitido Recusou
	Nutch	O mesmo que o padrão Permitido Recusou
	Alexa/Wayback	O mesmo que o padrão Permitido Recusou
	Baidu	O mesmo que o padrão Permitido Recusou
	Naver	O mesmo que o padrão Permitido Recusou
	MSN PicSearch	O mesmo que o padrão Permitido Recusou
Diretórios restritos:	O caminho é relativo ao root e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.

Sobre Robots.txt Generator

Take control of search engine crawlers with Toolkit4SEO's Robots.txt Generator. Craft and customize your website's robots.txt file to dictate which pages are indexed. Protect sensitive content, enhance SEO, and optimize your website's visibility. Empower your SEO strategy with Toolkit4SEO's Robots.txt Generator.