Генератор robots.txt - создать файл роботс для сайта онлайн

Бесплатные онлайн инструменты

Генератор robots.txt


По умолчанию - для всех роботов:  
    
Crawl-Delay (время между загрузкой страниц сайта):
    
Карта сайта (Sitemap): (оставьте пустым, если у вас нет) 
     
Настройки для отдельных роботов: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Запрещенные для роботов разделы сайта: Путь относительно корня сайта. Если нужно запретить каталог site.com/admin/ нужно указать /admin/
 
 
 
 
 
 
   



Теперь создайте файл robots.txt, скопируйте созданный текст в файл robots.txt и сам файл залейте в корневой каталог сайта.


→ Генератор robots.txt

Генератор robots.txt - создать файл роботс для сайта онлайн.

Генератор robots.txt - создать файл роботс для сайта онлайн - инструмент от WEB студии OS.

Генератор роботс тхт - создать файл robots.txt для сайта онлайн. Также множество сопутствующих SEO инструментов в свободном доступе 24/7.