Mihalytch personal blog

И снова возникло желание поделиться личным опытом! По воле судьбы довелось мне администрировать выделенный сервер. Со временем стало резко не хватать оперативной памяти на сервере. Естественно это сказалось на работе  web-сервера apache, что само собой вызвало перебои в работе сайта. […»]

Путь к файлу robots.txt.

1. Поскольку для некоторых сетевых операционных систем регистр символов в названии файла имеет значение, наименование файла robots.txt должно состоять из букв нижнего регистра (именно под таким именем он ищется поисковыми машинами). Это правило следует соблюдать, даже если сервер, предоставляющий услуги хостинга, нормально переводит регистр символов и понимает что «robots.txt» и «ROBOTS.TXT» одно и тоже.
2. Файл robots.txt должен находиться в корневом каталоге сервера, и определять, какие каталоги не допускаются к индексации (но это касается только администраторов сервера и не касается создателей сайтов).
3. Файл robots.txt должен находиться в корневом каталоге сайта (это уже на попечении владельцев сайта), например, если сайт называется mihalytch.org.ua, то файл robots.txt должен иметь адрес http://mihalytch.org.ua/robots.txt. Файлы robots.txt, вложенные во внутренние каталоги сайта, поисковыми машинами игнорируются.

[…»]