Всё для сайтов

Иногда следует пристально изучить свой файл robots.txt, чтобы понять что он запрещает.

Полезные сведения

Проблема "Доступ к URL заблокирован в файле robots.txt"

Доступ к URL заблокирован в файле robots.txt

Сергей написал Проблема с индексацией страницы. Проверка адреса сообщает: Доступ к URL заблокирован в файле robots.txt. Это касается моих страниц вида http://my-site-name/city/script-filename.php?-product-name Как исправить?

Вот очередное подтверждение аксиомы никогда не слушать мнения дилетантов от SEO. Здесь уже разработчик Impera CMS допустил оплошность, слепо добавив в robots.txt несколько неадекватных инструкций, не проверив перед этим, от SEO-шников какого уровня квалификации получены данные строки.

Речь идёт об инструкциях с шаблонным символом *, обозначающим некий набор знаков. Как Google понимает такой символ, так и Яндекс тоже его понимает. Однако инструкции с подобным символом должны применяться осторожно, с оглядкой на то, что менеджеры CMS-ок имеют возможность задавать страницам произвольные адреса. Ещё лучше - вообще не применяться, поскольку менеджеру позволено самостоятельно добавить в robots.txt любые инструкции, какие он считает правильными в условиях адресного пространства его сайта.

Удалите следующие строки, которые помечены ниже таким цветом. Дополнительным цветом помечены строки, блокирующие индексацию изображений, используемых в дизайне сайта.

User-agent: *
Disallow: /sections/404
Disallow: /admin/
Disallow: /captcha/
Disallow: /cache*
Disallow: /compiled*
Disallow: /configs*
Disallow: /connectors/
Disallow: /design/
Disallow: /js/
Disallow: /objects/
Disallow: /Smarty/
Disallow: /registration*
Disallow: /login*
Disallow: /search*
Disallow: /catalog/*/page_*
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /*utm_source*
Disallow: /*gclid=
Disallow: /sections/magazin
Disallow: /cart*
Disallow: /notify
Disallow: /account
Disallow: /admin
Disallow: /ajax
Disallow: /articles/page_
Disallow: /articles/*/page_
Disallow: /brands/page_
Disallow: /brands/*/page_
Disallow: /cache
Disallow: /callme
Disallow: /captcha
Disallow: /cart
Disallow: /catalog/page_
Disallow: /catalog/*/filter_
Disallow: /catalog/*/page_
Disallow: /cml
Disallow: /compare
Disallow: /compiled
Disallow: /configs
Disallow: /configurator
Disallow: /connectors
Disallow: /countries/page_
Disallow: /countries/*/page_
Disallow: /defer
Disallow: /design
Disallow: /export
Disallow: /feedback
Disallow: /fulminant-order
Disallow: /images
Disallow: /import
Disallow: /informer
Disallow: /items
Disallow: /js
Disallow: /kits/page_
Disallow: /login
Disallow: /logout
Disallow: /news/page_
Disallow: /news/*/page_
Disallow: /notify
Disallow: /media/*/page_
Disallow: /objects
Disallow: /order
Disallow: /quickorder
Disallow: /regions/page_
Disallow: /regions/*/page_
Disallow: /registration
Disallow: /rss
Disallow: /search
Disallow: /sections/404
Disallow: /sections/*/page_
Disallow: /Smarty
Disallow: /sounds
Disallow: /stocks/page_
Disallow: /stocks/*/page_
Disallow: /tags
Disallow: /towns/page_
Disallow: /towns/*/page_
Disallow: /vk_fail
Disallow: /vk_process
Disallow: /vk_success
Disallow: /*module=
Disallow: /*_openstat
Disallow: /*from=adwords
Disallow: /*utm_source*
Disallow: /*gclid=
Host: my-site-name

В следующем обновлении движка указанные изменения будут внесены в файл robots.txt.

Обсуждение

Пока нет комментариев. Будьте первым - напишите ваши соображения по материалу, изложенному выше.

Другие обсуждения »

Теги: robots.txt, доступ к url, url заблокирован, disallow

Хотите чтобы мы рассказали ещё о чём-то - предлагайте тему.

Предложить

Следите за нашими публикациями в социальных сетях и новостных каналах.