Доки раздела Доки - Поисковая оптимизация

Проблема "Доступ к URL заблокирован в файле robots.txt"

Сергей написал Проблема с индексацией страницы. Проверка адреса сообщает: Доступ к URL заблокирован в файле robots.txt. Это касается моих страниц вида http://my-site-name/city/script-filename.php?-product-name Как исправить?

УРЛ со слешем или без - почему правильно именно так?

Споры по этому вопросу - как правильно писать URL, со слешем на конце или без? - были и будут. Аргументация встречается разнообразная, и часто противоречива. А расплату за неверную запись универсального локатора ресурса (URL) воображают двух видов. Со стороны поисковиков - это якобы штрафные санкции за дубли страниц. С точки зрения производительности - якобы лишний редирект на страницу верной записи, автоматически генерируемый сервером.