Подскажите, пожалуйста, так нужно ставить в самом начале Allow: / если потом идут несколько запретов на какие-то отдельные директории. Или же достаточно указать запреты и все, что означает индексацию всего остального. Вы лишь упомянули в видео про Allow:/ в случае одностраничного сайта. Хотя и там не очень понятен смысл, если нет запретов. Спасибо.
Вопрос. в User-agent Googlebot и YandexBot - "Bot" большими и маленькими буквами для разных поисковиков. Это так и должно или опечатка? Или имено так названы боты этих поисковых систем? Есть разница если Googlebot или GoogleBot. 1 из вариантов не будет работать?
Регистр имеет значение в директивах, не так важен при обращении к боту, по крайней мере нам об этом не сообщают официально, вот список всех ботов Google, тут они указаны так как их указывает Google support.google.com/webmasters/answer/1061943
Здравствуйте, вы не могли л б помочь мне, недавно создал файл робот тхт, добавил директивы Allow: /*js/.js и после этого не работает на сайте слайд шоу, и другие картинки не открывается, я хочу просто отменить это действие, но ни знаю как. Помогите плииз
указанным Вами способом файл не открывается, но в корневой папке есть. сайт на WPress. это нормально или он находится не там где надо ? или другая\ проблема?
Спасибо за информацию! Еще подскажите как теперь правильно удалить из индекса проиндексированные страницы пагинации? nanocode.com.ua/face/page/2/ - пишу в robots.txt User-agent: * Disallow: */page/ - но по факту в GSearch Console такие страницы числятся как "в индексе" и в поиске их видно тоже. Спасибо!
И для Яндекса и для Googlebot и для User-agent я в robots.txt написала данную строчку - Disallow: */attachment/*, в google search console они терзают меня уже почти год требованием дать доступ к данным файлам, пишут - Проблемы категории "Покрытие" на сайте **pearl-story.ru/** ( сейчас уже 676 ошибок), советуют устранить ошибки, то есть я должна убрать данную директиву - Disallow: */attachment/* (запрещаем страницы вложений). Может оставить так - Disallow: */attachment/ ( убрать*) Я активно использую медиафайлы, на сайте достаточно галерей... Что же делать?
немного не в тему, но все же... Павел, почему вы говорите про важность того, чего сами не используете на своих проектах...? к примеру, в одном из своих видео вы говорили что на сайте должен быть фильтр товаров, но этого почему то нет на вашем сайте glasses...тоже самое - стационарный телефон
Пи$%еть не мешки ворочать. . . . . Ну конечно это стёб, но он же курсы по продвижению продаёт и говорит все как должно быть а на сайте и того хватает что сейчас есть.
Спасибо за вопрос. Структура, которую мы сделали и заточенные страницы под низкочастотные запросы дают нам возможность не пользоваться фильтром. Тем более для нашей тематики это не всегда нужно. У нас много сайтов и у нас есть возможность тестировать. К примеру, тут фильтр есть o4ki.ua и он не увеличил поведенческие факторы)) Все зависит от тематики и типа сайта. Стационарный телефон нужен опять таки в зависимости от тематики. К примеру, юристам он нужен 100%, а в нашей молодежной тематике достаточно просто 3 телефона.
Если страницы уже проиндексировались, а вы все-равно хотите их закрыть, нельзя их добавлять в роботс.тхт - будут висеть в индексе, а в сниппете будет писать о том, что доступ ограничен файлом роботс))
и что делать делать тогда? если есть страниц, которые хочется убрать и их много из индексации? постранично делать невозможно, но вы говорите в robots.txt их уже добавлять нельзя?
@@dreamersssdreams2129 именно так, если хотите убрать страницы из индекса, на требуемых страницах необходимо ставить тег meta robots c переменными noindex, nofollow
Расскажите пожалуйста, как проверить файл robots.txt. Раньше это можно было сделать в Гугл Серч Консоле. Теперь такой возможности нет, т.к. в новой версии этот инструмент убрали. Так как проверить?
@@Seoakademiya1 Видно я не совсем корректно задала вопрос. Вот например у меня в Гугл Серче несколько страниц с ошибками и написано Доступ к отправленному URL заблокирован в файле robots.txt. Раньше там же существовал инструмент проверки robots.txt, где можно было выяснить, что именно блокирует и затем исправить ошибку. Сейчас такие инструменты проверки файла есть? Про проверку через поисковую строку поисковика я услышала из ролика.
@@Tatyana2404 я может не так вас понимаю, но в целом там в инструментах есть раздел "анализ robot.txt", где можно самой глазками просмотреть, что закрыто в Disallow, и при умении уже править, но не забыть обновить карту сайта
В него нужно закрывать "бесполезные страницы" с точки зрения поисковых роботов, иначе они могут негативно сказаться на индексации. Ну например точки входов платных каналов, тк они формируют дубли, или результаты работы функционалов. Для сайта и пользователя это ок, а вот для ПР некачественный контент.
Жаль, что вы не выкладываете свои вебинары в свободный доступ. А так смотрю и применяю у себя на сайте. Пользуясь информацией, размещенной на нашем ресурсе, вы можете быть уверены, что мы поможем вам с выбором сервисного центра по ремонту. Ознакомиться с каталогом вы можете у нас на сайте allmaster.com.ua/companys
