Лучший Ответ Юра Мамонтов , 17 September 2015 - 13:54
Кстати попробовал, закрыл component в robots.txt, затем проверил прогой Netpeak Spider, у всех материалов директива allow, так что ничего потеряться не должно.
Перейти к сообщению
Закрыть component от индекса?
Автор
Юра Мамонтов
, Sep 17 2015 10:03
-
Тема закрыта
В теме одно сообщение
#1
Отправлено 17 September 2015 - 10:03
Здравствуйте товарищи!
Такой вопрос, стоит ли в robots.txt закрыть от индексирования раздел component и не отразится ли это на индексации материалов?
А то увидел, что яндекс индексирует страницы тэгов, но в поиск их не выдает, т.к. там дублируются материалы...
в структуре сайта, которую видит яндекс, показывается так: component/zoo/tag
Сообщение отредактировал Юра Мамонтов: 17 September 2015 - 10:23
#2
Отправлено 17 September 2015 - 13:54 Лучший Ответ
Кстати попробовал, закрыл component в robots.txt, затем проверил прогой Netpeak Spider, у всех материалов директива allow, так что ничего потеряться не должно.
Сообщение отредактировал Юра Мамонтов: 17 September 2015 - 14:15
