Best Answer Юра Мамонтов , 17 September 2015 - 13:54
Кстати попробовал, закрыл component в robots.txt, затем проверил прогой Netpeak Spider, у всех материалов директива allow, так что ничего потеряться не должно.
Go to the full post
Закрыть component от индекса?
Started by
Юра Мамонтов
, Sep 17 2015 10:03
-
This topic is locked
1 reply to this topic
#1
Posted 17 September 2015 - 10:03
Здравствуйте товарищи!
Такой вопрос, стоит ли в robots.txt закрыть от индексирования раздел component и не отразится ли это на индексации материалов?
А то увидел, что яндекс индексирует страницы тэгов, но в поиск их не выдает, т.к. там дублируются материалы...
в структуре сайта, которую видит яндекс, показывается так: component/zoo/tag
Edited by Юра Мамонтов, 17 September 2015 - 10:23.
#2
Posted 17 September 2015 - 13:54 Best Answer
Кстати попробовал, закрыл component в robots.txt, затем проверил прогой Netpeak Spider, у всех материалов директива allow, так что ничего потеряться не должно.
Edited by Юра Мамонтов, 17 September 2015 - 14:15.
