В теме одно сообщение

[Abimaxmi]

Всем привет. Есть ли правила для поисковиков, касаемо выдачи, в связке Joomla + JBZoo? Кто какой Robots использует?

Достаточно ли этих правил, или что-то добавить/изменить?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: *&template=*
Disallow: /xmlrpc/
Disallow: /index.php
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Sitemap: http://site.com/sitemap.xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: *&template=*
Disallow: /xmlrpc/
Disallow: /index.php
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Host: site.com 
Sitemap: http://site.com/sitemap.xml

[Шингисович]

вот мой обычный экземпляр роботса. Основное отличие от вашего -- выделено жирным -- это требование Гугла (необходимо предоставить его роботу (Googlebot) доступ ко всем ресурсам, которые так или иначе формируют отображение страниц вебсайта в браузере), поскольку еще 28 июля 2015 года на почту начали приходить сообщения от Google Search Console Team <sc-noreply@google.com>  с темой: «Googlebot не может получить доступ к файлам CSS и JS на сайте».

 

User-agent: *

Allow: /sitemap

Allow: /ru/sitemap

Allow: /kz/sitemap

Allow: /en/sitemap

Allow: /*.css

Allow: /*.js

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /index.php*

Disallow: /component*

Disallow: /ru/component*

Disallow: /kz/component*

Disallow: /en/component*

Disallow: /*index*

Disallow: /*component*

Disallow: /*print*

Disallow: /*rss

Disallow: /*?* 

Disallow: /*?f=1 

Crawl-delay: 2

sitemap: http:/vash-site.kz/sitemap.xml

Host: vash-site.kz