Ниже приведена инструкция по настройке и созданию идеального файла robots.txt, открыв свой сайт на Joomla 3.x для поисковых роботов и пользователей из поисковой выдачи.
Для чего нужен robots.txt?
Одной из важных задач в SEO-оптимизации является открытие своего сайта для роботов поисковых систем.
Представьте: вы решили продать квартиру, но всеми силами не пускаете туда покупателей, а только позволяете посмотреть в замочную скважину. Что они там увидят? Как смогут оценить подходит им ваша квартира или нет?
Поэтому в первую очередь для того, чтобы поисковые роботы видели наш сайт так же, как видят его пользователи нужно, обеспечить им доступ к сканированию с помощью файла robots.txt.
Важно знать:
Файл robots.txt позволяет управлять сканированием страниц сайта поисковыми роботами.
К сожалению, по умолчанию, если мы ничего не делаем с файлом robots.txt для сайта на Joomla, то мы разрешаем поисковым роботам именно подглядывать в щелку и, как следствие, получаем посредственный результат.
Работы на несколько минут, но многие терпят годами и ругаются на плохие результаты продвижения сайта на Joomla.
Изначально robots.txt имеет такой вид:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Стандартный robots.txt в Joomla
Мало кто знает, что в стандартном файле robots.txt в Joomla до версии 3.3 поисковые роботы не видят изображений, не понимают оформления сайта и могут не видеть части контента, а иногда и вовсе не смогут переходить по сквозным ссылкам из меню.
Начиная с Joomla 3.3 разработчики изменили файл robots.txt и это похвально, но
- при обновлении Джумла с предыдущей версии данный файл не перезаписывается автоматически
- всё равно требуется его небольшая доработка.
Правильный robots.txt, который рекомендуется использовать на CMS Joomla 2.5 и 3.x:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /layouts/
Disallow: /cli/
Disallow: /bin/
Disallow: /logs/
Disallow: /components/
Disallow: /component/
Disallow: /component/tags*
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php
Host: vashsait.ru (или www.vashsait.ru)
Sitemap: http://путь к вашей карте XML формата
User-agent: *
Allow: /.css?$
Allow: /.js?$
Allow: /.jpg?$
Allow: /.png?$
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /layouts/
Disallow: /cli/
Disallow: /bin/
Disallow: /logs/
Disallow: /components/
Disallow: /component/
Disallow: /*mailto/
Disallow: /*.pdf
Disallow: /*%
Disallow: /index.php
Sitemap: http://путь к вашей карте XML формата
