robots.txt для phpBB

Сообщение **Admin** » 13 июн 2025, 01:46

robots.txt это специальный текстовый файл с рекомендациями для поисковых роботов и прочих ботов о том как они должны сканировать ваш сайт. Обратите внимание боты не всегда учитывают прописанные правила в robots.txt, в спам боты вообще игнорируют его. По умолчанию в phpBB файл robots.txt отсутствует. Нужно ли его добавлять? Мы считаем обязательно. Большинство роботов следуют правилам robots.txt написанным для робота Google (User-agent: * или User-agent: Google).

Настройка директив robots.txt

User-agent: * - для всех роботов
User-agent: Yandex - для Яндекса
User-agent: Google - для Google
Disallow: - запретить индексацию
Allow: - разрешить индексацию (редко используется)
* - любые символы или пусто, например Disallow: /fokus/* запрещает индексацию категории и всего что в ней находится
$ - прерывает правила, например Disallow: /fokus/$ запрещает индексацию страницы категории, но разрешает что в ней находится
Crawl-delay: 10 - ограничение количества запросов заданным временем. Можно указать любое время, в примере 10 секунд. Хостеры часто рекомендуют указывать данною директиву, но этого лучше не делать. Хорошие боты не перегружают ваш сайт, а все остальные не соблюдают это правило. Спам боты часто меняют свой User-agent на Google тем самым вводят вас в заблуждение.
Clean-param: sid - указывает роботу на параметры в адресе страниц, которые не нужно учитывать при индексации
Host: https://phpbbx.ru/ - главное зеркало, понимает только Яндекс
Sitemap: https://phpbbx.ru/sitemap.xml - показать роботу файл sitemap

Как добавить robots.txt на форум phpBB?
Просто создайте в корне вашего сайта текстовый файл robots.txt и пропишите в него нужные команды. Если форум располагается в какой либо папке, robots.txt все ровно должен находится в корне сайта и открываться по адресу - адрес-сайта/robots.txt например - https://phpbbx.ru/robots.txt

phpbbx.ru - заменить на свой домен.
Если форум расположен в корне, так же как https://phpbbx.ru/

Код: Выделить всё

User-agent: *
Disallow: /search.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&start=0$
Disallow: /*&view=*
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /user/*
Clean-param: sid&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php
Host: https://phpbbx.ru/

Если форум расположен в папке, например phpbbx.ru/forum

Код: Выделить всё

User-agent: *
Disallow: /forum/search.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&start=0$
Disallow: /forum/*&view=*
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/user/*
Clean-param: sid&mode&view&style /forum
Clean-param: uid&f&e&hilit&unwatch /forum/viewtopic.php
Host: https://phpbbx.ru/

Рекомендуем установить и настроить расширение phpBB3 SEO Sitemap и добавить в robots.txt строку:

Код: Выделить всё

Sitemap: https://phpbbx.ru/sitemap.xml

phpbbx.ru - заменить на свой домен.

Код: Выделить всё

User-agent: *
Disallow: /search.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&start=0$
Disallow: /*&view=*
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /user/*
Clean-param: sid&mode&view&style
Clean-param: uid&f&e&hilit&unwatch /viewtopic.php
Host: https://phpbbx.ru/
Sitemap: https://phpbbx.ru/sitemap.xml

Добавьте строки если используете расширение Ultimate phpBB SEO Friendly URL - ссылки ЧПУ

Код: Выделить всё

Disallow: /member*.html

Добавьте строки если используете расширение External Links - Управление внешними ссылками
Если По умолчанию

Код: Выделить всё

Disallow: /link*

Если Своя страница

Код: Выделить всё

Disallow: /go.php

Запретить индексацию всего сайта через robots.txt
Для всех роботов

Код: Выделить всё

User-agent: *
Disallow: /

Только для яндекса

Код: Выделить всё

User-agent: Yandex
Disallow: /

User-agent: *
тут правила для всех остальных

Только для гугла

Код: Выделить всё

User-agent: Google
Disallow: /

User-agent: *
тут правила для всех остальных

Запретить индексацию сайта для некоторых роботов через robots.txt
Есть много роботов которые нагружают сайт, но не приносят вам пользы. К ним можно отнести всевозможные seo ботов и т.п. Эти роботы учитывают правила прописанные в robots.txt, запретить можно так:

Код: Выделить всё

User-agent: GPTBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: dotbot
Disallow: /

User-agent: *
тут правила для всех остальных