Что сделать на сайте
Нода видит то, что сервер отдаёт без пароля. Страница, закрытая от робота или помеченная noindex, в выдаче не появится.
- Оставьте нужные страницы публичными и не ставьте на них noindex.
- В robots.txt разрешите обход MDS-Bot и укажите Sitemap.
- Положите в корень карточку /llms.txt. Если этот адрес отвечает ошибкой, нода запросит /llms.md. Правила и образец — на странице llms.md.
- Пишите карточку на том языке, на котором люди ищут. Карточка со словом honey не отвечает на запрос «мёд».
- Важную страницу можно продублировать файлом .md рядом с обычным адресом. Такие файлы тоже индексируются.
Сайт на React или Vite, который без JavaScript показывает только заставку, находится по текстам из страницы и из своего скрипта. Готовый HTML с заголовком и описанием нода читает сразу.
Своя пчела на сервере сайта
Полный индекс рядом с сайтом не ставится: модель занимает около 1 ГБ, а общий индекс — десятки гигабайт. Серверу на 2 ядра, 3–4 ГБ памяти и 20 ГБ диска хватает лёгкой пчелы. Она не открывает поиск для чужих людей и не считает векторы. Человек остаётся на улье.
Сначала пчела отдаёт свои новые и изменённые страницы, сразу и по обычным правилам обхода. Страница, в которой ничего не изменилось, по кругу не гоняется. Когда своих изменений нет, пчела берёт чужие адреса из очереди улья и помогает сети. Сколько чужих адресов за заход и какая пауза — решает оператор улья в кабинете. Пауза между загрузками страниц своего сайта не меньше двух секунд.
mds node --lite --site https://ваш-сайт --hive https://beesearch.ru
Имя из журнала пчелы кладётся одной строкой в https://ваш-сайт/.well-known/pchela.txt.
Что это даёт сайту
- Свои новые и изменённые страницы попадают в индекс сразу. Потолок в сто страниц для такой пчелы снимается: улей принимает страницы, которые она отдаёт.
- В выдаче появляется значок «держит пчелу» и небольшой подъём среди близких результатов. Страница с более точным совпадением слов остаётся выше.
- Когда на сайте тихо, пчела разбирает чужую очередь и ускоряет общий индекс.
Новую сборку кладёт администратор этого сайта и перезапускает службу. Лёгкая пчела файл сама не меняет, и кабинет улья на чужой сервер обновление не присылает. Чем пчела отличается от полной ноды — на странице Индексация.