Индексация
Пчелопоиск находит сайт по его страницам. Сколько страниц берётся и зачем рядом с сайтом стоит своя нода — здесь.
Сколько страниц с одного сайта
Обычный сайт обходится до ста страниц. Этого хватает, чтобы сайт находился, и длинный каталог не занимает весь поиск. Страницы, которые уже лежат в индексе, из-за этого потолка не удаляются.
Если страниц больше ста, владелец сам выбирает, какие важнее. В корне сайта, в /llms.txt или /llms.md, он пишет ссылки своего сайта, не больше ста. Индексируются они. Ссылки на чужие сайты из этой карточки в список не входят. Остальные адреса этого сайта в очередь не ставятся.
Сайт завода и мастерской остаётся со своими изделиями: у производства короткий свой список. Интернет-магазин в индекс целиком не копируется. В выдаче виден сам магазин, а несколько подходящих предложений браузер может подгрузить с сайта магазина в момент запроса, если магазин это разрешает. Сто магазинов с одним и тем же товаром поиск не собирает.
Зачем нода рядом с сайтом
Лёгкая пчела стоит на том же сервере, что и сайт. Она не открывает чужой поиск и не держит модель: модели нужен примерно 1 ГБ, а общий индекс — десятки гигабайт. Сначала она отдаёт свои новые и изменённые страницы. Страница без изменений по кругу не гоняется. Когда своих изменений нет, она помогает обойти чужую очередь улья. Темп этой очереди задаёт кабинет улья. Человек ищет на улье.
Польза для сайта: потолок в сто страниц снимается, улей принимает страницы, которые отдаёт пчела. В выдаче появляется значок «держит пчелу» и небольшой подъём среди близких ссылок. Более точное совпадение слов остаётся выше. Как поставить:
mds node --lite --site https://ваш-сайт --hive https://beesearch.ru
Имя из журнала пчелы кладётся одной строкой в /.well-known/pchela.txt на этом сайте. Новую сборку лёгкой пчелы на сервер кладут вручную и перезапускают службу: сама она файл не меняет.
Зачем полная нода
Полная нода — свой улей. Она держит кусок индекса, считает смысл запроса и открывает страницу поиска для людей своего края или своей компании. Журнал запросов остаётся на этой ноде и не уезжает в общий центр. Нужны память под модель и диск под страницы. Без соседней ноды она отвечает только своим индексом. С соседями запрос идёт к тем, кто держит нужный шард, и не больше чем к трём копиям.
Её ставят, когда нужен свой адрес поиска в той же сети. Лёгкая пчела для этого не подходит: она поиск для людей не открывает. Файл и подключение — на странице Скачать ноду.
Зачем приложение на телефоне
Приложение открывает поиск улья. Сайт из выдачи открывается в том же окне, кнопка «К поиску» возвращает к строке. Раз в десять минут, и по мобильной сети, и когда приложение свёрнуто, оно читает до двух страниц из очереди и отдаёт текст улью. Это не шард и не кабинет. Подробно — на странице Приложение для Android.
Если сломается Яндекс или Гугл
Их выдача стоит на их дата-центрах. Сбой там гасит поиск сразу для всех, кто им пользуется. У Пчелопоиска нет одной компании и одного центра. Запрос принимает любая живая нода. Кусок индекса лежит в трёх копиях. Пока нод мало, каждая держит весь индекс, который успела собрать. Падение одного улья не гасит остальные. Свой адрес может открыть регион или компания, и он остаётся в той же сети.