Как оценивать качество поиска в каталоге

Это инженерный материал о проверке поиска в большом каталоге. Он не описывает конкретный клиентский проект и не обещает коммерческий результат.

// Соберите набор запросов

Начните с обезличенного набора реальных формулировок: точные названия, общие категории, опечатки, смешение языков и запросы без результата. Для каждой группы сохраните ожидаемый тип ответа и причину, по которой результат считается полезным.

// Разделите метрики

Проверяйте отдельно полноту выдачи, точность первых позиций и долю запросов без подходящего результата. Среднее значение скрывает провалы отдельных языков и категорий, поэтому отчёт должен показывать срезы и размер каждой выборки.

// Сравнивайте осторожно

Перед изменением алгоритма зафиксируйте исходную версию, период и правила формирования выборки. Онлайн-эксперимент проводите только при достаточном трафике и заранее определённых критериях остановки. Если данных мало, используйте ручную разметку и повторяемый офлайн-тест.

Для многоязычного каталога отдельно проверьте нормализацию, транслитерацию и смешанные запросы. Любое улучшение должно быть воспроизводимым на исходном наборе и не ухудшать важные категории.