AIУчебный R&D-кейсAI · RAG · База знаний

Corporate Knowledge Assistant — корпоративный AI-ассистент по документам

Сотрудник задаёт вопрос обычным языком, а ассистент ищет ответ в регламентах, wiki-страницах и инструкциях, указывает документ и страницу — и отказывается отвечать, если подтверждения в документах нет.

Учебный R&D-проект курса OTUS «LLM Engineering», не клиентский заказ. Корпус — 33 синтетических документа вымышленной технологической компании, реальные корпоративные документы не использовались. Схемы и пример ответа на странице — иллюстрации, не скриншоты продукта.

Тип
Учебный R&D-кейс
Корпус
33 синтетических документа · 162 чанка
Поиск
Dense + BM25 → RRF → reranker
Проверка
15 сценариев ответа · 48 тестов pytest
Иллюстрация
Схема пайплайна

От документов до ответа с цитатами или «Я не знаю». Схема по README репозитория.

Задача

Ответ должен опираться на документы, а не на память модели

В корпоративной базе знаний — регламенты в PDF, wiki-страницы и текстовые инструкции. Одно правило встречается в нескольких документах, рядом лежат действующие и архивные редакции, похожие категории и идентификаторы.

Задача — ассистент, который отвечает только по документам, показывает, откуда взят каждый факт, учитывает редакции и честно говорит «Я не знаю», когда подтверждения нет.

Главный принципЦитата должна подтверждать утверждение, а не просто стоять рядом с ним.

Архитектура

От документа до проверенного ответа

Документы разбираются по формату: PDF — через PyMuPDF с номерами страниц, HTML — через Beautiful Soup, TXT — как есть. Чанки получают метаданные, в поиск попадают только действующие редакции.

Dense-поиск (BGE-M3 в Qdrant) и BM25 работают параллельно, результаты объединяет Reciprocal Rank Fusion. Cross-Encoder переупорядочивает 20 кандидатов, в контекст модели идут 5. Ответ проходит проверку цитат и отдельный GroundingVerifier.

PDF · HTML · TXTЧанкиDense + BM25RRF + reranker
gpt-4.1-miniЦитатыGroundingVerifierОтвет или отказ
Python 3.12 · uv · PyMuPDF · Beautiful Soup · BAAI/bge-m3 · Qdrant · rank-bm25 · RRF · Cross-Encoder · OpenAI gpt-4.1-mini · pytest

Реализовано

Что умеет ассистент

01

Три формата документов

PDF с метаданными и номерами страниц, HTML-страницы wiki и текстовые инструкции в одном индексе.

02

Учёт редакций

В поиск попадают только документы со статусом active: архивная политика с устаревшим сроком не участвует в ответе.

03

Гибридный поиск

Dense на BGE-M3 и BM25, который разбивает составные идентификаторы на части. Списки объединяются через RRF.

04

Reranking

Cross-Encoder переупорядочивает 20 кандидатов, в контекст модели попадают 5 самых релевантных фрагментов.

05

Ответ с цитатами

Модель ссылается на [SOURCE_n], после проверки ссылки превращаются в «документ, страница PDF».

06

GroundingVerifier

Отдельный вызов модели проверяет каждое утверждение: supported, unsupported или insufficient_evidence. Неподтверждённый ответ заменяется на «Я не знаю».

Формат ответа

Как выглядит ответ с цитатами

Результаты

Что показали эксперименты

Цифры — из результатов в репозитории. Набор небольшой, а эталоны были доступны во время разработки, поэтому это не независимая слепая оценка.

0,615
Hit@1 у Hybrid + Reranker13 вопросов с эталонными источниками. Для сравнения: Dense — 0,462, BM25 — 0,231, Hybrid RRF — 0,385.
0,962
Recall@5 у Hybrid + RerankerMRR@10 — 0,782. Лучший результат среди четырёх методов на этом наборе.
0,846
Hit@1 после уточнения разметкиДобавлены подтверждённые альтернативные источники. Это уточнение методики оценки, а не улучшение поиска.
15 из 15
сценариев ответа без ошибок13 вопросов с ответом в базе и 2 без ответа.
2 из 2
корректных отказаНа вопросы, ответа на которые в документах нет, ассистент отвечает «Я не знаю».
13 из 13
ответов прошли GroundingVerifierВ каждом есть хотя бы один эталонный источник. Это не 100% фактической точности: верификатор тоже основан на LLM.

Тесты: 48 passed по последнему зафиксированному прогону pytest — обработка документов, чанкинг, BM25, цитирование, grounding-проверка и правила системного промпта.

Разбор ошибок

Слабые места, которые нашёл эксперимент

Главный результат — не только пайплайн, но и проверка того, где он ошибается.

Что произошлоЧто сделано
Требования к согласованиям категории C3 перенесены на изменения HIGH без подтверждения в документахРегрессионный тест на сохранённом ответе: из 5 утверждений 2 — insufficient_evidence, ответ заблокирован
В ответ о процедуре PERMIT-7 попали сведения о другой процедуре — SAF-PERMIT-07Уточнён системный промпт; повторная проверка дала правильное определение и успешный grounding
Hybrid RRF без reranker уступил Dense по Hit@1: 0,385 против 0,462Reranker поднял Hit@1 до 0,615: гибридный поиск сам по себе не гарантирует улучшения

Ограничения

Что важно знать

  • Корпус синтетический: 33 документа вымышленной компании, реальных корпоративных данных нет.
  • Benchmark небольшой — 13 вопросов для поиска и 15 сценариев ответа. Эталоны были доступны во время разработки, это не слепая оценка.
  • GroundingVerifier основан на LLM и может пропустить неподтверждённое утверждение. Прохождение проверки не гарантирует полноту и релевантность ответа.
  • Генерация и проверка используют OpenAI API: нужен доступ к API, вызовы оплачиваются по тарифам провайдера. Embeddings и reranker работают локально на CPU.
  • Публичного демо нет: проект запускается локально из репозитория.

Ещё в разделе «AI-решения»

Другие AI-решения

Экраны AI Food Coach в Telegram: разбор блюда, Menu Coach и оплата PRO
AIСобственный production-продукт

AI Food Coach

Production Telegram-сервис с multimodal AI, подпиской, платежами, поддержкой, web-admin и аналитикой.

AIR&D / Portfolio Case

AI Catalog Consultant

AI-консультант по товарному каталогу с RAG, structured retrieval, evaluation и контролем качества: факты берутся из каталога, а не из памяти модели.

AIСобственный продукт

AI Lead Assistant

Telegram-бот, который принимает обращение текстом, голосом, изображением или документом, уточняет недостающие детали и передаёт менеджеру структурированную заявку.

Нужен похожий проект?

Нужен ассистент по внутренним документам компании?

Спроектирую поиск по вашей базе знаний с цитатами, учётом редакций и проверкой обоснованности — и измерю качество на ваших вопросах до запуска.