AIУчебный R&D-кейсAI · Локальный RAG · Документы

Private Document Assistant — локальный AI-ассистент по документам

Документы, embeddings, векторная база и языковая модель работают на собственном сервере — без отправки текстов во внешние LLM API. Ассистент отвечает только по найденным фрагментам, а на вопросы вне базы сразу отказывает.

Учебный R&D-проект курса OTUS «LLM Engineering», не корпоративное внедрение и не сертифицированная система защиты информации. Использованы первые 100 документов публичного датасета судебных актов RuLegalNER. Схема и пример на странице — иллюстрации на вымышленных данных, не скриншоты.

Тип
Учебный R&D-кейс
Модель
Qwen2.5 3B через Ollama
Поиск
multilingual-e5-small · Qdrant
Инфраструктура
VM 4 vCPU · 16 ГБ · без GPU
Иллюстрация
Схема локального RAG

Всё внутри одного контура: ниже порога релевантности модель не вызывается. Схема по README репозитория.

Задача

Документы не должны уходить во внешние сервисы

Юридические и внутренние документы часто нельзя отправлять в облачные LLM API. При этом сотрудникам нужен быстрый ответ по базе, а не ручной поиск по сотням файлов.

Цель эксперимента — собрать RAG, где документы, embeddings, векторная база и модель работают внутри собственной инфраструктуры, и проверить, насколько компактная модель на CPU справляется с ответами и отказами.

Главный принципЕсли в базе нет ответа, лучше отказать до вызова модели, чем дать правдоподобную выдумку.

Архитектура

Локальный RAG с порогом релевантности

Документы режутся на чанки по 1 200 символов с перекрытием 200, короткие фрагменты объединяются до минимума в 300 символов. Embeddings считает multilingual-e5-small с префиксами passage: и query:, векторы хранятся в Qdrant.

Для вопроса находятся Top-K ближайших фрагментов. Если лучший score ниже 0,845, система сразу отказывает и не вызывает модель. Иначе контекст передаётся Qwen2.5 3B через Ollama, которая отвечает только по нему.

ДокументыЧанкингe5-smallQdrant
Порог 0,845Qwen2.5 3BОтвет или отказ
Python · uv · LangChain · sentence-transformers · multilingual-e5-small · Qdrant · Ollama · Qwen2.5 3B · Streamlit · Docker

Реализовано

Что умеет ассистент

01

Закрытый контур

Модель, embeddings и Qdrant работают локально. Qdrant и интерфейс слушают только localhost, доступ к UI — через SSH-туннель. Внешние LLM API не используются.

02

Юридические документы

100 документов из публичного датасета судебных актов: индексируется текст, NER-разметка датасета не используется.

03

Очистка чанков

Короткие малоинформативные фрагменты вроде «УСТАНОВИЛ:» объединяются: 696 чанков превратились в 625, коротких не осталось.

04

Отказ до вызова модели

Порог 0,845 отсекает вопросы вне базы: ответ «нет достаточной информации» приходит без генерации.

05

Ответ только по контексту

Модель исправляет неверную предпосылку вопроса и не придумывает отсутствующие данные.

06

Прозрачный интерфейс

Streamlit показывает ответ, найденные фрагменты, score, порог и задержки поиска и генерации.

Пример

Ответ по базе и отказ вне базы

Результаты

Что показали эксперименты

Из README и файлов evaluation в репозитории. Наборы проверок маленькие — это эксперимент, а не оценка качества системы.

0,845
порог релевантностиПодобран на 5 вопросах из базы и 5 посторонних: худший «свой» score — 0,868, лучший «чужой» — 0,825.
3 из 3
базовых тестаВопрос из базы, вопрос вне базы и вопрос с неверной предпосылкой.
0 мс
генерации на вопросе вне базыОтказ на этапе порога: поиск — 24 мс, модель не вызывается.
20–35 мс
поиск в QdrantОсновная задержка — генерация на CPU: от единиц до десятков секунд в зависимости от Top-K.
625
чанков после очисткиБыло 696: короткие малоинформативные фрагменты объединены, короче 300 символов не осталось.
0,043
зазор для порогаРазница между худшим «своим» и лучшим «чужим» score. Зазор небольшой: на других данных порог нужно подбирать заново.

Эксперимент с Top-K

Больше контекста — не значит лучше

Один и тот же вопрос с неверной предпосылкой при разном числе найденных фрагментов.

Top-KРезультат и время ответа
1Верно · 6,2 с
2Ошибка · 7,6 с
3Верно · 8,7 с
5Верно · 19,4 с
8Ошибка · 38,6 с

Ограничения

Что важно знать

  • Учебный эксперимент: 100 документов, 3 базовых теста и 10 вопросов для подбора порога. Это не оценка качества на реальной корпоративной базе.
  • CPU-инференс медленный: ответ занимает от секунд до десятков секунд, больше контекста — дольше и не обязательно точнее.
  • Компактная модель чувствительна к промпту: сложные инструкции ухудшали ответы, финальный промпт упрощён.
  • Нет аутентификации, ролей, журнала аудита, управления секретами, резервного копирования и шифрования — для рабочей среды их нужно добавить.
  • Публичного демо нет: интерфейс доступен только через SSH-туннель на сервере.

Ещё в разделе «AI-решения»

Другие AI-решения

Экраны AI Food Coach в Telegram: разбор блюда, Menu Coach и оплата PRO
AIСобственный production-продукт

AI Food Coach

Production Telegram-сервис с multimodal AI, подпиской, платежами, поддержкой, web-admin и аналитикой.

AIR&D / Portfolio Case

AI Catalog Consultant

AI-консультант по товарному каталогу с RAG, structured retrieval, evaluation и контролем качества: факты берутся из каталога, а не из памяти модели.

AIСобственный продукт

AI Lead Assistant

Telegram-бот, который принимает обращение текстом, голосом, изображением или документом, уточняет недостающие детали и передаёт менеджеру структурированную заявку.

Нужен похожий проект?

Нужен ассистент по документам без отправки данных наружу?

Соберу RAG в вашем контуре — с локальной моделью, порогом релевантности и проверкой качества на ваших документах — и честно оценю, где нужен GPU.