Закрытый контур
Модель, embeddings и Qdrant работают локально. Qdrant и интерфейс слушают только localhost, доступ к UI — через SSH-туннель. Внешние LLM API не используются.
Документы, embeddings, векторная база и языковая модель работают на собственном сервере — без отправки текстов во внешние LLM API. Ассистент отвечает только по найденным фрагментам, а на вопросы вне базы сразу отказывает.
Учебный R&D-проект курса OTUS «LLM Engineering», не корпоративное внедрение и не сертифицированная система защиты информации. Использованы первые 100 документов публичного датасета судебных актов RuLegalNER. Схема и пример на странице — иллюстрации на вымышленных данных, не скриншоты.
Всё внутри одного контура: ниже порога релевантности модель не вызывается. Схема по README репозитория.
Задача
Юридические и внутренние документы часто нельзя отправлять в облачные LLM API. При этом сотрудникам нужен быстрый ответ по базе, а не ручной поиск по сотням файлов.
Цель эксперимента — собрать RAG, где документы, embeddings, векторная база и модель работают внутри собственной инфраструктуры, и проверить, насколько компактная модель на CPU справляется с ответами и отказами.
Архитектура
Документы режутся на чанки по 1 200 символов с перекрытием 200, короткие фрагменты объединяются до минимума в 300 символов. Embeddings считает multilingual-e5-small с префиксами passage: и query:, векторы хранятся в Qdrant.
Для вопроса находятся Top-K ближайших фрагментов. Если лучший score ниже 0,845, система сразу отказывает и не вызывает модель. Иначе контекст передаётся Qwen2.5 3B через Ollama, которая отвечает только по нему.
Реализовано
Модель, embeddings и Qdrant работают локально. Qdrant и интерфейс слушают только localhost, доступ к UI — через SSH-туннель. Внешние LLM API не используются.
100 документов из публичного датасета судебных актов: индексируется текст, NER-разметка датасета не используется.
Короткие малоинформативные фрагменты вроде «УСТАНОВИЛ:» объединяются: 696 чанков превратились в 625, коротких не осталось.
Порог 0,845 отсекает вопросы вне базы: ответ «нет достаточной информации» приходит без генерации.
Модель исправляет неверную предпосылку вопроса и не придумывает отсутствующие данные.
Streamlit показывает ответ, найденные фрагменты, score, порог и задержки поиска и генерации.
Пример
Иллюстрация на вымышленных данных и условных значениях: вопрос по базе получает ответ, вопрос вне базы — отказ без генерации. Не скриншот интерфейса.
Результаты
Из README и файлов evaluation в репозитории. Наборы проверок маленькие — это эксперимент, а не оценка качества системы.
Эксперимент с Top-K
Один и тот же вопрос с неверной предпосылкой при разном числе найденных фрагментов.
| Top-K | Результат и время ответа |
|---|---|
| 1 | Верно · 6,2 с |
| 2 | Ошибка · 7,6 с |
| 3 | Верно · 8,7 с |
| 5 | Верно · 19,4 с |
| 8 | Ошибка · 38,6 с |
Ограничения
Ещё в разделе «AI-решения»

Production Telegram-сервис с multimodal AI, подпиской, платежами, поддержкой, web-admin и аналитикой.
AI-консультант по товарному каталогу с RAG, structured retrieval, evaluation и контролем качества: факты берутся из каталога, а не из памяти модели.
Telegram-бот, который принимает обращение текстом, голосом, изображением или документом, уточняет недостающие детали и передаёт менеджеру структурированную заявку.
Связанные направления
Нужен похожий проект?
Соберу RAG в вашем контуре — с локальной моделью, порогом релевантности и проверкой качества на ваших документах — и честно оценю, где нужен GPU.