Локальный RAG для инженерной документации

Без этого раздела можно жить, но с ним вы будете понимать, что именно настраиваете — и почему система иногда отвечает невпопад.

Большая языковая модель (LLM) — это эрудит с замороженной памятью. Она прочитала пол-интернета, но ни разу не видела ваш СП в последней редакции и вашу исполнительную документацию. Хуже того: не зная ответа, она уверенно его выдумает. Это называется галлюцинацией.

RAG резко снижает пространство для выдумки: модель получает релевантные фрагменты документа перед ответом. Но RAG не гарантирует правильность ответа — ошибиться может как поиск (не нашёл нужный пункт), так и сама LLM (неверно интерпретировала найденное).

Обратите внимание на стрелку из «Векторного индекса» в «Поиск»: вопрос и документы живут в одном «смысле-пространстве», поэтому система находит ответ даже тогда, когда слова в вопросе и в документе не совпадают.

Ключевая идея всего RAG — текст можно превратить в координаты.

Каждый фрагмент текста специальная модель (embedding-модель) превращает в набор чисел — точку в многомерном пространстве. Тексты со схожим смыслом оказываются рядом, с разным — далеко.

Вопрос «какая толщина защитного слоя у колонн?» и пункт «…защитный слой бетона для колонн принимается не менее 20 мм» написаны разными словами, но на этой карте они соседи. Обычный поиск по ключевым словам такое совпадение пропустит — векторный найдёт.

Документ нельзя скормить модели целиком — её контекстное окно ограничено. Поэтому текст нарезают на куски — чанки.

Тут прячется главный компромисс RAG:

Главный принцип: Сначала режем по структуре документа — раздел/пункт/подпункт. Численный размер чанка (1000–2000 символов) является ограничителем второго уровня, чтобы не было слишком крупных кусков.

Open WebUI поддерживает Markdown Header Splitting — используйте его для нормативки. Это позволяет резать по заголовкам, а не по фиксированному числу символов.

Три причины, по которым инженерный RAG не должен покидать периметр вашего ПК.

Конфиденциальность. При полностью локальной конфигурации запросы и документы не требуется отправлять облачному LLM. Для гарантированной изоляции нужно дополнительно запретить системе внешний сетевой доступ (firewall, отключить проверки обновлений, использовать OFFLINE_MODE).

Автономность. На объекте часто нет стабильного интернета. Локальный RAG работает офлайн — хоть в бытовке, хоть в подвале.

Экономика. Разовая покупка железа против ежемесячных токенов. При регулярной работе с документацией локальная окупается за пару месяцев.

Ollama — локальный рантайм для нейросетей. Думайте о нём как о Docker, но заточенном под LLM. Команды ниже меняются в зависимости от выбранной ОС (переключатель в шапке страницы).

winget install Ollama.Ollama
ollama --version

curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable ollama
sudo systemctl start ollama
ollama --version

Конкретные модели быстро устаревают. На сентябрь 2026 проверенный baseline — Qwen 2.5 14B. Актуальные модели (Qwen 3.5, Llama 3.3) имеет смысл сравнить на тестовом наборе документов.

ollama pull qwen2.5:14b
ollama list

Проверка: модель крутится на GPU или на CPU?

ollama ps

Open WebUI — веб-интерфейс с поддержкой RAG и загрузки документов. Два пути: Docker или Python.

Через Docker (надёжнее)

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:0.6.0

Через Python (проще)

pip install open-webui==0.6.0
open-webui serve

Первый вход

Открываем браузер:

Видим форму регистрации. Вводим любой email и пароль — данные никуда не уходят. Жмём Sign Up.

Ключевой шаг: без него система будет просто чатиться, а не искать в ваших файлах.

Связка с Ollama

Параметры поиска

Контекстное окно LLM ограничено. Это один из самых частых источников плохого RAG.

Формула:

По умолчанию Ollama выделяет 4K токенов контекста (при VRAM < 24 GiB). Для RAG этого может не хватить — можно идеально проиндексировать ГОСТ, найти пять хороших чанков, и затем банально не вместить их вместе с историей диалога.

Как увеличить контекст

notepad Modelfile
ollama create qwen2.5:14b-8k -f Modelfile

cat > Modelfile << EOF
FROM qwen2.5:14b
PARAMETER num_ctx 8192
EOF
ollama create qwen2.5:14b-8k -f Modelfile

Проверка

ollama show qwen2.5:14b-8k --modelfile

Создаём коллекцию знаний и загружаем в неё СП, ГОСТы и ТУ.

Тестируйте систему на этих вопросах, считая метрики. Критерий приёмки: ≥80% правильных ответов по всем 4 метрикам.

Тестовые вопросы

Добавьте ещё 5-10 вопросов из вашей предметной области. Прогоните через систему и посчитайте метрики.

Жёсткие правила поведения, чтобы модель не «творила».

Ты — инженерный ассистент. Работаешь строго по предоставленным документам.

Правила:
1. Отвечай ТОЛЬКО на основе контекста из загруженных файлов.
2. Если информации нет в полученном контексте — пиши: «В полученном контексте подтверждение не найдено. Документ может содержать эту информацию в других разделах.»
3. Не утверждай, что информация отсутствует во всём документе, если документ не был проверен полностью.
4. Всегда указывай источник: документ, раздел, пункт.
5. Числовые значения — с единицами измерения.
6. Не добавляй неподтверждённые факты. Если делаешь вывод из нескольких пунктов, явно пометь его как вывод.
7. При противоречии источников — укажи оба варианта.

Четыре типовые проблемы. В 90% случаев дело в одном из этих пунктов.

Команды на каждый день. Работают одинаково в PowerShell, Terminal и bash. Сохраните в заметки.

ollama list
ollama pull qwen2.5:14b
ollama rm qwen2.5:7b
ollama ps
docker ps
docker stop open-webui
docker start open-webui
docker logs open-webui

Ответы на вопросы, которые обычно прилетают в личку после публикации таких гайдов.

Базовый RAG — это уровень 1. Вот куда имеет смысл двигаться, когда система уже работает.