Как внедрить RAG-систему в компании: пошаговое руководство

Что такое RAG и зачем он бизнесу

Retrieval-Augmented Generation (RAG) — архитектура, при которой LLM перед генерацией ответа получает релевантные фрагменты из корпоративной базы знаний. Модель не галлюцинирует «из головы», а опирается на конкретные документы.

Без RAG модель знает только то, на чём обучена. С RAG — она знает всё, что знает ваша компания: регламенты, инструкции, контракты, техническую документацию, историю переписки.

Типовые бизнес-задачи для RAG

Архитектура RAG-системы

Общая схема

┌─────────────────────────────────────────────────────┐
│                     INGESTION                        │
│                                                      │
│  Документы → Парсинг → Чанкинг → Эмбеддинг → VectorDB│
└─────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────┐
│                     RETRIEVAL                        │
│                                                      │
│  Запрос → Эмбеддинг → Поиск по VectorDB → Top-K     │
│                                                      │
│  (опционально: reranking, фильтрация, HyDE)         │
└─────────────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────┐
│                    GENERATION                        │
│                                                      │
│  System Prompt + Top-K чанков + Запрос → LLM → Ответ │
└─────────────────────────────────────────────────────┘

Компоненты

Шаг 1: Подготовка документов

Источники данных

Первый вопрос — откуда берём данные. Типичные источники:

• PDF — регламенты, инструкции, контракты (самый частый)
• DOCX/DOC — внутренние документы
• Confluence/Notion — база знаний команды
• HTML — документация, help-центр
• Markdown — техническая документация
• CSV/Excel — справочники, прайсы
• Email/Slack — история коммуникаций

Парсинг PDF — главная боль

PDF — самый проблемный формат. Текст может быть:

• Реальным текстовым слоем (простой случай)
• Сканированным изображением (нужен OCR)
• Смесью текста, таблиц и изображений (нужен layout analysis)

Рекомендация: начинайте с Unstructured.io — покрывает 80% случаев. Для сканов добавляйте OCR-слой.

Шаг 2: Чанкинг — нарезка документов

Чанкинг — самый недооценённый этап. Неправильная нарезка убивает качество RAG сильнее, чем плохая модель.

Стратегии чанкинга

Параметры чанкинга

Частые ошибки чанкинга

1. Разрезать таблицу пополам — таблица без заголовков бесполезна. Решение: детектить таблицы и вынести в отдельный чанк
2. Терять иерархию заголовков — чанк «Пункт 3.2.1» без контекста «Раздел 3: Безопасность» непонятен. Решение: добавлять breadcrumb в метаданные
3. Одинаковый размер для всех документов — FAQ (короткие пары) и регламент (длинные разделы) требуют разных стратегий

Шаг 3: Эмбеддинги — превращаем текст в векторы

Эмбеддинг-модель кодирует текст в числовой вектор. Семантически близкие тексты получают близкие векторы.

Выбор модели эмбеддингов

Для русского языка: GigaChat Embeddings или BGE-M3. Если нужен self-hosted и 152-ФЗ — BGE-M3 на своём сервере.

Важно: не менять модель после индексации

Эмбеддинги от разных моделей несовместимы. Если поменяли модель — нужно переиндексировать всю базу. Выбирайте модель до начала продакшена.

Шаг 4: Векторная база данных

Подробное сравнение — в нашей статье Сравнение векторных БД: Qdrant vs Pinecone vs pgvector. Здесь — краткая матрица для RAG.

Шаг 5: Retrieval — поиск релевантных чанков

Качество RAG на 70% определяется качеством retrieval. Если поиск не нашёл нужный чанк — LLM не поможет.

Стратегии retrieval

Reranking — второй этап фильтрации

После retrieval топ-20 результатов можно пропустить через reranker — модель, которая точнее оценивает релевантность пары (запрос, документ).

Рекомендация: добавляйте reranking, если retrieval возвращает шумные результаты. Это улучшает качество на 10–25% при минимальных затратах.

Шаг 6: Генерация ответа

System prompt для RAG

Промпт определяет поведение модели. Минимальный шаблон:

Ты — ассистент компании [Название].
Отвечай ТОЛЬКО на основе предоставленного контекста.
Если в контексте нет ответа — скажи «Я не нашёл информацию по этому вопросу».
Указывай источник: название документа и раздел.

Контекст:
{context}

Вопрос: {question}

Выбор LLM

Для проектов с 152-ФЗ: GigaChat Pro или YandexGPT Pro. Для максимального качества без ограничений — GPT-4o или Claude.

Шаг 7: Оценка качества (Evaluation)

RAG без метрик — чёрный ящик. Нужно измерять качество на каждом этапе.

Метрики RAG

Золотой датасет

Создайте набор из 50–100 пар (вопрос, эталонный ответ, источник). Прогоняйте RAG через этот датасет при каждом изменении. Это ваш «тест-сьют» для RAG.

Мониторинг в продакшене

Стек технологий: три варианта

Вариант 1: Быстрый старт (2–3 недели)

Стоимость: $50–200/мес (API)

Вариант 2: Продакшен (4–6 недель)

Стоимость: $200–800/мес

Вариант 3: Enterprise / 152-ФЗ (6–10 недель)

Стоимость: $300–1500/мес (инфраструктура)

Типичные ошибки при внедрении RAG

1. Пропустить чанкинг. Загрузить PDF «как есть» и надеяться. 60% качества RAG — в правильной нарезке документов.

2. Не тестировать retrieval отдельно. Если поиск возвращает нерелевантные чанки — улучшение промпта или модели не поможет. Сначала fix retrieval.

3. Слишком много чанков в контекст. Top-20 чанков — это шум. Начинайте с Top-3–5, добавляйте только если не хватает контекста.

4. Забыть про метаданные. Без фильтрации по дате, отделу, типу документа поиск возвращает устаревшие и нерелевантные результаты.

5. Не обновлять базу знаний. RAG с документами годовой давности хуже, чем без RAG. Настройте автоматическую синхронизацию с источниками.

6. Игнорировать eval. Без метрик невозможно понять, стало лучше или хуже после изменений. Создайте eval-датасет до первого деплоя.

7. Сразу строить сложную систему. Multi-agent RAG с reranking, query decomposition и self-reflection — это этап 3. Начните с простого retrieval + LLM, измерьте, улучшайте итеративно.

Что дальше

RAG — не разовый проект, а продукт с жизненным циклом. После запуска MVP начинается работа над качеством: улучшение чанкинга, добавление reranking, расширение базы знаний, мониторинг и eval.

Хотите внедрить RAG в вашей компании? Мы в Новаком проектируем и разрабатываем RAG-системы от архитектуры до продакшена.

• Обсудить проект — бесплатная консультация 30 минут, разберём вашу задачу и предложим архитектуру
• Подробнее о RAG vs fine-tuning — если ещё выбираете подход
• Сравнение векторных БД — поможет выбрать хранилище