Технология сравнительного анализа производительности RAG и RLM MCP-серверов для кодовых баз 1С

Технология и инструментарий для сравнительного E2E-тестирования MCP-серверов (Model Context Protocol), предназначенных для анализа кодовых баз платформы 1С:Предприятие.

Для кого этот проект

1С-разработчики, которые хотят выбрать оптимальный MCP-сервер для работы с AI-ассистентами (Claude Code, Cursor, Windsurf и др.)
Авторы MCP-серверов, которым нужна методология объективного тестирования
Команды, внедряющие AI-инструменты для анализа конфигураций 1С

Как это работает

Двухролевая модель оркестрации:

Оркестратор (Claude Opus) запускает параллельных агентов, по одному на каждый MCP-сервер
Агенты-анализаторы (Claude Sonnet) выполняют одинаковые бизнес-вопросы, используя ТОЛЬКО свой MCP-сервер
Оркестратор собирает результаты и пишет оценки качества по единой методологии

Итого: 10 тестов × N серверов = полная карта сравнения с метриками качества, расхода токенов и полноты ответов.

Подготовка рабочего стенда

Docker

Docker используется для запуска контейнеров MCP-серверов и Neo4j.

# Установка Docker Desktop
# https://www.docker.com/products/docker-desktop/

# Проверка
docker --version
docker compose version

LM Studio + bge-m3

Локальный сервер эмбеддингов нужен RAG-серверам для семантического поиска.

Почему bge-m3:

Лёгкая — работает на GPU с 4 GB VRAM и даже на CPU
Мощная — отличное качество эмбеддингов для кириллического текста (русский, BSL-код)
Бесплатная — MIT-лицензия, без ограничений

# 1. Скачайте LM Studio: https://lmstudio.ai/
# 2. Загрузите модель: bge-m3 (BAAI/bge-m3)
# 3. Запустите сервер эмбеддингов на порту 1234

# Проверка
curl -s http://localhost:1234/v1/models | head -20

Neo4j (для graph-серверов)

# Запуск через Docker
docker run -d \
  --name neo4j \
  -p 7474:7474 -p 7687:7687 \
  -e NEO4J_AUTH=neo4j/password \
  neo4j:latest

# Проверка
curl -s http://localhost:7474

Подготовка исходников конфигурации

В нашем примере используется 1С:Документооборот КОРП 3.0 (ДО3) — конфигурация среднего размера для делопроизводства.

Экспорт конфигурации в XML

Откройте конфигурацию в Конфигураторе 1С
Меню: Конфигурация → Выгрузить конфигурацию в файлы...
Формат: Иерархический (XML)
Укажите каталог выгрузки

Полученные XML-файлы — это исходники, которые будут анализировать MCP-серверы.

Также поддерживаются форматы EDT и CF — зависит от конкретного MCP-сервера.

Скачивание и установка MCP-серверов

Платные серверы — Comol (Олег Филиппов)

Серверы доступны в виде Docker-образов: vibecoding1c.ru/mcp_server

| Сервер | Порт | Документация | | ----------------------- | :---: | ----------------------------------------------------------------------------- | | cloud-embeddings-server | 8000 | docs | | code-metadata-search | 8001 | docs | | graph-metadata-search | 8006 | docs |

Бесплатные серверы (open-source)

| Сервер | Установка | Репозиторий | | --------------- | --------------------------- | ---------------------------------------------------- | | 1c-mcp-metacode | Docker + Neo4j | GitHub | | rlm-tools-bsl | pip install rlm-tools-bsl | GitHub |

Конфигурация серверов

Все серверы описываются в файле e2e_tests/servers.yaml (создаётся из примера). Образец конфигурации: e2e_tests/servers_example.yaml.

Быстрый старт

Склонируйте репозиторий

git clone https://github.com/Dach-Coin/perform_comparison_1c_rag_mcp.git
cd perform_comparison_1c_rag_mcp

Очистите каталоги с примерами — в них лежат файлы с реальными примерами работы агентов и их отчётами, для ваших тестов они не нужны:
```
rm -rf e2e_tests/agent_logs/*
rm -rf e2e_tests/business_reports/*/
```
Настройте конфигурацию серверов — скопируйте пример и отредактируйте под свои серверы (или попросите AI-ассистента помочь настроить):
```
cp e2e_tests/servers_example.yaml e2e_tests/servers.yaml
```

Запустите анализ по воркфлоу (промпт оркестратору):

Запускаем анализ по воркфлоу e2e_tests/WORKFLOW.md,
тесты №№ 1-3,
MCP-серверы: cloud-embeddings, rlm-tools-bsl, 1c-metacode

Как работает процесс

Оркестратор загружает servers.yaml и фильтрует серверы по указанным именам
Проверяет доступность инфраструктуры (Docker, LM Studio, Neo4j) и health-check каждого сервера
Запускает параллельных агентов (Sonnet) — по одному на каждый сервер × каждый тест
Каждый агент пишет лог вызовов и бизнес-отчёт
Оркестратор читает результаты и пишет оценки качества
После всех тестов — сравнительная сводка

Подробный протокол: e2e_tests/WORKFLOW.md Тестовые промпты: e2e_tests/E2E_TEST_PROMPTS.md

Сравнение производительности RAG и RLM MCP-серверов

В апреле 2026 проведено тестирование 6 MCP-серверов на конфигурации 1С:ДО3: 10 бизнес-вопросов × 6 серверов = 60 прогонов.

Ключевые результаты

| Сервер | Качество (из 10) | Avg токенов | Тип | Лицензия | | ------------------------- | :--------------: | :---------: | :---: | :------: | | rlm-tools-bsl | 10/10 | 117K | RLM | free | | code-metadata (08.04) | 10/10 | 179K | RAG | paid | | 1c-mcp-metacode | 10/10 | 264K | graph | free | | code-metadata (07.04) | 7/10 | 206K | RAG | paid | | graph-metadata | 5/10 | 538K | graph | paid | | cloud-embeddings | 4/10 | 265K | RAG | paid |

Лидер по качеству отчётов: rlm-tools-bsl, code-metadata (08.04), 1c-mcp-metacode — все три достигли 10/10. При этом скачок code-metadata с 7/10 до 10/10 объясняется заимствованием кода из rlm-tools-bsl.

Лучшее соотношение затраты/качество: rlm-tools-bsl — опциональное индексирование (~4 мин на ДО3), минимальный расход токенов (117K), 100% качество, бесплатный.

Полный отчёт с детальными таблицами: e2e_tests/COMPARISON_REPORT.md

Структура репозитория

├── README.md                              ← этот файл
├── LICENSE                                ← MIT License
├── .gitignore
├── e2e_tests/
│   ├── WORKFLOW.md                        ← протокол оркестрации (параметризованный)
│   ├── E2E_TEST_PROMPTS.md                ← 10 тестовых промптов
│   ├── COMPARISON_REPORT.md               ← детальное сравнение серверов
│   ├── servers_example.yaml               ← пример конфигурации серверов
│   ├── servers.yaml                       ← ваша конфигурация (создаётся из примера, в .gitignore)
│   ├── agent_logs/                        ← логи агентов (примеры)
│   ├── business_reports/                  ← бизнес-отчёты + оценки качества (примеры)
│   │   ├── 1c-metacode/
│   │   ├── cloud-embeddings/
│   │   ├── code-metadata/
│   │   ├── code-metadata_08.04.26/
│   │   ├── graph-metadata/
│   │   └── rlm-tools-bsl/
│   └── tmp/                               ← временные файлы (.gitignore)
├── reverse_analysis_rag_from_comol/
│   ├── SUMMARY.md                         ← краткий итог реверс-анализа
│   ├── LEGAL_NOTICE.md                    ← правовое обоснование
│   ├── MCP_SERVERS_REPORT.md              ← сводный отчёт
│   ├── VERIFICATION_REPORT.md             ← верификация заимствований
│   ├── RAG_ANALYSIS_*.md                  ← детальный анализ каждого сервера
│   └── INDEXING_BENCHMARK_*.md            ← бенчмарки индексации

Лицензия

Методология тестирования и документация распространяются свободно. Используйте этот фреймворк для сравнения MCP-серверов на ваших конфигурациях.

MCP Servers