Несколько лет я занимаюсь разработкой корпоративных RAG-систем. В последнее время от коллег и заказчиков всё чаще слышу, что векторный поиск — это устаревшее решение, а будущее за графовыми системами. Решил проверить это на практике. В статье делюсь впечатлениями, результатами экспериментов и инструкцией по воспроизведению.

Почему Ollama?

Выделить отдельные вычислительные ресурсы под RAG в реальном проекте — непростая задача. Мне нужно было понять, насколько слабое «железо» может потянуть такие системы. В итоге выяснилось: даже 4-битные модели кое-как справляются.

Зачем тут киберпанк?

Я большой поклонник жанра и люблю тестировать RAG и LLM на знакомых текстах. Для экспериментов с Microsoft GraphRAG выбрал рассказ Уильяма Гибсона «Johnny Mnemonic» — сначала на английском. Проектная директория с результатами доступна на GitHub.

Граф знаний: первые впечатления

Граф построен с помощью Gephi и плагина Лейдена на основе сущностей и связей, извлечённых GraphRAG. Все данные — в файле graph.graphml в папке output. Подробная инструкция по визуализации прилагается. Результат впечатляет: такой граф вручную аналитик мог бы строить несколько дней.

Заметно, что сущности объединяются только при точном совпадении имён. Например, Molly Millions и Molly, Lo Tek и Lo Teks, Ralfi Face и Ralfi — не склеились. Однако алгоритм Лейдена в Gephi выделил сообщества, а GraphRAG — свои тематические кластеры, которые можно изучить в файле community_reports.parquet. Вот три примера высокоранговых сообществ (описания сокращены):

• Сообщество: Yakuza, Sons of the Neon Chrysanthemum, Ono-Sendai
  Описание: В центре — Якудза, влиятельная криминальная организация. Конфликт с Sons of the Neon Chrysanthemum, промышленный шпионаж против Ono-Sendai и другие связи.
• Сообщество: Johnny, Ralfi Face и связанные сущности
  Описание: Ядро — Джонни, центральный персонаж, втянутый в конфликты с Ральфи, Якудзой и Молли Миллионы.
• Сообщество: Molly Millions, Ralfi, Drome
  Описание: Молли Миллионы — ключевая фигура в Дроме, где пересекаются преступные и бизнес-операции. Связи с Ральфи, Льюисом, Magnetic Dog Sisters и другими.

На мой взгляд, результат выглядит содержательно и логично.

Поиск по графу: глобальный и локальный

Ответы можно получать на русском, если подредактировать промпты в файле local_search_system_prompt.txt и global_search_reduce_system_prompt.txt и использовать LLM с поддержкой русского. Однако формулировать запросы лучше на английском — граф и описания элементов всё ещё на английском, и это повышает точность.

Глобальный поиск работает по принципу MapReduce: анализирует описания сообществ. Хорошо подходит для вопросов, требующих понимания всей картины. Например, на запрос о киберпанковских элементах в рассказе система выдала структурированный ответ с 8 пунктами:

1. Интеграция технологий и биологии: кибернетические импланты, нейропертурбаторы — технологии проникают в тело. [Data: Reports (5, 7, 12, 2, +more)]
2. Дистопические городские ландшафты: Найттаун, Дром — символы социального распада. [Data: Reports (1, 8, 2, +more)]
3. Корпоративная конкуренция: шпионаж, нелегальные сделки — борьба за технологии и власть. [Data: Reports (0, 12, 2, +more)]
4. Технологическое неравенство: LO TEK используют устаревшие фильтры, в то время как элита — киберимпланты. [Data: Reports (9, 2, +more)]
5. Киберорганические существа: Джонс — кибердельфин, Молли — боевой киборг. [Data: Reports (11, 7, 2, +more)]
6. Идентичность и анонимность: Джонни использует алиби, что отражает размытие личности в цифровом мире. [Data: Reports (1, 12, 2, +more)]
7. Насилие и власть: жестокие столкновения, контроль через технологии. [Data: Reports (5, 7, 2, +more)]
8. Сюрреалистические пространства: FUNLAND и торговые центры — смесь разрухи и функциональности. [Data: Reports (8, 11, 2, +more)]

Цифры в квадратных скобках — это human_readable_id из parquet-файлов. Их можно открыть, например, с помощью pandas.

Локальный поиск комбинирует данные из графа с фрагментами исходного текста. Подходит для вопросов о конкретных связях. Например, на запрос о персонаже Jones система выдала детальный ответ:

Jones — кибернетический дельфин с сенсорами и доступом к пресному резервуару в Funland. Сотрудничает с Кальмой, читающей следы. Играет ключевую роль в извлечении данных с чипа Джонни. [Data: Entities (28, 33); Relationships (44, 51, +more)]

Его основные связи:

• С Molly Millions: совместная операция по извлечению данных. [Data: Entities (33); Relationships (44, 51, +more)]
• С Johnny: использование сенсоров для доступа к информации. [Data: Entities (33); Relationships (44, 51, +more)]
• С Squid: устройство на основе военных технологий НАВАЛЬНОЙ силы. [Data: Entities (19); Relationships (25, +more)]
• С Yakuza: косвенная связь — Якудза опасаются, что Squid извлечёт их данные из мозга Джонни. [Data: Relationships (25); Entities (19)]

В реальной системе потребуется агент, определяющий, какой тип поиска использовать — глобальный или локальный.

В GraphRAG есть ещё два режима: BASIC и DRIFT. Базовый — обычный векторный поиск по чанкам. Полезно иметь для сравнения. DRIFT Search напоминает Query expansion, но работает очень медленно — учтите при экспериментах.

Попробовал DRIFT на вопросе про Jones. За 40 минут получил результат, похожий на локальный поиск. Возможно, вопрос был слишком простым, или нужна модель побольше.

Возникает вопрос: что делать с такими ответами в продакшене? Варианты: передавать эксперту или пропускать через ещё один LLM-запрос с обработкой human_readable_id и учётом истории диалога.

Какие модели работают?

Тестируемые модели:

• Mistral 7B: не поддерживает глобальный поиск из-за проблем с JSON-выводом. Map-запросы падают.
• Gemma3 4B и 12B: результаты похожи, но формулировки корявые. Граф проще, а Jones — человек, а не дельфин.
• Qwen3 14B: результат устроил полностью. Все примеры в статье — на этой модели.

В качестве эмбеддинг-модели использовал user-bge-m3 от deepvk. Модель отлично работает на русском и справляется с английским.

Как воспроизвести эксперимент?

1. Склонируйте репозиторий с проектной папкой. Переименуйте env.example в .env.
2. Создайте и активируйте Python-окружение (например, через conda).
3. Установите GraphRAG.
4. Проверьте версию LiteLLM: должна быть не выше 1.82.6. Версии 1.82.7 и 1.82.8 — скомпрометированы.
5. Установите пакеты для embedding_proxy (об этом ниже). Установите torch с CUDA или без — на CPU тоже будет работать.
6. В отдельной консоли запустите прокси для эмбеддингов.
7. В settings.yaml проверьте пути к LLM и эмбеддингу в секциях completion_models и embedding_models. Укажите api_base.
8. В отдельной консоли загрузите LLM в Ollama.
9. Остановите Ollama, установите переменные окружения:
   OLLAMA_HOST=0.0.0.0:11434 (если на другой машине)
   OLLAMA_CONTEXT_LENGTH=13000 (по умолчанию — 4K, маловато для промптов)
10. Запустите Ollama: ollama serve.

Чтобы использовать свои тексты или перестроить индексы:

• Удалите мой текст и поместите свои файлы в папку input.
• Удалите папки cache, logs, output.
• Запустите Ollama и embedding_proxy.
• Выполните: graphrag index.

На машине с 16 ГБ GPU (не самой новой) обработка 38k слов («Johnny Mnemonic») занимает чуть больше часа.

Проблемы и костыли

GraphRAG использует LiteLLM как прокси. Ollama поддерживается, но иногда приходит запрос с некорректной ссылкой api/generation/api/show — возникает ошибка 404. К счастью, это не ломает пайплайн.

Запросы к LLM обрабатываются через очередь. Если ожидание превысит 10 минут — клиент отвалится. Параметр request_timeout в новых версиях GraphRAG не работает. Проблема в LiteLLM: у него таймаут 600 секунд по умолчанию для OpenAI-совместимых вызовов.

Самая серьёзная проблема — с эмбеддингами. Модели вроде bge-m3 в Ollama иногда выдают ошибку сериализации из-за Inf и NaN в JSON. Проблема известна с января 2026 года, но в версии Ollama 0.18.2 всё ещё актуальна. Поэтому я использую отдельный эмбеддинг-прокси: взял код из стороннего проекта, заменил вызов Ollama на langchain HF embedding. Криво, но зато можно использовать любые эмбеддинги с HuggingFace. По умолчанию — user-bge-m3. Чтобы сменить модель, используйте ключ model в CLI.

Если настраиваете эмбеддинг через Ollama — запускайте его отдельно, лучше на другой машине. Эмбеддинг используется в конце пайплайна, и если он упадёт — обидно после часа ожидания.

Важные настройки

Файл settings.yaml создаётся командой graphrag init. Его нужно отредактировать:

• В секциях моделей укажите провайдера, модель и api_base с URL.
• В vector_store задайте размер вектора. По умолчанию — 3072. Для bge-m3 нужно 1024, иначе пайплайн упадёт.
• В snapshots установите graphml: true, если хотите визуализировать граф.

Плюсы и минусы GraphRAG

Если не считать, что под капотом всё равно есть векторный поиск, графовая система субъективно даёт более релевантные ответы, чем QA-система на чистом векторе. Но это не замена векторному поиску — скорее специализированное решение для сложных семантических текстов, где не нужна мгновенная реакция.

Плюсы:

• Фреймворк сам выделяет сущности, связи, сообщества и генерирует описания.
• Есть API и тестовое приложение на Streamlit — можно быстро собрать MVP.
• Генератор потенциальных вопросов позволяет создавать бенчмарки и кешировать ответы (хотя я не рекомендую кешировать в RAG).

Минусы:

• Очень высокая ресурсоёмкость. На обработку одного небольшого документа уходит столько времени, сколько хватило бы на векторную базу из тысяч текстов.
• Примитивный чанкинг — по токенам или предложениям. Замена на семантический сплиттер или markdown-анализатор улучшила бы качество.
• Хочется заменить векторное хранилище.

Генерацию ответов не тестировал — ноутбук с примерами опубликован с ошибками (например, «файл не найден»). Возможно, попробую позже. Также планирую переделать промпты и построить граф на русском. Если получится — выйдет апдейт.

Злоупотребление GraphRAG может вызвать графовую зависимость. Шутка. Берегите себя!

Здравствуйте. Несколько лет глубоко погружён в тему корпоративных RAG-систем. В последнее время, как от коллег, так и от заказчика часто слышу, что векторный поиск это слабое место и вчерашний день, и что нас спасут только графовые системы. Нашел несколько постов и видео на эту тему. Захотелось попробовать. В статье делюсь своими впечатлениями, рефлексирую и рассказываю как воспроизвести эксперименты.

Почему Ollama? Выделение вычислительных ресурсов на RAG в проекте - отдельная больная тема. Мне нужно было понять нижнюю планку. Если коротко, кое-как работает даже на 4b моделях.

Причём здесь киберпанк? Очень нравится этот жанр, а ещё я люблю использовать для проверки RAG/LLM штук знакомые тексты. Для экспериментов сMicrosoft GraphRAGя выбрал рассказ"Johnny Mnemonic"Уильяма Гибсона, для начала на английском.

Проектная директория с результатами наGitHub.

Граф знаний для начала

Этот граф построен при помощиGephiи Лейден-плагина по сущностям и связям, которые извлёк из текста GraphRAG. Вся необходимая информация находится в файле graph.graphml в папке output. А подробная инструкция по визуализацииздесь. Впечатляет. Думаю, чтобы построить такой граф нужно несколько дней плотной работы аналитика.

Нетрудно заметить, что сущности объединяются только при буквальном совпадении. Не склеились в кластер Molly Millions и Molly, Lo Tek и Lo Teks, Ralfi Face и Ralfi. Но это сообщества, построенные в Gephi алгоритмом Лейдена. GraphRAG определил совсем другие, тематические кластеры, и на них можно посмотреть в файле community_reports.parquet, он тоже в папке output. Вот три высокоранговых сообщества из пятнадцати для примера (описание подрезал):

Community: Yakuza, Sons of the Neon Chrysanthemum, and Ono-SendaiDescription: The community centers around the Yakuza, a powerful multinational criminal organization with extensive operations and conflicts. Key relationships include its conflict with the Sons of the Neon Chrysanthemum, its industrial espionage against Ono-Sendai...

Community: Johnny, Ralfi Face, and Related EntitiesDescription: The community centers around Johnny, a central figure entangled in conflicts with Ralfi Face, the Yakuza, and Molly Millions…

Community: Molly Millions, Ralfi, and the DromeDescription: The community is centered around Molly Millions, a key figure in the Drome, and Ralfi, an individual involved in illicit activities. Molly Millions is connected to various entities, including Ralfi, Lewis, the Magnetic Dog Sisters, and the Drome itself…

На мой взгляд выглядит интересно.

Задаём вопросы

Если немного подправить промпты local_search_system_prompt.txt и global_search_reduce_system_prompt.txt в папке prompts, что я и сделал, получать ответы можно будет на русском языке, главное, чтобы LLM и эмбеддинг это поддерживали. Формулировать вопросы лучше на английском, иначе ответ будет менее точным, всё-таки граф и описание его элементов по прежнему на английском.

Глобальный поискгенерирует ответы, просматривая описания сообществ в режиме MapReduce. Этот метод часто дает хорошие ответы на вопросы, требующие понимания всего набора данных.

Обратите внимание на цифры в тексте ответа. Это ссылки на элементы графа, точнее этоhuman_readable_id, он есть во всех parquet-файлах в папке output. Открыть можно при помощи pandas например.

Начало ответа: Основные элементы киберпанка в повествовании

1. Интеграция технологий и биологии

В повествовании доминируют элементы продвинутых кибернетических улучшений и нейротехнологий, которые подчеркивают синтез технологий с человеческим телом. Например, использование нейропертурбатора Льюисом и протезированного большого пальца Якудзы демонстрируют, как технологии проникают в тело и влияют на контроль и взаимодействие с окружающей средой. Такие элементы являются ярким проявлением киберпанковской темы, где границы между органическим и синтетическим размываются [Data: Reports (5, 7, 12, 2, +more)].

2. Дистопические городские ландшафты

Повествование описывает дистопические городские пространства, такие как Найттаун и Дром, которые символизируют разруху, беззаконие и подпольные сети преступности. Эти локации отражают киберпанковскую концепцию социального распада и маргинализации, где технологии и корпоративная власть доминируют, но общественные структуры разрушаются. Дром, в частности, изображён как центр, где пересекаются бизнес-операции, незаконные действия и расследования полиции, что подчёркивает сочетание высоких технологий с преступными подтекстами [Data: Reports (1, 8, 2, +more)].

3. Корпоративная конкуренция и нелегальные сделки

Элементы корпоративной разведки и нелегальных технологических сделок, таких как транзакция с микроволновым оборудованием между Арийской регги-группой и программой Якудзы, подчёркивают тему корпоративного контроля и высокоставок конфликтов. Эти действия показывают, как технологии становятся инструментом власти и борьбы за ресурсы, что является ключевым аспектом киберпанка, где корпорации и преступные группировки конкурируют за влияние [Data: Reports (0, 12, 2, +more)].

4. Противопоставление низкой и высокой технологиям

Символика низкой технологии, связанная с LO TEK и их использованием продуктов, таких как фильтры Yiheyuan, контрастирует с продвинутыми кибернетическими улучшениями. Это подчёркивает киберпанковскую тему технологического неравенства, где доступ к продвинутым технологиям ограничен, а маргинализированные группы вынуждены использовать устаревшие средства. Такое противопоставление подчёркивает социальные и экономические разрывы, характерные для киберпанка [Data: Reports (9, 2, +more)].

5. Киберорганические существа и технические навыки

Персонажи, такие как Джонс — кибердельфин с военным прошлым, и Молли Миллионы с её боевыми навыками в использовании контрольных модулей, демонстрируют синтез органического и синтетического. Эти элементы отражают киберпанковскую идею, где технологии не только заменяют, но и трансформируют человеческие способности, создавая новые формы существования. Такие персонажи становятся метафорами борьбы за контроль над технологиями в условиях морального упадка [Data: Reports (11, 7, 2, +more)].

6. Темы идентичности и анонимности

Использование алиби, таких как "Эдвард Бакс" и "Быстрый Эдвард Бакс" Джонни, и программы Якудзы, подчёркивают киберпанковскую тему раздробленной идентичности и цифровых персонажей. Эти элементы показывают, как технологии позволяют скрывать истинное "я", создавая мультифакетные личности, что является ключевым аспектом киберпанка, где личность и цифровые тени сталкиваются [Data: Reports (1, 12, 2, +more)].

7. Насилие и конфликты власти

Жестокие столкновения, такие как повреждение Льюиса Молли Миллионс с помощью контрольного модуля и смерть Ральфи, связанные с Якудзой, подчёркивают киберпанковскую атмосферу высокого риска и борьбы за власть. Эти действия отражают реалии, где технологии и преступные сети создают среду, где насилие и угрозы — неотъемлемая часть повседневной жизни [Data: Reports (5, 7, 2, +more)].

8. Пустынные и сюрреалистические пространства

Пространства, такие как FUNLAND и Торговый центр, описанные как сочетание разрухи и функциональных операций, подчёркивают киберпанковскую идею противопоставления технологического прогресса социальному коллапсу. Эти локации символизируют упадок, но при этом сохраняют элементы функциональности, что создает атмосферу, где технологии и мораль несовместимы [Data: Reports (8, 11, 2, +more)].

Эти элементы вместе формируют киберпанковскую вселенную, где технологии и преступность, дистопия и инновации, анонимность и идентичность, а также высокий уровень насилия и конфликтов создают уникальную атмосферу. Все ключевые темы подкреплены данными из аналитических отчётов, что подтверждает их значимость в контексте повествования.

Локальный поискгенерирует ответы, комбинируя релевантные данные из графа знаний с фрагментами текста исходных документов. Этот метод подходит для вопросов, требующих понимания конкретных взаимосвязей. Пример:

Начало ответа: Jones — персонаж, описанный как кибернетический дельфин с продвинутыми сенсорными способностями, связанный с объектом "Funland", который представляет собой заброшенную зоопарк и цирковые аттракционы. Его основные функции включают управление резервуаром с пресной водой и сотрудничество с "Кальмой", которая читает следы. Jones играет ключевую роль в операциях по извлечению данных, особенно в сотрудничестве с Molly и Johnny, где его уникальная физиология позволяет получить доступ к данным с чипа Johnny [Data: Entities (28, 33); Relationships (44, 51, +more)].

Основные связи Jones включают:

1.С Molly Millions: Участие в операции по извлечению данных из чипа Johnny, демонстрируя его технические способности [Data: Entities (33); Relationships (44, 51, +more)].

2.С Johnny: Взаимодействие в рамках операции по извлечению данных, где Jones использует свои сенсоры для доступа к информации [Data: Entities (33); Relationships (44, 51, +more)].

3.С "Squid" (Суперпроводящие квантовые интерферометры): Использование устройства "Squid" для чтения следов, что связано с военными технологиями, применяемыми НАВАЛЬНОЙ силой в прошлом [Data: Entities (19); Relationships (25, +more)].

4.С Yakuza: Косвенная связь через обеспокоенность Якудзы тем, что "Squid" могут извлечь следы их программы из ума Johnny [Data: Relationships (25); Entities (19)].

Jones также ассоциируется с "Funland", где он функционирует как оператор, управляя оборудованием и взаимодействуя с другими персонажами. Однако описание его роли в "Funland" содержит противоречия: он описывается как оператор, так и как заключённый, что указывает на неопределённость его статуса [Data: Entities (28)].

Его присутствие в "Funland" и связь с "Squid" подчёркивают его значение как персонажа, находящегося на грани между технологией, искусством и опасностью, что делает его важной фигурой в сетях, связанных с конфликтами между Якудзой, Molly и другими участниками [Data: Entities (28, 33); Relationships (25, 44, +more)].

Заметим, что в реальной системе потребуется агент, который должен будет определять по тексту и, возможно, истории запросов, какой тип поиска использовать.

В GraphRAG есть ещё два варианта поиска — BASIC и DRIFT. Базовый вариант это обычный векторный поиск по чанкам документов, такую штуку иметь полезно как минимум для сравнения. А вотDRIFTSearch выглядит как киллер-фича, отдаленно напоминающая Query expansion в RAG-системах. Будете экспериментировать, примите во внимание что этоочень долго.

Jones is a cyborg dolphin with advanced neural interfaces, specifically aSquid(a superconducting quantum interference detector), which allows him to extract and interpret data stored in neural implants. He plays a pivotal role in retrieving sensitive information, such as the Yakuza’s stolen program embedded in Johnny’s brain, and is a key collaborator in the protagonist’s underground operations [Data: Sources (3, 4, 6, 7, 8)].

Hismain relationshipsinclude:

1.Molly Millions: A symbiotic partnership where Molly leverages Jones’s technical expertise for their business ventures in the Drome, while Jones relies on Molly’s street-smart navigation of Nighttown’s underworld. Their dynamic evolves from transactional cooperation to mutual trust, with Jones’s data retrieval capabilities becoming essential to their survival [Data: Sources (3, 6, 7, 8)].

2.The Protagonist (Johnny): Jones retrieves critical data from Johnny’s neural implants, enabling Johnny to access insights about clients and navigate threats from the Yakuza. This relationship is framed as mutually beneficial, with Johnny relying on Jones’s skills to operate effectively in their criminal ecosystem [Data: Sources (3, 4, 6, 8)].

3.The Yakuza: While not directly allied, Jones’s data extraction work indirectly targets the Yakuza’s interests, as they seek to control or exploit the same information. This creates a tension where Jones’s actions challenge the Yakuza’s dominance in the information economy [Data: Sources (1, 6)].

4.The Lo Teks: Jones is part of this marginalized subculture in Nighttown, which thrives in the lawless, technologically chaotic environment. His presence in Funland, a decaying space housing both carnival attractions and illicit activities, underscores his role as a liminal figure between human and machine, and between marginalization and technological power [Data: Sources (3, 5, 7)].

Jones’s military past as a Navy asset, detailed in multiple sources, further shapes his interactions, as his conditioning and reliance on drugs to manage cybernetic impulses complicate his relationships [Data: Sources (3, 6, 7, 8)]. His existence critiques themes of surveillance, data exploitation, and societal exclusion in a dystopian, information-driven world.

Результат не слишком впечатлил. За сорок минут «размышлений» получилось похоже на локальный поиск. Или я задал слишком простой вопрос, или нужна модель размером побольше.

И ещё вопрос, а что делать с этими результатами в реальном проекте? Либо ориентация на работу эксперта, либо нужно пропустить через ещё один запрос к LLM с учетом истории, а заодно раскрыть и обработать human_readable_id.

Про модели

Я поэкспериментировал с несколькими локальными LLM. Mistarl:7b, который был в найденных мной примерах, не умеет в глобальный поиск. Это из-за проблем со структурированным выводом. Map-запрос предполагает json output и падает примерно всегда.

Gemma3:4b и Gemma3:12b дают похожий результат с немного корявыми формулировками и граф получается значительно проще, хотя основные сущности не теряются. Но Джонс там человек, а не дельфин.

Qwen3:14b меня вполне устроил. Все примеры в этой статье сделаны на нём. А в качестве эмбеддинга я использовалuser-bge-m3от deepvk. Модель, прямо скажем, хороша для русского языка, и на английском умеет.

Как попробовать?

A. Клонируйте мойрепозитарийс проектной папкой. Переименуйте env.example в .envB. Создайте и активируйте python-окружение, у меня - conda

C. Установите GraphRAG

Обязательно проверьте версию LiteLLM, которая ставится вместе с graphrag. Должна быть не выше 1.82.6. Старшие версии скомпрометированы!

D. Установите необходимые пакеты для embedding_proxy. Зачем это нужно расскажу в разделе «Проблемы». Установите torch с cuda или без, на cpu работать будет.Здесьварианты установки для конкретной платформы. Далее установите оставшиеся пакеты.

E. В отдельной консоли активируйте окружение и запустите прокси

F. В settings.yaml проверьте корректность путей к LLM и embedding. Они в секциях completion_models и embedding_models соответственно. Параметр - api_base.G. В отдельной консоли загрузите LLM в Ollama

H. Остановите Ollama, и установите для неё переменные окруженияOLLAMA_HOST=0.0.0.0:11434 (если она на другой машине)OLLAMA_CONTEXT_LENGTH=13000 (по умолчанию - 4k, это мало, будут обрезаться промпты)

I. Запустите Ollama командой ollama serve

Если хотите попробовать свои тексты или перестроить индексы:

• удалите мой текст и поместите свои в папку input
• удалите папки cache, logs и output
• запустите ollama и embedding_proxy
• запустите пайплайн командой graphrag index

Для ориентира по времени: пайплайн на 38k текста (Johnny Mnemonic) на машине с 16GB GPU, не самой новой, выполняется чутьболее часа.

GraphRAG используетLiteLLMв качестве прокси для LLM-провайдеров. Ollama поддерживается, но периодически в неё отправляется запрос на параметры модели с некорректной ссылкой вида api/generation/api/show. Это вызывает ошибку 404, к счастью, она не влияет на пайплайн, поэтому можно не обращать внимания.

Внимание! Версии LiteLLM 1.82.7 и 1.82.8 скомпрометированы,вотиздесь.

Запросы к LLM в GraphRAG поступают из очереди, если время ожидания запроса будет около 10 минут, клиент отваливается. Параметр request_timeout был в старых версиях GraphRAG, сейчас не срабатывает. Видимо нужно углубиться в код где-то вокруг вызовов LiteLLM, именно у неё таймаут в 600 секунд установлен для openai по умолчанию.

Хуже дело обстоит с эмбеддингом. Модели типа bge-m3 в Ollama иногда выдают ошибку сериализации. Это связано с некорректной обработкой Inf и NaN в json. Я видел ишью в GitHub на эту тему и вроде даже поправили ещё в январе 2026, но в версии 0.18.2, которой я пользуюсь, проблема сохраняется. Из-за этого я решил использовать эмбеддинг прокси. Взял код из этогопроекта, убрал вызов Ollama и вместо него добавил langchain HF embedding. Согласен, что криво, зато можно использовать любые эмбеддинги из HuggingFace. Если нужна другая модель - в CLI добавьте ключ model, user-bge-m3 там по умолчанию. Например:

Если захотите всё-таки настроить эмбеддинг через Ollama, запускайте как отдельный процесс или даже на другой машине. Эмбеддинг используется в самом конце пайплайна, иногда падает, если работает вместе с LLM, и это очень обидно.

Важное про настройки

settings.yaml создаётся среди прочих файлов командой graphrag init и его нужно отредактировать:1. в секциях модели и эмбеддинга указать провайдера, модель и добавить ключapi_baseс соответствующим URL.2. в секции vector_store указать размер вектора для всех операций пайплайна. Там по умолчанию 3072, если у вас эмбеддинг с другим размером, пайплайн упадёт с ошибкой. Для bge-m3 -1024.3. в секции snapshots нужно указатьgraphml: trueесли хотите потом сделать визуализацию.

Плюсы-минусы

Если забыть, что внутри тоже есть векторный поиск, и сравнить с QA-системой на чистом векторе, субъективно графовая система выигрывает по релевантности. Но она не выглядит как замена вектору в RAG, скорее как специальное решение для специальных задач, где есть семантически сложные тексты и где не нужен мгновенный ответ.

Тем не менее вещь безусловно заманчивая. У вас есть фреймворк, который не только выделит сущности и связи, но также определит сообщества и сгенерирует описание для всех элементов. Главный минус - ресурсоёмкость. За время, которое уходит на обработку небольшого документа можно построить векторную базу на несколько тысяч таких текстов.

Ещё один минус - примитивный чанкинг, он по длине в токенах или предложениях с перекрытием. Если переделать на семантический или маркдаун-сплиттер, качество ответов должно вырасти. Да и векторное хранилище я бы поменял.

Плюсы: есть api, в официальномрепозитарииесть даже тестовое приложение наstreamlit, можно поиграться и сделатьMVP. А ещё есть генератор потенциально возможных вопросов, это значит, что можно собрать свой бенчмарк и даже закешировать ответы для быстрого поиска, хотя я не приветствую кеширование в RAG.Генерацию ответов честно не попробовал. Смущает, что ноутбук опубликован с большим количеством ошибок, где что-то не найдено. Возможно попробую. И ещё хочется переделать промпты и сделать граф на русском языке. Если получится, напишу апдейт.

Злоупотребление GraphRAG может вызвать графовую зависимость. Шутка. Берегите себя!