Сводки встреч на локальной LLM: Ollama и LM Studio

Autorec и так записывает и расшифровывает встречи на вашем компьютере. Единственный шаг, на котором данные могут его покинуть, — сводка: для неё нужна языковая модель, а большинство пользуется облачной.

Но это не обязательно. Autorec работает с любым OpenAI-совместимым эндпоинтом, а Ollama и LM Studio поднимают такой эндпоинт на localhost. Укажите его в Autorec — и ничего не покинет компьютер ни на одном этапе. Ниже — настройка обоих вариантов, выбор модели под 8, 16 или 32 ГБ памяти и объяснение, почему длинным встречам нужно контекстное окно больше стандартного.

Что именно отправляется

Autorec передаёт эндпоинту две вещи: ваш промпт для сводки в виде системного сообщения и всю расшифровку в виде сообщения пользователя. Ни аудио, ни видео не отправляются. (Расшифровки длиннее примерно 400 000 символов — это около восьми часов речи — Autorec обрезает и ставит пометку «[Transcript truncated]».) С локальным сервером запрос идёт на http://localhost:11434/v1 (Ollama) или http://localhost:1234/v1 (LM Studio) и дальше не уходит.

Вариант 1: Ollama

1. Установите Ollama со страницы ollama.com/download. В Linux это скрипт curl -fsSL https://ollama.com/install.sh | sh, в macOS и Windows — обычный установщик.
2. Скачайте модель в терминале, например ollama pull qwen3.5:9b. Какую выбрать — ниже.
3. Проверьте, что сервер работает: по умолчанию Ollama слушает 127.0.0.1:11434, а ollama ps показывает загруженные модели.
4. В Autorec откройте Настройки и прокрутите до раздела AI-сводка. В поле Провайдер выберите Ollama (local) из группы Local servers. Базовый URL API заполнится сам: http://localhost:11434/v1.
5. Ключ API оставьте пустым. В поле написано «Not needed for local servers».
6. В поле Модель впишите ровно тот тег, который скачали, например qwen3.5:9b. Пресет предлагает llama3.1, но это сработает, только если вы скачали именно её.
7. Нажмите Сохранить настройки.

Вариант 2: LM Studio

1. Установите LM Studio с lmstudio.ai и скачайте модель через встроенный поиск.
2. Запустите сервер. На вкладке Developer в LM Studio включите Start server или выполните в терминале lms server start. Сервер работает на порту 1234.
3. В Autorec: Настройки, AI-сводка, в поле Провайдер выберите LM Studio (local). Базовый URL станет http://localhost:1234/v1.
4. Ключ API оставьте пустым.
5. У пресета LM Studio нет модели по умолчанию, поэтому впишите идентификатор модели точно так, как его показывает LM Studio.
6. Нажмите Сохранить настройки.

LM Studio удобнее, если вы предпочитаете кликать, а не набирать команды. Ollama легче и тихо работает в фоне без окна.

Проверьте на одной записи

Откройте в библиотеке запись с расшифровкой и нажмите Создать резюме. Если всё настроено, заголовок и сводка появятся, когда модель закончит, — сколько это займёт, зависит от железа. Когда результат вас устроит, включите Автоматически создавать сводку после расшифровки, и каждая новая запись будет получать сводку сразу после расшифровки.

Whisper распознаёт русскую речь, а если интерфейс Autorec на русском, стандартный промпт сам попросит модель написать сводку по-русски, так что вся цепочка работает на вашем языке.

Выбор модели

Важны два числа. Размер файла модели: она должна поместиться в оперативную память (или видеопамять) так, чтобы осталось место для приложения встреч и самого Autorec. И контекстное окно: от него зависит, сколько расшифровки модель прочитает за раз.

Ниже — теги с ollama.com/library по состоянию на октябрь 2026 года. Размеры — это указанный там объём загрузки для квантизации по умолчанию.

Ваша RAM	Модель	Объём загрузки
8 ГБ	qwen3.5:4b	около 3,3–4 ГБ
16 ГБ	qwen3.5:9b или gemma4:e4b	около 6,6–7,6 ГБ
32 ГБ	gemma4:26b или qwen3.5:27b	около 16–20 ГБ

Это отправные точки из каталога моделей, а не результаты бенчмарков. Чтобы понять, какая модель пишет лучшие сводки именно для вас, прогоните свои расшифровки через две из них. Каталоги обновляются быстро, и названия выше устареют. Перед загрузкой загляните на страницу каталога.

• 8 ГБ — впритык. На одной машине может одновременно идти звонок, захват экрана, расшифровка Whisper и модель. Модель на 4B справится, но сводки будут грубее, а другие приложения на время работы лучше закрыть.
• Расшифровка и сводка не обязаны пересекаться. Autorec сначала расшифровывает, потом делает сводку, так что память модели нужна только после окончания записи.
• Видеокарта очень помогает. На одном процессоре модель на 9B работает, но медленно: часовая расшифровка может обрабатываться несколько минут.
• Маленькие модели теряют нить на длинном тексте. Если сводка пропускает вторую половину встречи, сначала попробуйте модель побольше, а потом уже правьте промпт.

Длинные встречи: увеличьте контекст

Вот настройка, на которой спотыкаются чаще всего. Часовая встреча — это примерно 9 000 слов расшифровки, то есть около 12 000 токенов, а то и больше. Модель прочитает ровно столько, сколько вмещает её контекстное окно.

В документации Ollama сказано, что длина контекста по умолчанию зависит от объёма видеопамяти: 4k токенов при VRAM меньше 24 ГиБ, 32k при 24–48 ГиБ, 256k при 48 ГиБ и больше. Значит, на обычном ноутбуке или видеокарте среднего уровня по умолчанию будет 4 096 токенов, и длинная расшифровка не поместится: в это окно должны влезть и расшифровка, и промпт, и ответ. Понятной ошибки может и не быть — просто сводка охватит только часть встречи.

Чтобы увеличить контекст, задайте OLLAMA_CONTEXT_LENGTH до запуска сервера:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Если Ollama работает как служба, переменную нужно прописать в окружении службы. В Linux это systemctl edit ollama.service и строка Environment="OLLAMA_CONTEXT_LENGTH=32768" в секции [Service], затем перезапуск. В настольном приложении Ollama для этого есть ползунок длины контекста в настройках. После этого запустите ollama ps, пока генерируется сводка, и посмотрите в столбец CONTEXT: там должно быть новое значение.

Поле Extra request fields (JSON) в разделе «AI-сводка» тут не поможет. У OpenAI-совместимого эндпоинта Ollama нет поля для размера контекста, и в документации это прямо сказано. Альтернатива переменной окружения — Modelfile со строкой PARAMETER num_ctx 32768, из которого командой ollama create собирается модель под новым именем; его и нужно указать в поле Модель.

Больший контекст съедает больше памяти. 32k токенов хватает на большинство часовых встреч, с этого разумно начать. Если ollama ps показывает, что модель разделена между GPU и CPU, вы запросили больше, чем вмещает видеопамять: уменьшите значение или возьмите модель поменьше.

В LM Studio длина контекста задаётся при загрузке каждой модели. Её можно выставить при загрузке и сохранить как значение по умолчанию для этой модели через значок шестерёнки в My Models. Выберите значение с запасом на самые длинные встречи и следите за расходом памяти.

Загляните заодно в поле Максимальная длина сводки (в токенах) в настройках AI-сводки. Оно ограничивает длину ответа, а не входного текста. Подсказка рядом гласит: 300 — это короткий абзац, 1000 — примерно страница.

Что получается в итоге

Запись — это .mp4 на вашем диске. Расшифровку делает Whisper на вашем CPU или GPU. Сводку пишет модель на localhost. Никаких аккаунтов, и ни у одного поставщика нет копии чего бы то ни было. Если клиент спросит, куда ушла запись его звонка, ответ уложится в одно предложение. Ту же идею в более широком контексте разбирает пост о локальной расшифровке встреч с Whisper.

Платить приходится качеством и скоростью. Модель на 9B на ноутбуке не сравнится с флагманской моделью в облачном API. Если эта разница важна, есть промежуточные варианты. Сводки через эндпоинт в ЕС оставляют данные под защитой GDPR, а OpenRouter даёт облачные модели с оплатой по факту использования.

Когда всё заработает, следующий шаг — промпт. Правка промпта для сводки — это способ получать решения, задачи и ответственных вместо общего пересказа.

Если что-то не работает

• Connection refused. Сервер не запущен. Для Ollama проверьте ollama ps или перезапустите службу. Для LM Studio убедитесь, что включён Start server.
• Model not found. Значение в поле Модель должно точно совпадать с тегом или идентификатором, включая суффикс размера.
• Сводка игнорирует конец встречи. Слишком маленькое контекстное окно. Увеличьте его, как описано выше.