Podsumowania spotkań z lokalnym LLM: Ollama i LM Studio

Autorec już teraz nagrywa i transkrybuje na twoim komputerze. Podsumowanie to jedyny krok, który może z niego wyjść, bo potrzebuje modelu językowego, a większość ludzi korzysta z modelu hostowanego w chmurze.

Wcale nie musi tak być. Autorec współpracuje z każdym endpointem zgodnym z OpenAI, a Ollama i LM Studio udostępniają taki endpoint na localhost. Wystarczy go wskazać i na żadnym etapie nic nie opuszcza komputera. W tym wpisie przechodzimy przez oba narzędzia, podpowiadamy, jaki model wybrać przy 8, 16 lub 32 GB RAM, i wyjaśniamy, dlaczego długie spotkania potrzebują większego okna kontekstu, niż jest ustawione domyślnie.

Co faktycznie jest wysyłane

Autorec wysyła do endpointu dwie rzeczy: twój prompt podsumowania jako wiadomość systemową i całą transkrypcję jako wiadomość użytkownika. Nie wysyła dźwięku ani obrazu. (Transkrypcje dłuższe niż mniej więcej 400 000 znaków, czyli około ośmiu godzin mowy, Autorec przycina i oznacza znacznikiem „[Transcript truncated]”). Przy lokalnym serwerze to żądanie trafia pod http://localhost:11434/v1 (Ollama) albo http://localhost:1234/v1 (LM Studio) i tam się kończy.

Opcja 1: Ollama

1. Zainstaluj Ollamę ze strony ollama.com/download. Na Linuksie służy do tego skrypt curl -fsSL https://ollama.com/install.sh | sh. Na macOS i Windows to zwykły instalator.
2. Pobierz model w terminalu, na przykład ollama pull qwen3.5:9b. Propozycje modeli znajdziesz niżej.
3. Sprawdź, czy działa: Ollama domyślnie nasłuchuje na 127.0.0.1:11434, a ollama ps pokazuje, co jest załadowane.
4. W Autorec otwórz Ustawienia i przewiń do sekcji Podsumowanie AI. W polu Dostawca wybierz Ollama (local) z grupy Local servers. Bazowy URL API uzupełni się sam: http://localhost:11434/v1.
5. Pole Klucz API zostaw puste. Podpowiedź w nim mówi „Not needed for local servers”.
6. W polu Model wpisz dokładnie ten tag, który pobrałeś, na przykład qwen3.5:9b. Preset podpowiada llama3.1, ale to zadziała tylko wtedy, jeśli pobrałeś właśnie ten model.
7. Kliknij Zapisz ustawienia.

Opcja 2: LM Studio

1. Zainstaluj LM Studio ze strony lmstudio.ai i pobierz model przez wbudowaną wyszukiwarkę.
2. Uruchom serwer. W zakładce Developer w LM Studio włącz Start server albo wpisz w terminalu lms server start. Serwer działa na porcie 1234.
3. W Autorec wejdź w Ustawienia, Podsumowanie AI i jako Dostawca wybierz LM Studio (local). Bazowy URL zmieni się na http://localhost:1234/v1.
4. Pole Klucz API zostaw puste.
5. Preset LM Studio nie ma domyślnego modelu, więc wpisz identyfikator modelu dokładnie tak, jak pokazuje go LM Studio.
6. Kliknij Zapisz ustawienia.

LM Studio będzie wygodniejsze, jeśli wolisz klikać niż wpisywać polecenia. Ollama jest lżejsza i działa w tle, bez żadnego okna.

Test na jednym nagraniu

Otwórz w bibliotece nagranie z transkrypcją i kliknij Utwórz podsumowanie. Jeśli wszystko działa, tytuł i podsumowanie pojawią się, gdy model skończy pracę, a to zależy od twojego sprzętu. Kiedy wynik ci odpowiada, włącz Automatycznie podsumowuj po transkrypcji, a każde nowe nagranie dostanie podsumowanie zaraz po transkrypcji.

Wybór modelu

Liczą się dwie liczby. Pierwsza to rozmiar pliku modelu: musi zmieścić się w RAM (lub VRAM) tak, żeby zostało miejsce na aplikację do spotkań i Autorec. Druga to okno kontekstu, od którego zależy, ile transkrypcji model przeczyta naraz.

Stan na październik 2026: to tagi z ollama.com/library. Rozmiary to podane tam rozmiary pobierania dla domyślnej kwantyzacji.

Twój RAM	Model	Rozmiar pobierania
8 GB	qwen3.5:4b	ok. 3,3–4 GB
16 GB	qwen3.5:9b lub gemma4:e4b	ok. 6,6–7,6 GB
32 GB	gemma4:26b lub qwen3.5:27b	ok. 16–20 GB

To punkty wyjścia z listy modeli, a nie wyniki benchmarków. Żeby sprawdzić, który z nich pisze dla ciebie najlepsze podsumowania spotkań, przepuść własne transkrypcje przez dwa modele. Biblioteki modeli szybko się zmieniają i powyższe nazwy się zestarzeją. Zanim coś pobierzesz, zajrzyj na stronę biblioteki.

• 8 GB to mało. Na jednym komputerze może naraz działać rozmowa, przechwytywanie ekranu, Whisper i model. Model 4B da radę, ale podsumowania będą mniej dopracowane, a na czas jego pracy lepiej zamknąć inne aplikacje.
• Transkrypcja i podsumowanie nie muszą się nakładać. Autorec najpierw transkrybuje, a dopiero potem podsumowuje, więc model potrzebuje pamięci dopiero po zakończeniu nagrania.
• GPU bardzo pomaga. Na samym CPU model 9B jest używalny, ale wolny. Transkrypcja z godzinnego spotkania może zająć kilka minut.
• Mniejsze modele gubią wątek przy długim tekście. Jeśli podsumowanie pomija drugą połowę spotkania, spróbuj większego modelu, zanim zaczniesz winić prompt.

Długie spotkania: zwiększ długość kontekstu

Na tym ustawieniu wykłada się najwięcej osób. Godzinne spotkanie to mniej więcej 9000 słów transkrypcji, czyli około 12 000 tokenów albo więcej. Model przeczyta tylko tyle, ile mieści się w jego oknie kontekstu.

Dokumentacja Ollamy mówi, że domyślna długość kontekstu zależy od ilości VRAM: 4k tokenów poniżej 24 GiB, 32k przy 24–48 GiB i 256k przy 48 GiB lub więcej. Na typowym laptopie albo karcie ze średniej półki domyślna wartość to więc 4096 tokenów, a długa transkrypcja się nie zmieści: w tym oknie musi się zmieścić transkrypcja, prompt i odpowiedź. Wyraźnego błędu możesz nie dostać. Dostaniesz za to podsumowanie, które obejmuje tylko część spotkania.

Żeby to zwiększyć, ustaw OLLAMA_CONTEXT_LENGTH przed startem serwera:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Jeśli Ollama działa jako usługa, dodaj zmienną do środowiska usługi. Na Linuksie służy do tego systemctl edit ollama.service z linią Environment="OLLAMA_CONTEXT_LENGTH=32768" w sekcji [Service], a potem restart. Desktopowa aplikacja Ollamy ma też w ustawieniach suwak długości kontekstu. Potem uruchom ollama ps w trakcie generowania podsumowania i sprawdź w kolumnie CONTEXT, czy nowa wartość zadziałała.

Pole Extra request fields (JSON) w ustawieniach Podsumowanie AI tutaj nie pomoże. Endpoint Ollamy zgodny z OpenAI nie ma pola na rozmiar kontekstu i jej dokumentacja mówi to wprost. Alternatywą dla zmiennej środowiskowej jest Modelfile z PARAMETER num_ctx 32768, zbudowany przez ollama create jako model o nowej nazwie, którą potem wpisujesz w polu Model.

Większy kontekst kosztuje pamięć. 32k tokenów wystarcza na większość godzinnych spotkań i to rozsądna pierwsza wartość. Jeśli ollama ps pokazuje model podzielony między GPU i CPU, zażądałeś więcej, niż mieści twoja VRAM. Zmniejsz wartość albo użyj mniejszego modelu.

W LM Studio długość kontekstu to ustawienie ładowania, osobne dla każdego modelu. Możesz ją ustawić przy ładowaniu modelu i zapisać jako domyślną dla tego modelu przez ikonę koła zębatego w My Models. Wybierz wartość, która obejmie twoje najdłuższe spotkania, i pilnuj zużycia pamięci.

Sprawdź też pole Maks. długość podsumowania (tokeny) w ustawieniach Podsumowanie AI. Ogranicza ono długość odpowiedzi, a nie danych wejściowych. Podpowiedź pod polem mówi, że 300 to krótki akapit, a 1000 to mniej więcej strona.

Co w efekcie masz

Nagranie to plik .mp4 na twoim dysku. Transkrypcję tworzy Whisper na twoim CPU albo GPU, także z rozmów po polsku. Podsumowanie pisze model działający na localhost, a przy polskim interfejsie domyślny prompt prosi go o tytuł i podsumowanie po polsku. Nie zakładasz żadnego konta i żaden dostawca nie ma kopii czegokolwiek. Jeśli klient zapyta, gdzie trafiła jego rozmowa, odpowiesz jednym zdaniem. Szersze spojrzenie na to samo podejście znajdziesz we wpisie o lokalnej transkrypcji spotkań z Whisperem.

Płacisz za to jakością i szybkością. Model 9B na laptopie nie dorówna czołowemu modelowi przez hostowane API. Jeśli ta różnica ma znaczenie, są rozwiązania pośrednie. Podsumowania przez endpoint hostowany w UE trzymają dane w ramach RODO, a OpenRouter daje dostęp do hostowanych modeli z płatnością za użycie.

Kiedy wszystko działa, czas na prompt. Edycja promptu podsumowania to sposób na decyzje, zadania i osoby odpowiedzialne zamiast ogólnikowego streszczenia.

Rozwiązywanie problemów

• Connection refused. Serwer nie działa. W przypadku Ollamy sprawdź ollama ps albo zrestartuj usługę. W LM Studio upewnij się, że Start server jest włączone.
• Model not found. Pole Model musi dokładnie odpowiadać tagowi albo identyfikatorowi, łącznie z sufiksem rozmiaru.
• Podsumowanie pomija koniec spotkania. Okno kontekstu jest za małe. Zwiększ je tak, jak opisano wyżej.