Meeting-Zusammenfassungen mit lokalem LLM: Ollama und LM Studio

Autorec nimmt schon heute auf Ihrem Rechner auf und transkribiert dort. Die Zusammenfassung ist der einzige Schritt, bei dem Daten den Rechner verlassen können. Denn dafür braucht es ein Sprachmodell, und die meisten nutzen ein gehostetes.

Das muss nicht sein. Autorec spricht mit jedem OpenAI-kompatiblen Endpunkt, und sowohl Ollama als auch LM Studio stellen einen auf localhost bereit. Richten Sie Autorec darauf aus, und in keinem Schritt verlässt etwas die Maschine. Dieser Beitrag geht beide Wege durch, zeigt dann, welches Modell zu 8, 16 oder 32 GB RAM passt, und erklärt, warum lange Meetings ein größeres Kontextfenster brauchen als voreingestellt.

Was tatsächlich gesendet wird

Autorec schickt zwei Dinge an den Endpunkt: Ihren Zusammenfassungs-Prompt als System-Nachricht und das komplette Transkript als Nutzer-Nachricht. Audio und Video gehen nicht mit. (Transkripte über rund 400.000 Zeichen, also etwa acht Stunden Gesprochenes, kürzt Autorec und setzt die Markierung „[Transcript truncated]“.) Mit einem lokalen Server geht diese Anfrage an http://localhost:11434/v1 (Ollama) oder http://localhost:1234/v1 (LM Studio) und endet dort.

Option 1: Ollama

1. Installieren Sie Ollama von ollama.com/download. Unter Linux lautet das Installationsskript curl -fsSL https://ollama.com/install.sh | sh, unter macOS und Windows gibt es einen normalen Installer.
2. Laden Sie im Terminal ein Modell, zum Beispiel mit ollama pull qwen3.5:9b. Modellempfehlungen folgen weiter unten.
3. Prüfen Sie, ob es läuft: Ollama lauscht standardmäßig auf 127.0.0.1:11434, und ollama ps zeigt, was geladen ist.
4. Öffnen Sie in Autorec die Einstellungen und scrollen Sie zu KI-Zusammenfassung. Wählen Sie unter Anbieter in der Gruppe Local servers den Eintrag Ollama (local). Die API-Basis-URL wird mit http://localhost:11434/v1 ausgefüllt.
5. Lassen Sie den API-Schlüssel leer. Im Feld steht „Not needed for local servers“.
6. Tragen Sie unter Modell genau den Tag ein, den Sie geladen haben, etwa qwen3.5:9b. Die Voreinstellung schlägt llama3.1 vor, und das funktioniert nur, wenn Sie genau dieses Modell geladen haben.
7. Klicken Sie auf Einstellungen speichern.

Option 2: LM Studio

1. Installieren Sie LM Studio von lmstudio.ai und laden Sie über die eingebaute Suche ein Modell herunter.
2. Starten Sie den Server. Schalten Sie im Developer-Tab von LM Studio Start server ein oder führen Sie lms server start im Terminal aus. Der Server läuft auf Port 1234.
3. Wählen Sie in Autorec unter Einstellungen, KI-Zusammenfassung als Anbieter den Eintrag LM Studio (local). Die Basis-URL wird zu http://localhost:1234/v1.
4. Lassen Sie den API-Schlüssel leer.
5. Die LM-Studio-Voreinstellung hat kein Standardmodell. Tippen Sie die Modellkennung also genau so ein, wie LM Studio sie anzeigt.
6. Klicken Sie auf Einstellungen speichern.

LM Studio ist die einfachere Wahl, wenn Sie lieber klicken als Befehle tippen. Ollama ist schlanker und läuft ohne Fenster im Hintergrund.

An einer Aufnahme testen

Öffnen Sie in Ihrer Bibliothek eine Aufnahme mit Transkript und klicken Sie auf Zusammenfassung erstellen. Wenn alles klappt, erscheinen Titel und Zusammenfassung, sobald das Modell fertig ist. Wie lange das dauert, hängt von Ihrer Hardware ab. Sind Sie zufrieden, schalten Sie Nach Transkription automatisch zusammenfassen ein, dann bekommt jede neue Aufnahme ihre Zusammenfassung, sobald sie transkribiert ist.

Steht die App auf Deutsch, schreibt das Modell mit dem Standard-Prompt auch die Zusammenfassung auf Deutsch. Und Whisper transkribiert deutschsprachige Meetings ohnehin lokal; unter Gesprochene Sprache stellen Sie Deutsch fest ein oder lassen die Sprache automatisch erkennen.

Das passende Modell

Zwei Zahlen zählen: die Dateigröße des Modells, die in den RAM (oder VRAM) passen muss, mit genug Luft für Ihre Meeting-App und Autorec, und das Kontextfenster, das bestimmt, wie viel Transkript das Modell auf einmal lesen kann.

Stand Oktober 2026 sind das Tags aus ollama.com/library. Die Größen sind die dort angegebenen Downloadgrößen für die Standard-Quantisierung.

Ihr RAM	Modell	Downloadgröße
8 GB	qwen3.5:4b	ca. 3,3 bis 4 GB
16 GB	qwen3.5:9b oder gemma4:e4b	ca. 6,6 bis 7,6 GB
32 GB	gemma4:26b oder qwen3.5:27b	ca. 16 bis 20 GB

Das sind Ausgangspunkte aus einer Modellliste, keine Benchmark-Ergebnisse. Welches Modell für Sie die beste Meeting-Zusammenfassung schreibt, finden Sie heraus, indem Sie eigene Transkripte durch zwei davon laufen lassen. Die Modellbibliotheken ändern sich schnell, und die Namen oben werden altern. Schauen Sie vor dem Download auf die Bibliotheksseite.

• 8 GB sind knapp. Unter Umständen laufen ein Call, eine Bildschirmaufnahme, ein Whisper-Durchlauf und ein Modell auf derselben Maschine. Ein 4B-Modell funktioniert, aber rechnen Sie mit gröberen Zusammenfassungen und schließen Sie andere Apps, solange es arbeitet.
• Transkription und Zusammenfassung müssen sich nicht überschneiden. Autorec transkribiert zuerst und fasst danach zusammen, das Modell braucht also erst Speicher, wenn die Aufnahme vorbei ist.
• Eine GPU hilft enorm. Nur auf der CPU ist ein 9B-Modell brauchbar, aber langsam. Ein einstündiges Transkript kann mehrere Minuten dauern.
• Kleinere Modelle verlieren bei langen Eingaben den Faden. Fehlt in einer Zusammenfassung die zweite Hälfte des Meetings, probieren Sie ein größeres Modell, bevor Sie dem Prompt die Schuld geben.

Lange Meetings: Kontextlänge erhöhen

An dieser Einstellung scheitern viele. Ein einstündiges Meeting ergibt grob 9.000 Wörter Transkript, das sind ungefähr 12.000 Tokens oder mehr. Ein Modell kann nur so viel lesen, wie in sein Kontextfenster passt.

Laut Ollama-Dokumentation hängt die Standard-Kontextlänge vom VRAM ab: 4k Tokens unter 24 GiB, 32k bei 24 bis 48 GiB, 256k ab 48 GiB. Auf einem typischen Laptop oder einer Mittelklasse-GPU liegt der Standard also bei 4.096 Tokens, und ein langes Transkript passt nicht hinein: Transkript, Prompt und Antwort müssen sich dieses Fenster teilen. Eine klare Fehlermeldung gibt es dann womöglich nicht, nur eine Zusammenfassung, die einen Teil des Meetings abdeckt.

Zum Erhöhen setzen Sie OLLAMA_CONTEXT_LENGTH, bevor der Server startet:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Läuft Ollama als Dienst, gehört die Variable stattdessen in die Umgebung des Dienstes. Unter Linux geht das mit systemctl edit ollama.service und einer Zeile Environment="OLLAMA_CONTEXT_LENGTH=32768" unter [Service], danach ein Neustart. Die Ollama-Desktop-App hat in ihren Einstellungen außerdem einen Schieberegler für die Kontextlänge. Prüfen Sie anschließend mit ollama ps, während eine Zusammenfassung läuft, in der Spalte CONTEXT, ob der neue Wert greift.

Das Feld Extra request fields (JSON) in den KI-Zusammenfassungs-Einstellungen von Autorec hilft hier nicht. Ollamas OpenAI-kompatibler Endpunkt hat kein Feld für die Kontextgröße, und die Dokumentation sagt das auch. Die Alternative zur Umgebungsvariable ist ein Modelfile mit PARAMETER num_ctx 32768, das Sie mit ollama create unter einem neuen Modellnamen bauen und dann im Feld Modell eintragen.

Mehr Kontext kostet Speicher. 32k Tokens reichen für die meisten einstündigen Meetings und sind ein vernünftiger erster Versuch. Zeigt ollama ps, dass das Modell zwischen GPU und CPU aufgeteilt ist, haben Sie mehr verlangt, als Ihr VRAM fasst. Gehen Sie dann herunter oder nehmen Sie ein kleineres Modell.

In LM Studio ist die Kontextlänge eine Ladeeinstellung pro Modell. Sie können sie beim Laden des Modells setzen und über das Zahnrad in My Models als Standard für dieses Modell speichern. Wählen Sie einen Wert, der Ihre längsten Meetings abdeckt, und behalten Sie den Speicherverbrauch im Blick.

Prüfen Sie außerdem Maximale Zusammenfassungslänge (Tokens) in den KI-Zusammenfassungs-Einstellungen. Das Feld begrenzt die Länge der Antwort, nicht der Eingabe. Laut Hilfetext ergibt 300 einen kurzen Absatz, und 1000 entspricht ungefähr einer Seite.

Was Sie am Ende haben

Die Aufnahme ist eine .mp4 auf Ihrer Festplatte. Das Transkript erstellt Whisper auf Ihrer CPU oder GPU. Die Zusammenfassung kommt von einem Modell auf localhost. Sie legen kein Konto an, und kein Anbieter hat eine Kopie von irgendetwas. Fragt ein Kunde, wo sein Call gelandet ist, antworten Sie in einem Satz. Den größeren Zusammenhang zeigt der Beitrag Besprechungen lokal transkribieren mit Whisper.

Der Preis dafür sind Qualität und Tempo. Ein 9B-Modell auf einem Laptop kommt nicht an ein Frontier-Modell über eine gehostete API heran. Wenn dieser Abstand zählt, gibt es Mittelwege: Zusammenfassungen über einen Endpunkt in der EU halten die Daten im Geltungsbereich der DSGVO, und OpenRouter bietet gehostete Modelle zu nutzungsabhängigen Preisen.

Läuft alles, ist der Prompt dran. Mit einem angepassten Zusammenfassungs-Prompt bekommen Sie Entscheidungen, Aufgaben und Verantwortliche statt einer allgemeinen Nacherzählung.

Fehlerbehebung

• Connection refused. Der Server läuft nicht. Prüfen Sie bei Ollama ollama ps oder starten Sie den Dienst neu. Stellen Sie bei LM Studio sicher, dass Start server eingeschaltet ist.
• Model not found. Das Feld Modell muss exakt dem Tag oder der Kennung entsprechen, einschließlich der Größenangabe.
• Eine Zusammenfassung, die das Ende des Meetings ignoriert. Das Kontextfenster ist zu klein. Erhöhen Sie es wie oben beschrieben.