लोकल LLM से मीटिंग सारांश: Ollama और LM Studio

Autorec रिकॉर्डिंग और ट्रांसक्रिप्शन पहले से ही आपकी मशीन पर करता है। बस सारांश वाला कदम ऐसा है जो बाहर जा सकता है, क्योंकि सारांश के लिए एक लैंग्वेज मॉडल चाहिए और ज़्यादातर लोग किसी होस्ट किए गए मॉडल का इस्तेमाल करते हैं।

ऐसा ज़रूरी नहीं है। Autorec किसी भी OpenAI-compatible endpoint से बात कर सकता है, और Ollama व LM Studio दोनों localhost पर ऐसा ही endpoint खोलते हैं। Autorec को वहाँ लगा दीजिए, फिर किसी भी चरण में कुछ भी मशीन से बाहर नहीं जाता। इस लेख में दोनों का सेटअप है, फिर यह कि 8, 16 या 32 GB RAM पर कौन-सा मॉडल लें, और लंबी मीटिंग के लिए डिफ़ॉल्ट से बड़ी context window क्यों चाहिए।

असल में भेजा क्या जाता है

Autorec endpoint को दो चीज़ें भेजता है: आपका सारांश प्रॉम्प्ट, system message के रूप में, और पूरा ट्रांसक्रिप्ट, user message के रूप में। ऑडियो या वीडियो नहीं जाता। (करीब 400,000 अक्षरों से लंबे ट्रांसक्रिप्ट, यानी लगभग आठ घंटे की बातचीत, Autorec ”[Transcript truncated]” मार्कर के साथ काट देता है।) लोकल सर्वर के साथ यह request http://localhost:11434/v1 (Ollama) या http://localhost:1234/v1 (LM Studio) तक जाती है और वहीं रुक जाती है।

विकल्प 1: Ollama

1. Ollama को ollama.com/download से इंस्टॉल करें। Linux पर इंस्टॉल स्क्रिप्ट है curl -fsSL https://ollama.com/install.sh | sh। macOS और Windows पर सामान्य इंस्टॉलर है।
2. टर्मिनल में एक मॉडल pull करें, जैसे ollama pull qwen3.5:9b। कौन-सा मॉडल लें, यह नीचे बताया है।
3. देख लें कि यह चल रहा है: Ollama डिफ़ॉल्ट रूप से 127.0.0.1:11434 पर सुनता है, और ollama ps दिखाता है कि कौन-सा मॉडल लोड है।
4. Autorec में सेटिंग्स खोलें और नीचे AI सारांश तक जाएँ। प्रदाता में Local servers ग्रुप से Ollama (local) चुनें। API बेस URL अपने आप http://localhost:11434/v1 भर जाता है।
5. API कुंजी खाली छोड़ दें। फ़ील्ड में लिखा होता है “Not needed for local servers”।
6. मॉडल में ठीक वही tag डालें जो आपने pull किया है, जैसे qwen3.5:9b। प्रीसेट llama3.1 सुझाता है, जो तभी चलेगा जब आपने वही pull किया हो।
7. सेटिंग्स सहेजें पर क्लिक करें।

विकल्प 2: LM Studio

1. LM Studio को lmstudio.ai से इंस्टॉल करें और उसकी बिल्ट-इन सर्च से एक मॉडल डाउनलोड करें।
2. सर्वर चालू करें। LM Studio के Developer टैब में Start server ऑन करें, या टर्मिनल में lms server start चलाएँ। यह पोर्ट 1234 पर चलता है।
3. Autorec में सेटिंग्स, AI सारांश खोलें और प्रदाता में LM Studio (local) चुनें। बेस URL http://localhost:1234/v1 हो जाता है।
4. API कुंजी खाली छोड़ दें।
5. LM Studio प्रीसेट में कोई डिफ़ॉल्ट मॉडल नहीं है, इसलिए मॉडल का identifier ठीक वैसा ही लिखें जैसा LM Studio में दिखता है।
6. सेटिंग्स सहेजें पर क्लिक करें।

अगर आप कमांड टाइप करने के बजाय क्लिक करना पसंद करते हैं, तो LM Studio आसान है। Ollama हल्का है और बिना किसी विंडो के बैकग्राउंड में चलता रहता है।

एक रिकॉर्डिंग पर आज़माकर देखें

लाइब्रेरी में कोई ऐसी रिकॉर्डिंग खोलें जिसका ट्रांसक्रिप्ट बन चुका हो, और सारांश बनाएं पर क्लिक करें। अगर सब ठीक है, तो मॉडल का काम पूरा होते ही शीर्षक और सारांश दिख जाते हैं; कितना समय लगेगा, यह आपके हार्डवेयर पर निर्भर है। नतीजा पसंद आए, तो ट्रांसक्रिप्शन के बाद ऑटो-सारांश बनाएं ऑन कर दें, ताकि हर नई रिकॉर्डिंग का ट्रांसक्रिप्ट बनते ही उसका सारांश भी बन जाए।

अगर ऐप हिंदी में सेट है, तो डिफ़ॉल्ट प्रॉम्प्ट मॉडल से शीर्षक और सारांश हिंदी में ही माँगता है। और अगर मीटिंग हिंदी में हुई थी, तो Whisper उसे हिंदी में ही ट्रांसक्रिप्ट करता है; ट्रांसक्रिप्शन सेटिंग्स में बोली जाने वाली भाषा को हिन्दी पर रख सकते हैं, या अपने आप पहचानें पर छोड़ सकते हैं।

मॉडल कैसे चुनें

दो चीज़ें मायने रखती हैं: मॉडल की फ़ाइल का साइज़, जो RAM (या VRAM) में समाना चाहिए और साथ में मीटिंग ऐप और Autorec के लिए जगह भी बचनी चाहिए; और उसकी context window, जो तय करती है कि वह एक बार में कितना ट्रांसक्रिप्ट पढ़ सकता है।

अक्टूबर 2026 तक ये ollama.com/library पर मौजूद tags हैं। साइज़ वहीं दिए गए डिफ़ॉल्ट quantisation के डाउनलोड साइज़ हैं।

आपकी RAM	मॉडल	डाउनलोड साइज़
8 GB	qwen3.5:4b	लगभग 3.3 से 4 GB
16 GB	qwen3.5:9b या gemma4:e4b	लगभग 6.6 से 7.6 GB
32 GB	gemma4:26b या qwen3.5:27b	लगभग 16 से 20 GB

ये मॉडल लिस्ट से लिए गए शुरुआती सुझाव हैं, benchmark के नतीजे नहीं। आपके लिए कौन-सा मॉडल सबसे अच्छा मीटिंग सारांश लिखता है, यह जानने के लिए अपने ही ट्रांसक्रिप्ट दो मॉडलों पर चलाकर देखें। मॉडल लाइब्रेरी तेज़ी से बदलती हैं, और ऊपर के नाम पुराने पड़ जाएँगे। pull करने से पहले लाइब्रेरी पेज देख लें।

• 8 GB में गुंजाइश कम है। एक ही मशीन पर कॉल, स्क्रीन कैप्चर, Whisper और मॉडल, सब चल रहे हो सकते हैं। 4B मॉडल काम करता है, पर सारांश थोड़े कच्चे होंगे, और उसके चलते समय बाक़ी ऐप बंद रखें।
• ट्रांसक्रिप्शन और सारांश एक साथ नहीं चलते। Autorec पहले ट्रांसक्रिप्ट बनाता है और फिर सारांश, इसलिए मॉडल को मेमोरी तभी चाहिए जब रिकॉर्डिंग ख़त्म हो चुकी हो।
• GPU से बहुत फ़र्क पड़ता है। सिर्फ़ CPU पर 9B मॉडल चल तो जाता है, पर धीमा है। एक घंटे के ट्रांसक्रिप्ट में कई मिनट लग सकते हैं।
• छोटे मॉडल लंबे इनपुट पर भटक जाते हैं। अगर सारांश में मीटिंग का दूसरा हिस्सा ग़ायब है, तो प्रॉम्प्ट को दोष देने से पहले बड़ा मॉडल आज़माएँ।

लंबी मीटिंग: context length बढ़ाएँ

यही वह सेटिंग है जिसमें लोग अक्सर फँसते हैं। एक घंटे की मीटिंग का ट्रांसक्रिप्ट मोटे तौर पर 9,000 शब्दों का होता है, यानी करीब 12,000 tokens या उससे ज़्यादा। मॉडल उतना ही पढ़ सकता है जितना उसकी context window में आता है।

Ollama के docs के मुताबिक़ डिफ़ॉल्ट context length आपकी VRAM पर निर्भर करती है: 24 GiB से कम पर 4k tokens, 24 से 48 GiB पर 32k, और 48 GiB या उससे ज़्यादा पर 256k। यानी आम लैपटॉप या मिड-रेंज GPU पर डिफ़ॉल्ट 4,096 tokens है, और लंबा ट्रांसक्रिप्ट उसमें नहीं समाता: ट्रांसक्रिप्ट, प्रॉम्प्ट और जवाब, तीनों को उसी window में आना होता है। हो सकता है आपको कोई साफ़ error न मिले, बस ऐसा सारांश मिले जो मीटिंग का एक हिस्सा ही कवर करता हो।

इसे बढ़ाने के लिए सर्वर शुरू होने से पहले OLLAMA_CONTEXT_LENGTH सेट करें:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

अगर Ollama सर्विस के रूप में चलता है, तो यह variable सर्विस के environment में डालें। Linux पर इसका मतलब है systemctl edit ollama.service, उसमें [Service] के नीचे Environment="OLLAMA_CONTEXT_LENGTH=32768" लाइन, और फिर restart। Ollama के डेस्कटॉप ऐप की सेटिंग्स में context length का एक स्लाइडर भी है। उसके बाद, जब सारांश बन रहा हो, ollama ps चलाएँ और CONTEXT कॉलम देखें कि नई वैल्यू लागू हुई या नहीं।

Autorec की AI सारांश सेटिंग्स का Extra request fields (JSON) बॉक्स यहाँ काम नहीं आएगा। Ollama के OpenAI-compatible endpoint में context size के लिए कोई फ़ील्ड नहीं है, और उसके docs भी यही कहते हैं। environment variable के अलावा दूसरा रास्ता है एक Modelfile, जिसमें PARAMETER num_ctx 32768 हो, और जिसे ollama create से एक नए मॉडल नाम के साथ बनाया जाए। फिर वही नाम मॉडल फ़ील्ड में डालें।

बड़ी context ज़्यादा मेमोरी लेती है। ज़्यादातर एक घंटे की मीटिंग के लिए 32k tokens काफ़ी हैं, और शुरुआत के लिए यह ठीक वैल्यू है। अगर ollama ps दिखाए कि मॉडल GPU और CPU में बँटा हुआ है, तो आपने VRAM से ज़्यादा माँग लिया है; वैल्यू घटाएँ या छोटा मॉडल लें।

LM Studio में context length हर मॉडल की load setting है। मॉडल लोड करते समय इसे सेट कर सकते हैं, और My Models में गियर आइकन से उसे उस मॉडल का डिफ़ॉल्ट बना सकते हैं। ऐसी वैल्यू चुनें जो आपकी सबसे लंबी मीटिंग को कवर करे, और मेमोरी पर नज़र रखें।

Autorec की AI सारांश सेटिंग्स में अधिकतम सारांश लंबाई (टोकन) भी देख लें। यह जवाब की लंबाई की सीमा है, इनपुट की नहीं। मदद वाले टेक्स्ट के मुताबिक़ 300 एक छोटा पैराग्राफ है और 1000 लगभग एक पृष्ठ।

आख़िर में आपके पास क्या है

रिकॉर्डिंग आपकी डिस्क पर एक .mp4 फ़ाइल है। ट्रांसक्रिप्ट आपके CPU या GPU पर Whisper बनाता है। सारांश localhost पर चल रहे मॉडल से आता है। न कोई अकाउंट बनाना पड़ता है, न किसी vendor के पास किसी चीज़ की कॉपी रहती है। अगर कोई क्लाइंट पूछे कि उसकी कॉल कहाँ गई, तो जवाब एक वाक्य में दे सकते हैं। इसी सोच को थोड़ा और विस्तार से देखने के लिए पढ़ें Whisper से मीटिंग का लोकल ट्रांसक्रिप्शन।

इसकी क़ीमत है क्वालिटी और रफ़्तार। लैपटॉप पर चलता 9B मॉडल किसी होस्टेड API के frontier मॉडल की बराबरी नहीं करेगा। अगर यह फ़र्क मायने रखता है, तो बीच के रास्ते भी हैं। EU में होस्ट किए गए endpoint से सारांश डेटा को GDPR के दायरे में रखते हैं, और OpenRouter से होस्टेड मॉडल pay-per-use दाम पर मिलते हैं।

सेटअप चल जाए, तो अगला काम प्रॉम्प्ट है। सारांश प्रॉम्प्ट को बदलकर आपको एक आम-सा recap नहीं, बल्कि फ़ैसले, action items और उनके owners मिलते हैं।

दिक़्क़तें और उनके हल

• Connection refused. सर्वर चल नहीं रहा। Ollama के लिए ollama ps देखें या सर्विस restart करें। LM Studio में पक्का करें कि Start server ऑन है।
• Model not found. मॉडल फ़ील्ड tag या identifier से हूबहू मेल खाना चाहिए, साइज़ वाले suffix समेत।
• सारांश में मीटिंग का आख़िरी हिस्सा ग़ायब। context window बहुत छोटी है। ऊपर बताए तरीक़े से उसे बढ़ाएँ।