🧠 SL5 ऑरा हाइब्रिड मोड: स्थानीय एलएलएम एकीकरण¶
स्थिति: प्रायोगिक/स्थिर प्रौद्योगिकी: ओलामा (लामा 3.2) + पायथन सबप्रोसेस गोपनीयता: 100% ऑफ़लाइन
अवधारणा: “वास्तुकार एवं प्रशिक्षु”¶
परंपरागत रूप से, ऑरा नियतात्मक नियमों (RegEx) पर निर्भर करता है - तेज़, सटीक और पूर्वानुमानित। यह “वास्तुकार” है। हालाँकि, कभी-कभी उपयोगकर्ता कुछ “अस्पष्ट” या रचनात्मक पूछना चाहता है, जैसे “मुझे एक चुटकुला बताओ” या “इस पाठ को सारांशित करें”।
यहीं पर स्थानीय एलएलएम प्लगइन आता है (“इंटर्न”):
ऑरा (RegEx) पहले सभी सख्त आदेशों की जाँच करता है (“लाइट चालू करें”, “ऐप खोलें”)।
यदि कुछ भी मेल नहीं खाता AND/ OR एक विशिष्ट ट्रिगर शब्द (उदाहरण के लिए, “आभा …”) का पता लगाया जाता है, तो फ़ॉलबैक नियम सक्रिय हो जाता है।
टेक्स्ट स्थानीय एआई मॉडल (ओलामा) को भेजा जाता है।
प्रतिक्रिया को साफ किया जाता है और टीटीएस या टेक्स्ट टाइपिंग के माध्यम से आउटपुट किया जाता है।
🛠 पूर्वापेक्षाएँ¶
प्लगइन को मशीन पर स्थानीय रूप से संचालित होने वाले Ollama के रनिंग इंस्टेंस की आवश्यकता होती है।
CODE_ब्लॉक_0
📂 संरचना एवं भार क्रम¶
प्लगइन को जानबूझकर z_fallback_llm फ़ोल्डर में रखा गया है।
चूंकि ऑरा प्लगइन्स को वर्णानुक्रम में लोड करता है, यह नामकरण सुनिश्चित करता है कि एलएलएम नियम अंतिम लोड किया गया है। यह अपरिचित आदेशों के लिए “सुरक्षा जाल” के रूप में कार्य करता है।
पथ: config/maps/plugins/z_fallback_llm/de-DE/
1. मानचित्र (FUZZY_MAP_pre.py)¶
हम ऑरा को स्क्रिप्ट पर नियंत्रण सौंपने के लिए बाध्य करने के लिए उच्च स्कोर (100) और एक ट्रिगर शब्द का उपयोग करते हैं।
CODE_ब्लॉक_1
2. हैंडलर (ask_ollama.py)¶
यह स्क्रिप्ट ओलामा सीएलआई के साथ संचार करती है।
महत्वपूर्ण: इसमें एक clean_text_for_typing फ़ंक्शन शामिल है। रॉ एलएलएम आउटपुट में अक्सर इमोजी (😂, 🚀) या विशेष वर्ण होते हैं जो xdotool या लीगेसी टीटीएस सिस्टम जैसे टूल को क्रैश कर सकते हैं।
CODE_ब्लॉक_2
⚙️ अनुकूलन विकल्प¶
ट्रिगर बदलना¶
यदि आप “ऑरा” को वेक वर्ड के रूप में उपयोग नहीं करना चाहते हैं तो FUZZY_MAP_pre.py में रेगुलर एक्सप्रेशन को संशोधित करें।
सच्चे कैच-ऑल के लिए उदाहरण (वह सब कुछ जो ऑरा नहीं जानता):
r'^(.*)$'(सावधानी: स्कोर समायोजित करें!)
मॉडल की अदला-बदली¶
आप मॉडल को ask_ollama.py में आसानी से स्वैप कर सकते हैं (उदाहरण के लिए, अधिक जटिल तर्क के लिए मिस्ट्रल में, हालांकि इसके लिए अधिक रैम की आवश्यकता होती है)।
CODE_ब्लॉक_3
सिस्टम प्रॉम्प्ट (व्यक्तित्व)¶
You can give Aura a personality by adjusting the system_instruction:
“आप एक विज्ञान-फाई फिल्म के व्यंग्यात्मक सहायक हैं।”
⚠️ ज्ञात सीमाएँ¶
विलंबता: बूट के बाद पहले अनुरोध में मॉडल को रैम में लोड होने में 1-3 सेकंड का समय लग सकता है। बाद के अनुरोध तेज़ हैं.
संघर्ष: यदि उचित फ़ोल्डर संरचना के बिना रेगेक्स बहुत व्यापक (
.*) है, तो यह मानक आदेशों को निगल सकता है। वर्णमाला क्रम (z_...) आवश्यक है।हार्डवेयर: लगभग आवश्यक है। लामा 3.2 के लिए 2 जीबी मुफ्त रैम।