🧠 SL5 आभा: उन्नत ऑफ़लाइन एलएलएम एकीकरण¶

स्थिति: उत्पादन तैयार इंजन: ओलामा (लामा 3.2 3बी) विलंबता: तत्काल (कैश हिट पर <0.1 सेकंड) / ~20 सेकंड (सीपीयू पर जेनरेशन)

1. “वास्तुकार एवं प्रशिक्षु” दर्शन¶

ऑरा परिशुद्धता और लचीलेपन को संतुलित करने के लिए एक हाइब्रिड मॉडल पर काम करता है:

आर्किटेक्ट (RegEx/पायथन): सिस्टम कमांड के लिए नियतात्मक, त्वरित निष्पादन (उदाहरण के लिए, “ब्राउज़र खोलें”, “वॉल्यूम बढ़ाएं”)।
इंटर्न (स्थानीय एलएलएम): अस्पष्ट प्रश्नों, संक्षेपण और सामान्य ज्ञान को संभालता है। यह केवल तभी ट्रिगर होता है जब कोई सख्त नियम मेल नहीं खाता या विशिष्ट कीवर्ड का उपयोग नहीं किया जाता है।

2. प्रदर्शन वास्तुकला¶

जीपीयू त्वरण के बिना मानक सीपीयू पर स्थानीय एलएलएम को प्रयोग करने योग्य बनाने के लिए, हमने एक 3-लेयर प्रदर्शन रणनीति लागू की:

परत 1: “तत्काल मोड” (कीवर्ड)¶

ट्रिगर: “इंस्टेंट”, “श्नेल”, “सोफोर्ट” जैसे शब्द।
तर्क: एलएलएम को पूरी तरह से दरकिनार कर देता है। यह सेट इंटरसेक्शन का उपयोग करके उपयोगकर्ता इनपुट कीवर्ड की तुलना स्थानीय SQLite डेटाबेस से करता है।
विलंबता: <0.05s

परत 2: स्मार्ट कैश (SQLite)¶

तर्क: प्रत्येक संकेत हैशेड (SHA256) है। ओलामा से पूछने से पहले, हम llm_cache.db की जांच करते हैं।
फ़ीचर “सक्रिय विविधता”: भले ही कैश हिट मौजूद हो, सिस्टम कभी-कभी (20% संभावना) एक ही प्रश्न के लिए अलग-अलग वाक्यांश सीखने के लिए एक नया संस्करण उत्पन्न करता है। आदर्श रूप से, हम प्रति प्रश्न ~5 प्रकार संग्रहित करते हैं।
फ़ीचर “सिमेंटिक हैशिंग”: लंबे प्रश्नों (>50 अक्षर) के लिए, हम पहले कीवर्ड निकालने के लिए एलएलएम का उपयोग करते हैं (उदाहरण के लिए, “इंस्टॉलेशन गाइड”) और पूरे वाक्य के बजाय उन्हें हैश करते हैं। यह “मैं कैसे इंस्टॉल करूं?” से मेल खाता है “कृपया स्थापना निर्देश” के साथ।
विलंबता: ~0.1s

परत 3: एपीआई जनरेशन (फ़ॉलबैक)¶

तर्क: यदि कोई कैश मौजूद नहीं है, तो हम ओलामा एपीआई (http://localhost:11434/api/generate) को कॉल करते हैं।
अनुकूलन:
कठिन सीमाएँ: num_predict=60 मॉडल को ~40 शब्दों के बाद रुकने के लिए बाध्य करता है।
इनपुट पाइपिंग: ओएस तर्क सीमा से बचने के लिए बड़े टेक्स्ट (रीडमी) को एसटीडीआईएन के माध्यम से पारित किया जाता है।
विलंबता: ~15-25s (सीपीयू पर निर्भर)

3. सिस्टम ग्राउंडिंग (विरोधी मतिभ्रम)¶

जेनेरिक एलएलएम जीयूआई तत्वों (बटन, मेनू) का आविष्कार करते हैं। हम प्रत्येक सिस्टम प्रॉम्प्ट में एक सख्त AURA_TECH_PROFILE इंजेक्ट करते हैं:

कोई GUI नहीं: ऑरा एक हेडलेस सीएलआई सेवा है।
कोई कॉन्फ़िग फ़ाइलें नहीं: लॉजिक पायथन कोड है, .json/.xml नहीं।
ट्रिगर: बाहरी नियंत्रण फ़ाइल निर्माण (टच /tmp/sl5_record.trigger) के माध्यम से काम करता है, एपीआई के माध्यम से नहीं।
इंस्टॉलेशन: 4GB मॉडल डाउनलोड के कारण 10-20 मिनट लगते हैं (“यह 3 सेकंड में इंस्टॉल हो जाता है” को रोकता है)।

4. क्लिपबोर्ड ब्रिज (लिनक्स सुरक्षा)¶

सुरक्षा अलगाव के कारण पृष्ठभूमि सेवाएँ (सिस्टमडी) सीधे X11/वेलैंड क्लिपबोर्ड तक नहीं पहुंच सकती हैं।

समाधान: एक उपयोगकर्ता-सत्र स्क्रिप्ट (क्लिपबोर्ड_ब्रिज.श) क्लिपबोर्ड सामग्री को रैम-डिस्क फ़ाइल (/tmp/aura_clipboard.txt) पर प्रतिबिंबित करती है।
आभा: सभी अनुमति मुद्दों को दरकिनार करते हुए, इस फ़ाइल को पढ़ता है।

5. स्व-शिक्षा (कैश वार्मिंग)¶

हम एक warm_up_cache.py स्क्रिप्ट प्रदान करते हैं।

यह प्रोजेक्ट README.md पढ़ता है।
यह एलएलएम से परियोजना के बारे में संभावित उपयोगकर्ता प्रश्नों का आविष्कार करने के लिए कहता है।
यह डेटाबेस को पूर्व-भरने के लिए आभा के विरुद्ध इन प्रश्नों का अनुकरण करता है।