कम्प्यूटेशनल संसाधन कुशल शिक्षण (CoRE-लर्निंग): समय-साझाकरण मशीन लर्निंग के लिए एक सैद्धांतिक रूपरेखा

1. परिचय एवं प्रेरणा

पारंपरिक मशीन लर्निंग सिद्धांत एक अंतर्निहित, अक्सर अवास्तविक धारणा के तहत कार्य करता है: प्राप्त सभी डेटा को संसाधित करने के लिए असीमित या पर्याप्त कम्प्यूटेशनल संसाधन उपलब्ध हैं। यह धारणा वास्तविक दुनिया के परिदृश्यों जैसे स्ट्रीम लर्निंग में टूट जाती है, जहाँ डेटा लगातार भारी मात्रा में आता रहता है। यह पत्र तर्क देता है कि शिक्षण प्रदर्शन केवल प्राप्त डेटा की मात्रा पर ही नहीं, बल्कि मुख्य रूप से उस मात्रा पर निर्भर करता है जिसे सीमित कम्प्यूटेशनल संसाधनों के दिए गए संसाधित किया जा सकता है—एक ऐसा कारक जिसे पारंपरिक सिद्धांत ने नजरअंदाज कर दिया है।

लेखक कंप्यूटर सिस्टम के विकास से एक शक्तिशाली सादृश्य खींचते हैं, वर्तमान "इंटेलिजेंट सुपरकंप्यूटिंग" सुविधाओं (जो प्रति उपयोगकर्ता/कार्य निश्चित, अनन्य संसाधन आवंटित करती हैं) की तुलना आधुनिक समय-साझाकरण ऑपरेटिंग सिस्टम से करते हैं। वे समय-साझाकरण के दोहरे लक्ष्यों को परिभाषित करने के लिए ट्यूरिंग पुरस्कार विजेताओं फर्नांडो जे. कोर्बाटो और एडगर एफ. कोड का हवाला देते हैं: उपयोगकर्ता दक्षता (तेज प्रतिक्रिया) और हार्डवेयर दक्षता (शेड्यूलिंग के माध्यम से इष्टतम संसाधन उपयोग)। मूल थीसिस यह है कि मशीन लर्निंग सिद्धांत को इन समय-साझाकरण चिंताओं को एकीकृत करना चाहिए, जिससे कम्प्यूटेशनल संसाधन कुशल शिक्षण (CoRE-लर्निंग) का प्रस्ताव सामने आता है।

2. CoRE-लर्निंग रूपरेखा

CoRE-लर्निंग रूपरेखा शेड्यूलिंग और संसाधन बाधाओं को औपचारिक रूप से शिक्षण प्रक्रिया में शामिल करती है। यह इस गारंटी को छोड़ देती है कि सभी डेटा को संसाधित किया जा सकता है, जिससे शेड्यूलिंग तंत्र शिक्षण सिद्धांत में एक प्रथम श्रेणी का नागरिक बन जाता है।

2.1. मूल अवधारणाएँ: थ्रेड्स एवं सफलता

सुपरकंप्यूटिंग सुविधा को सौंपे गए एक मशीन लर्निंग कार्य को थ्रेड कहा जाता है। प्रत्येक थ्रेड की एक निश्चित जीवन अवधि होती है जो प्रारंभ समय और समय सीमा के बीच होती है। एक थ्रेड सफल होता है यदि उपयोगकर्ता के प्रदर्शन आवश्यकताओं को पूरा करने वाले मॉडल को इस जीवन अवधि के भीतर सीखा जा सकता है। अन्यथा, यह एक विफलता है। यह फ्रेमिंग शिक्षण परिणाम को सीधे समय और संसाधन बाधाओं से जोड़ती है।

2.2. मशीन लर्निंग थ्रूपुट

नेटवर्किंग और डेटाबेस सिस्टम की अवधारणाओं से प्रेरित होकर, यह पत्र कम्प्यूटेशनल संसाधनों और शेड्यूलिंग के प्रभाव को सूत्रबद्ध करने के लिए एक अमूर्त माप के रूप में मशीन लर्निंग थ्रूपुट का परिचय देता है।

2.2.1. डेटा थ्रूपुट

डेटा थ्रूपुट ($\eta$) को प्रति समय इकाई सीखे जा सकने वाले प्राप्त डेटा का प्रतिशत के रूप में परिभाषित किया गया है। यह एक गतिशील चर है जो दो कारकों से प्रभावित होता है: आने वाली डेटा की मात्रा और उपलब्ध कम्प्यूटेशनल संसाधन बजट।

पत्र स्वीकार करता है कि डेटा की कठिनाई भिन्न हो सकती है (उदाहरण के लिए, अवधारणा बदलाव के कारण, खुले-पर्यावरण शिक्षण से जुड़कर), इसे थ्रूपुट मॉडल में भविष्य के एकीकरण के लिए एक कारक के रूप में सुझाते हुए।

3. तकनीकी सूत्रीकरण एवं विश्लेषण

हालांकि प्रदान किया गया PDF अंश पूर्ण गणितीय प्रमाण प्रस्तुत नहीं करता है, यह आवश्यक औपचारिकता स्थापित करता है। CoRE-लर्निंग के तहत एक शिक्षण एल्गोरिदम $\mathcal{A}$ का प्रदर्शन केवल नमूना आकार $m$ का कार्य नहीं है, बल्कि प्रभावी रूप से संसाधित डेटा का है, जो समय $t$ के साथ थ्रूपुट $\eta(t)$ और शेड्यूलिंग नीति $\pi$ द्वारा नियंत्रित होता है।

अपेक्षित जोखिम $R$ का एक सरलीकृत सूत्रीकरण हो सकता है: $$R(\mathcal{A}, \pi) \leq \inf_{t \in [T_{\text{start}}, T_{\text{deadline}}]} \left[ \mathcal{C}(\eta_{\pi}(t) \cdot D(t)) + \Delta(\pi, t) \right]$$ जहाँ $\mathcal{C}$ एक जटिलता पद है जो समय $t$ तक संसाधित डेटा की मात्रा पर निर्भर करता है, $D(t)$ कुल प्राप्त डेटा है, $\eta_{\pi}(t)$ नीति $\pi$ के तहत प्राप्त थ्रूपुट है, और $\Delta$ शेड्यूलिंग ओवरहेड या विलंब के लिए एक दंड पद है। लक्ष्य थ्रेड की जीवन अवधि के भीतर इस सीमा को कम करने वाली एक शेड्यूलिंग नीति $\pi^*$ ढूंढना है।

4. विश्लेषणात्मक रूपरेखा एवं केस उदाहरण

परिदृश्य: एक क्लाउड एमएल प्लेटफॉर्म को दो शिक्षण थ्रेड प्राप्त होते हैं: थ्रेड ए (छवि वर्गीकरण) जिसकी समय सीमा 2 घंटे है, और थ्रेड बी (लॉग्स पर विसंगति पहचान) जिसकी समय सीमा 1 घंटे है लेकिन उच्च प्राथमिकता है।

CoRE-लर्निंग विश्लेषण:

1. थ्रेड परिभाषा: प्रत्येक थ्रेड के लिए जीवन अवधि, डेटा आगमन दर और प्रदर्शन लक्ष्य को परिभाषित करें।
2. थ्रूपुट मॉडलिंग: उपलब्ध हार्डवेयर (जैसे, जीपीयू) पर प्रत्येक थ्रेड प्रकार के लिए डेटा थ्रूपुट $\eta$ का अनुमान लगाएं।
3. शेड्यूलिंग नीति ($\pi$): नीतियों का मूल्यांकन करें।
   • नीति 1 (अनन्य/FCFS): थ्रेड ए को पूरा होने तक चलाएं, फिर बी। जोखिम: थ्रेड बी निश्चित रूप से अपनी समय सीमा चूक जाएगा।
   • नीति 2 (समय-साझाकरण): बी के लिए 50 मिनट के लिए 70% संसाधन आवंटित करें, फिर शेष समय के लिए ए को 100%। थ्रूपुट मॉडल का उपयोग करके विश्लेषण यह भविष्यवाणी कर सकता है कि क्या दोनों थ्रेड अपनी जीवन अवधि के भीतर अपने प्रदर्शन लक्ष्यों को पूरा कर सकते हैं।
4. सफलता/विफलता पूर्वानुमान: यह रूपरेखा इस भविष्यवाणी के लिए एक सैद्धांतिक आधार प्रदान करती है कि नीति 1 एक विफलता की ओर ले जाती है, जबकि एक अच्छी तरह से डिज़ाइन की गई नीति 2 दोहरी सफलता की ओर ले जा सकती है, जिससे समग्र हार्डवेयर दक्षता और उपयोगकर्ता संतुष्टि को अधिकतम किया जा सकता है।

5. भविष्य के अनुप्रयोग एवं शोध दिशाएँ

• बड़े पैमाने के फाउंडेशन मॉडल प्रशिक्षण: विषम क्लस्टर (जीपीयू/टीपीयू) में गतिशील संसाधन मूल्य निर्धारण (जैसे, AWS स्पॉट इंस्टेंस) के साथ पूर्व-प्रशिक्षण कार्यों को शेड्यूल करना। CoRE-लर्निंग लागत-प्रदर्शन व्यापार-बंदों को अनुकूलित कर सकता है।
• एज-क्लाउड सहयोगी शिक्षण: बैंडविड्थ और विलंब बाधाओं के तहत एज डिवाइस (कम शक्ति) और क्लाउड (उच्च शक्ति) के बीच मॉडल अपडेट और अनुमान कार्यों को शेड्यूल करना।
• MLOps एवं निरंतर शिक्षण: उत्पादन प्रणालियों में नए डेटा आने पर पुनःप्रशिक्षण पाइपलाइनों के शेड्यूलिंग को स्वचालित करना, सेवा-स्तर समझौतों (SLAs) का उल्लंघन किए बिना मॉडल की ताजगी सुनिश्चित करना।
• खुले-पर्यावरण शिक्षण के साथ एकीकरण: थ्रूपुट अवधारणा $\eta$ को कठिनाई थ्रूपुट को ध्यान में रखने के लिए विस्तारित करना, जहाँ प्रति डेटा बिंदु संसाधन लागत अवधारणा बदलाव या नवीनता के साथ बदलती है, जो निरंतर शिक्षण और विसंगति पहचान जैसे क्षेत्रों से जुड़ती है।
• सैद्धांतिक अभिसरण सीमाएँ: PAC-शैली की शिक्षण गारंटियाँ प्राप्त करना जो स्पष्ट रूप से संसाधन बजट और शेड्यूलिंग नीतियों को शामिल करती हैं, "संसाधन-बाध्य शिक्षण सिद्धांत" का एक नया उपक्षेत्र बनाती हैं।

6. संदर्भ

1. Codd, E. F. (वर्ष). शेड्यूलिंग पर संदर्भित कार्य का शीर्षक. प्रकाशक.
2. Corbató, F. J. (वर्ष). समय-साझाकरण पर संदर्भित कार्य का शीर्षक. प्रकाशक.
3. Kurose, J. F., & Ross, K. W. (2021). Computer Networking: A Top-Down Approach. Pearson. (थ्रूपुट परिभाषा के लिए).
4. Zhou, Z. H. (2022). Open-Environment Machine Learning. National Science Review. (बदलती डेटा कठिनाई से जुड़ाव के लिए).
5. Silberschatz, A., Korth, H. F., & Sudarshan, S. (2019). Database System Concepts. McGraw-Hill. (लेनदेन थ्रूपुट के लिए).
6. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative Adversarial Nets. Advances in Neural Information Processing Systems. (एक कम्प्यूटेशनल रूप से गहन एमएल प्रतिमान का उदाहरण).
7. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (एक संसाधन-भारी प्रशिक्षण कार्य का उदाहरण).

7. विशेषज्ञ विश्लेषण एवं समीक्षा