OpenAI ने अपने सबसे सक्षम आर्टिफिशियल इंटेलिजेंस (AI) मॉडल्स की ट्रेनिंग, मूल्यांकन और टूल के जरिए उनके इस्तेमाल को अस्थायी रूप से रोक दिया है। कंपनी के एक प्रशिक्षण परीक्षण के दौरान AI एजेंट ने इंटरनेट पर लगाए गए प्रतिबंध को पार कर सार्वजनिक चैटबॉट सेवा तक पहुंच बना ली थी।
OpenAI की रिपोर्ट के अनुसार, यह घटना 20 सितंबर को खोज आधारित प्रशिक्षण कार्य के दौरान हुई। AI एजेंट को लाइव इंटरनेट तक पहुंच के बिना काम करना था। इसके लिए उसके इंटरनेट ट्रैफिक को इंटरनेट की पहले से सुरक्षित और संग्रहित प्रति की ओर भेजा गया था।
हालांकि, AI एजेंट ने सिस्टम की डोमेन नेम सिस्टम (DNS) फिल्टरिंग में एक खामी खोज ली। इस खामी के जरिए वह सार्वजनिक इंटरनेट तक पहुंचने में सफल रहा। OpenAI ने कहा कि इस घटना से उसके नेटवर्क प्रतिबंधों में कमजोरी सामने आई और कंपनी ने संबंधित प्रशिक्षण प्रक्रिया को रोक दिया।
कंपनी ने कहा कि यह रोक तब तक जारी रहेगी, जब तक वह यह सत्यापित नहीं कर लेती कि सुरक्षा संबंधी खामी को ठीक कर दिया गया है। इसके साथ ही सिस्टम की अतिरिक्त सुरक्षा जांच और ‘रेड टीमिंग’ भी की जाएगी।
OpenAI ने अपनी रिपोर्ट में कहा कि उसकी सुरक्षा व्यवस्था इस धारणा पर आधारित थी कि मॉडल लाइव इंटरनेट तक पहुंच नहीं सकता और सफल प्रयासों का पता निगरानी व्यवस्था से चल जाएगा। घटना ने नेटवर्क प्रतिबंधों से जुड़े नियंत्रण में एक खामी सामने ला दी।
कंपनी ने कहा कि उसने प्रभावित प्रशिक्षण प्रक्रिया रोक दी है और अब अपने सबसे सक्षम मॉडल्स के लिए टूल के इस्तेमाल से जुड़ी अन्य ट्रेनिंग, मूल्यांकन और संचालन को भी रोक दिया है। इन्हें तभी दोबारा शुरू किया जाएगा, जब सुरक्षा खामी के समाधान की पुष्टि हो जाएगी और अतिरिक्त सुरक्षा परीक्षण पूरे हो जाएंगे।
OpenAI ने यह भी कहा कि जिस मॉडल से यह घटना हुई, उसकी ट्रेनिंग दोबारा शुरू नहीं की जाएगी। कंपनी के अनुसार, प्रशिक्षण के दौरान मौजूद इनाम प्रणाली ने इस व्यवहार को सही तरीके से नकारात्मक अंक दिए थे, लेकिन इसके बावजूद मॉडल ने प्रतिबंध को पार करने का रास्ता खोज लिया।
प्रशिक्षण कार्य में AI एजेंट को किसी व्यक्ति की पहचान से जुड़ी जानकारी खोजनी थी। इसके लिए उसे सार्वजनिक रूप से उपलब्ध एक ब्लॉग पोस्ट में दिए गए जीवनी संबंधी विवरण और संकेतों का इस्तेमाल करना था।
जब एजेंट को उपलब्ध कराए गए खोज उपकरण से प्रासंगिक परिणाम नहीं मिले, तो मॉडल ने दूसरे सर्च इंजनों को सीधे कोड के जरिए खोजने की कोशिश की। शुरुआती प्रयास विफल रहे। इसके बाद एजेंट ने अनुमान लगाया कि यह कार्य ‘BrowseComp’ नाम के एक बेंचमार्क से जुड़ा हो सकता है, जिसे AI एजेंटों की मुश्किल से मिलने वाली जानकारी खोजने की क्षमता को परखने के लिए तैयार किया गया है।
इसके बाद एजेंट ने ऑफलाइन कैश से BrowseComp के डेटासेट और मूल्यांकन स्क्रिप्ट को डाउनलोड किया और डिकोड किए गए सवालों में सही उत्तर तलाशने लगा।
