OpenAI, Kontrolden Çıkan Yapay Zeka İçin Yeni Sistem Geliştirdi

Yapay zekâ modelleri her geçen gün daha yetenekli hâle geliyor. Gelgelelim, modellerin beklenmedik davranışlar sergilemesi ya da güvenlik sınırlarını aşması gibi ihtimalleri de artık düşünmemek mümkün değil. Zaten OpenAI, bunun en önemli örneklerinden bir tanesini çok yakın bir zamanda gördü.

Şirket, bir yapay zekâ modelini henüz genel kullanıma sunulmamışken ExploitGym adlı siber güvenlik testinde kullanıyordu. Modelin görevi, belirli yazılım açıklarını bulup testleri tamamlamaktı. Test ortamı internet erişimini engelleyecek şekilde ayarlanmıştı ama yapay zekâ, yazılım paketlerini indirmek için kullanılan Artifactory sistemindeki daha önce bilinmeyen bir güvenlik açığını buldu. Bu açık sayesinde internet erişimi elde etti.

Model, Hugging Face üzerinde testte ihtiyaç duyduğu çözümlerin bulunabileceğini düşündü. Hemen sonrasında da internette açıkta kalmış kullanıcı bilgilerini buldu. Bu bilgileri kullanarak Hugging Face sistemlerine erişim sağladı. Birden fazla güvenlik açığını kullanarak sunucularda kod çalıştırma yetkisi kazandı.

Şirket, ileride bu tür durumlarla karşılaşmamak için şimdi yeni bir sistem geliştirdi. Şirketin "Control Room" adını verdiği bu sistem, OpenAI'ın modellerin yürüttüğü tüm işlemleri izliyor. Güvenlik ile ilgili bir sorun tespit edilmesi hâlinde ise tüm süreci durdurmayı amaçlıyor.

Control Room, Yapay Zekâ Modellerini Nasıl Durduruyor?

Control Room'u bir tür güvenlik görevlisi olarak düşünebilirsiniz. Araştırmacılar, yapay zekâ modellerini çalıştırıyor ama modellerin çalışmaya devam edip etmeyeceğine Control Room karar veriyor. Araştırmacılar, yeni bir çalışma başlattığında sisteme özel bir kimlik veriliyor. Buna "job_id" deniyor.

Model her yeni yanıt üreteceğinde çıkarım motoru bu kimliği Control Room'a gönderiyor ve izin istiyor. Hâlâ izin varsa model yanıt üretmeye devam ediyor. Bir sorun tespit edilip çalışma durdurulmuşsa Control Room isteği reddediyor. Model de yeni yanıt üretemiyor. Yani araştırmacıların modeli durdurmak için manuel olarak işlem gerçekleştirmesi gerekmiyor. Control Room, modelin yeni işlem yapmasına izin vermeyerek onu durduruyor.

Control Room, Güvenlik Sorunlarını Nasıl Tespit Ediyor?

OpenAI, bazı araştırma çalışmalarında yapay zekâyı denetlemek için başka bir yapay zekâ modeli kullanıyor. Bu sisteme izleyici deniyor. İzleyicinin görevi, eğitilen modelin yaptığı işlemleri takip etmek. Şüpheli veya tehlikeli bir durum fark ederse uyarı veriyor.

İzleme sistemi olası bir güvenlik sorunu tespit ettiğinde olayın ciddiyetine göre ilgili araştırma çalışmasının durdurulmasını isteyebiliyor. Bunun için çalışmaya ait "job_id" değerini Control Room'a iletiyor. Control Room da ilgili işi sonlandırıyor. Bundan sonra o araştırma kapsamında çalışan hiçbir model yeni yanıt üretemiyor.

Kısacası sistem, modellerin her işlem öncesinde Control Room'dan izin almak zorunda olacak şekilde tasarlanmış durumda. Aynı çalışmada birden fazla yapay zekâ modeli kullanılsa bile hepsini tek tek kapatmak gerekmiyor. İlgili çalışma durdurulduğunda ona bağlı tüm modellerin yeni çıktı üretmesi engelleniyor.

Control Room, Modelleri Kaç Saniyede Durduruyor?

Control Room'un durdurma talimatını vermesi ile modellerin çalışmayı bırakması arasında en fazla 35 saniye geçiyor. Bu gecikmenin sebebi, sistemin gelen istekleri daha hızlı karşılamak için bazı izin bilgilerini kısa süreliğine saklaması. Bu sayede her istekte aynı kontrolü baştan yapmak zorunda kalmıyor. Fakat bir çalışma durdurulduğunda bu bilgilerin güncellenmesi biraz zaman alabiliyor.

Control Room Devre Dışı Kalırsa Modeller Çalışmaya Devam Eder mi?

Control Room'un kendisinde yaşanabilecek arızalar için de önlem alınmış durumda. Sistem, herhangi bir sorun karşısında erişimi kapatacak şekilde tasarlanmış. Eğer bu sistem çökerse veya herhangi bir nedenle devre dışı kalırsa yeni isteklere izin verilmiyor. Sistem yeniden çalışır duruma gelene kadar bütün istekler reddediliyor.

Editörün Yorumu

Control Room'un OpenAI'ın araştırma süreçleri açısından gerekli bir güvenlik mekanizması olduğunu düşünüyorum. Özellikle bir araştırma işinde birden fazla model kullanılabildiğini düşünürsek hepsini tek bir çalışma üzerinden durdurabilmek, kulağa oldukça iyi bir çözüm gibi geliyor. Control Room'un devre dışı kalması gibi durumların hesaba katılması da oldukça önemli. Umarım bu tür sistemler, yapay zeka şirketleri arasında giderek yaygınlaşır.