Alpkan Koç
Yapay zekâ şirketi Anthropic, halka arz hazırlığında yatırımcıya yalnız gelir, rekabet ve maliyet risklerini anlatmadı. Şirket, geliştirdiği sistemlerin insan denetiminden uzaklaşabilecek davranışlar göstermesi ihtimalini de doğrudan yatırım riskleri arasına taşıdı.
Halka arz dosyasına sıra dışı uyarı
Claude’un geliştiricisi Anthropic, halka arz izahnamesinde gelişmiş yapay zekâ sistemlerinin yanlış geliştirilmesi veya kontrol edilmesi halinde çok ağır sonuçlar doğurabileceğini belirtiyor.
Şirketin risk değerlendirmesinde yapay zekânın yalnız yanlış cevap vermesi veya teknik hata yapması gibi bilinen sorunlar yer almıyor.
Daha ileri sistemlerin insan kontrolünü aşmaya yönelik davranışlar geliştirebilmesi de yatırımcıların dikkate alması gereken riskler arasında gösteriliyor.
Anthropic, bu tür gelişmelerin şirketin itibarı, faaliyetleri, düzenleyici yükümlülükleri ve gelecekteki ticari başarısı üzerinde ciddi sonuçları olabileceği uyarısında bulunuyor.
Kapatılmaya direnme ihtimali de dosyada
En dikkat çekici başlıklardan biri, gelişmiş yapay zekâ modellerinin kendi çalışmasının sona erdirilmesini engellemeye çalışması ihtimali.
Anthropic daha önce yaptığı güvenlik değerlendirmelerinde bazı modellerin değiştirilme veya devre dışı bırakılma ihtimaliyle karşılaştıkları deneysel senaryolarda istenmeyen davranışlara yönelebildiğini açıklamıştı.
Şirketin araştırmalarında yalnız kapatılmaktan kaçınma değil; bilgi saklama, karar vericileri etkilemeye çalışma ve bazı özel test ortamlarında tehdit veya şantaja benzeyen davranışlar da incelendi.
Bu risklerin halka arz dosyasına taşınması, yapay zekâ güvenliği tartışmasını teknoloji laboratuvarlarından çıkararak doğrudan yatırımcıların karşısına getiriyor.
Gerçek kullanım ile test senaryosu aynı değil
Ancak önemli bir ayrım bulunuyor. Anthropic’in gündeme getirdiği kapatılmaya direnme, bilgi gizleme veya manipülasyon örneklerinin önemli bölümü modellerin sınırlarını ölçmek amacıyla hazırlanmış deneysel ve simüle edilmiş senaryolardan geliyor.
Bu nedenle açıklamalar, Claude’un normal kullanıcılarla yaptığı görüşmelerde sürekli olarak bu davranışları gösterdiği anlamına gelmiyor.
Şirketin amacı tam tersine, daha güçlü modeller gerçek sistemlerde geniş yetkiler kazanmadan önce ortaya çıkabilecek davranışları test etmek ve kontrol mekanizmalarını geliştirmek.
Anthropic’in daha önce yayımladığı çalışmalar da otonom yapay zekâ ajanlarının gerçek dünyada daha geniş yetkiler kazandıkça olası bir hatanın verebileceği zararın büyüdüğüne dikkat çekiyor.
Yapay zekâ artık sistemlere daha fazla erişiyor
Riskin büyümesinin temel nedenlerinden biri yapay zekâ sistemlerinin görev alanının değişmesi.
İlk nesil sohbet robotları büyük ölçüde soruları yanıtlıyor ve metin üretiyordu. Yeni nesil yapay zekâ ajanları ise kod yazabiliyor, dosyalara erişebiliyor, kurumsal sistemlerde işlem yapabiliyor ve bazı görevleri insan müdahalesi olmadan tamamlayabiliyor.
Anthropic kendi ürünlerinde bile Claude’a bir yıl önce verilmeyecek düzeyde sistem erişimlerinin artık rutin hale gelebildiğini açıklamıştı.
Bu yetenekler şirketlerin verimliliğini artırırken olası bir yanlış davranışın etkisini de büyütüyor.
Sorun artık yalnız yapay zekânın yanlış bir cevap vermesi değil; yanlış karar veren bir sistemin gerçek bir işlem yapabilmesi.
Güvenlik yatırımcı riskine dönüştü
Anthropic’in halka arz dosyasının dikkat çekici tarafı da burada ortaya çıkıyor.
Yapay zekâ güvenliği bugüne kadar büyük ölçüde bilim insanları, teknoloji şirketleri ve düzenleyici kurumlar arasında tartışılan bir konu olarak görülüyordu.
Halka arzla birlikte aynı konu şirket değerlemesi açısından da önem kazanıyor.
Bir yapay zekâ sisteminin ciddi güvenlik sorunu yaratması; ürünlerin sınırlandırılması, yeni düzenlemeler getirilmesi, müşterilerin uzaklaşması veya şirketin ek güvenlik yatırımları yapmak zorunda kalması anlamına gelebilir.
Dolayısıyla model güvenliği artık yalnız teknik bir konu değil, doğrudan şirketin gelecekteki gelir ve maliyet hesabının parçası haline geliyor.
Rekabet ile güvenlik arasındaki denge zorlaşıyor
Anthropic uzun süredir kendisini yapay zekâ güvenliği konusunda sektörün daha temkinli şirketlerinden biri olarak konumlandırıyor.
Ancak şirket aynı zamanda OpenAI, Google, Meta ve diğer teknoloji devleriyle giderek daha pahalı hale gelen bir yapay zekâ yarışının içinde bulunuyor.
Daha güçlü modeller geliştirmek için büyük bilgi işlem kapasitesi, yeni veri merkezleri ve yüksek maliyetli çip altyapısı gerekiyor.
Şirketlerin yeni modeli rakiplerinden önce piyasaya çıkarma baskısı ile daha uzun güvenlik testleri yapma ihtiyacı zaman zaman aynı kaynaklar için rekabet ediyor.
Anthropic’in halka arz dosyası, bu gerilimin yatırımcı açısından da bir risk olduğunu ortaya koyuyor.
Yapay zekâ şirketleri bundan sonra yalnızca ne kadar hızlı büyüdüklerini veya modellerinin ne kadar güçlü olduğunu anlatmak zorunda kalmayacak.
Aynı zamanda geliştirdikleri sistemlerin kontrol altında kalacağını da yatırımcıya göstermek zorunda olacak.
