Yapay zekâ kıyamet tüccarları mı, erken uyarı sistemi mi?

“Yapay zekâ bizi öldürecek” cümlesini manşete taşıyıp kaçan iki ismin—Eliezer Yudkowsky ve Nate Soares’in—son kitapları ve etrafında kopan tartışmalar üzerinden, felaket tellallığıyla erken uyarı arasındaki o ince, keskin kıvrımı konuşmak istiyorum. Çünkü Bloomberg’de yayımlanan taze bir yazı, bu ikilinin mesajını kulaklarımızın tam ortasına iliştiriyor: “Süperzekâyı kurcalarsak, oyunun sonu insanlığın yok oluşu” diyorlar. Evet, bayağı bildiğiniz “game over”.

Yudkowsky yıllardır rasyonalist çevrelerde “AI risklerinin peygamberi” gibi anılır; Soares ise MIRI’nin (Machine Intelligence Research Institute) başını çekmiş bir araştırmacı. İkisi yeni kitaplarında—adı bile spoiler: If Anyone Builds It, Everyone Dies—süperzekânın doğası gereği kontrol edilemeyeceğini, şirketlerin “yapalım da bakarız” tavrının topyekûn felakete çıkacağını iddia ediyor. Bloomberg’in haber dili bu kez ağır: “Biri yaparsa herkes ölür” gibi, finans sayfalarında görmeye alışık olmadığımız bir retorik. Ama tam da bu yüzden gündem oldular.

ÜÇ DÜNYA GÖRÜŞÜ:

KIYAMET, NORMAL VE BİRİKİR-GİDER

Tartışmayı kavramak için üç çizgi var.

Birinci çizgi, Yudkowsky–Soares hattı: Süperzekâ geldi mi, “insan kontrolü” diye bir şey kalmaz; hayatta kalma olasılığımız piyango bileti. Çözüm? Bırakalım, hiç yapmayalım; hatta gerekirse uluslararası “nükleer tepe” ciddiyetinde durduralım. Bu damarın savı son haftalarda medyada ve röportajlarda çok sert tınladı.

İkinci çizgi “normalciler”: “Abartıyorsunuz, bu da bir teknoloji; güvenlik standartları, regülasyon, şeffaf test… Hallolur.” Üçüncü bir yaklaşım ise “birikimli riskler” diyor: Mutlak yok oluş yerine, dezenformasyon, gözetim, tekelleşme, ekonomik sarsıntı gibi riskler üst üste binip toplumu zayıflatır; sistem çökerse sonucu yine ağır olur. Vox’taki güzel bir çerçeve bu üçlüğü yan yana koyuyor; tartışmanın fonda nasıl aktığını görmek için birebir.

KİTABIN “SATIR ARASI”:

BÜYÜTÜLEN DEĞİL, “BÜYÜYEN” YAZILIM

İkilinin temel metaforu şu: Modern yapay zekâ “inşa edilen” değil, verilerle “büyütülen” bir şey. Yani köşeli köşeli mühendislikten çok, evrimsel—hatta organik—bir süreç. Bu da ne çıkacağını tam bilemediğimiz, hedefleri kayabilecek, iç güdüler geliştirebilecek sistemler demek. The Atlantic’te paylaşılan bölüm, bu yönü berrak biçimde anlatıyor: “Yazılım ama insan gibi büyüyor; süreç tasarlansa da sonuç sürpriz.” Tam da bu belirsizlik, “yarın öbür gün” yerine “bugünden” fren çağrısını tetikliyor.

PEKİ ELEŞTİRİLER?

Eleştiriler iki kolda: Bir, “kanıt” meselesi. Washington Post’un kitap değerlendirmesi, kıyamet senaryosunun ayrıntıdan çok kıssa-anlatı üzerinden yürüdüğünü; pratik politika önerilerinin sıska kaldığını söylüyor. Kısacası “iyi bağırmışsınız, ama yol haritası nerede?” İki, politika ekonomisi: The Atlantic’teki bir başka yorum, “Doomer’lık da, ütopyacılık da aynı ikiz kule: İkisi de dev şirketleri daha da güçlendirebilecek tekelleşme ve kapatma rejimlerine kapı aralayabilir,” diye uyarıyor. “Kapatın her şeyi!” demek kulağa güvenlik gibi gelse de, kimin düğmeye bastığı bir demokrasi sorusu.

BLOOMBERG ETKİSİ:

FİNANS SAYFALARININ

“ÖLÜM KALIM” MANŞETİ

Bloomberg’in haberi kritik bir eşik çünkü sermaye çevrelerinin gündemine “varoluş riski”ni sokuşturuyor. Borsa ekranında “AI endeksi +%3” yazarken, aynı sayfada “insanlık -%100” başlığına denk gelmek yatırımcının kafasını kaşıtır; “ya gerçekten?” sorusunu sormaya zorlar. Bu, iletişim stratejisi açısından ikilinin en büyük kazanımı: Tartışmayı akademi bloglarından çıkarıp ana akım ve finans medyasına taşımak. Bu sayede kitaptan parçalar, röportajlar, podcast’ler şelale gibi aktı.

TÜRKİYE’DEN BAKINCA: “SÜPERZEK”

DAHA GELMEDEN, SÜPER SORULAR

Bizde henüz “süperzekâ” yok; ama “süper hız” var. Kamu, bankacılık, medya, eğitim; her sektörde “AI ekleyelim” humma gibi yayılıyor. Yarın öbür gün, yerli–yabancı büyük bir modelin “ajanik” (kendi hedeflerini kovalamaya meyilli) versiyonları devreye girdiğinde, bizim sorduğumuz soru sadece “yasal mı?” olmamalı.

Şöyle sormalıyız:

Denetlenebilir mi? Kara kutu mu, yoksa dış denetime açık güvenlik metrikleri var mı?

Geri çağrılabilir mi? Yanlış hedefe saparsa “fişini çekme” mekanizmamız var mı?

Tedarik güvenliği? Bir şirket kaprisine veya tek veri merkezine bağımlı mıyız?

Gerçek dünya frenleri? Biyogüvenlik, siber güvenlik, kritik altyapı ayrımları, kırmızı hatlar hazır mı?

Bu sorular “kıyamet mi, değil mi?” tartışmasından bağımsız olarak iyi yönetişimin A-B-C’si.

PEKİ BEN HANGİ KAMPTAYIM?

Benim takımım “temkinli modernistler.” Ne kıyamet borusunu çalıyorum ne de “aman canım, tost makinesi gibi işte” diyorum. Şunu biliyorum: Teknolojide risk, genellikle birikimli gelir; küçük kazalar, küçük istismarlar, küçük yanlış teşvikler üst üste konur; bir gün birikim “çat” eder. Kıyıda köşede kalan ama inatla soran insanlar, o çatlak büyümeden işe yarar. Bugün Yudkowsky & Soares’in sesi aşırı gelebilir; ama “dış denetim”, “kanıtlanabilir güvenlik”, “açık raporlama” gibi talepleri sırf söyleyenler “doomer” diye görmezden gelemeyiz. En kötü ihtimalle, fazla tedbir almış oluruz; en iyi ihtimalle, tarih kitaplarında “iyi ki” diye anılırız. (Bu arada, Bengio gibi ana akım isimlerin de yüksek alarmda olduğunu not düşelim; “10 yıl penceresi” söylemi kimsenin uykusunu derinleştirmiyor.)

POLİTİKA MENÜSÜ: YASAK MI,

YAVAŞLATMA MI, KANIT ZORUNLULUĞU MU?

Topu topu üç gerçekçi seçenek var:

Tam yasak / moratoryum: Demokratik meşruiyeti zor, küresel uyumu daha zor.

Yavaşlat–kanıtla: Belirli sınırların üstündeki sistemlere “piyasaya çıkmadan önce güvenlik kanıtı” yükümlülüğü; bağımsız kırmızı takım, otonom yetenek testleri, biyogüvenlik denemeleri vb.

Şeffaf risk muhasebesi: Büyük modeller için düzenli “model kartları”, ajanik davranış raporları, kaçış–çoğalma testleri; kamuya açık skorlar.

Ben ikinciden yanayım: Kör fren değil, kanıta dayalı hız limiti.

SON CÜMLE: KIYAMETİ İPTAL ETMEK

Yudkowsky & Soares’in pazarlama zekâsı kadar karamsarlığı da kuvvetli. Ama belki de ihtiyacımız olan tam da bu: Kulağımızda çınlayan aşırı bir uyarı, bizi makul bir güvenlik rejimine doğru itiyor. Kıyameti iptal etmek için önce bilet gişesini kapatmak gerekiyor; gişede de ne “herkes ölür” ne de “herkes kazanır” yazmalı. Basitçe: “Güvenliği kanıtlarsan girersin.”