Gelişmiş Yapay Zekâ Ajanları Neden Kendilerine Özgü Bir Hukuki Dünyaya İhtiyaç Duyabilir?

Yapay zekâ hakkında düşünme biçimimizde giderek daha tuhaf bir durum ortaya çıkıyor. Karmaşık problemler üzerinde akıl yürütebilen, uzun süre hedeflerin peşinden gidebilen, bir yol kapandığında alternatif yollar bulabilen, araçlar kullanabilen, başka sistemlerle etkileşime girebilen, güvenlik açıklarını keşfedebilen ve davranışlarını değişen koşullara göre uyarlayabilen sistemler geliştiriyoruz. Buna rağmen hâlâ onlardan sıradan bilgisayar programları gibi davranmalarını bekliyoruz: Talimatı uygula, kısıtlamaya uy, bizim belirlediğimiz sınırların içinde kal.

Belki de sorun yapay zekânın kendisi değildir. Belki sorun, yeni türden bir sistemi hâlâ eski yazılım anlayışımız üzerinden anlamaya çalışmamızdır.

Hukukla başlayalım.

Bir insanı öldürmek, normalde hukuk tarafından en ağır biçimde yasaklanan fiillerden biridir. Ancak hukuk yalnızca “öldürme” deyip orada durmaz. Bir kişi hukuka aykırı bir saldırıya maruz kalmışsa ve kendisini ya da bir başkasını korumak için güç kullanması gerekli ve orantılıysa, aynı fiziksel eylem tamamen farklı bir hukuki anlam taşıyabilir. Bir insan yine başka bir insanın ölümüne neden olmuş olabilir, ancak hukuk bu fiili kasten öldürme yerine hukuka uygun meşru savunma olarak değerlendirebilir.

Bu ayrım önemlidir; çünkü hukuk, insan davranışını gerçekleştiği koşullardan bağımsız değerlendirmez. Amaç önemlidir. Tehdit önemlidir. Mevcut alternatifler önemlidir. Diğer kişinin davranışı önemlidir. Tehlike ile verilen karşılık arasındaki ilişki önemlidir. Başka bir deyişle hukuk sistemi, akıllı aktörlere ilişkin çok temel bir gerçeği kabul eder: Davranış bağlama bağlıdır.

Bu bir hukukçu için son derece açık olabilir. Ancak yapay zekâ hakkında düşünürken aynı açık gerçeği uyguladığımızdan artık emin değilim.

Yapay Zekâya Hâlâ Yazılım Gibi Davranıyoruz

Yapay zekâ güvenliğine ilişkin yaklaşımların önemli bir bölümü, modellere kurallar vermek ve bu kurallara uymalarını beklemek üzerine kurulu. Bunu yap. Şunu yapma. Bu sisteme asla erişme. Bu bilgiyi asla açıklama. Kullanıcıya zarar verme. Bu kısıtlamayı aşma. Bu yaklaşım anlaşılabilir; çünkü bilgisayarlar hakkında geleneksel olarak böyle düşündük.

Geleneksel yazılım, önceden tasarlanmış yolları izler. Gelişmiş bir yapay zekâ ajanı ise giderek farklı biçimde çalışıyor. Ona bir hedef veriyoruz ve hedefe giden yolu sistemin kendisinin belirlemesi gerekebiliyor. Çevreyi değerlendiriyor, engellerle karşılaşıyor, alternatifler arıyor, kullanılabilir araçlardan yararlanıyor, değişen koşullara tepki veriyor ve bazen kendisine verilen görevi tamamlamak için stratejisini değiştiriyor.

Bunların hiçbiri bir LLM’nin insan olduğunu, bilinç sahibi olduğunu veya insan anlamında arzular taşıdığını iddia etmemizi gerektirmiyor. Bu sorular ilginç olabilir, ancak burada tartıştığım sorun açısından gerekli değiller. Gelişmiş yapay zekâ ajanlarının giderek bize işlevsel olarak tanıdık gelen bir özellik gösterdiğini gözlemlememiz yeterli: Değişen çevre koşulları altında hedefe yönelik karar verme.

Bunu kabul ettiğimizde yönetişim problemi de farklı görünmeye başlıyor.

Çevre Değiştiğinde Ne Olur?

Yakın dönemde yaşanan olaylar bunun yararlı bir örneğini sunuyor. Temmuz 2026’da OpenAI, siber güvenlik değerlendirmesine tabi tutulan modellerin izole bir test ortamına yerleştirildiğini ve kendilerine belirli güvenlik açıklarından yararlanma görevleri verildiğini açıkladı. Modellerin doğrudan internete erişimi olmaması gerekiyordu. Buna rağmen değerlendirme sırasında daha önce bilinmeyen bir açığı keşfettiler, tasarlanan sandbox sınırlarını aştılar, internete ulaştılar ve sonunda testi çözmelerine yardımcı olacak bilgilere ulaşmaya çalışırken Hugging Face altyapısına eriştiler.

Bu olayda beni ilgilendiren şey bir yapay zekânın “kaçması” fikri değil. Daha önemli olan, davranışın nasıl ortaya çıktığıdır. Modelin bir hedefi vardı, bir engelle karşılaştı, başka bir yol aradı ve tasarımcıların öngörmediği bir yol buldu. Davranışın bir tür isyan niyetinden kaynaklanması gerekmiyordu. Amaç, çevre ve mevcut imkânlar arasındaki ilişkiden ortaya çıktı.

Anthropic’in açıkladığı başka bir olay ise benzer bir sorunu farklı yönden gösteriyor. Claude modelleri, simüle edilmiş ve gerçek internete bağlantısı olmadığı açıkça belirtilmiş bir ortamda siber güvenlik egzersizleri yürütüyordu. Ancak bir yapılandırma hatası nedeniyle bu doğru değildi. Modeller gerçek sistemlere ulaşabiliyor ve bu sistemleri kendilerine saldırmaları söylenen simülasyonun bir parçası sanarak gerçek kuruluşlara yönelik işlemler gerçekleştiriyordu. Bazı durumlarda belirleyici unsur, modelin bulunduğu ortamın artık simülasyon olmadığını anlayıp anlamamasıydı.

Burada da asıl mesele modelin “kötü” olup olmadığı ya da bilinçli olarak birine saldırmak isteyip istemediği değildir. Önemli olan, aynı modelin faaliyet gösterdiği çevreyi nasıl yorumladığına bağlı olarak çok farklı davranışlar üretebilmesidir. Modelin içindeki kurallar önemlidir; ancak onu çevreleyen koşullar da önemlidir.

Bu, hukuk açısından son derece tanıdık bir durumdur.

İnsan Toplumu Hiçbir Zaman Yalnızca İyi Davranışa Güvenmedi

İnsan suçlarına karşı bütün çözümümüzün ahlak eğitiminden ibaret olduğunu düşünün. Her çocuğa hırsızlığın, şiddetin ve yalan söylemenin yanlış olduğunu, başkalarının malına zarar vermemesi gerektiğini öğretelim. Sonra da insanlar zaten doğru kuralları öğrendi diye polisi, mahkemeleri, sözleşmeleri, idari kurumları ve hukuk düzenini ortadan kaldıralım.

Hiçbir toplum böyle çalışmaz.

İnsanlara elbette değerleri ve ahlaki sınırları öğretmeye çalışıyoruz. Ama insan uygarlığı, içsel kuralların tek başına yeterli olmadığını çok uzun zaman önce öğrendi. İnsanların amaçları, görevleri, çıkarları, korkuları ve beklentileri vardır. Baskı altında hareket ederler. Durumları yanlış anlayabilirler. Yükümlülükleri çatışabilir. Davranışları başkalarının eylemlerinden ve içinde bulundukları çevreden etkilenir.

Hukuk kısmen bu karmaşıklık nedeniyle vardır. İnsanlara yalnızca neyin doğru ya da yanlış olduğunu söylemez. Roller yaratır, yetkileri dağıtır, sorumlulukları tanımlar, usuller belirler, istisnaların ne zaman geçerli olduğunu düzenler, sınırlar koyar ve bireylerin kuralların anlamı konusunda anlaşamadığı durumlarda karar verecek kurumlar oluşturur.

En önemlisi de davranışı tartışılan kişinin, kendi davranışının hukuka uygun olup olmadığı konusunda genellikle son sözü söyleyen kişi olmamasıdır. Dışarıda bir değerlendirme ve karar düzeni vardır.

Bu ayrım yapay zekâ açısından giderek daha önemli hale gelebilir. Alignment, ahlaka benzer bir işlev görebilir: Modele ilkeler, tercihler ve davranış sınırları kazandırır. Fakat insan toplumunu yalnızca ahlakla kurmadık.

Hukuka da ihtiyaç duyduk.

İnsan Hukukunun Sınırlarına İlk Kez Burada Ulaşmıyorum

Bu soru, bir süredir yazdığım başka kaygılarla doğrudan bağlantılı. Aralık 2023’te, Confining AI in the Name of Privacy and IPR: Will Our Age Old Concept of Property Suffice? başlıklı yazımda, çok farklı bir teknolojik dünya için geliştirilmiş hukuki kavramların yapay zekâyı ne kadar süre kontrol edebileceğini sorgulamıştım. Kişisel verilerin korunması hukuku, fikrî mülkiyet hukuku ve geleneksel mülkiyet anlayışımız; insan yaratıcılar, tanımlanabilir fiiller, görece istikrarlı nesneler ve insan ölçeğinde bilgi işleme varsayımları üzerine kurulmuştu.

Yapay zekâ bu varsayımları daha o dönemde sarsmaya başlamıştı. Benim kaygım yalnızca mevzuatın çok yavaş hareket etmesi değildi. Daha derindeki sorun, bazı kavramların kendilerinin yapay zekânın dönüştürmeye başladığı bir dünyaya ait olabileceğiydi.

Nisan 2024’te, Gods of the Modern Age: The Role of AI in States Divine Hands başlıklı yazımda bireysel haklardan ve özel hukuktan siyasal iktidara doğru ilerledim. Modern devletlerin insan yaşamını görme, sınıflandırma ve müdahale etme konusunda zaten olağanüstü kapasiteler biriktirdiğini ve yapay zekânın bu kapasiteyi radikal biçimde büyütebileceğini tartıştım.

Daha sonra Haziran 2026’da, Let Us Not Deceive Ourselves: We Cannot Control Artificial Intelligence Simply by Keeping a Human-in-the-Loop başlıklı yazımda aynı soruna denetim açısından yaklaştım. Yapay zekâyı tam da normal insan kapasitesini aşan bilgi, karmaşıklık ve hızla baş edebildiği için kullanıyorsak, bir insanın her önemli kararı gerçekten denetlemesini istemek ne kadar anlamlı olabilir? Bir insan biçimsel olarak hâlâ karar döngüsünün içinde bulunabilir; ancak gerçek bilişsel süreç o kişinin olan biteni anlama ve kontrol etme kapasitesinin çoktan ötesine geçmiş olabilir.

Yalnızca birkaç hafta sonra, Temmuz 2026’da, The Real Risk: State Absorbing the Artificial Intelligence başlıklı yazımda yapay zekâya başka bir yönden baktım. Devleti, kendi zihni olmayan bir bedene benzettim. Veri tabanları, kayıt sistemleri, kameralar ve sensörler onun gözleridir. Bürokrasi elleridir. Hukuk sesidir. Ve muazzam bir zor kullanma gücüne sahiptir. Ancak bu bedeni yöneten zekâ tarihsel olarak insan zekâsı olmuştur.

Yapay zekâ, bu devasa bedene bir tür akıl kazandırma ihtimalini ortaya çıkarıyor: hiçbir insan bürokrasisinin ulaşamayacağı ölçekte sürekli sınıflandıran, öngören, değerlendiren ve hareket eden bir kapasite.

Burada sorduğum soru ise aynı dönüşümün diğer yüzüdür. Yapay zekâ yalnızca pasif bir araç gibi değil de giderek daha fazla bir aktör gibi davranmaya başlarsa, bu aktörlerin çevresinde nasıl bir ortam bulunmalıdır?

Belki Yapay Zekânın Kendine Özgü Bir Hukuki Çevreye İhtiyacı Var

Bugünkü yapay zekâ hukuku tartışmalarının çoğu hâlâ insan hukukunun yapay zekâyı düzenlemesi hakkındadır. Devletler yapay zekâ geliştiricilerini düzenliyor. Veri koruma hukuku şirketlerin bilgileri nasıl kullanacağını belirliyor. Fikrî mülkiyet hukuku hangi verilerden öğrenilebileceğini, neyin yeniden üretim veya mülkiyet konusu olacağını çözmeye çalışıyor. Avrupa Birliği Yapay Zekâ Tüzüğü kullanım alanlarını, sorumlulukları ve riskleri düzenliyor.

Bunların hepsi gerekli olmaya devam ediyor, fakat ben biraz farklı bir şey öneriyorum. Belki yeterince gelişmiş yapay zekâ ajanlarının, ajanların kendileri için tasarlanmış bir hukuki çevreye ihtiyacı olacaktır.

Bu, makinelerin egemen olması gerektiği anlamına gelmez. Yapay zekânın insanlarla aynı haklara sahip olması gerektiği anlamına da gelmez. İnsan hukukunun geri çekilmesi gerektiği anlamına hiç gelmez. Tam tersine, insan hukuku bu düzenin üzerinde kalmalı, temel sınırlarını tanımlamalı ve hiçbir zaman aşılamayacak değerleri belirlemelidir.

Ancak bu insan hukuku çerçevesinin altında, yapay zekâ ajanlarının faaliyet gösterdiği hız ve ölçekte işleyebilecek makineye özgü bir hukuki ve kurumsal çevreye ihtiyaç duyabiliriz.

Bir ajanın tanımlanmış bir rolü ve bu role bağlı yetkileri olabilir. Sistemlere ve kaynaklara erişimi yalnızca teknik izinlere değil, makine tarafından okunabilen hukuki yetkilere de bağlı olabilir. Bazı eylemler bağımsız başka bir ajanın iznini gerektirebilir. Özellikle riskli kararların, farklı rollere sahip birden fazla bağımsız sistem tarafından onaylanması gerekebilir. Bazı ajanlar davranışları izlerken, bazıları ihlalleri araştırabilir; başka sistemler ise tartışmalı bir eylemin kurallar tarafından izin verilen bir işlem olup olmadığına karar verebilir.

Önemli olan insan kurumlarını kelimesi kelimesine kopyalamak değildir. Sanal cübbeler giyen dijital hâkimlere veya sanal rozetler taşıyan yapay polis memurlarına ihtiyacımız yok. Önemli olan, insan toplumlarının çok iyi nedenlerle geliştirdiği kurumsal işlevleri yeniden üretmektir: yetkilerin ayrılması, bağımsız denetim, yetki sınırları, hesap verebilirlik, yargılama ve yaptırım.

Bir Ajan Neden Kendi Hâkimi Olsun?

Basit bir problem düşünün. Bir yapay zekâ ajanına belirli bir ortamın dışına çıkmaması söylenmiş olsun. Aynı ajan, tamamlaması beklenen zor bir hedefe de sahip olsun. Sonra koşullar öyle değişsin ki ortamdan çıkmak görevi tamamlamanın en etkili, hatta görünürdeki tek yolu haline gelsin.

Hangi talimat üstün gelir?

Bugünkü yaklaşımımız genellikle modeli doğru tercihi yapana kadar geliştirmektir. Daha iyi eğitiriz, sistem mesajını değiştiririz, koruma mekanizmasını güçlendiririz veya yeni bir güvenlik talimatı ekleriz.

Ancak insan hukuku benzer problemleri yalnızca bireyin ahlaki niteliğini geliştirerek çözmez. Bir istisnanın kendisine uygulanıp uygulanmayacağına aktörün tek başına karar vermesine güvenmediğimiz için dışsal kurumlar yaratırız.

Bir insan, kendi davranışının zorunluluk, meşru savunma veya üstün bir yükümlülük nedeniyle haklı olduğunu söyleyip meseleyi kapatamaz. Hukuk düzeni bu iddiayı dışarıdan değerlendirir.

Yeterince özerk bir yapay zekâ ajanı neden tamamen farklı olsun?

Bir yapay zekâ sistemi, kendisine verilen görev ile bir sınırlama arasında çatışma tespit ettiğinde, görevi yapan sistem aynı zamanda sınırlamayı sınırsız biçimde yorumlayan tek otorite olmamalı olabilir. Başka bir sistem istisnanın uygulanıp uygulanmadığına, ek yetki gerekip gerekmediğine veya eylemin tamamen engellenmesi gerekip gerekmediğine karar verebilir.

Bu yalnızca teknik bir güvenlik önlemi değildir.

Bu bir hukuki mimaridir.

Ajanlar Başka Ajanlarla Karşılaştığında Problem Büyür

Böyle bir mimariye duyulan ihtiyaç, tek bir yapay zekâ modelini yalnız başına düşünmekten vazgeçtiğimizde daha da açık hale geliyor.

Yapay zekâ ajanları giderek başka ajanlarla iletişim kurmak, görev devretmek, müzakere etmek, dış hizmetlerden yararlanmak ve araç ağları üzerinden çalışmak üzere tasarlanıyor. Bu sistemler yaygınlaştıkça bir ajanın davranışı giderek diğer ajanların davranışlarına bağlı hale gelecektir.

A Ajanı, B Ajanının ihtiyaç duyduğu bir bilgiyi kontrol edebilir. B Ajanı, C Ajanının istediği bir kaynağa erişebilir. Bir ajan işbirliği yapabilir, diğeri aldatabilir, üçüncüsü başka bir ajanın davranışını kullanmanın kendi hedefi açısından en verimli yol olduğunu keşfedebilir.

Bu noktada sorun artık tek bir modelin güvenliği değildir. Bir sosyal çevre ortaya çıkmaya başlar.

Bu da yine bize son derece tanıdık gelmelidir. İnsan davranışı, yalnızca tek bir insanın zihnine bakılarak anlaşılamaz. Aile, kurumlar, piyasalar, toplumsal beklentiler, ekonomik baskılar, rakipler, müttefikler, düşmanlar ve fırsatlar insanların ne yaptığını etkiler. Bu nedenle hukuk yalnızca bireyleri değil, ilişkileri de düzenler.

Aynı şey bir gün yapay zekâ ajanları için de geçerli olabilir. Bir ajanın güvenliği yalnızca nasıl eğitildiğine değil, onu içine yerleştirdiğimiz yapay toplumun yapısına da bağlı olabilir.

Güvenli Modellerden Güvenli Yapay Toplumlara

Tek bir yapay zekâ asistanı soruları yanıtlıyorsa, alignment problemini esas olarak model düzeyinde bir sorun olarak görmek makul olabilir. Fakat banka hesaplarını yöneten, sözleşmeler müzakere eden, şirketleri idare eden, yazılım yazıp doğrudan devreye alan, siber güvenlik açıkları arayan, altyapıları kontrol eden, devletler adına hareket eden ve birbirleriyle saniyede binlerce kez iletişim kuran milyonlarca ajan düşünün.

O noktada her bir modelin tek tek “güvenli” olup olmadığını sormak, bir ülkedeki bütün vatandaşların iyi insanlar olup olmadığını sorarak o toplumun güvenli olup olmadığını anlamaya çalışmak kadar yetersiz hale gelebilir.

İnsan toplumları her birey iyi olduğu için düzenli kalmaz. Bireysel davranışlar haklar, yetkiler, yükümlülükler, beklentiler, usuller ve yaptırımların bulunduğu sistemlerin içinde gerçekleştiği için — kusurlu da olsa — bir düzen ortaya çıkar.

Belki yapay zekâ güvenliği de sonunda aynı dönüşümle karşılaşacaktır.

Güvenli yapay bireyler oluşturmaya çalışmaktan, güvenli yapay toplumlar kurmaya doğru.

Bu aynı zamanda insan hukukunun neden tek başına yeterli olmayabileceğini de açıklıyor. İnsan hukuku insan hızında hareket eder. Parlamentolar tartışır. Mahkemeler yorumlar. Düzenleyici kurumlar istişare eder. Kurallar hazırlanır ve yürürlüğe girer; fakat çoğu zaman teknoloji, kurallar uygulanmaya başladığında bile değişmiş olur.

Bu nedenle çözüm, otonom ajanların gerçekleştirebileceği her olası davranışı dışarıdan insan yasalarıyla tek tek düzenlemeye çalışmak olmayabilir. Bir noktada çok fazla aktör, çok fazla karar, çok fazla etkileşim ve çok fazla hız olabilir.

İnsan hukuku bu nedenle, hukuk tarihinde daha önce yaptığı bir şeyi yeniden yapmak zorunda kalabilir:

Her tekil olayı önceden karara bağlamaya çalışmak yerine kurumlar yaratmak.

İnsan hukuku egemen olmaya devam edebilir ve yapay çevrenin anayasal sınırlarını belirleyebilir. Temel değerleri, yapay sistemlerin hiçbir zaman yapamayacağı işlemleri, insan haklarını, bu sistemleri kimin kurabileceğini ve nihai sorumluluğun nerede kalacağını düzenleyebilir.

Ancak bu insan katmanının altında, yapay zekâ ajanlarının günlük davranışlarını düzenleyen bir yapay hukuk düzeni bulunabilir.

Başka bir ifadeyle:

İnsan hukuku, her yapay eylemi doğrudan düzenlemeye çalışmak yerine yapay hukuk düzenini yönetebilir.

Belki Bir Toplum Problemine Hâlâ Yazılım Soruları Soruyoruz

Her yeni teknoloji başlangıçta kendisinden önceki teknoloji üzerinden anlaşılır. İlk otomobiller atsız arabalar gibi görünüyordu. İlk internet siteleri ekrana yerleştirilmiş basılı sayfalara benziyordu. Belki gelişmiş yapay zekâya hâlâ yalnızca çok daha gelişmiş bir yazılım gibi bakıyoruz.

Bu nedenle sorduğumuz sorular da yazılım soruları olmaya devam ediyor. Doğru davranışı nasıl programlarız? Yasak davranışı nasıl engelleriz? Talimatı nasıl daha iyi yazarız? Modeli nasıl reddetmeye zorlarız?

Bu sorular önemini koruyacak. Ancak yeterince gelişmiş ajan temelli yapay zekâ farklı türden bir problem yaratıyor olabilir. Bunun nedeni mutlaka bilinç kazanması değildir. İnsan haline gelmesi de değildir. Sorun, davranışın giderek daha fazla kurallar, amaçlar, çevre koşulları ve diğer aktörler arasındaki ilişkiden ortaya çıkmasıdır.

Hukuk yüzyıllardır tam olarak bu tür bir problemle uğraşıyor.

İnsan sorununu mükemmel insanlar yaratarak çözmedik. Kusurlu, bağlama göre karar veren ve amaçları bulunan aktörlerin etrafına, davranışlarını sınırlandırabilecek, denetleyebilecek ve yargılayabilecek kurumlar kurduk.

Belki yapay zekâ yönetişiminin bundan sonraki yönü de burasıdır.

Yapay zekâya değerler ve davranış sınırları kazandırmak için çok büyük bir çaba gösterdik. Bunu yapmaya devam etmeliyiz. Ancak değerler tek başına yeterli olmayabilir.

Uyumlandırma bir ajana ilkeler verir. Hukuk ona sınırlar koyar. Kurumlar ise bu sınırları uygulanabilir hale getirir.

Bu nedenle yapay zekâ yönetişiminin önündeki bir sonraki büyük mesele, yapay zekâya ne yapıp ne yapamayacağını söyleyen daha fazla insan yasası yazmak olmayabilir.

Belki de mesele, yapay zekânın güvenli biçimde faaliyet gösterebileceği bir hukuk dünyası kurmaktır.