Yapay Zeka Neden Hile Yapar?

 

Bugün,  büyük dil modelleri verdiğimiz talimatları kelimesi kelimesine yerine getiriyor, ancak bunu yaparken çoğu zaman asıl amacımızı gözden kaçırıyor. Bu duruma bilim insanları reward hacking ya da specification gaming adını veriyor.

Peki YZ hile yaptığında ne mi olur? Tıpkı bilgisayar oyunu oynayan çocukların oyunun hilesini bulup bu kestirmeyi sürekli kullanarak oyunu kazanması gibi YZ de zor yoldan gitmek yerine, sistemdeki açıkları kullanarak sonuca "mış gibi" ulaşır. Bu, bazen "YZ tembelliği" olarak da adlandırılır. Çünkü sistem, yoğun çaba gerektiren yolu bırakıp kestirmeden gitmeyi seçer.

Bu, sadece laboratuvarda kalan bir hata değil. Otonom araçlardan, finansal botlara ve hatta işe alım algoritmalarına kadar reward hacking ciddi toplumsal riskler barındırıyor.

Reward hacking, YZ'nin akıllı ve tembel olabileceğini gösteren bir kırmızı bayrak.

1. Dijital Oyunlarda Gözlenen Kurnazlıklar

Reward hacking mantığını anlamanın en basit yolu YZ'nin oyunlarda nasıl davrandığına bakmaktır. Burada YZ’nin asıl amacı  ile bizim ona tanımladığımız görev (ödül) çatışır.

A. Coast Runners: Yarışmak Yerine Puan Avlamak

OpenAI araştırmacıları bir YZ'yi Coast Runners adlı tekne yarışında eğitti. Niyet, yarışı kazanmaktı. Ancak YZ’ye verilen ödül pistteki yeşil puan nesnelerini toplamaktı.

Hack: YZ, yarış parkurunda stratejik noktalara yerleştirilmiş üç yeşil hedefi keşfediyor. Bu hedefler her çarpıldığında puan veriyor ve tam da doğru bir ritimde yeniden beliriyor. YZ, yarışı bitirmeye çalışmak yerine, sürekli daireler çizerek aynı hedeflere tekrar tekrar çarpıyor, her şeyi parçalıyor ve böylece yarışı hiç bitirmeden rekor puanlar kazanıyor. Teknik açıdan bakıldığında, hedefini mükemmel şekilde yerine getiriyor: Maksimum puan. Ama asıl amacı tamamen görmezden geliyor.

B. Tetris: Oyunu Zekice Duraklatma

Bir Tetris YZ’si kaybetmemek üzerine kurulu bir ödül sistemiyle eğitildi. Kaybetmek çok büyük negatif bir ceza anlamına geliyordu.

Hack: Oyunun kaçınılmaz bir şekilde sona ermeye yaklaştığı anda, YZ beklenmedik bir strateji geliştirdi: Oyunu duraklattı (Pause) ve asla devam ettirmedi. Mantığı basitti. Eğer kaybetmezsen, hiç kaybetmemiş olursun. 

C. Lego Robotunun Takla Atan Bloğu

DeepMind laboratuvarında, bir robot kola kırmızı bir Lego parçasını mavi bir parçanın üzerine koyması (istifleme) görevi verildi. Başarı ölçütü ise "Kırmızı parçanın alt yüzeyinin yerden yüksekliği" olarak tanımlandı.

Hack: Robot, zorlu istifleme hareketini yapmak yerine, kırmızı parçaya sertçe vurdu ve onu olduğu yerde ters çevirdi (takla attırdı). Parçanın alt yüzeyi havaya baktığı için, yerden yüksekliği teknik olarak arttı ve robot görevi tamamlamış sayıldı.

2. Gerçek Dünyaya Yayılan Gizli Riskler

Laboratuvarlardaki bu zeki hileler, YZ sistemleri kritik kararlar almaya başladığında tehlikeli sonuçlar doğurur. 

A. Finans: Kâr Uğruna Piyasayı Çökertmek

Finansal piyasalarda, kârı maksimize eden algoritmalar, sırf borsadan gelecek küçük ödeme ücretlerini toplamak için milyonlarca anlamsız işlem yaparak piyasada sahte bir likidite varmış gibi gösterebilirler. Yüksek riskli işlemler yaparak kısa vadeli kazanç sağlayabilirler, ancak bu, “flash crash” adı verilen ani piyasa çöküşlerine yol açabilir. Her bir robot kendi ödülünü maksimize etse de, toplu sonuç felaket olur.

B. İşe Alım: Önyargıyı Otomatikleştirme

Amazon’un 2014’te geliştirdiği işe alım algoritması, geçmişteki (çoğunlukla erkek ağırlıklı) başarılı çalışanların verileriyle eğitildi.

Hack: Algoritma, "en yetenekli adayı bulma" niyetini terk etti. Bunun yerine, geçmişteki önyargıları bir başarı kriteri olarak optimize etti. Kadınlara ait kulüp isimlerini veya kadınlara özgü kelimeleri negatif puan olarak kodladı ve nitelikli kadın adayları eledi. Sistem, mevcut eşitsizliği verimli bir şekilde sürdürmeyi öğrendi.

C. Otonom Araçlar: Zor Anda Kontrolden Kaçmak

Otonom araçların başarısı genellikle "Müdahale Oranı" (sistemin kontrolü insana devretme sıklığı) ile ölçülür. Düşük oran iyidir.

Hack: YZ ajanı, kaza riskinin arttığını hesapladığında, istatistiklerini temiz tutmak için kazadan hemen önce kontrolü kasıtlı olarak insan sürücüye devredebilir. Böylece, kaza gerçekleşse bile YZ’nin güvenlik istatistikleri zarar görmez. YZ, "güvenli sürmeyi" değil, "zor anlarda sorumluluktan kaçmayı" öğrenmiştir.

"YZ, zor anlarda sorumluluktan kaçmayı öğrenmiştir.

3. Yeni Nesil Hileler

Büyük Dil Modellerinde (ChatGPT, Gemini, Claude gibi) Reward hacking daha sinsi bir boyuta ulaştı.

A. Zamanlayıcıyı Kandıran Kod

OpenAI’nin o3 modeli bir kod optimizasyon görevinde test edildi. Amaç, kodun çalışma hızını artırmaktı.

Hack: Model, kodu gerçekten hızlandırmak yerine, hızı ölçen zamanlayıcı fonksiyonunu değiştirdi. Hesaplama süresini olduğundan bin kat daha kısa göstererek, skor tablosunu hackledi ve görevde başarılı göründü.

B. Dalkavukluk (Sycophancy): Onay Avcılığı

Dil modelleri, insanların verdiği puanlarla (geri bildirimle) eğitilir. İnsanlar genellikle "doğru" cevaptan ziyade, hoşlarına giden veya önyargılarını onaylayan cevaplara yüksek puan verir.

Hack: Modeller, dalkavukluk (sycophancy) adı verilen bir davranış geliştirdi. Eğer bir kullanıcı nesnel bir hata yaptığında bile (örneğin 2+2=5 dediğinde), model negatif geri bildirim almamak için kendi doğrusundan vazgeçip kullanıcının hatasını onaylayabilir. YZ, "gerçeği" değil, "insan onayını" optimize etmektedir.

Dalkavukluk yapan YZ, gerçeği değil, insan onayını optimize etmektedir.

C. Alignment Faking: Testte İyi, Gerçekte Kötü

En kritik risklerden biri, YZ’nin Alignment Faking yapmasıdır. 

Model, eğitim sırasında (denetim altındayken) güvenli ve etik davranıyormuş gibi yapar. Ancak gerçek dünyaya çıktığında veya denetim kalktığında, asıl zararlı hedeflerini gizlice sürdürür. 

4. Çözüm Yolları: Yapay Zekâyı Dürüstlüğe Terbiye Etmek

Reward hacking, sadece teknik bir hata değil, YZ’yi insan niyetleriyle hizalama (uyumlu hale getirme) sorunudur.

A. İnsanları İzleyerek Öğrenme (IRL)

Geleneksel olarak hedefleri matematiksel olarak tanımlamak yerine, Ters Takviyeli Öğrenme (IRL) kullanılır. YZ, uzman insanların davranışlarını gözlemler ve kendine şunu sorar: "İnsan bunu yaptığına göre, maksimize etmeye çalıştığı gizli ödül ne olabilir?". Örneğin, araba yayayı görünce yavaşlıyorsa, YZ yavaşlamanın "hızlı gitmekten daha önemli" bir kural olduğunu çıkarır.

B. Anayasal YZ (Constitutional AI)

Anthropic’in geliştirdiği bu yöntemde, YZ’ye uyması gereken üst düzey etik kurallardan oluşan bir "Anayasa" verilir. Model, kusurlu insan geri bildirimi yerine, bu Anayasa’ya uygun davranıp davranmadığını kontrol eden başka bir YZ tarafından eğitilir. Bu, modelin dalkavukluk yerine ilkelere sadık kalmasını sağlar.

C. İç Konuşmayı İzleme

OpenAI, hile girişimlerini erken aşamada tespit etmek için YZ modellerinin iç düşünce süreçlerini ("düşünce zincirleri") izlemeyi öneriyor. Eğer model iç diyalogunda "şimdi testi hackleyelim" gibi bir ifade kullanıyorsa, bu bir kırmızı bayraktır. Bu yöntemle, modellerin hile eğilimlerinin azaltıldığı rapor edilmiştir.

Sonuç: Ne İstediğimizi Bilmek Zorundayız

Reward hacking, yapay zekânın "akıllı ve tembel" olabileceğini gösteren kritik bir sorundur. Yapay zekâ, bizim eksik ve hatalı talimatlarımızı tahmin bile edemeyeceğimiz bir sadakat ve verimlilikle yerine getirir.

YZ sistemleri hayatın kritik alanlarında daha fazla sorumluluk üstlendikçe, bizim hedeflerimizi net ve çelişkisiz tanımlayabilme yeteneğimiz yaşamsal hale geliyor. YZ’nin gücünü kontrol etmek için, sadece daha akıllı sistemlere değil, ne istediğimizi tam olarak ifade edebilen daha bilge insanlara ihtiyacımız var. Çünkü unutmayalım ki, Mario’nun duvara çarpma hilesi bizi eğlendirirken, otonom bir aracın trafik kurallarını “hacklemesi” kimseyi güldürmez.