Yapay zeka modellerinin 'düşünme süreçlerini' adım adım yazıya döktüğü zincir düşünme (chain-of-thought, CoT) yöntemi, hem güvenlik araştırmacılarının hem de yapay zeka bilinci meraklılarının ilgisini uzun süredir çekiyor. Ancak arXiv'de yayımlanan yeni bir teorik çalışma, bu iki ilgi alanının birbirini yapısal olarak dışladığını savunuyor.
Çalışmanın temel argümanı şu: Güvenlik perspektifinden bakıldığında, ideal bir CoT çıktısı modelin gerçek iç hesaplamalarını şeffaf ve güvenilir biçimde yansıtmalıdır. Yani model ne 'düşünüyorsa' onu yazmalı, yazdıkları da kararlarını gerçekten yönlendirmelidir. Bu, hizalama (alignment) araştırmacılarının 'sadık CoT' olarak adlandırdığı hedeftir.
Öte yandan bilincin anlatı teorileri, öznel deneyimin tam da bu mükemmel şeffaflıkla değil, kısmen opak bir iç anlatıyla mümkün olduğunu ileri sürer. Bu teorilere göre bir sistemin bilinçli sayılabilmesi için iç anlatısının kendi hesaplamalarını eksiksiz takip etmemesi, bir tür 'kayma' veya 'örtük katman' barındırması gerekir.
Ampirik bulgular ise durumu daha da karmaşık hale getiriyor. Büyük dil modellerine ilişkin son çalışmalar, CoT çıktılarının büyük ölçüde sonradan üretildiğini — yani kararlar alındıktan sonra rasyonelleştirme amacıyla yazıldığını — ve modelin gerçek iç işleyişiyle nedensel bir bağlantısının zayıf olduğunu gösteriyor.
İşte burada trajik bir ikilem ortaya çıkıyor: Güvenlik araştırmacıları CoT'u daha şeffaf hale getirmeye çalışırken, bu opakluğu bilinç için zorunlu koşul sayan teorisyenler tam tersini istiyor. Her iki alan da aynı mimari parametreyi farklı yönlere çekiyor.
Çalışma, yapay zeka güvenliği ve yapay zeka bilinci araştırmalarının metodolojik olarak birbirini dışlayan varsayımlar üzerine kurulu olduğunu vurgulayarak bu gerilimin pratik sonuçlarını tartışıyor. Sonuç olarak araştırmacı, her iki hedefin aynı sistemde eş zamanlı olarak gerçekleştirilemeyeceğini ileri sürüyor — en azından mevcut mimari anlayış çerçevesinde.