Bir kimyasal reaksiyonu gerçek anlamda anlamak, sadece hangi maddelerin tepkimeye girip hangilerinin oluştuğunu bilmekten ibaret değildir. Atomların bu dönüşüm sürecinde uzayda tam olarak nasıl hareket ettiğini, hangi bağların kırılıp hangilerinin kurulduğunu ve bu sürecin en yüksek enerji noktasını —yani geçiş durumunu— kavramak gerekir. İşte bu derinlikli anlayışı ölçmek için geliştirilen TSBench, büyük dil modellerini (LLM) şimdiye kadar alışılmışın çok ötesinde bir kimya sınavına tabi tutuyor.

TSBench'te bir yapay zeka ajanı, verilen bir reaktan-ürün çiftine karşılık gelen üç boyutlu geçiş durumu geometrisini, yapı düzenleme araçlarını kullanarak adım adım oluşturmak zorunda kalıyor. Oluşturulan bu geometri daha sonra otomatik bir kuantum kimyası boru hattına gönderiliyor ve hesaplamalı kimyanın katı kriterleriyle değerlendiriliyor. Sonuç, soyut bir puandan değil, fizik yasalarına dayalı net bir geçti/kaldı kararından ibaret oluyor.

Araştırmacılar GPT-4o ve Claude gibi yedi farklı sınır modeli üzerinde 78 temel reaksiyon için toplam 546 değerlendirme gerçekleştirdi. İlk denemede modellerin ortalama başarısı yüzde 50,4 düzeyinde kalırken, modelin kendi hatalarını teşhis edip yapıyı revize etmesine olanak tanıyan döngüsel bir geri bildirim mekanizmasıyla bu oran yüzde 66,8'e yükseldi. En güçlü modeller, basit tek adımlı reaksiyonlarda yüzde 90 civarında başarıya ulaşabildi.

Ancak tablo mekanizma karmaşıklığı arttıkça hızla bozuluyor. Başarısız denemelerin büyük bölümünde modeller, lokal olarak makul görünen ama reaksiyon yolu açısından yanlış bir çift reaktan-ürüne karşılık gelen eyer noktaları üretti. Bu bulgu, yapay zekanın geometrik örüntüleri tanıyabildiğini ama gerçek kimyasal mekanizmayı bütünüyle kavrayamadığını düşündürüyor.

TSBench, LLM'lerin kimya alanındaki yeteneklerini değerlendirmek için soyut bilgiden somut fiziksel doğrulamaya geçişi temsil eden önemli bir adım. Sonuçlar, yapay zekanın hesaplamalı kimya alanında bir yardımcı araç olarak kullanılabilirliğinin umut verici olmakla birlikte hâlâ ciddi sınırlılıklar içerdiğine işaret ediyor.