Kimyasal reaksiyonlar, atomların bir düzenlemeden diğerine geçtiği karmaşık süreçlerdir. Bu sürecin tam olarak anlaşılabilmesi için 'geçiş durumu' adı verilen enerji zirvesinin tespit edilmesi gerekir. Geçiş durumu, reaktanların ürüne dönüşürken geçmek zorunda olduğu en yüksek enerji noktasını temsil eder ve reaksiyonun hızını, mekanizmasını doğrudan belirler.
Ancak bu noktayı bulmak son derece zorlu bir görevdir. Mevcut hesaplamalı yöntemler genellikle deneme-yanılma gerektiriyor, uzman kullanıcı bilgisine dayanıyor ve büyük hesaplama maliyetleri doğuruyor. Makine öğrenmesi yaklaşımları bu yükü bir miktar hafifletti; fakat bu yöntemler de ya çok sayıda eğitim verisine ya da reaksiyonun başlangıç ve bitiş yapılarının önceden bilinmesine ihtiyaç duyuyor.
Yeni çalışmada araştırmacılar, 'soft actor-critic' adlı gelişmiş bir pekiştirmeli öğrenme algoritmasını geçiş durumu aramasına uyarladı. Sistemde bir yapay zeka ajanı, yalnızca yerel enerji bilgisi ve eğrilik verileriyle potansiyel enerji yüzeyinde gezinerek geçiş durumunu aramayı öğreniyor. Ajan, bu süreci ardışık karar verme problemi olarak ele alıyor: Her adımda kimyasal açıdan anlamlı yapısal güncellemeler öneriyor ve ödül fonksiyonu sayesinde doğru yönde ilerlemeyi öğreniyor.
Önemli bir avantaj, sistemin iç koordinatlar (bağ uzunlukları, açılar gibi kimyasal değişkenler) üzerinden çalışmasıdır. Bu yaklaşım, ajanın önerdiği hareketlerin fiziksel ve kimyasal olarak tutarlı olmasını sağlıyor. Ayrıca büyük veri setlerine ya da geometrik enterpolasyona gerek kalmaksızın yalnızca reaktant ve ürün bilgisinden hareket edebilmesi, yöntemin genel uygulanabilirliğini artırıyor.
Bu tür otonom geçiş durumu arama sistemleri, ilaç etken maddelerinin sentez yollarının tasarımından yeni malzemelerin geliştirilmesine, kataliz araştırmalarından çevre kimyasına kadar geniş bir uygulama yelpazesine hitap edebilir. Pekiştirmeli öğrenmenin kimyasal keşif süreçlerine entegrasyonu, hesaplamalı kimyanın önündeki önemli engellerden birini aşmaya yönelik umut verici bir adım olarak değerlendiriliyor.