Eğitimde yapay zeka kullanımı hızla yaygınlaşırken, bu sistemlerin güvenlik açıkları da gündeme geliyor. Yeni bir araştırma, AI öğretmenlerin kötü niyetli öğrenci saldırılarına karşı ne kadar dayanıklı olduğunu inceliyor.
Büyük dil modelleri (LLM) temelli öğretmen sistemlerin temel amacı, öğrencilere hazır cevaplar vermek yerine onları doğru çözüme yönlendirmek. Ancak bazı öğrenciler çeşitli manipülasyon teknikleri kullanarak bu sistemleri kandırmaya ve doğrudan cevabı almaya çalışıyor.
Araştırmacılar, farklı model ailelerinden AI öğretmenleri test etti. Bu testlerde altı farklı saldırı grubu kullanıldı - ikna teknikleri ve düşmanca yaklaşımlar eğitim ortamına uyarlandı. Öğrencilerin AI'yı final cevabını ifşa etmeye yöneltme olasılığı ölçüldü.
Çalışma, çok-ajan tasarımlar dahil olmak üzere pedagojik olarak uyumlu modelleri de değerlendirdi. Farklı türdeki düşmanca öğrenci ajanları kullanılarak, sistemlerin gerçek sınıf ortamındaki kötüye kullanımlara karşı dayanıklılığı test edildi.
Bu araştırma, eğitim teknolojisinde güvenlik standartlarının geliştirilmesi ve daha güvenilir AI öğretmen sistemlerinin tasarlanması için kritik veriler sunuyor.