Abstract

U radu se nastoji prikazati kako se vjera i teologija mogu iskoristiti za testiranje uspješnosti velikih jezičnih modela (LLM–ova) i automatiziranih programa za čavrljanje (chatbotova) pogonjenima na takvim modelima, mjerenjem njihovih filozofskih vještina. Predstavljaju se rezultati testiranja četiriju odabranih chatbotova: ChatGPT, Bing, Bard i Llama2. Za potrebe testiranja uzeta su tri moguća izvora iz područja vjere i teologije: 1) teorija četiri smisla Svetog pisma, 2) apstraktne teološke izjave, 3) apstraktna logička formula izvedena iz vjerskog teksta kako bi se pokazalo da su ovi izvori korisni u zadacima koji učinkovito mjere filozofske vještine kao što su npr. interpretacija danog isječka, kreativna dedukcija te prepoznavanje ontoloških ograničenja. Ovakav pristup omogućuje ispitivanje osjetljivosti kojom se otkrivaju razlike u uspješnosti četiriju chatbotova. Također je dan primjer kako odrediti referentne vrijednosti za ocjenu i usporedbu vještina, koristeći kriterije za procjenu te pojednostavljene skale za ocjenjivanje svakog korištenog chatbota u pogledu ispunjenja pojedinog kriterija.