Većina trenutnih large language models (LLM) nije uspjela točno odgovoriti na pitanje vezano uz statistiku Ujedinjenog Kraljevstva, u eksperimentu koji je objavio MRS Census and GeoDemographics Group (CGG).
S obzirom na svoj trenutni razvojni put, chatbotovi/veliki jezični modeli (LLM-ovi) na dobrom su putu da postanu glavni alat za sažimanje informacija na internetu. LLM-ovi su obučeni za odgovaranje na pitanja izražena prirodnim jezikom putem sažetog i uvjerljivog prikaza teksta. Zbog toga je njihova interpretacija često vrlo privlačna za korisnike koji im žele vjerovati.
Međutim, zbog same konstrukcije trenutnih modela, čak i uz podršku informacijskih sustava koji ih okružuju tijekom izvođenja, točnost njihovih rezultata još uvijek ne treba slijepo uzimati zdravo za gotovo. Autori ove studije pokazali su kroz jednostavan eksperiment kako većina trenutačnih LLM-ova nije uspjela točno odgovoriti na pitanje usredotočeno na statistiku Ujedinjenog Kraljevstva.
Prediktivna točnost LLM-ova prvenstveno je određena kvalitetom podataka na kojima su obučeni. Stoga je logično pretpostaviti da će točnost podataka u odgovoru koji daje LLM biti značajno veća ako model analizira tekst koji sadrži odgovor koji korisnik traži.
Ovo je pristup koji je Međunarodni monetarni fond (IMF), u suradnji s EPAM-om, primijenio. Zajedno su izdali StatGPT, platformu pogonjenu generativnom umjetnom inteligencijom (GenAI) koja značajno poboljšava način na koji korisnici pristupaju globalnim ekonomskim podacima iz pouzdanih i visokokvalitetnih izvora poput IMF-a, Svjetske banke, Eurostata i Nacionalnih statističkih službi.
Glavni cilj StatGPT-a je pojednostaviti pristup statističkim podacima, osiguravajući da su lako dostupni ne samo analitičarima podataka i statističarima, već i pojedincima koji žele dublje razumijevanje različitih aspekata poput ekonomije, demografije, migracija i drugih tema.
StatGPT djeluje kao posrednik između korisnika i pružatelja podataka, prevodeći upit korisnika napisan na njegovom materinjem jeziku u SDMX upit za podatke. Za to koristi SDMX upite koji su u skladu s normama za povlačenje svojih RAG podataka. SDMX standard, utemeljen početkom 2000-ih, standardizira statističke data upite među pružateljima podataka. Proces rada StatGPT-a osigurava da model analizira točne podatke iz pouzdanih izvora, umjesto da se oslanja na algoritam za pretraživanje interneta kako bi pronašao relevantnu stranicu.
Dio razloga zbog kojeg je StatGPT postigao ovu razinu pouzdanosti i brzine leži u njegovu temelju. Razvijen je na osnovi DIAL-a, open-source platforme za poduzeća koja omogućuje komponentnu orkestraciju modela, praćenje i reproducibilnost, kao i osnovne module za agentnu orkestraciju. Ovo je omogućilo timovima IMF-a i EPAM-a da se usmjere na statističku logiku i usklađivanje podataka, dok je DIAL osigurao da svaka interakcija ostane deterministička, sljediva, provjerljiva i dosljedna kroz sve sesije. Rezultat je sustav koji spaja pristupačnost konverzacijske umjetne inteligencije s determinizmom koji se očekuje od službenih statističkih alata.
Pročitajte cijeli izvještaj ovdje.
Saznajte više o EPAM DIAL-u na: https://epam-rail.com/platform.
Saznajte kako EPAM donosi stvarnu vrijednost za poslovanje kroz GenAI: https://www.epam.com/services/artificial-intelligence/generative-ai
