Miért téved, hibázik a mesterséges intelligencia?

A mesterséges intelligencia látványos fejlődése könnyen azt a benyomást keltheti, hogy az AI-rendszerek az embereknél következetesebben és racionálisabban dolgozzák fel az információkat. A kutatási eredmények azonban ennél összetettebb képet mutatnak. A mesterséges intelligencia tévedhet, hibás következtetésre juthat, és előrejelzéseiben olyan szisztematikus hibák is megjelenhetnek, amelyek hasonlítanak az embereknél megfigyelt kognitív torzításokra. Ilyen például a túlreagálás vagy a közelmúlt információinak felülsúlyozása. Cikkünkben a témával kapcsolatos kutatásokat tekintjük át, elsődlegesen a pénzügyek és a tőkepiaci előrejelzések területére fókuszálva. Témáink:

• Példák a mesterséges intelligencia tévedéseire
• Bizonyos feladatokban az AI pontosabb lehet az embereknél
• A gépi modellek is túlreagálhatják az új információkat
• Miért tévedhetnek a gépi tanulási modellek?
• A nyelvi modellek előretekintési torzításai és előrejelzési hibái
• Nem minden feladathoz van szükség nagy nyelvi modellre
• Mi történik, ha anonimizáljuk az adatokat?
• Valódi előrejelzésben gyengébben teljesített a ChatGPT

Példák a mesterséges intelligencia tévedéseire

A mesterséges intelligencia, ezen belül a nagy nyelvi modellek, meggyőző válaszokat adhatnak akkor is, amikor tévednek. Erről saját magunk is meggyőződhetünk, ha megkérdezzük például a ChatGPT-t, hogy kik az Egri csillagok című könyv szereplői. Dózsa György nevét olvasva elsőre értetlenül állhatunk a válasz előtt. A tévedés hátterében ugyanakkor az állhat, hogy Dózsa György neve valóban megjelenik a könyv szövegében, csak éppen nem a történet szereplőjeként.

Ugyanakkor nemcsak a nagy nyelvi modellek hibázhatnak. Ahogy egy korábbi cikkemben beszámoltam róla, a mesterséges intelligenciát és gépi tanulást alkalmazó hedge fundok, alapkezelők és kereskedési algoritmusok eredményei is gyakran elmaradtak a várakozásoktól. A témában 27 kutatást összegeztünk korábbi cikkünkben. Többek között az alábbi eredményeket találtuk:

• Az Eurekahedge AI hedge fund index a 2011-2022 közötti időszakban halmozott hozamban elmaradt a passzív részvénypiaci befektetéstől. A passzív befektetés halmozott hozama mintegy 210 százalékponttal magasabb volt az időszak alatt.
• A Preqin által követett AI hedge fundok a 2016-2019 közötti időszakban mintegy 27 százalékos hozamot értek el, miközben az amerikai részvénypiac teljesítménye ugyanebben az időszakban lényegesen magasabb volt.
• Az Aidya mesterséges intelligencián alapuló befektetési rendszerét Ben Goertzel csapata fejlesztette. Az AI az első kereskedési napon kiugró eredményt ért el, a projektet azonban később gyenge teljesítmény miatt megszüntették.
• A Sentient Technologies AI-támogatott befektetési rendszere 2017-ben és 2018-ban is visszafogott eredményeket ért el, majd a projektet lezárták.

Léteznek olyan ETF-ek is, amelyek a portfólió összeállításához mesterséges intelligenciát vagy gépi tanulási algoritmusokat használnak. Az alapok konkrét nevének említése nélkül nézzük meg néhány ilyen konstrukció eredményét.

• Az egyik globális makró típusú AI ETF 2018-ban indult, de az első években nem tudott tartósan nyereséget termelni, majd az alap működését megszüntették.
• Egy másik ETF az EquBot nevű AI-rendszer segítségével kezelte a portfólióját. Az IBM Watson támogatásával működő rendszer 2017-2023 között évi 6,7 százalékos hozamot ért el 23 százalékos szórás mellett. Ugyanezen időszakban a széles amerikai részvénypiac teljesítménye magasabb volt, miközben a volatilitás is alacsonyabb maradt.

A kutatások tehát arra utalnak, hogy önmagában a mesterséges intelligencia használata nem garantál jobb befektetési eredményt. A következő kérdés az, hogy egyes előrejelzési feladatokban mégis mennyivel lehetnek pontosabbak a gépi modellek az embereknél.

Bizonyos feladatokban az AI pontosabb lehet az embereknél

A rendelkezésünkre álló kutatások azt mutatják, hogy az emberek gyakran követnek el előrejelzési hibákat. Ez a professzionális elemzőkre, vállalatvezetőkre és befektetőkre egyaránt igaz. Az egyik gyakran vizsgált jelenség a túlreagálás, illetve a recency bias, amelynek során a közelmúlt eseményei aránytalanul nagy súlyt kapnak a döntéseinkben.

A Behavioral Machine Learning? Computer Predictions of Corporate Earnings also Overreact című tanulmányban különböző statisztikai és gépi tanulási modelleket használtak arra, hogy tőzsdei társaságok jövőbeni egy részvényre jutó nyereségét jelezzék előre. A vizsgált modellek között lineáris regressziós eljárások és Gradient Boosted Regression Tree, röviden GBRT modellek is szerepeltek. A tesztelést az amerikai részvénypiacon végezték 1994 és 2018 közötti adatok felhasználásával. Azt, hogy miként lehet vállalati jelentésekből algoritmikus úton előrejelzést készíteni, itt részleteztük.

Az eredmények alapján átlagosan a gépi modellek pontosabb előrejelzéseket készítettek, mint a professzionális elemzők. Az alábbi képen az elemzői előrejelzések láthatók. A halvány pontok egy-egy előrejelzést jelölnek. Minél közelebb helyezkednek el ezek a pontok a piros egyeneshez, annál pontosabb volt az előrejelzés.

forrás: Behavioral Machine Learning..

Az alábbi képen a gépi modellek előrejelzései láthatók. Ezek sem hibátlanok, de az előrejelzési hibák átlagosan kisebbek voltak.

forrás: Behavioral Machine Learning..

Megfigyelhető azonban, hogy az emberek nem minden évben teljesítettek rosszabbul. Az 1994-2018 közötti vizsgált időszakban 10 olyan év volt, amikor az elemzők pontosabb előrejelzéseket készítettek a gépi modellnél. Az alábbi ábrán az emberi és gépi előrejelzések átlagos négyzetes hibájának aránya, azaz az MSE ratio látható. Az 1 alatti érték azt jelzi, hogy az adott évben az elemzők pontosabbak voltak.

forrás: Behavioral Machine Learning..

A vizsgálat alapján tehát a gépi modellek átlagosan pontosabban jelezték előre a vállalati profitok alakulását, mint a professzionális elemzők. Ebből azonban még nem következik, hogy a gépi modellek mentesek lennének az emberi előrejelzésekben megfigyelhető szisztematikus hibáktól.

A gépi modellek is túlreagálhatják az új információkat

Az elemzői előrejelzések egyik jól ismert problémája a túlreagálás. Ennek során a frissen érkező információk túl nagy súlyt kapnak, majd az elemzők a közelmúlt kedvező vagy kedvezőtlen fejleményeit túl erősen vetítik ki a jövőre. Egy korábbi cikkünkben mutattam erre egy egyszerű példát. A kék görbe az emberi előrejelzést, a sárga görbe pedig a később ténylegesen kialakuló folyamatot mutatja.

Érdekes módon a fent bemutatott kutatás arra jutott, hogy a gépi tanulási modellek előrejelzéseiben is megfigyelhető a túlreagáláshoz hasonló minta. A gépi modellek hibája kisebb volt az emberi elemzőkénél, de kedvező hírek után jellemzően túl optimista, kedvezőtlen hírek után pedig túl pesszimista előrejelzések születtek. Ez fontos különbség. A modellnek nincs pszichológiai értelemben vett kognitív torzítása. Az előrejelzési eredmény azonban statisztikailag hasonló mintázatot mutathat ahhoz, amit az embereknél túlreagálásként ismerünk.

A vizsgálatban a lineáris regresszió különböző változatait és a Gradient Boosted Regression Tree módszert hasonlították össze. A GBRT pontosabb előrejelzéseket készített a lineáris modelleknél és az emberi elemzőknél, ugyanakkor a túlreagálás nála is megjelent.

A szerzők azt is megvizsgálták, hogy a GBRT egyik fontos paraméterének, a learning rate-nek a módosítása hogyan változtatja meg az eredményeket. Ez a paraméter azt szabályozza, hogy az egymást követően hozzáadott döntési fák mekkora mértékben módosítják a modell korábbi becslését. A learning rate csökkentésével mérséklődött a túlreagálás, ezzel együtt azonban az előrejelzési teljesítmény is romlott. Ez arra utal, hogy a jelenség részben abból fakadhat, ahogyan a modell az új információkat beépíti az előrejelzésbe. Az új adatokra gyorsan reagáló modell pontosabb lehet bizonyos helyzetekben, ugyanakkor érzékenyebbé válhat a rövid távú zajokra is.

Miért tévedhetnek a gépi tanulási modellek?

A hétköznapi vélekedéssel szemben a mai AI-rendszerek többsége nem úgy gondolkodik, mint egy ember. Nagy mennyiségű adatban keresnek szabályszerűségeket, majd ezek alapján készítenek becslést, osztályozást vagy előrejelzést.

A gépi előrejelzési rendszerek számos statisztikai és gépi tanulási eljárásra épülhetnek. Ezek között megtalálhatók a lineáris modellek, a döntési fák, a döntési fákból felépülő ensemble módszerek, a neurális hálózatok és más algoritmusok is.

A döntési fák működését egy egyszerű példával lehet szemléltetni. Tegyük fel, hogy azt szeretnénk meghatározni, milyen idő van. Ehhez több kérdésre is választ adhatunk, például süt-e a nap, esik-e az eső, erős-e a szél vagy magas-e a páratartalom. A válaszok alapján fokozatosan eljutunk egy végső besoroláshoz.

A gépi tanulásban használt döntési fák is hasonló logika szerint osztják fel az adatokat. A valóságban természetesen sokkal több változóval és jóval összetettebb döntési struktúrákkal dolgoznak.

forrás: Interactive decision tree algorithm

A gépi tanulási modellek egyik alapvető problémája, hogy folyamatos egyensúlyt kell teremteniük a múltbeli adatokban található stabil mintázatok és az új információkra való gyors reagálás között. Ha egy modell túl érzékenyen reagál a friss adatokra, könnyebben követhet rövid távú zajokat. Ha viszont túlságosan merev, akkor lassabban alkalmazkodhat egy valóban megváltozó környezethez.

A jelenség intuitív szemléltetésére egy egyszerű mozgóátlagos példát is használhatunk. Ez természetesen nem azonos a fent bemutatott gépi tanulási modellekkel. Tegyük fel, hogy egy árfolyam trendjét mozgóátlag alapján próbáljuk meghatározni. Ha az árfolyam a mozgóátlag fölött van, emelkedő trendet, ha alatta, csökkenő trendet feltételezünk.

Ahogy az alábbi grafikonon látható, a hosszabb időszakból számított mozgóátlag kevésbé érzékeny a rövid távú mozgásokra. A rövidebb mozgóátlag gyorsabban reagál, ezzel együtt több rövid távú téves jelzés is megjelenhet.

Tegyük a fentiekhez hozzá, hogy egy statisztikai kapcsolat kimutatása önmagában még nem bizonyít ok-okozati összefüggést. A statisztikai vizsgálatokban gyakran 5 vagy 1 százalékos szignifikanciaszintet alkalmaznak. Ha például egy teszt p-értéke 0,01 alatti, akkor a vizsgált nullhipotézis és a modell feltételei mellett az ilyen vagy ennél szélsőségesebb eredmény valószínűsége 1 százalék alatti. Ez önmagában még nem jelenti azt, hogy biztosan létezik gazdasági vagy oksági kapcsolat.

Ahogy erről a clustering illusion témájában beszéltünk, a medencébe fulladó emberek száma és Nicolas Cage filmszerepei között például viszonylag erős statisztikai együttmozgás figyelhető meg. A két változó között azonban nincs érdemi oksági kapcsolat.

A nyelvi modellek előretekintési torzításai és előrejelzési hibái

Az elmúlt években több kutatás is vizsgálta, hogy a nagy nyelvi modellek használhatók-e pénzügyi előrejelzési feladatokra. Fieberg és szerzőtársai például azt vizsgálták, hogy a ChatGPT milyen befektetési javaslatokat ad a rendelkezésére álló információk alapján. Erről itt beszéltünk részletesebben.

Lopez-Lira és Tang kutatása azt vizsgálta, hogy a ChatGPT mennyire képes vállalati hírekből pozitív vagy negatív tőkepiaci információt kinyerni. A témáról ebben a cikkben írtunk. Más kutatások pedig vállalati jelentések és pénzügyi szövegek értelmezésére alkalmaztak nyelvi modelleket.

Ezek a kutatások első látásra ígéretes eredményeket mutattak. Valódi piaci körülmények között azonban eddig nem látható egyértelmű bizonyíték arra, hogy a mesterséges intelligencián alapuló befektetési rendszerek tartósan képesek lennének felülteljesíteni a hagyományos benchmarkokat. Korábbi cikkünkben 27 kapcsolódó kutatást tekintettünk át.

A nagy nyelvi modellek értékelésénél egy további probléma is felmerül. A modell betanítása során olyan információkat is láthatott, amelyek a vizsgált történelmi időpontban még nem álltak rendelkezésre.

Sarkar és Vafa erre mutattak be látványos példát. A kutatók a Llama 2-70B modellt arra kérték, hogy egy 2019. szeptember 5-i vállalati jelentés alapján készítsen kockázatelemzést a Zoom vállalatról úgy, hogy kizárólag az adott időpontban rendelkezésre álló információkat használja.

forrás: Sarkar és Vafa (2024)

A modell elemzésében azonban megjelent a Covid-19 járvány és az otthoni munkavégzés kockázata. Ez azért problémás, mert a világjárvány gazdasági következményei 2019 szeptemberében még nem álltak rendelkezésre olyan információként, amelyet egy korabeli befektető felhasználhatott volna.

forrás: Sarkar és Vafa (2024)

Emiatt könnyen előfordulhat, hogy egy történelmi adatokon végzett teszt jobb eredményt mutat, mint amire a modell valódi időben képes lenne. A modell ugyanis közvetlenül vagy közvetetten találkozhatott olyan információkkal a betanítás során, amelyek az előrejelzés feltételezett időpontjához képest a jövőből származtak.

A szerzők ezt szélesebb mintán is megvizsgálták. Összesen 1000 vállalati jelentést használtak fel, amelyek 2018. szeptember 1. és november 30. között jelentek meg. A nyelvi modell feladata az volt, hogy ezekből készítsen kockázati előrejelzést a 2019-es évre. A modell ugyanakkor a járvány kitörése előtti időszakban is 6-8 százalékos gyakorisággal említette a pandémiát kockázati tényezőként.

forrás: Sarkar és Vafa (2024)

Hasonló problémát találtak akkor is, amikor kongresszusi választások eredményét próbálták életrajzi adatok alapján előre jelezni. Az előrejelzésekbe ebben az esetben is bekerültek olyan információk, amelyek az adott történelmi időpontban még nem állhattak rendelkezésre.

Ahogy fentebb beszéltünk róla, ez a probléma alapvetően eltér a hagyományos statisztikai modellek esetében megszokott look-ahead bias klasszikus formájától. A nyelvi modell belső tudásanyagáról ugyanis sokszor nem tudjuk pontosan megállapítani, hogy milyen dokumentumokat és milyen időpontig látott.

Emiatt a nyelvi modellek történelmi előrejelzéseinek értékelésénél kiemelt jelentőségű a valódi out-of-sample tesztelés. A modellnek az előrejelzés pillanatában csak olyan információkhoz lenne szabad hozzáférnie, amelyek akkor ténylegesen rendelkezésre álltak.

Ennek egyik lehetséges megoldása az időben korlátozott betanítás. Schweter és szerzőtársai például olyan nyelvi modellt készítettek, amelyet kizárólag 1914 előtti szövegeken tanítottak. Manjavacas és Fonteyn hasonló módszert használt 1450 és 1950 közötti szövegkorpuszokkal.

Sajnos azonban ennek komoly ára van. A régi szövegeken tanított modellek nem ismerik a modern pénzügyi fogalmak, vállalati jelentések és gazdasági összefüggések jelentős részét. Emiatt előrejelzési képességük is korlátozott lehet.

Ideális esetben olyan időcímkézett modellekre lenne szükség, amelyek tudása pontosan az adott történelmi időpontig terjed. A 2019-es előrejelzéshez például csak 2018 végéig rendelkezésre álló információkat tartalmazó modellt kellene használni, a 2020-as előrejelzéshez pedig már a 2019-es adatokat is be lehetne vonni.

Nem minden feladathoz van szükség nagy nyelvi modellre

A pénzügyi szövegek algoritmikus feldolgozásának jóval hosszabb múltja van, mint a ChatGPT története. Már évtizedekkel korábban is használtak automatikus szövegelemzést hírek, gyorsjelentések, éves beszámolók és piaci hangulat feldolgozására. Én is beszámoltam több ilyen kutatásról. Vizsgálták például a gazdasági hírek és a következő napok árfolyamváltozásának kapcsolatát ebben a kutatásban, illetve a vállalati jelentésekben szereplő negatív szavak és a későbbi részvénypiaci teljesítmény kapcsolatát itt mutattuk be.

A legegyszerűbb szövegelemző módszerek előre összeállított szótárakat használnak. A korai kutatásokban gyakran a Harvard IV-4 szótár szerepelt. Loughran és McDonald később olyan pénzügyi szótárt készített, amely jobban alkalmazkodott a vállalati és tőkepiaci szövegek sajátosságaihoz.

A következő fontos fejlődési lépést a statikus szóbeágyazási módszerek jelentették. Ilyen például a Word2Vec és a Doc2Vec. Ezek a rendszerek már képesek voltak a szavak közötti kapcsolatokat és jelentésbeli hasonlóságokat nagy szövegkorpuszokból megtanulni. Ezt követték a Transformer-alapú nyelvi modellek. Ezek közé tartozik a BERT, illetve annak pénzügyi szövegekre adaptált változatai, például a FinBERT. Ettől eltérő modellcsaládot képviselnek a GPT-modellek, amelyek generatív nagy nyelvi modellek.

A Can AI Explain Company Performance.. című kutatásban több nyelvi modellt és szövegreprezentációs módszert hasonlítottak össze. A vizsgálatban a ChatGPT, a BERT, a FinBERT, az LSI, a Word2Vec és a Doc2Vec teljesítményét tesztelték.

Az első feladatban azt vizsgálták, hogy a modellek képesek-e összekapcsolni ugyanazon vállalat éves 10-K jelentését és az eredményközléshez kapcsolódó earnings call szövegét. A 10-K az Egyesült Államokban kötelező éves vállalati jelentés, az earnings call pedig jellemzően az eredmények ismertetését követő elemzői és befektetői konferenciahívás.

Ebben a feladatban a ChatGPT teljesített a legjobban. Megfigyelhető azonban, hogy a Word2Vec több kategóriában is jobb eredményt ért el, mint a BERT vagy a FinBERT.

forrás: Can AI Explain Company Performance..

A második feladatban azt vizsgálták, hogy a különböző szövegreprezentációk mennyire képesek magyarázni a standardizált eredménymeglepetést, azaz a tényleges vállalati eredmény és a piaci várakozások közötti eltérést.

Ha a tényleges nyereség meghaladja az elemzői konszenzust, pozitív eredménymeglepetésről beszélünk. Ha a tényleges adat elmarad a várakozástól, negatív meglepetés történik. Az alábbi grafikonon a minta öt kategóriára bontva látható az eredménymeglepetés nagysága alapján.

forrás: Can AI Explain Company Performance..

Az eredmények alapján a modellek teljesítménye ebben a feladatban jóval közelebb került egymáshoz. A BERT bizonyos specifikációkban kiemelkedő eredményt ért el, miközben az egyszerűbb Word2Vec is versenyképes maradt.

Tegyük a fentiekhez hozzá, hogy ebből fontos gyakorlati következtetés adódik. Egy összetettebb és számításigényesebb nagy nyelvi modell nem automatikusan jobb minden feladatban. Bizonyos jól körülhatárolt problémákra egyszerűbb szövegelemző módszerek is elegendőek lehetnek.

Mi történik, ha anonimizáljuk az adatokat?

Perlin és szerzőtársai (2024) más irányból próbálták csökkenteni az előretekintési torzítást. A kutatók anonimizálták a tőzsdei társaságok pénzügyi és árfolyamadatait, így a Google Gemini modell nem tudhatta, melyik vállalatról van szó.

Ez azért fontos, mert így a modell nem tudta közvetlenül felhasználni a vállalat későbbi történetéről vagy teljesítményéről a betanítás során megszerzett információkat.

A kísérletben 2004 és 2014 között 10 000 dollárnyi tőkét kellett befektetnie az algoritmusnak öt különböző részvény kiválasztásával. A vizsgálatot 1, 6, 12 és 36 hónapos befektetési időtávon végezték el. Külön tesztelték azt is, hogy a Gemini csak számviteli adatokat, csak árfolyam-információkat vagy mindkettőt felhasználhatja-e.

Az összesen 1522 részvényből összeállított tesztekben időtávonként 1500 szimulációt futtattak, így a vizsgálatok száma elérte a 18 000-et. A Gemini által összeállított portfóliók eredményét az S&P 500 index és egy egyszerű, véletlenszerű kiválasztáson alapuló portfólió eredményével vetették össze.

Az egyszerű portfólióban öt véletlenszerűen kiválasztott részvény és egy kockázatmentes eszköz szerepelt egyenlő súllyal. Az eredmények azt mutatták, hogy kizárólag számviteli információk alapján a Gemini rövid időtávon gyakran erősen koncentrált portfóliót állított össze. Árfolyamadatok bevonása esetén viszont jellemzően több részvény között osztotta szét a tőkét.

Ahogy az alábbi táblázatból látható, a Gemini által összeállított portfóliók abszolút és kockázattal korrigált hozama több specifikációban is elmaradt az egyszerű összehasonlítási stratégiáktól.

forrás: Perlin és szerzőtársai (2024)

A vizsgált 18 000 eset 33-44 százalékában a Gemini kockázattal korrigált hozama meghaladta a vedd meg és tartsd stratégia eredményét. A Jensen-alfa alapján mért felülteljesítés azonban csak az esetek 5,6-8,47 százalékában jelent meg.

forrás: Perlin és szerzőtársai (2024)

Ez a vizsgálat jól mutatja, hogy a látványos szövegértési képesség önmagában még nem jelent megbízható részvénykiválasztási képességet. Ha a modell nem tudja felismerni a társaságot, és csak az adott időpontban elérhető pénzügyi adatokat kapja meg, a felülteljesítés jóval kevésbé egyértelmű.

Valódi előrejelzésben gyengébben teljesített a ChatGPT

A nyelvi modellek előrejelzési képességének vizsgálatában ezért a legfontosabb kérdés az, hogy miként teljesítenek valódi, jövőre vonatkozó előrejelzésben.

Az alábbi ábra a ChatGPT és a Cleveland Fed inflációs előrejelzéseinek hibáját hasonlítja össze három különböző időszakban. A zöld oszlopok a ChatGPT, a lila oszlopok a Cleveland Fed nowcast modell átlagos négyzetes előrejelzési hibáját mutatják.

A vizsgálat egyik fontos fogalma a knowledge cutoff, vagyis az a hozzávetőleges időpont, ameddig a modell tanítóadatai információkat tartalmazhattak. A szerzők a GPT-4 Turbo esetében 2023 áprilisát tekintették lehetséges tudáshatárnak, miközben azt is hangsúlyozták, hogy ennek pontos meghatározása nem egyszerű.

Ez azért lényeges, mert ha a modell a tanítás során már találkozott az adott időszak inflációs adataival vagy az ezekhez kapcsolódó szöveges információkkal, akkor a visszamenőlegesen készített pseudo out-of-sample előrejelzés részben memóriahatást vagy információszivárgást is tartalmazhat.

A pre-knowledge cutoff időszak a 2019 és 2023 áprilisa közötti periódust jelenti. Ebben az időszakban a ChatGPT előrejelzései viszonylag versenyképesnek tűntek, bár a Cleveland Fed modelljének hibája alacsonyabb volt.

A post-knowledge cutoff időszak 2023 májusa és 2024 áprilisa közé esett. A kutatók itt továbbra is visszamenőleg kérdezték le a modellt történelmi időpontokra. Ez az időszak azonban már a feltételezett tudáshatáron túl volt, ezért a teljesítményt kevésbé magyarázhatta egyszerű memorizáció. Ebben a szakaszban a ChatGPT előrejelzési hibája jelentősen megnőtt.

A harmadik periódus valódi out-of-sample vizsgálat volt 2024. május 13. és 2025. június 30. között. A kutatók valós időben kérdezték le a ChatGPT-t az aktuális hónapra és a következő 12 hónapra vonatkozó amerikai inflációs előrejelzésekről.

Ebben az esetben a modell már biztosan nem ismerhette a később ténylegesen megjelenő adatokat, hiszen azok az előrejelzés időpontjában még nem léteztek. A ChatGPT teljesítménye ebben a vizsgálati szakaszban is elmaradt a Cleveland Fed nowcast modelljétől.

Megfigyelhető tehát, hogy a generikus nagy nyelvi modellek előrejelzési képességét könnyű túlbecsülni, ha az értékelést történelmi időszakokra végezzük el. Minél közelebb kerülünk a valódi, időben előre mutató teszteléshez, annál fontosabbá válik az információszivárgás kizárása és a hagyományos benchmarkokkal történő összehasonlítás.

forrás: saját szerkesztés Alam et al. (2026) alapján

Összegzés

A mesterséges intelligencia és a nagy nyelvi modellek hasznos eszközök lehetnek adatok feldolgozására, szövegek értelmezésére, mintázatok felismerésére és bizonyos előrejelzési feladatok támogatására. A kutatások alapján azonban nem érdemes abból kiindulni, hogy ezek a rendszerek minden helyzetben pontosabb eredményt adnak az embereknél vagy a hagyományos statisztikai modelleknél.

A gépi modellek bizonyos feladatokban valóban pontosabbak lehetnek a professzionális elemzőknél. Ugyanakkor előrejelzéseikben olyan szisztematikus hibák is megjelenhetnek, amelyek hasonlítanak az emberi túlreagálásra és a közelmúlt információinak felülsúlyozására.

A nagy nyelvi modellek esetében további problémát jelent az információszivárgás. Ha egy történelmi teszt olyan időszakra vonatkozik, amelyről a modell a betanítás során már információt szerezhetett, akkor a jó visszatesztelt eredmény könnyen túlbecsülheti a modell valódi előrejelzési képességét.

Ahogy fentebb láthattuk, az anonimizált adatokon és valódi out-of-sample környezetben végzett vizsgálatok jóval kevésbé kedvező eredményeket mutatnak. Emiatt a pénzügyi alkalmazásokban az AI eredményeit érdemes benchmark modellekkel, out-of-sample tesztekkel és egyéb módszertani kontrollokkal ellenőrizni.

A gyakorlatban tehát az AI sok esetben hasznos döntéstámogató eszköz lehet. A modell válaszait és előrejelzéseit azonban ugyanúgy ellenőrizni kell, mint bármely más statisztikai vagy előrejelzési modell eredményét.