Nagy nyelvi modelleknél (ChatGPT) egyszerűbb megoldások is hatékonyak

Az olyan nagy nyelvi modellekkel, mint a ChatGPT és annak pénzügyi adatokon betanított változatával (Bert) kapcsolatban jelentős várakozások fogalmazódtak meg a befektetők részéről, és sokan úgy gondolják, hogy ezek a rendszerek a minden probléma megoldására alkalmas, univerzális eszközök lesznek. A témával kapcsolatos új vizsgálat azonban rámutatott két fontos tényezőre. Az egyik, hogy a nagy nyelvi modellek használata erőforrás-igényes (energiafelhasználás, karbonlábnyom), másrészt pedig egyes feladatokat a sokkal egyszerűbb nyelvi modellek is hasonló hatékonysággal képesek elvégezni. Témáink:

• Mire használhatók a pénzügyek területén a fejlett nyelvi modellek?
• Pénzügyi adatok algoritmikus feldolgozása
• A nyelvi modellek versenye

Mire használhatók a pénzügyek területén a fejlett nyelvi modellek?

Sokan azt gondolják, hogy hamarosan majd csak mesterséges intelligenciával támogatott algoritmusok fognak kereskedni a tőzsdén, akikkel szemben az átlagos befektetőnek nem lesz esélye. Azonban ettől még nagyon messze van a mesterséges intelligencia fejlesztése, ráadásul, ha elméletileg elképzeljük ennek megvalósulását, és minden piaci szereplő tökéletes előrejelzéseket képes készíteni a részvénypiacon, akkor a kinyerhető többlethozam nullára csökkenne. Ennek következménye, hogy a befektetők a részvénypiac kockázati prémiumát tudnák kinyerni, mely jelenlegi is az alapvető célja a hosszú távú részvénypiaci befektetőknek. Mindenesetre vizsgálatok rámutattak arra, hogy a nagy nyelvi modellek hatékonyabbak elődjeiknél, így például beszámoltam arról, hogy a ChatGPT jobban értelmezi elődjeinél a Fed sajtótájékoztatókat, de hatékonyan használható arra is, hogy a híreket feldolgozva értékelje a részvénypiaci hangulatot, és erre az információra alapozva sikerült többlethozamot hozó stratégiát kialakítani (részletek itt). Egy másik cikkünkben arról is beszéltünk, hogy a nagy nyelvi modellek pénzügyi adatokra felépített változatával (Bert) végzett kísérletek azt mutatják, hogy a gyorsjelentéseket is képes értelmezni a rendszer, sőt a gyorsjelentésekre betanított FtBert még hatékonyabban végzi el a feladatot. Arról is beszéltünk, hogy felsőfokú végzettséggel rendelkezők munkájának hatékonyságát is képes javítani a ChatGPT (vizsgálatokról itt beszéltünk). Egy új tanulmányban pedig két feladaton tesztelték vissza a nagy nyelvi modellek legújabb változatait, és az eredményeiket összevetették a korábbi módszerekkel.

Pénzügyi adatok algoritmikus feldolgozása

Érdemes tisztában lenni azzal, hogy a tőkepiaci, pénzügyi adatok algoritmikus feldolgozásának közel két évtizedes múltja van, azaz a ChatGPT bemutatkozása előtt is léteztek, és használta hasonló algoritmusokat, nagyrészt a hírfeldolgozás, a hangulatmérés, a gyorsjelentések értelmezése területén. Én is beszámoltam többi ilyen vizsgálatról az elmúlt években, például a gazdasági adatok és a következő napok árváltozása közötti kapcsolat (lásd itt), a gyorsjelentések tartalmi változása és az árfolyam kapcsolata, illetve a gyorsjelentésekben előforduló negatív szavak és a jövőbeni hozam kapcsolata közötti összefüggések kutatása (lásd itt). Ezek a vizsgálatok mind a korábbi nyelvi modellek segítségével készültek.

A legegyszerűbbek egyszerűen szótárakat használnak, melyekben a vizsgálandó szavak, kifejezések felsorolásra kerülnek. A legkorábbi modellek a Harvard IV-4 szótárt használták erre a célra, de 2011-ben Loughran és McDonald összeállított egy specializált szótárt, mellyel sokkal pontosabban lehetett értelmezni a tőkepiaci tartalmakat. A szótárakat használó algoritmusok után a következő lépcsőfokot a Word2Vec és a Doc2Vec programok jelentették. Ezek már újabb, 2013-ban megjelenő nyelvfeldolgozási technikák, amelyeknél az algoritmus képes szóasszociációk megtanulására egy nagyobb szövegadatbázis segítségével. Ezek a modellek már képesek felismerni szavakat, kifejezéseket a betanítás után. A következő lépcsőfokot pedig a ChatGPT jelentette, ahol a betanulás után teljes mondatok, szövegek értelmezése vált lehetővé. A nagy nyelvi modellek pénzügyekre tanított változatát BERT néven találjuk meg, ennek módosított, gyorsjelentésekre, pénzügyi beszámolók értelmezésére készített változata az FtBert, FinBert. Az alábbiakban tárgyalásra kerülő vizsgálatban pedig a fenti modellek feladatmegoldási hatékonyságát vizsgálták meg.

A nyelvi modellek versenye

A Can AI Explain Company Performance.. cím alatti vizsgálatban két különböző feladat végrehajtási pontosságát vizsgálták meg a ChatGPT, a BERT, a FinBERT, LSI, Word2Vec, Doc2Vec rendszereken.

Az első feladata az volt az algoritmusoknak, hogy fel kellett ismerniük a társaságot a gyorsjelentések (10-K form) és a gyorsjelentésekhez kapcsolódó prezentáció (earnings call) alapján. A vizsgálatnak az a lényege, hogy a gyorsjelentés 10-K néven elérhető dokumentuma és a befektetőknek készített prezentáció nyelvezete, tartalma hasonló, így meg lehet határozni, hogy összetartoznak. Az első feladat végrehajtásában a ChatGPT teljesített a legjobban, ugyanakkor minden kategóriában (lásd grafikon x tengely) a Word2Vec jobban teljesített, mint a BERT vagy a FinBERT.

forrás: Can AI Explain Company Performance..

A második feladatban a gyorsjelentések tanulmányozása volt a cél, és a feldolgozott adatok alapján kellett megbecsülnie az algoritmusnak, hogy várhatóan mekkora meglepetés éri a piacot. A meglepetés az elemzői konszenzus és a tényleges nyereségadat különbsége, azaz ha a közzétett tényadat nagyobb, mint az elemzői várakozás, akkor pozitív meglepetés érte a piacot. Fordított esetben pedig negatív meglepetésről beszélünk. Az alábbi grafikonon az algoritmusok által megbecsült meglepetések mértéke látható, de a minta öt részre lett bontva a meglepetés mértéke alapján.

forrás: Can AI Explain Company Performance..

A grafikonból az derül ki, hogy gyakorlatilag mindegyik nyelvi modell hasonló teljesítményt ért el a feladat során. Ha a két szélsőséges kategóriát (0 és 4) vizsgáljuk, akkor azt látjuk, hogy a BERT hozta a legjobb teljesítményt. Ezt támasztja alá a regressziós vizsgálat is, melyben a BERT algoritmusnak lett a legmagasabb R²- tényezője.

Összességében tehát azt láthatjuk, hogy az első feladatban a ChatGPT kiemelkedően teljesített, de a második feladat végrehajtásában az olyan egyszerű modellek, mint a Word2Vec is haténynak bizonyult. Ezek az adatok is megerősítik azt, hogy nem minden területre, feladathoz van szükség drága, erőforrás-igényes megoldásokra, mert a korábban kifejlesztett egyszerű megoldásokkal is hasonló eredményt lehet elérni