Miért téved, hibázik a mesterséges intelligencia?

A rendelkezésünkre álló adatok azt mutatják, hogy a mestersége intelligencia távol áll attól, amit a sci-fi filmek alapján gondolunk róla. A mesterséges intelligencia ugyanis téved, hibázik, nem minden esetben dönt racionálisan és olyan kognitív torzításokat is elkövet, amely az emberekre jellemző (túlreagálás, jelen felülértékelése). Cikkünkben a témával kapcsolatos kutatásokat tekintjük át. Témáink:

• Példák a mesterséges intelligencia tévedéseire
• Az AI pontosabb előrejelzéseket készít az embereknél
• A mesterséges intelligencia sem hoz racionális döntéseket?
• Miért téved a mesterséges intelligencia

Példák a mesterséges intelligencia tévedéseire

A mesterséges intelligencia gyakran téved. Erről saját magunk is meggyőződhetünk, ha megkérdezzük az OpenAI ChatGPT algoritmusától, hogy kik az Egri Csillagok könyv szereplői. Dózsa György nevét olvasva értetlenül csodálkozhatunk ezen a tévedésen, de a ChatGPT mentségére szolgáljon, hogy Dózsa György neve valóban megemlítésre kerül a könyvben.

Ugyanakkor nemcsak a nagy nyelvi modellek hibáznak, hanem ahogy egy korábbi cikkemben beszámoltam, a mesterséges intelligenciát alkalmazó hedge fundok, alapkezelők, algoritmusok eredményei is elmaradnak a várttól. A témában 27 kutatást összegeztünk a fenti hivatkozáson, többek között az alábbi megállapításokat tettük:

• Az Eurekahedge hedge fund 2011-2022 közötti időszakon halmozott hozamban alulteljesített. A passzív befektetők halmozott hozama 210 százalékkal magasabb volt az időszakon.
• A Preqin’s AI hedge fund 2016-2019 közötti időszakon 27 százalék hozamot ért el, de ezen időszak alatt az amerikai részvénypiacon 65 százalék hozam keletkezett.
• Az Aidya, a mesterséges intelligencia iparágban legendának számító Ben Goertzel fejlesztése. Az AI az első kereskedési napon 12 százalék hozamot generált, majd egy éven belül a projektet abbahagyták a gyenge teljesítmény miatt.
• A Sentient Technologies hedge fund AI támogatott algoritmusa 2017-ben 4 százalék, 2018-ban 0% hozamot ért el, majd a projektet abbahagyták.

Továbbá léteznek olyan ETF alapok is, melyek a mesterséges intelligencia alapján alakítják a portfóliójukat. Az alapok konkrét nevének említése nélkül nézzük az eredményeket:

• Az egyik egy global makró típusú AI ETF, mely 2018-ban indult, de 2018, 2019 években nem tudott nyereséget termelni, majd az alapkezelést befejezték.
• Egy másik ETF alap, az EquBot nevű AI segítségével kezeli a portfóliót. Az IBM Watson támogatásával működő algoritmus 2017-2023 közötti időszakon évi 6,7 százalékos hozamot ért el, 23 százalékos szórás mellet. Ezen időszak alatt a teljes részvénypiacba passzívan befektetők 11,2 százalékos hozamot érhettek el 18,5 százalékos szórás mellett.

A témával kapcsolatos új kutatás pedig arra is rámutatott, hogy a mesterséges intelligencia hasonló kognitív torzításokat követ el, mint az emberek, azaz nem bizonyítható, hogy a mesterséges intelligencia racionálisabb előrejelzést készít az embereknél. Nézzük ennek részleteit és okait.

Az AI pontosabb előrejelzéseket készít az embereknél

A rendelkezésünkre álló kutatások mind azt mutatják, hogy az emberek nagyon rosszak az előrejelzésben és még a professzionális elemzők, a társaságokat irányító vezetők, a befektetők is kognitív torzítások sorát követik el. Ezek közül az egyik legfontosabb a túlreagálás (overreaction bias), és a recency bias, azaz a jelen felülértékelése.

A Behavioral Machine Learning? Computer Predictions of Corporate Earnings also Overreact cím alatti tanulmányban különböző mesterséges intelligencia algoritmusokat használtak fel arra, hogy tőzsdei társaságok jövőbeni nyereségét (egy részvényre jutó nyereség) előre jelezzék. A vizsgált algoritmusok jellemzően lineáris regresszió és az ún. Gradient Boosting regression tree (GBT) módszeren (később részletezem) alapultak. A tesztelés 1994-2018 közötti adatokon, az amerikai részvénypiacon történt. A hogyan lehet a gyorsjelentésekből algoritmikus úton előrejelzést készíteni témát itt részleteztük.

Az eredmények a várakozásoknak megfelelően alakultak, azaz nagy átlagban a gépi algoritmusok jobb előrejelzőnek bizonyultak, mint az emberek. Az alábbi képen az összes elemző előrejelzése látható (halvány pontok egy-egy elemzést mutatnak). Akkor tekinthető pontosnak egy előrejelzés, ha a behúzott piros egyenesre vagy annak közelébe esik.

forrás: Behavioral Machine Learning..

Az alábbi képen a mesterséges intelligenciát alkalmazó algoritmusok láthatók. Az AI téved, de a tévedés mértéke kisebb.

forrás: Behavioral Machine Learning..

Az 1994-2018 közötti időszak 22 évében 10 évben az emberek felülteljesítették a mesterséges intelligenciát (a mean square error egy alatti értéke jelzi ezt)

forrás: Behavioral Machine Learning..

A mesterséges intelligencia sem hoz racionális döntéseket?

A mesterséges intelligencia tehát hajszálnyival jobban jelzi előre a vállalati profitok alakulását a gyorsjelentések alapján, mint a professzionális elemzők. Ugyanakkor azt várnák, hogy egy algoritmus nem követi el azokat a hibákat, amelyeket az elemzők elkövetnek. Ezek közül a legdominánsabb az overreaction bias, melynek lényege, hogy a társasággal kapcsolatban érkező jelenhez közeli információkat felülsúlyozzuk, eltúlozzuk a jelentőségét, és ezt kivetítjük a jövőbe. Ebből születnek a túlzottan optimista célárak, melyeket később a piac nem igazol vissza. Egy korábbi cikkünkben mutattam erre példát, ahol a kék görbe az emberi előrejelzés, a sárga (logisztikai görbe) a valóságot mutatja.

 

Csakhogy a fenti vizsgálat arra jutott, hogy a gépi tanulás útján működő algoritmusok az emberekhez hasonlóan, de kisebb mértékben elkövetik az overreaction bias-t.

Miért téved a mesterséges intelligencia

A hétköznapi vélekedéssel szemben a mesterséges intelligencia nem egy ember módjára gondolkodó gép, hanem egy gép, mely képes az emberi gondolkodást utánozni. Az emberi gondolkodás utánzása pedig különböző statisztikai, döntési módszerek programozott formájában valósul meg.

Így például a mesterséges intelligencia különböző lineáris regresszión alapuló eljárásokkal hoz döntést, keres kapcsolatot, és végez előrejelzést. De léteznek természetesen más eljárások (itt beszéltünk róluk), melyek közül a pénzügyek világában a döntési fák a leggyakrabban alkalmazottak.

A döntési fa lényegét az alábbi egyszerű ábrán keresztül megérthetjük. A feladat az, hogy meghatározzuk, milyen idő van ma. Értelemszerűen az emberek kinéznek az ablakon és megállapítják, hogy jó vagy rossz az időjárás. A háttérben azonban döntések sorozatát visszük végig, többek között a napos, esős, szeles, párás kérdések megválaszolásával jutunk el a jó vagy rossz az idő megállapításhoz. Az algoritmusok, hasonló döntési fákkal dolgoznak csak ennél sokkal mélyebbekkel, és sokkal több döntési fát alakítanak ki, mely végül elvezeti őket a legoptimálisabb megoldáshoz.

forrás: Interactive decision tree algorithm

A fenti vizsgálatban a lineáris regresszió különböző típusait és a pénzügyekben gyakran használt Gradient Boosted Regression Tree (GBRT) módszereket vizsgálták meg túlreagálás tekintetében. A GBRT módszer felülteljesíti a lineáris regresszió módszereit és az emberi előrejelzést is, de a híreket túlreagálja, ahogy az emberek is. A túlreagálás csökkenthető a GBRT egyik paraméterének (learning rate, mely a tanulás gyorsaságát szabályozza) változtatásával. Ha azonban csökkentik a learning rate mutatót, akkor a túlreagálás eltűnik, de ezzel együtt a modell előrejelző képessége is drasztikusan visszaesik. A fentieken túl az is jól elkülöníthető az adatokon, hogy azok az elemzők, akik ismerik a gépi tanulás különböző módjait (statisztikai módszereket) kisebb mértékben követik el az overeaction bias-t.

Összegezve a lényeget, a mesterséges intelligencia azért téved, azért értékeli felül a közelmúlt eredményeit, mert a betanítására, a működtetésére használat statisztikai módszerek sajátossága ez a probléma. Például egy regressziós módszer pontosabb lehet, ha sokkal több múltbeli adatot veszünk figyelembe, de ez jellemzően csökkenti az előrejelzési pontosságot. Ha pedig kevesebb adattal dolgozik az algoritmus, akkor elkerülhetetlenül felülsúlyozzuk a jelenhez közeli adatokat. A probléma jól szemléltethető a mozgóátlagokkal. Képzeljük el azt az esetet, hogy az emelkedő, csökkenő trend megállapítása egy mozgóátlaghoz kötött. Ha fölötte van az árfolyam, akkor emelkedő, ha alatta, akkor csökkenő trendet jelzünk előre.

Ahogy az alábbi grafikonon látható, még az ilyen egyszerű módszerek esetében is csökken a túlreagálás, a téves jelek száma, ha több adatot vizsgálunk (kék görbén alapuló jelzések) szemben a jelenhez közelebbi adatok vizsgálatával (zöld görbén alapuló jelzések).

Továbbá a különböző statisztikai módszerek sajátossága, hogy statisztikailag szignifikáns eredményre, megfigyelésre jutunk. A statisztikai szignifikancia határértéke 95 vagy 99 százalék a legtöbb esetben, azaz ha egy vizsgálat p-value értéke 0,01-nél kisebb, akkor 99 százalékos valószínűséggel kijelenthető, hogy az adatokon kimutatott összefüggés létezik és nem a véletlen műve. Ugyanakkor ezen statisztikai módszerek esetében nem rendelkezünk 100 százalékos bizonyossággal (további részletek itt).

A helyzetet tovább bonyolítja, hogy a lineáris regresszión alapuló összefüggések felderítése nem feltétlenül jelent ok-okozati összefüggést. Ahogy erről a clustering illusion témában beszéltünk bár a medencébe fulladó emberek száma és Nicolas Cage filmszerepei között  közepesen magas (R² =0,66) korreláció figyelhető meg, a valóságban nincs ok-okozati kapcsolat a két változó között.

Utolsó példaként álljon itt a margarin egy főre jutó fogyasztása és a válások aránya közötti statisztikailag szignifikáns, erős korreláció (0,99).

forrás: Spurious Correlations