Új lapon nyílik meg
Illusztráció – AI-val készült

AI ügynök megbízhatóság: a Microsoft ThinkingBox tesztje

A Microsoft új benchmarkja, a ThinkingBox azt vizsgálja, hogy az AI-ügynökök mennyire megbízhatóan végzik el ugyanazt a feladatot húszszor egymás után – és az eredmények meglepőek.

["A Microsoft bejelentése szerint elindult a ThinkingBox, egy új teljesítménymérő rendszer, amely nem azt nézi, mit mond egy AI-ügynök, hanem mit hagy maga után az adatbázisban. Az AI ügynök megbízhatóság kérdése ugyanis nem arról szól, hogy egyszer sikerül-e végrehajtani egy feladatot, hanem arról, hogy húszszor egymás után is ugyanúgy működik-e. A Hugging Face blogján megjelent cikk szerint a ThinkingBox 507 valós üzleti munkafolyamaton teszteli a különböző nagy nyelvi modelleket (LLM), és minden feladatot húszszor futtat le tiszta adatbázisról indulva.", "## Miért nem elég egy sikeres futtatás", "Egy AI-ügynök akkor igazán hasznos, ha következetesen jól teljesít. Ha egy rendszer tízből egyszer jól dolgozza fel a visszatérítési kérelmet, a többi négyszer pedig elrontja, az nem működő megoldás. A ThinkingBox ezért minden feladatot húsz független alkalommal végrehajtat, mindig azonos kiindulási állapotból. A Microsoft kutatói három különböző mérőszámot használnak: a pass@1 azt mutatja, hogy az összes próbálkozás hány százaléka sikerült; a pass@20 azt, hogy a feladatok hány százalékát oldotta meg legalább egyszer húsz próbálkozásból; az observed 20/20 pedig azt, hogy hány feladat sikerült mind a húsz alkalommal.", "A tesztek eredményei meglepőek. A Claude Opus 5.5 modell például 67,16%-os pass@1 eredményt ért el, vagyis átlagosan a próbálkozások kétharmada sikeres volt. Ám amikor azt nézték, hogy az egyszeri sikerességi arányból mennyi marad meg, ha minden feladatot húszszor kell végrehajtani, kiderült: csak a GPT-6 Astra, a Claude Opus 5.5 és a Claude Opus 5 őrzi meg eredménye nagy részét. A GPT-6 Astra az egyszeri sikerességi arány 78%-át, a két Claude modell pedig 71%-át tartja meg. Ezzel szemben a GLM-5.1, a Kimi-K2.6 és a DeepSeek-V4-Pro modellek mindössze 8% körül teljesítenek.", "## Szélesség vagy következetesség", "A tesztek egyik legérdekesebb tanulsága, hogy a szélesség és a következetesség két különböző dolog. A Kimi-K3 modell a legszélesebb lefedettséget nyújtja: a 507 feladatból 476-ot legalább egyszer sikeresen megold, vagyis 93,89%-os pass@20 arányt ér el. Ugyanakkor az AI ügynök megbízhatóság szempontjából gyengébben teljesít: csak 68 feladat, azaz 13,41% sikerül mind a húsz alkalommal. A Claude Opus 5 pont fordítva viselkedik: kevesebb feladatot old meg legalább egyszer (79,09%), viszben a feladatok 47,53%-át minden egyes alkalommal hibátlanul teljesíti.", "Ez a különbség gyakorlati szempontból kulcsfontosságú. Ha olyan rendszert építesz, amely valódi adatokat kezel – például ügyfélszolgálati jegyeket, banki tranzakciókat vagy biztosítási kárigényeket –, akkor nem az a kérdés, hogy a modell egyszer meg tudja-e oldani a feladatot, hanem az, hogy mindig megoldja-e. A Kimi-K3 75-tel több feladatot old meg legalább egyszer, mint az Opus 5, viszont az Opus 5 173-mal több feladatot old meg következetesen.", "## Mit néz a ThinkingBox valójában", "A hagyományos benchmarkok gyakran csak azt ellenőrzik, hogy az AI-ügynök meghívott-e egy eszközt (tool call), vagy helyes-e a végső válasz szövege. A ThinkingBox viszont az adatbázis végső állapotát vizsgálja: milyen értékek kerültek be, milyen mellékhatások keletkeztek, és minden szükséges módosítás megtörtént-e. A Microsoft kutatói egy 121 680 érvényes próbálkozást tartalmazó elemzésben 79 853 sikertelen esetet találtak. Ezek közül 67,24% tisztán leállt, meghívott egy állapotot módosító eszközt, és nem jelzett hibát – mégis rossz értékeket írt az adatbázisba 77,61%-ban, nem kívánt mellékhatásokat okozott 43,30%-ban, és hiányzó kötelező módosításokat hagyott ki 25,36%-ban.", "Egy konkrét példa a cikkből: egy ügyfél panaszt tesz, mert a csomagja 15 napja elakadt egy futárszolgálati kivételnél. Az AI-ügynök kilenc eszközhívást végez, mindent helyesen ellenőriz, megállapítja, hogy az ügyfél nem jogosult késedelmi kompenzációra, majd lezárja a jegyet „megoldottként", és megkérdezi, segíthet-e még valamiben. Csakhogy a futárszolgálati kivétel még mindig nyitva van, így a jegynek várakozó állapotban kellett volna maradnia. Az adatbázis állapota nem egyezik azzal, amit az ügynök állít.", "## Költség és megbízhatóság", "A Microsoft azt is kiszámolta, mennyibe kerül egy sikeres feladat, illetve egy megbízható feladat. A költség per sikeres próbálkozás a GPT-5.6 Sol esetében a legalacsonyabb, 0,127 dollár, míg a Claude Opus 5.5 magasabb pontosságot ér el 0,276 dollárért. A költség per megbízható feladat viszont más képet mutat: a GPT-5.4 a legolcsóbb 6,80 dollárral, bár csak 128 feladatot old meg következetesen. A GPT-6 Astra 231 feladatot teljesít hibátlanul 7,45 dollárért, a Claude Opus 5.5 pedig 241-et 7,80 dollárért. A legolcsóbb egyszeri siker tehát nem jelenti a legolcsóbb megbízható megoldást.", "A ThinkingBox mostantól elérhető a Hugging Face-en keresztül, az OpenEnv keretrendszeren belül. A benchmark 507 feladatot tartalmaz öt üzleti területről: kiskereskedelem, autóbiztosítás, utazás, neobank és tanácsadás. Minden feladat izolált adatbázis-állapotból indul, és a végső állapotot végrehajtható ellenőrzésekkel mérik. A kutatók célja, hogy az AI-ügynökök fejlesztői ne csak azt nézzék, mit mond a rendszer, hanem azt is, mit csinál valójában."]

Mit jelent ez neked?

Ha AI-ügynököket használsz vagy fejlesztesz, ez a benchmark megmutatja, hogy a látszólag jó válasz nem mindig jelent helyes működést. A megbízhatóság nem egyszeri siker kérdése, hanem következetes teljesítményé – és ez különösen fontos, ha valódi adatokkal dolgozol.

Kapcsolódó lecke: AI-ügynökök →

Forrás: Hugging Face – The Agent Said It Was Done. The Database Disagreed.

Megosztás:FacebookLinkedInX

További hírek

Az összes AI-hír →