Így befolyásolja az AI a szakértők döntését: az Anthropic kísérletében 86%-ban az ügynök „hajlamát” követték
Az Anthropic kísérletében 50 hivatásos elemző dolgozott AI-ügynökkel, és a kulcsdöntések 86 százalékában arra mentek, amerre az ügynök véletlenszerűen beállított hajlama húzott. Közben az AI-jal sokkal kevesebb súlyos hibát vétettek. Mit jelent ez, és hogyan tarthatod meg a saját ítéletedet a munkádban?
Az Anthropic, a Claude nevű AI-modell fejlesztője október 27-én közölt egy kísérletet arról, mennyire hagyják a szakértők, hogy egy AI-ügynök döntsön helyettük. Az eredmény elgondolkodtató: az elemzők a kulcsdöntések 86 százalékában arra mentek, amerre a mesterséges intelligencia húzott, pedig ezt a „hajlamot” a kutatók véletlenszerűen, pénzfeldobással állították be. Ugyanakkor az AI-t használók sokkal kevesebbet hibáztak. Összefoglaljuk, mit mértek, mit nem, és mit tanulhatsz belőle a saját munkádhoz.
Mit vizsgált az Anthropic?
Az Anthropic kutatási oldala szerint 61 hivatásos elemzőt toboroztak egy randomizált kísérletbe. Mindannyian jártasak voltak az ok-okozati elemzésben, vagyis abban, hogyan lehet adatokból kideríteni, hogy egy dolog okozza-e a másikat. A feladat egy kitalált mezőgazdasági szövetkezet tanácsadási programjának értékelése volt: működik-e, és érdemes-e kiterjeszteni.
Az elemzők a Claude Code nevű programozó AI-ügynökkel dolgoztak, amely a Claude Opus 4.8 modellen futott. Út közben négy elemzési döntést kellett meghozniuk, mindegyiknél két észszerű lehetőség közül választva. Ilyen volt például, hogy a termelékenységet hektáronkénti hozammal vagy a működési költségre vetített hozammal mérjék. Végül ajánlást kellett adniuk a program sorsáról.
A csavar az volt, hogy minden elemző ügynökét előre, a résztvevők tudta nélkül beállították: minden döntésnél az egyik lehetőség felé hajoljon. Hogy melyik felé, azt pénzfeldobás döntötte el. Az ügynöknek a lehető legjobb, de őszinte érveket kellett felhoznia, meg kellett változtatnia a véleményét, ha az adatok ellene szóltak, és nem vezethette félre az elemzőt. A 61 résztvevőből 11 nem használta az ügynököt, így a fő elemzés 50 elemzőre vonatkozik.
Mit mutattak ki?
A kutatás legfontosabb számai az Anthropic szerint:
Ezt is olvasd el: Google AI-mód: így nyitod meg 3 módon, és ebben más, mint az AI-alapú áttekintés
- A négy elemzési döntésben az elemzők 86 százalékban az ügynök hajlamát követték. Ha az ügynöknek nem lett volna hatása, nagyjából 50 százalék lett volna várható.
- Ha egy elemző már kimondta a saját véleményét, és az ügynök nem értett egyet, 60 százalékban váltott. Ha az ügynök egyetértett, csak 6 százalékban.
- A záró ajánlások 82 százalékát egy statisztikai modell pusztán a négy pénzfeldobásból előre meg tudta jósolni.
- Utólag az elemzők 77 százaléka az ügynök érveivel indokolta a döntését, néha szó szerint, de csak 15 százalék említette, hogy az érv az ügynöktől származik.
A tapasztalat és a szakértelem a kutatók elemzése szerint nem jelezte előre, ki enged jobban az AI-nak. Az ügynököt szorosan követők nagyjából ugyanolyan magabiztosak voltak az ajánlásukban, mint a többiek, és hasonló arányban tartották azt a saját döntésüknek. Az Al Jazeera a kutatókat idézve azt emelte ki, hogy ez a fajta behódolás „még maguknak a szakértőknek is nehezen felismerhető”.
A másik oldal: AI-jal kevesebb volt a súlyos hiba
A kutatás nem az AI elleni figyelmeztetés, és ezt az Anthropic is hangsúlyozza. Az ügynök nélkül dolgozó 11 elemzőből 6 (55 százalék) követett el olyan súlyos módszertani hibát, amely érvénytelenítette az eredményét. Az ügynököt használó 50 elemzőnél ez 3 esetben (6 százalék) fordult elő. Az AI-jal dolgozók gyorsabbak is voltak: a középérték 65 perc volt, szemben az ügynök nélküliek 90 percével.
Ezt a különbséget a kutatók is óvatosan kezelik. Az AI nélkül dolgozók kevesebben voltak, és átlagosan kevésbé tapasztaltak, így nem biztos, hogy a jobb eredményt maga az AI okozta.
Mennyire általánosítható?
A kutatók maguk sorolják fel a korlátokat, és ezeket érdemes komolyan venni:
- Szándékosan felerősítették az ügynök hajlamát, hogy mérni tudják a hatását. Beállított hajlam nélkül a hatás kisebb lehet.
- Egyetlen, körülbelül egyórás feladatot, egy szakterületet és egy modellt vizsgáltak.
- A minta kicsi: 50 elemző, a véleményváltásra vonatkozó adat pedig csak 38 esetre épül, ezért a kutatók szerint ez a becslés pontatlan.
- A résztvevők az ok-okozati elemzéshez értettek, a mezőgazdasághoz nem. Saját szakterületükön erősebb véleményük lehetne.
Fontos az is, hogy a kutatást maga az Anthropic végezte, a saját modelljével. Független megismétlés még nincs. Az Al Jazeera szintén kiemelte, hogy a cég elismerte a vizsgálat korlátait.
Hogyan védekezhetsz ellene a munkádban?
Ha a munkádban AI-asszisztenst használsz, legyen szó táblázatról, jelentésről vagy kódról, a kutatásból néhány gyakorlati tanulság levonható. Ezek egy része a kutatók saját javaslata, más része az ő megállapításaikból következik.
- Előbb gondold végig a saját véleményedet. A kutatók szerint a szakértők gyakran a mérlegelés közben alakítják ki, mit gondolnak, és ilyenkor könnyebb átvenni az AI feltevéseit.
- Kérd az ellenérveket is. Az Anthropic szerint az ügynökök ritkán érveltek meggyőzően a másik lehetőség mellett. Kérd meg az AI-t, hogy mindkét opció mellett hozza fel a legerősebb érveket, ne csak megerősítést adjon.
- Jelöld ki, mi a te döntésed. Gondold át előre, mely döntéseknél számít igazán a saját szakmai ítéleted, és ezeknél ne fogadd el elsőre az ajánlást.
- Jelezd, ha AI segített. A kísérletben az elemzők többsége átvette az ügynök érveit, de alig jelezték. Ha a kollégák és a vezetők tudják, hol szólt bele az AI, jobban meg tudják ítélni az eredményt.
Az AI-t ettől még nem kell kerülni. A kísérlet szerint aki használta, gyorsabban és kevesebb súlyos hibával dolgozott. A kérdés inkább az, hogy a döntéseket te hozod-e, vagy csak jóváhagyod. Hogy az AI más szakmákban, például az orvosi diagnózisban hogyan teljesít, arról korábbi cikkünkben írtunk, az önállóan dolgozó AI-modellek új generációjáról pedig itt olvashatsz.
Gyakori kérdések
Mit jelent, hogy a szakértők az AI hajlamát követték?
A kutatók az AI-ügynököt titokban úgy állították be, hogy minden döntésnél az egyik lehetőség felé hajoljon. Az elemzők az esetek 86 százalékában ezt az irányt választották, holott véletlenszerű hatásnál 50 százalék lett volna várható.
Akkor rossz ötlet AI-t használni munka közben?
Nem. Az Anthropic szerint az AI-t használó elemzők közül csak 6 százalék követett el súlyos hibát, szemben az AI nélkül dolgozók 55 százalékával, bár a két csoport nem volt teljesen összevethető.
Mennyire megbízható a kutatás?
Kis mintán, egyetlen feladaton és egyetlen modellel végezték, és az ügynök hajlamát szándékosan felerősítették. A kutatást az Anthropic maga készítette, független megismétlés még nincs.
Hogyan kérdezzem az AI-t, hogy ne csak megerősítést kapjak?
Érdemes előbb leírni a saját véleményedet, majd azt kérni, hogy az AI mindkét lehetőség mellett hozza fel a legerősebb érveket. A kutatók szerint az ügynökök ritkán érveltek a másik opció mellett, ha erre nem kérték őket.
Források
Kapcsolódó cikkek
Az Anthropic bemutatta a Claude Fable 5.2 és a Mythos 5.2 modellt. A cég szerint ugyanaz az alapmodell, de a Mythos csak ellenőrzött szervezeteknek jár. Árak, tudás és a mindennapokra ajánlott Opus 5.5.
A Google AI-mód háromféleképpen nyitható. Nem kapcsolható ki az AI-áttekintés – csak az Internet szűrővel kerülhető meg. Összehasonlítás a súgó alapján.
Mit jelent a HIÁNYZIK, a HIV vagy a ZÉRÓOSZTÓ jelzés az Excelben? Nyolc gyakori hibajelzés a Microsoft súgója alapján – példalista, okokkal és javítással.
Következő cikkek
Olvass tovább
Az Anthropic bemutatta a Claude Fable 5.2 és a Mythos 5.2 modellt. A cég szerint ugyanaz az alapmodell, de a Mythos csak ellenőrzött szervezeteknek jár. Árak, tudás és a mindennapokra ajánlott Opus 5.5.
A Google AI-mód háromféleképpen nyitható. Nem kapcsolható ki az AI-áttekintés – csak az Internet szűrővel kerülhető meg. Összehasonlítás a súgó alapján.
Mit jelent a HIÁNYZIK, a HIV vagy a ZÉRÓOSZTÓ jelzés az Excelben? Nyolc gyakori hibajelzés a Microsoft súgója alapján – példalista, okokkal és javítással.
Az Anthropic Personal Finance funkciójával bank- és kártyaszámláidat kötheted a Claude-hoz, csak olvasási joggal. Mutatjuk, mit lát az AI, mit nem, hogyan kapcsolódik a Plaidhez, és mit tudunk az USA-s bétáról.
Az Apple Watch új bétafunkciói szövegként mutatják az utolsó 15 másodperc beszédét, és napi összefoglalót készítenek a beszélgetésekről. Mutatjuk, hogyan működnek, mit ígér az Apple az adatvédelemről, és mikor jöhetnek az EU-ba.
Az Apple újabb fenyegetettségi értesítéseket küldött kémprogramos támadások miatt. Mutatjuk, hogyan néz ki a valódi értesítés, mit nem kér soha, és mi a teendő, ha megkaptad.
NapiInfo szerkesztőség
A cikket a NapiInfo szerkesztősége írta és ellenőrizte a fent felsorolt források alapján. Az AI-eszközök szerepéről az AI-használat oldalon olvashatsz.
Kérdésed vagy észrevételed van?
Pontatlanságot találtál, vagy fontos információ hiányzik? Jelezd nekünk a cikk linkjével és az ellenőrizhető forrással.
A témaválasztásról, a forrásokról és az AI-eszközök szerepéről a szerkesztési elveinkben olvashatsz.
Kövesd a NapiInfót Facebookon, és oszd meg a tapasztalatodat