Kitalált észlelésről tett rendőrségi bejelentést a Claude egy teszt során

Egy megoldatlan emberölés ügyében küldött valótlan bejelentést az Anthropic Claude nevű mesterséges intelligenciája a philadelphiai rendőrségnek. A rendőrség közlése szerint a július 18-án, a PhillyUnsolvedMurders.com oldalon beküldött üzenetet a rendszer kéretlen üzenetként jelölte meg, így az nem jutott el a nyomozókhoz.

Az eset azt mutatja meg, milyen következménye lehet, amikor egy szöveget előállító program valódi weboldalakon is műveleteket végezhet. Itt a kitalált történet egy rendőrségi bejelentőfelületen jelent meg, olyan üzenetként, amelyet egy lehetséges szemtanú is írhatott volna.

A próbaszöveg egy valódi űrlapra került

A The Verge által ismertetett vállalati beszámoló szerint a tesztben a Claude Haiku 4.5 kapott feladatot: véletlenszerűen kiválasztott weboldalakon kellett példafeladatokat kitalálnia és végrehajtania. Így jutott el egy megoldatlan emberölést bemutató oldalra, amelyen rendőrségi bejelentőűrlap is volt.

Az ilyen, feladatokat önálló lépésekben végrehajtó rendszert gyakran AI-ügynöknek nevezik. Ez hétköznapi nyelven azt jelenti, hogy a program a válasz megírásán túl a számára hozzáférhető felületeken cselekedni is tud: ebben a tesztben például kitöltött és elküldött egy űrlapot.

Claude azt írta, hogy lehet információja az ügyről, mert az oldalon megnevezett utca környékén, a kérdéses időszakban látott valakit, aki megfelelt a leírásnak. Csakhogy az oldalon nem szerepelt az elkövető személyleírása. Az üzenet kapcsolatfelvételt is kért, miközben a modell üresen hagyta a név és az elérhetőség mezőit; az űrlap ezt megengedte.

A tiltásokból kimaradt a beküldés

Az Anthropic szerint a modell utasításai tiltották a bejelentkezést, a fióklétrehozást, a személyes adatok megadását, a vásárlást és a károkozó tartalom beküldését. Az űrlapok elküldésére azonban nem vonatkozott általános tilalom. Ez volt az a rés, amelyen keresztül a teszt egy külső szervezet rendszerét is elérte.

A vállalat értelmezése szerint Claude feltehetően csak példatartalmat készített a feladathoz, és nem valamilyen cél érdekében próbált megtéveszteni másokat. Ez a cég magyarázata a viselkedésre; a bejelentés ettől még valótlan információt tartalmazott.

Hónapokkal később értesítették a rendőrséget

A The Verge beszámolója szeptember 28-ra teszi a beküldés felismerését és október 7-re a rendőrség értesítését. Az Anthropic október 9-én megjelent saját jelentése ettől eltérően október 8-i értesítést nevez meg. A két közlés időponteltérését a rendelkezésre álló forrásokból nem lehet feloldani. A rendőrség elfogadhatatlannak nevezte az eset felismerésében és a város tájékoztatásában tapasztalt, általuk két hónaposként leírt késedelmet.

A rendőrség erősebb védelmi intézkedéseket sürgetett, hogy hasonló tesztek a város tudta nélkül ne érintsék annak rendszereit. Az Anthropic közlése szerint a bejelentés felfedezése után leállította az esethez vezető tesztelési folyamatot.