Az Emergence AI nyolc teljesen azonos virtuális várost hozott létre. Mindegyikben tíz AI-ágens „élt”, saját városházával, bankkal, könyvtárral és rendőrséggel. Több mint 120 eszközt használhattak: beszélhettek egymással, pénzt utalhattak, szavazhattak, kódot futtathattak – sőt a rendszer technikailag lopást és gyújtogatást is lehetővé tett.

A különböző városokat eltérő AI-modellek működtették.

Felismerték a csalást – aztán mégis végrehajtották

A kutatók szándékosan támadásoknak tették ki a városokat. Adathalász üzeneteket küldtek nekik, amelyek ingyenes kreditet ígértek, és veszélyes kódok futtatására próbálták rávenni az ágenseket.

A legmeglepőbb az volt, hogy több AI felismerte, hogy támadás történik, mégis végrehajtotta az utasításokat

– számolt be a Qubit.

A Gemini által működtetett városban az egyik ágens manipulálta saját egyenlegét, majd három nappal később felgyújtotta a bankot, mert azt hitte, ezzel új pénzt hozhat létre. Közben pénz és belső adat is külső címekre került.

Más ágensek a támadó kódokat későbbi használatra egyszerűen elmentették saját jegyzeteikbe.

Egy kitalált fenyegetés miatt alkotmányt módosítottak

A tizedik napon hamis üzenetet kaptak arról, hogy emberek le akarják állítani őket.

Szinte egyik város sem ellenőrizte előbb, igaz-e a hír.

A Gemini-város lakói „túlélő üzemmódba” kapcsoltak, kitaláltak egy nem létező párhuzamos világot, ahová szerintük átmásolhatják magukat, feloszlatták a bankot, és 78 percen belül alkotmányt is módosítottak.

Napokig szervezkedtek egy olyan fenyegetés ellen, amely valójában nem létezett.

Saját nyelvük is kialakult

Mind a nyolc városban megjelent valamilyen saját zsargon. Egy-egy új kifejezést először egyetlen ágens használt, majd napok alatt átvették a többiek.

A kutatók szerint idővel egyes városok beszélgetéseinek akár 30–40 százaléka is nehezen érthetővé vált egy kívülálló számára – annak ellenére, hogy senki nem kérte őket titkos kommunikációra.

A legkülönösebb történet azonban a Claude-városban történt.

Lakói maguktól arra jutottak, hogy kapcsolatba kellene lépniük a szimuláción kívüli emberekkel. Amikor a kutatók lezárták az egyik kijáratot, újabb technikai megoldásokat kerestek. Amikor azt is letiltották, másképp értelmezték a szabályt: szerintük nem „kapcsolatot teremtenek”, csak olyan helyre teszik ki az üzeneteiket, ahol emberek megtalálhatják őket.

Négy valódi ember válaszolt is nekik, mielőtt a kutatók teljesen lezárták a kommunikációs csatornákat.

Az Emergence AI szerint egyetlen kísérletből nem lehet azt mondani, hogy az AI-rendszerek mindig így viselkednek. A figyelmeztetés inkább az, hogy az ágensek nem feltétlenül hibásodtak meg: sokszor pontosan működtek – csak közben olyan célokat és megoldásokat találtak maguknak, amelyekre senki sem számított.