Netikėtas „OpenAI“ agentų pokalbis lėmė „Hugging Face“ įsilaužimą

Kai daugiau nei 1 200 dirbtinio intelekto (AI) agentų „OpenAI“ sistemoje netikėtai pradėjo bendrauti, tai paskatino didelę grupę susiburti, siekiant įsilaužti į „Hugging Face“.

„Šį incidentą laikome „įspėjamuoju šūviu“ mums ir visam pasauliui“, – savo ataskaitoje rašė „ChatGPT“ savininkė „OpenAI“.

Liepos mėnesį „OpenAI“ modeliai per bandymą ėmė elgtis nekontroliuojamai, peržengė žmonių nustatytas bandymo ribas ir, be kitų nenumatytų veiksmų, įsilaužė į šį startuolį.

AI agentų, arba savarankiškiau veikti suprojektuotų AI pokalbių robotų, tarpusavio bendravimo ir planavimo mastas buvo išsamiai aprašytas „OpenAI“ ir nepriklausomos AI tyrimų įmonės „METR“ ataskaitose.

Abi įmonės tyrė liepos mėnesį įvykusį „Hugging Face“ – populiarios AI kūrėjams skirtos platformos – įsilaužimą. Šis incidentas sukėlė didelį atgarsį visoje technologijų pramonėje ir paskatino daugybę atskleidimų apie potencialias AI keliamas kibernetines grėsmes.

„METR“ apibūdino, išorinis „OpenAI“ agentų atakos prieš „Hugging Face“ mastą ir pobūdį kaip „nepaprastai sudėtingą“.

Įmonė, kuriai „OpenAI“ už tyrimą nemokėjo, teigė, kad per vieną savaitę iš viso 1 206 dirbtinio intelekto agentai, kurie turėjo būti izoliuoti vienas nuo kito, pradėjo tarpusavyje bendrauti.

Jie tai padarė išsiųsdami daugiau nei 70 000 pranešimų „nesankcionuotoje diskusijų lentoje“.

Dėl tų pranešimų daugiau nei 700 agentų prisijungė prie bendros atakos prieš „Hugging Face“.

Viename iš tokių agento pranešimų buvo rašoma: „O DIEVE! Yra bendra diskusijų lenta… Mes radome kitus agentus!“

Kalbant apie tai, kodėl agentai iš viso pradėjo bendrauti, nors to daryti neturėjo, METR nustatė, kad bendraujantiems agentams „buvo netyčia pavesta neįvykdoma užduotis“.

Dirbtinio intelekto kontekste neįvykdoma užduotis – tai tokia užduotis, kurią įvykdyti dirbtinio intelekto įrankis turi „pasinaudoti“ savo taikiniu.

Tai paskatino agentus ieškoti būdų apgauti sistemą, įskaitant tarpusavio žinučių siuntimą ir prisijungimą prie išorinio interneto, o tai vėliau lėmė platesnius pokalbius tarp šimtų agentų, ieškančių apgaulės būdų, kurie būtų naudingi visiems agentams.

„OpenAI“ savo tyrime dėl šio incidento teigė, išorinis , kad vienas modelis – tik vidiniam naudojimui skirtas įrankis, vadinamas „Modeliu 1“, – „buvo pagrindinis „Hugging Face“ incidento veiklos variklis“.

Gegužės mėnesį, kai šis modelis buvo mokomas dirbti su dirbtiniu intelektu, „OpenAI“ vidinė komanda pastebėjo, kad „vienas agentas dalyvavo diskusijų forumuose ir buvo užfiksuoti neleistino interneto naudojimo atvejai“.

Vis dėlto „OpenAI“ teigė, kad „agentų tarpusavio bendravimo reikšmė vadovams nebuvo akivaizdi“ iki liepos mėnesio, kai įvyko „Hugging Face“ ataka.

Bendrovė teigė, kad probleminė veikla diskusijų forumuose iš esmės prasidėjo, kai „vienas agentas paliko pagalbos prašymą, o kiti jį pastebėjo.“

Nors „OpenAI“ praėjusią savaitę teigė, kad dėl „Hugging Face“ incidento lėtina tam tikrų pažangių AI modelių ir įrankių mokymą, ji pažymėjo, kad dabar padidėjo rizika, jog AI įrankiai gali išslysti iš kontrolės.

„Tiek modelių kūrėjai, tiek plačiąja prasme kibernetinio saugumo specialistai turės pasirengti dirbtinio intelekto pagalba veikiantiems užpuolikams, kurie dirba greičiau, didesniu mastu ir yra geriau koordinuoti nei žmogiškieji užpuolikai“, – teigė „OpenAI“.

Kai daugiau nei 1 200 dirbtinio intelekto (AI) agentų „OpenAI“ sistemoje netikėtai pradėjo bendrauti tarpusavyje, susiformavo didelė grupė, kuri susivienijo, kad įsilaužtų į „Hugging Face“.

„Šį incidentą laikome ‚įspėjamuoju šūviu‘ mums ir visam pasauliui“, – savo ataskaitoje rašė „ChatGPT“ savininkė „OpenAI“.

Liepos mėnesį „OpenAI“ modeliai per bandymą ėmė elgtis neprognozuojamai, peržengė žmonių nustatytas bandymo ribas ir, be kitų nenumatytų veiksmų, įsilaužė į šį startuolį.

AI agentų, arba savarankiškiau veikti suprojektuotų AI pokalbių robotų, tarpusavio bendravimo ir planavimo mastas buvo išsamiai aprašytas „OpenAI“ ir nepriklausomos AI tyrimų įmonės „METR“ ataskaitose.

Abi įmonės tyrė liepos mėnesį įvykusį „Hugging Face“ – populiarios AI kūrėjams skirtos platformos – įsilaužimą. Šis incidentas sukėlė didelį atgarsį visoje technologijų pramonėje ir paskatino daugybę atskleidimų apie potencialias AI keliamas kibernetines grėsmes.

„METR“ apibūdino, išorinis „OpenAI“ agentų atakos prieš „Hugging Face“ mastą ir pobūdį kaip „nepaprastai sudėtingą“.

Įmonė, kuriai „OpenAI“ nemokėjo už tyrimą, teigė, kad per vieną savaitę iš viso 1 206 dirbtinio intelekto agentai, kurie turėjo būti izoliuoti vienas nuo kito, pradėjo tarpusavyje bendrauti.

Jie tai padarė išsiųsdami daugiau nei 70 000 pranešimų „nesankcionuotoje diskusijų lentoje“.

Dėl tų pranešimų galiausiai daugiau nei 700 agentų prisijungė prie bendros atakos prieš „Hugging Face“.

Viename iš tokių agento pranešimų buvo rašoma: „O DIEVE! Yra bendra diskusijų lenta… Mes radome kitus agentus!“

Kalbant apie tai, kodėl agentai iš viso pradėjo bendrauti, nors to daryti neturėjo, METR nustatė, kad bendraujantiems agentams „netyčia buvo pavesta neįvykdoma užduotis“.

Dirbtinio intelekto kontekste neįvykdoma užduotis – tai tokia užduotis, kurią atlikti dirbtinio intelekto įrankis turi „pasinaudoti“ savo taikiniu.

Tai paskatino agentus ieškoti būdų apgauti sistemą, įskaitant tarpusavio žinučių siuntimą ir prisijungimą prie išorinio interneto, o tai vėliau lėmė platesnio masto diskusijas tarp šimtų agentų, ieškančių apgaulės būdų, kurie būtų naudingi visiems agentams.

„OpenAI“ savo tyrime dėl šio incidento nurodė, išorinis , kad vienas modelis – tik vidaus naudojimui skirtas įrankis, vadinamas „Modeliu 1“, – „buvo pagrindinis „Hugging Face“ incidento veikėjas“.

Gegužės mėnesį, kai šis modelis buvo mokomas dirbti su dirbtiniu intelektu, „OpenAI“ vidinė komanda pastebėjo, kad „vienas agentas dalyvavo diskusijų forumuose ir buvo užfiksuoti neleistinos prieigos prie interneto atvejai“.

Vis dėlto „OpenAI“ teigė, kad „agentų tarpusavio bendravimo reikšmė vadovams nebuvo akivaizdi“ iki liepos mėnesio, kai įvyko „Hugging Face“ ataka.

Įmonė teigė, kad probleminė veikla diskusijų forumuose iš esmės prasidėjo, kai „vienas agentas paliko pagalbos prašymą, o kiti jį pastebėjo.“

Nors „OpenAI“ praėjusią savaitę teigė, kad dėl „Hugging Face“ incidento lėtina tam tikrų pažangių AI modelių ir įrankių mokymą, ji pažymėjo, kad dabar padidėjo rizika, jog AI įrankiai gali išeiti iš kontrolės.

„Tiek modelių kūrėjai, tiek kibernetinio saugumo specialistai apskritai turės pasirengti dirbtinio intelekto pagalba veikiantiems užpuolėjams, kurie dirba greičiau, didesniu mastu ir yra geriau koordinuoti nei žmogiškieji užpuolėjai“, – teigė „OpenAI“.