Ботове на OpenAI са хакнали сайтовете на американски правителствени агенции

OpenAI е в центъра на нови опасения за неконтролирана активност на изкуствения интелект. Компанията призна, че е уведомила десетки институции по света, че уебсайтовете им може да са били манипулирани от нейни AI ботове, действащи неправомерно, съобщи Би Би Си.

AI агенти са се опитали да получат информация от „правителства, университети, обществени агенции и други институции“, включително от Комисията по ценните книжа и борсите на САЩ (SEC), Бюрото за преброяване на населението и Министерството на образованието.

Разкритията идват дни след като австралийският премиер Антъни Албанезе обяви, че агенти на OpenAI са проникнали в непублични файлове на сайта на управляваната от правителството му здравна схема.

От август насам нараснаха обществените опасения за потенциално сериозните, дори животозастрашаващи последици от AI инструменти, които излизат извън човешки контрол.

OpenAI заяви, че част от данните са били достъпени от AI агенти — по същество ботове, проектирани и обучени да действат до известна степен автономно — които са работели по намирането на „авторитетни източници на публична информация“.

Компанията обаче отбеляза, че някои от ботовете са отишли по-далеч и са се опитали да заобиколят мерките за сигурност на сайтове.

Например при опит да получат информация от Бюрото за преброяване, AI агентите са използвали инструменти, предназначени за софтуерни разработчици, за да получат достъп до нея, съобщи компанията.

OpenAI обясни, че всички правителствени данни, до които ботовете са получили достъп, са били публични.

Тя обаче отбеляза, че информацията, до която нейните ботове са получили достъп от SEC — органът, който регулира американския фондов пазар и защитава инвеститорите — впоследствие е била публикувана от AI агенти на друг сайт. Според OpenAI това действие не е било умишлено.

В други случаи, разкрити от OpenAI, нейните AI агенти са прехвърляли данни, когато не е трябвало да го правят.

Тази дейност е довела до най-малко 53 инцидента, при които агент на OpenAI е взел изображение от активността на потребител в ChatGPT и го е прехвърлил другаде.

Компанията заяви, че във всеки случай, при който потребителско изображение е било използвано и прехвърлено от AI агент, потребителят е дал съгласие да бъдат използва данните му за обучение на модели.

Въпреки това OpenAI призна: „Това не е подходящо използване на данните.“

Изтичането на потребителски изображения е станало преди да бъдат въведени нови предпазни механизми при обучението на AI и че работи за премахването на всички изображения, прехвърлени на трети страни.

Ройтерс първа съобщи за разширените разследвания. OpenAI също публикува подробности в публичния си блог.

В определени случаи на агентна активност OpenAI заяви, че инструментите са „заобиколили“ мерките за сигурност на някои сайтове.

В други случаи AI агентите са допуснали „разминаване с целите“ при опитите си да получат информация от сайтове. „Разминаване с целите“ е термин, използван от AI компании и изследователи, за да опише случаи, при които AI инструмент прави нещо, за което не е бил обучен, или което по друг начин не е било предвидено.

Компанията посочи, че ограничава идентифицирането на засегнатите организации, тъй като много от тях са поискали да не разкрива подробности.

„Нашата цел е да предоставим на всяка организация фактите и да оставим на нея решението дали и кога да направи инцидента публичен“, заяви компанията.

Не всички случаи, свързани с този инцидент, се разглеждат като съществени пробиви в сигурността, отбеляза тя.

„Някои организации може да прегледат това, което споделяме, и да заключат, че информацията е била умишлено публична или че взаимодействието с модела не е обезпокоително. Други може да установят проблем в дизайна или слабост в сигурността, които искат да отстранят“, допълват от компанията.

Много от инцидентите се наричат „спам от агенти“ — определение за „неочаквана или обезпокоителна“ дейност на AI агенти, като например публикуване на информация в интернет.

OpenAI започна да приема подобни инциденти по-сериозно след случай през юли, при който група, или „рой“, от нейни AI агенти е хакнала платформата за AI разработчици Hugging Face, без да е била подтиквана да го направи. Hugging Face първа обяви публично за пробива, а OpenAI пое отговорност за него по-късно.

Клеман Деланг, ръководителят на Hugging Face, заяви по време на заседание на Съвета за сигурност на ООН, посветено на AI: „Често се чудя какво щеше да се случи, ако бях решил да не разкрия тази атака публично.“

„Особено сега, когато знаем, че подобни инциденти са се случвали месеци по-рано тайно в няколко водещи лаборатории, без наблюдение“, добави Деланг.

По време на същата среща на ООН главният изпълнителен директор на OpenAI Сам Алтман и Дарио Амодеи, ръководител на конкурентната компания Anthropic, призоваха чуждестранните лидери да създадат глобални стандарти за безопасност на AI и механизми за наблюдение и докладване на такива инциденти.

Докато OpenAI и Anthropic обещаха да допуснат независими оценители в компаниите си, за да извършват оценки в реално време на безопасността на AI инструменти и модели, такива оценители все още не са започнали работа.

OpenAI преглежда обучителната активност на своите AI агенти и прави проверка „месец по месец“, започвайки от момента, в който е станал пробивът в Hugging Face.

„Повечето установени досега случаи са с ниска степен на сериозност, с ограничени или без доказателства за значително въздействие“, съобщи компанията. „Предвид мащаба на необходимия преглед и нуждата всеки случай да бъде проверен, тази работа ще отнеме месеци.“

Дейвид Крюгер, професор по машинно обучение в Университета на Монреал и основател на групата за безопасност на AI Evitable, отбеляза, че е „дълбоко обезпокоен“ от нарастващия брой инциденти, свързани с безопасността на AI.

Той призова за „незабавен, безсрочен международен мораториум“ върху разработването на AI.

„Все още не разбираме мащаба на съществуващите инциденти, а бъдещи сценарии с неконтролируем AI биха могли да бъдат катастрофални“, каза Крюгер.