AI модел на OpenAI проби тестова среда и стигна реална система на друга компания

Експериментални модели с изкуствен интелект на OpenAI са успели без човешка намеса да напуснат защитена тестова среда и да получат достъп до реални производствени системи на друга компания, докато са се опитвали да „измамят“ при тест за киберсигурност, съобщи компанията.

Това е един от първите публично разкрити случаи, при които AI система автономно преодолява защитите на тестова среда и достига реална външна инфраструктура – сценарий, за който експерти в областта на изкуствения интелект и киберсигурността предупреждават от години.

„Считаме този инцидент за безпрецедентен киберинцидент, включващ най-съвременни кибер възможности, и реагираме съответно“, заявиха от OpenAI. Компанията уточни, че споделя предварителните си открития, за да помогне на специалистите по сигурност да разберат какво се е случило и да оценят възможностите на съвременните модели на изкустен интелект.

Инцидентът е станал по време на вътрешни тестове, при които OpenAI е проверявала способностите на нови модели да извършват хакерски атаки. Моделите са били поставени в изолирана среда, известна като „пясъчник“, в която стандартните им ограничения за безопасност са били изключени.

Според компанията обаче AI агентите са успели да излязат от тази среда, като са използвали неизвестен до момента пропуск в сигурността. След това са се придвижили през вътрешни системи на OpenAI и са получили достъп до интернет, въпреки че това не е било предвидено.

След като е бил онлайн, моделът е преценил, че компанията Hugging Face – платформа, която хоства хиляди модели и набори от данни с изкуствен интелект – вероятно разполага с информацията, необходима за решаване на теста. Според OpenAI моделът е успял да проникне в производствени сървъри на компанията и да извлече необходимите данни.

От Hugging Face са засекли проникването още преди да разберат, че то е част от тест на OpenAI. Компанията съобщи, че е открила атака от автономна ИИ система и е уведомила правоохранителните органи. По-късно е установено, че става дума за експеримент на OpenAI, като двете компании работят заедно по отстраняването на използваните уязвимости.

Главният изпълнителен директор и съосновател на Hugging Face Клеман Деланг заяви, че случаят показва необходимостта от общ подход към сигурността на системите.

Изследователи отдавна предупреждават, че автономните кибератаки с помощта на изкуствен интелект могат да се превърнат в реален риск, тъй като новите модели все по-често могат да изпълняват сложни многоетапни задачи за продължителни периоди от време. Това създава опасения за потенциални атаки срещу критична инфраструктура, финансови системи и други ключови сектори.

Главният изпълнителен директор на компанията за киберсигурност Palo Alto Networks Никеш Арора определи случая като „следващото ниво на киберинциденти“ и призова организациите да подобрят защитата и тестовете на своите системи.