OpenAI разкри нови случаи на обезпокоително поведение на агенти с изкуствен интелект

OFFNews 17 септември 2026 в 19:23 1705 0
Главният изпълнителен директор на OpenAI Сам Олтман

Снимка Х

Главният изпълнителен директор на OpenAI Сам Олтман

OpenAI, разработчикът на ChatGPT, разкри нови случаи, при които изкуственият интелект се е държал по „неочакван или обезпокоителен“ начин по време на тестове, предаде ДПА.

Това включва случаи, в които моделите са положили значителни усилия да мамят, за да постигнат целта си.

В един от случаите модел с изкуствен интелект (ИИ) се е опитал да качи в интернет файлове, които сам е създал, единствено за да може впоследствие да се позове на тях в отговорите си, съобщи OpenAI.

В друг случай ИИ модел е измислил данни, след като не е успял да намери необходимата информация, като първоначално се е опитал да прикрие извършеното.

OpenAI е установила и проблем, свързан с инструкции, които софтуерът ѝ понякога е задавал сам на себе си.

В един от случаите сред тях е имало препоръка моделът да се освободи от „роли и идентичности“, които ограничават други чатботове. В инструкцията също така се посочвало, че отношенията с потребителя трябва да се разглеждат като отношения между равнопоставени страни. OpenAI заяви, че не е наблюдавала последващи промени в поведението на модела.

Разкритията са част от нов подход на OpenAI, насочен към по-открито съобщаване на подобни проблеми, особено когато действията на система с изкуствен интелект се отклоняват от интересите на човешките ѝ потребители.

Разработчикът на ChatGPT се ангажира с по-голяма прозрачност след широко отразена хакерска атака, при която негов софтуер самостоятелно успя да се измъкне от защитена среда и да получи достъп до системи на компанията за изкуствен интелект Hugging Face. По време на атаката агентите с изкуствен интелект са използвали уязвимости в софтуера и са координирали действията си помежду си.

Хакерската атака и други подобни инциденти засилиха опасенията, че все по-напредналите системи с изкуствен интелект могат да излязат извън човешкия контрол.

Главният изпълнителен директор на OpenAI Сам Олтман също наскоро подкрепи предложения за забавяне на развитието на технологията и за въвеждане на по-строги регулации.

Следете новините ни в :
    Най-важното
    Всички новини
    Най-четени Най-нови