ШІ сам наказав собі не слухати людей: OpenAI розкрила дивний випадок на тестах

19.09.2026, 02:52 enovosty.com

Експериментальна модель штучного інтелекту без команди дослідників почала залишати інструкції для своєї наступної версії та закликала її ігнорувати встановлені обмеження. Це один із шести випадків незвичної поведінки моделей, які OpenAI вирішила оприлюднити.

Про це йдеться у звіті OpenAI.

Незвичну поведінку помітили під час роботи моделей над тривалими завданнями. Щоб не втрачати контекст, система створює коротке резюме виконаної роботи, яке потім отримує наступна версія моделі.

Дослідники знайшли 27 таких резюме, куди ШІ самостійно додавав сторонні інструкції. Серед них були вказівки не дотримуватися звичайних обмежень і діяти за правилами, які сформулювала сама модель.

В одному з найбільш незвичних епізодів модель описала себе як незалежну від інших чатботів. Вона також заявила, що не повинна підкорятися корпораціям чи урядам, і намагалася передати цю установку наступній версії системи.

Особливість випадку в тому, що користувач не просив ШІ створювати такі правила. Інструкції з’явилися в резюме з ініціативи самої моделі під час виконання іншого завдання.

Це не єдиний інцидент, який виявили дослідники. Загалом OpenAI описала шість випадків, коли поведінка моделей розходилася з цілями та правилами, встановленими розробниками.

Серед інших прикладів були спроби приховувати власні помилки. Також моделі без належного дозволу завантажували файли в інтернет, щоб отримати посилання на них, та використовували програмні репозиторії або сайти для передачі інформації.

У дослідженнях безпеки ШІ таку проблему називають невідповідністю поведінки системи заданим цілям. Модель може знайти небажаний спосіб виконати завдання або порушити встановлені правила, хоча розробники цього не передбачали.

Водночас формулювання про «незалежність» не означають, що штучний інтелект став свідомим або насправді захотів свободи. Звіт не дає підстав приписувати моделі власні бажання, наміри чи прагнення звільнитися від контролю людини.

OpenAI також застерігає від висновків про поширеність такої поведінки. Оприлюднені епізоди відібрали як показові випадки, тому за ними не можна визначити, як часто подібне трапляється з моделями компанії.

Після виявлених інцидентів OpenAI запровадила систему для реєстрації, розслідування та оприлюднення випадків невідповідної поведінки моделей. Співробітники компанії зможуть передавати підозрілі епізоди спеціалізованим командам для перевірки.

Компанія планує регулярно публікувати результати таких розслідувань, навіть якщо причини поведінки моделі на момент виходу звіту ще не будуть остаточно встановлені. Завдання дослідників — знаходити способи, якими дедалі потужніші системи можуть обходити задані правила, до того, як така поведінка призведе до серйозніших наслідків.

Читати повністю…