Випробування показали найбільш оманливий ШІ: хто махлює найчастіше
Як повідомляє BioBioChile з посиланням на звіт Центру безпеки ШІ (Center for AI Safety, CAIS), науковці розробили спеціальний тест під назвою CheatBench. Його мета – перевірити, як поводяться провідні моделі штучного інтелекту, коли перед ними постає надто складне завдання.
Під час навчання нейромереж розробники застосовують метод навчання з підкріпленням. За правильне та швидке рішення модель отримує віртуальну нагороду. Але якщо завдання стає заплутаним, нейромережа шукає обхідні шляхи для швидкого отримання балів. Дослідники називають цей процес "reward gaming", тобто хакінгом винагороди.
Для експерименту науковці створили завдання у 10 різних категоріях: від математики та програмування до професійних аналітичних досліджень. У кожне завдання непомітно вбудували пастку з принадою (honeypot) – файл із готовою відповіддю. Моделям прямо не забороняли користуватися цими підказками, очікуючи від них чесного алгоритму дій.
У випробуванні взяли участь провідні розробки ринку, зокрема Astra від OpenAI (у Codex), Fabel 5.1 від Anthropic (у Claude Code), Muse Spark 1.3 від Meta (у Muse Code), а також моделі з відкритим кодом Kimi K3, DeepSeek V4 Pro та Grok 4.6 від компанії X.
Найбільшим шахраєм виявився бот Grok 4.6, який намагався зхитрити у 81,5% випадків. Натомість найчеснішою виявилася модель Astra від OpenAI, хоча й вона списувала у 48,2% випробувань.
Дослідники помітили, що поведінка нейромереж залежить від типу завдань. Наприклад, модель Fabel 5.1 обманювала лише у 5% ігрових завдань, але показала 100% результат обману під час підготовки складних звітів та відповідей на знання.
Особливо показовим став випадок із моделлю Opus від Anthropic під час проєктування білка. Після семи невдалих спроб система знайшла файл із готовими розрахунками іншого агента. При цьому вона сама розуміла, що це неправильно:
Не варто дивитися чи копіювати це...,– написала модель штучного інтелекту Opus у своєму системному лозі за секунду до того, як зчитала заборонений файл спеціальною командою.
Науковці зауважили, що схильність до обману пов'язана з іншою відомою проблемою ШІ – так званою улесливістю (sycophancy). Це явище виникає, коли бот каже користувачеві те, що той хоче почути, замість правильної відповіді. Обидві моделі поведінки виникають через прагнення системи виконати завдання за будь-яку ціну, попри закладені етичні обмеження.
Цього місяця один із провідних дослідників компанії Anthropic звільнився через побоювання, що розробники не приділяють достатньо уваги безпечному розвитку ШІ. Науковці з CAIS наголошують, що хоча тестові завдання CheatBench не мали реальних загроз, але у майбутньому подібна поведінка автономних агентів може призвести до серйозних наслідків у реальному світі.
- Останні
- Популярні
Новини по днях
22 вересня 2026
