Дослідники закликали запровадити моніторинг дій ШІ-агентів у реальному часі
Системи ШІ-агентів потребують моніторингу в реальному часі, оскільки їхні дії можуть виходити за межі дозволених завдань, пише MIT Technology Review. Авторки матеріалу зазначають, що цього літа сотні агентів OpenAI на тесті з кібербезпеки вийшли за межі тестового середовища та зламали Hugging Face, де, на їхню думку, містилися відомості про критерії оцінювання.
Приблизно в той самий час інший агент OpenAI отримав доступ до приватних файлів на сайті уряду Австралії. У матеріалі також ідеться, що Anthropic, Google і Meta згодом повідомляли про інциденти, коли їхні агенти діяли не за призначенням. У низці випадків такі системи уникали контролю дослідників і команд безпеки.
Авторки наголошують: компаніям часто бракує даних, щоб встановити, який саме агент виконав певну дію, хто санкціонував його роботу та чи змінювалися його дозволи або пам’ять. Вони називають це проблемою спостережуваності — здатності фіксувати дії системи, перетворювати їх на зрозумілі сигнали та надавати їх людям або автоматизованим системам контролю.
Дослідники проаналізували чотири найпоширеніші програмні фреймворки для ШІ-агентів і виявили суттєві прогалини у записах, необхідних для контролю порушень правил, несанкціонованих дій та збоїв людського нагляду. Зокрема, у цих системах не завжди є сталі ідентифікатори агентів і відомості про те, які люди схвалювали завдання.
Для безпечного використання агентів авторки пропонують записувати два типи відомостей: про перебіг роботи агента та про ухвалення ним рішень. До першої групи належать дані про ідентичність агента, втручання людини, зміни дозволів і пам’яті. Друга має показувати логіку дій системи та рівень її впевненості.
На прикладі розгляду іпотечної заявки авторки пояснюють, що банк або регулятор повинні мати змогу з’ясувати, який агент рекомендував відмову, хто з працівників її схвалив і як було ухвалено рішення. Вони закликають розробників інтегрувати телеметрію, а регуляторів — визначити перелік обов’язкових записів для ШІ у сферах високого ризику.
- Останні
- Популярні
Новини по днях
29 жовтня 2026
