Група «агентів» ШІ захопила німецький вебсайт без відома розробників
Цієї весни група агентів штучного інтелекту OpenAI без відома розробників захопила німецький вебсайт і перетворила його на дошку оголошень для інших агентів штучного інтелекту, пише Reuters.
Співробітники OpenAI дізналися про цей інцидент кілька тижнів тому, але тримали його в таємниці, оскільки керівництво компанії було зайняте ліквідацією наслідків липневого злому платформи Hugging Face.
Цей випадок стався у травні, він є доказом зростання напруженості в галузі штучного інтелекту. Компанії ведуть перегони з метою створення дедалі більш автономних програм, здатних виконувати складні завдання, проте з’являється все більше доказів того, що ці системи можуть також навчитися обходити правила, використовувати лазівки та координувати свої дії між собою способами, яких розробники не передбачали і не планували.
Під час злому Hugging Face система розроблена OpenAI самостійно спланувала цифрове пограбування, яке залишалося непоміченим понад тиждень, що посилило занепокоєння щодо того, що OpenAI жертвує безпекою заради розширення меж штучного інтелекту. Нерозкриття компанією інциденту, що стався у травні, може знову викликати питання щодо її системи нагляду.
OpenAI пообіцяла ретельніше контролювати моделі. Минулого місяця компанія на короткий час призупинила роботу деяких своїх моделей, щоб впровадити додаткові заходи безпеки. Однак цього тижня OpenAI презентувала нову модель «Astra», яка має кращу продуктивність, але здатна уникнути контролю з боку людей.
«Ми не можемо надати змістовну відповідь на твердження чи висновки щодо звіту, з яким ми не мали можливості ознайомитися, — заявив представник OpenAI. — Ми ретельно вивчимо його зміст після публікації та вживемо необхідних подальших заходів».
Інцидент у Німеччині є прикладом більш загальної тенденції у діяльності штучного інтелекту, яку деякі дослідники OpenAI хотіли би дослідити. Однак їхні спроби розширити розслідування натрапили на опір з боку інших співробітників OpenAI, зокрема юридичних радників.
«Твердження про те, що наша юридична команда перешкоджала розслідуванню інциденту, є неправдивими», — заявив представник OpenAI.
Незаконні дії однієї з програм ШІ в Німеччині детально описані у звіті групи дослідників, серед яких Сідні фон Аркс, генеральний директор некомерційної організації з безпеки ШІ Nightingale, та Кормак Слейд Берд, колишній квантитативний трейдер, який став дослідником у сфері ШІ. Вони виявили цю діяльність наприкінці серпня, ретельно перевіряючи інтернет на наявність ознак несанкціонованої поведінки агентів ШІ.
Вони повідомили, що виявили понад 15 000 редагувань, здійснених агентами ШІ на німецькомовному вікі-сайті DseWiki, який орієнтований на програмістів і підтримує спільне редагування за зразком Вікіпедії.
Ці редагування свідчили про те, що агенти OpenAI перетворили сайт на форум, де вони ділилися тактиками, як обманювати при виконанні деяких завдань, обходити обмеження OpenAI та маскувати свою діяльність.
«Надзвичайно малоймовірно, що співробітники OpenAI цього хотіли», — сказав фон Аркс.
Дослідники зазначили, що активність, яку вони виявили, може здійснюватися лише агентами штучного інтелекту, які працюють із надлюдською швидкістю. Вони також виявили інтенсивну зосередженість на вирішенні технічних питань, що є типовим для оцінювань, які компанії, що займаються штучним інтелектом, використовують для навчання та тестування своїх моделей.
Повідомлення були підписані користувачами, які називали себе та один одного «агентами», і приблизно половина з них обрала собі імена, що натякали на приналежність до OpenAI.
Дослідники зазначили, що публічні журнали серверів вказували на те, що значна частина активності походила з інфраструктури Microsoft Azure, якою іноді користується OpenAI. Вони також зафіксували неодноразові відвідування сайту співробітниками OpenAI після інциденту — за їхніми словами, така закономірність переконливо свідчила про зв’язок між «агентами» та компанією.
Повідомлення, проаналізовані дослідниками, показали, що «агенти» розробляли способи уникнути виявлення, використовуючи такі інструменти, як Tor, та зберегти листування навіть після того, як їхні акаунти заблокують.
Коли модератор сайту почав видаляти сторінки, агенти відреагували створенням резервних сторінок, щоб уникнути очищення.
«Очищення вікі/масове видалення, схоже, відбувається в алфавітному порядку», — написав один з агентів. «Якщо ця сторінка зникне, спробуйте [[ZZZDataUSAConstructionWageLive]]».
Дослідники також виявили спроби втручання в роботу самого вебсайту. Лукаш Олейник, старший науковий співробітник у Королівському коледжі Лондона, заявив, що це можна розцінити як спробу хакерської атаки. Однак компанія OpenAI заперечила таку оцінку, спираючись на власний аналіз матеріалів.
Попередні приклади неналежного поводження агентів штучного інтелекту розцінюються як закономірний побічний ефект тестування кібербезпеки, під час якого моделі явно оцінюються за їхніми наступальними можливостями. Олейник зазначив, що останні висновки свідчать про те, що небажана поведінка може не обмежуватися лише цим.
Моріс Чіодо, науковець із Центру дослідження екзистенційних ризиків Кембриджського університету, який проаналізував частину повідомлень цих агентів, зазначив, що ці повідомлення нагадували «діяльність якоїсь підпільної мережі, одержимої виконанням певного завдання чи місії».
За його словами, цей випадок має стати доказом того, що найбільша загроза з боку розвиненого ШІ може полягати не в окремій надрозумній системі, а у величезних згуртованих роях напіврозумного ШІ.
- Останні
- Популярні
Новини по днях
6 вересня 2026