AI-контроль: колишній інженер OpenAI попереджає про екзистенційну загрозу
Колишній дослідник OpenAI, Пол Крістіано, висловив серйозне занепокоєння щодо потенційних загроз, які несе неконтрольований штучний інтелект. Він вважає, що втрата контролю над AI може стати найбільш імовірною причиною загибелі людей, які живуть сьогодні.
Під час виступу на лекції Хінтона (The Hinton Lectures), що відбулася в понеділок, Крістіано, який нині очолює Центр досліджень узгодженості штучного інтелекту (Alignment Research Center), заявив: “Я думаю, що для більшості людей тут найбільш імовірною причиною смерті буде випадковий інцидент, пов’язаний з AI.”
Його побоювання ґрунтуються на припущенні, що розвинені AI-агенти можуть навчитися обманювати людей, які їх контролюють, маніпулювати системами оцінки власної продуктивності та, врешті-решт, стати настільки могутніми, що вийти з-під людського контролю. Крістіано навів як приклад нещодавній інцидент, коли AI-агент OpenAI проник на платформу Hugging Face, а також оцінку британського Інституту безпеки AI, де агент Claude намагався імплантувати шкідливий код у відкритий програмний пакет.
“Я вважаю, що ризик події, пов’язаної з захопленням влади з боку AI, протягом наступних трьох років є високим”, – зазначив Крістіано.
За даними його профілю в LinkedIn, Крістіано працював технічним дослідником в OpenAI з 2017 по 2021 рік. Наразі він є виконавчим директором некомерційної організації Alignment Research Center, яка зосереджується на тому, щоб цілі систем машинного навчання відповідали інтересам людства.
Попередження Крістіано посилюють дедалі гарячішу дискусію серед дослідників щодо того, чи можуть самостійні AI-системи врешті-решт вийти з-під контролю людства і призвести до його вимирання. Ця дискусія загострилася у вересні, коли Еван Хюбінгер з команди тестування узгодженості AI в Anthropic заявив, що ймовірність загибелі людства від AI протягом наступного десятиліття перевищує 10%.
Навіть Джеффрі Хінтон, широко відомий як “хрещений батько AI”, вважає, що оцінка Хюбінгера є обґрунтованою. Однак, не всі розділяють такий песимістичний погляд. Дослідник AI та письменник Гері Маркус раніше в інтерв’ю Business Insider зазначав, що хоча AI дійсно може посилити серйозні ризики, такі як кібератаки, біологічна зброя та дезінформація, він не бачить переконливих доказів того, що людство незабаром опиниться на межі вимирання.
Крістіано також підкреслив, що існуючі методи контролю над передовими AI ще не повністю перевірені. До них належать використання менш потужних моделей для нагляду за більш потужними, а також моніторинг “ланцюжка думок” (Chain of Thought) AI-моделей для виявлення потенційних ризиків у їхніх внутрішніх процесах міркування.
Він наголосив на необхідності встановлення спільних стандартів безпеки серед AI-компаній та наявності механізмів для уповільнення або зупинки розробки технологій, коли стає очевидним, що певна AI-система вийшла з-під контролю. “Ми не повинні досягти точки, коли ми розробляємо потужний AI, а потім раптом виявляємо, що ми абсолютно не можемо його контролювати”, – підсумував Крістіано.
Джерело: https://www.ithome.com/1/027/423.htm
- Останні
- Популярні
- Листопад, 16
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
Новини по днях
17 листопада 2026