ШІ може почати вдосконалювати сам себе: експерти назвали головний ризик для людей
Штучний інтелект у майбутньому може дедалі активніше брати участь у створенні нових, потужніших моделей. Експерти попереджають, що головна небезпека такого сценарію полягає не у «повстанні машин», а в тому, що швидкість і масштаб роботи автономних систем можуть перевищити можливості людського контролю.
Про це пише Egeszseg Kalauz.
Йдеться про так зване рекурсивне самовдосконалення. За такого підходу одна система ШІ допомагає створити досконалішу модель, яка згодом може ще активніше долучатися до розробки наступного покоління.
Сьогодні провідні моделі все ще створюють і перевіряють дослідники та інженери. Однак частина роботи поступово автоматизується, і саме подальше зменшення ролі людини викликає найбільше запитань.
Колишній дослідник Google DeepMind і засновник Sampura Research Рішуб Джайн припускає, що за певних умов розвиток можливостей ШІ може різко прискоритися. Крайнім сценарієм він називає появу системи, яку люди вже не зможуть повноцінно контролювати.
При цьому для небезпечної ситуації ШІ не обов’язково має отримати власну волю або діяти проти людей. Достатньо, щоб автономна система виконувала настільки багато операцій за короткий час, що люди фізично не встигатимуть їх перевіряти.
Звичайний чат-бот переважно видає одну відповідь, яку можна прочитати й оцінити. Автономний агент здатен розбивати завдання на етапи, писати код, користуватися зовнішніми сервісами та виконувати довгі ланцюжки взаємопов’язаних дій.
Джайн допускає, що в майбутньому такі системи зможуть одночасно виконувати до мільйона операцій або керувати значною частиною роботи компанії. За такого масштабу перевіряти кожен окремий крок стане практично неможливо.
Додатковий ризик виникає, коли агент отримує доступ до інших цифрових систем. Навіть технічно правильний код може дати непередбачуваний результат після взаємодії з великою кількістю зовнішніх сервісів.
Особливої уваги потребує кіберпростір. Старша наукова співробітниця Ради стратегічних ризиків Крістал Грант попереджає, що автономні агенти можуть отримати дедалі потужніші можливості для проведення кібератак.
У такому разі важливим стає не лише контроль над доступом ШІ до різних систем, а й можливість встановити, хто саме стоїть за його діями. Якщо автономні агенти навчаться краще приховувати цифрові сліди, визначити відповідальну державу, компанію чи організацію може стати складніше.
Подібні ризики вже обговорюють і самі розробники штучного інтелекту. OpenAI визнає, що питання безпечного повноцінного рекурсивного самовдосконалення поки не має остаточного вирішення, а Anthropic раніше попереджала про можливість втрати контролю над надто автономними системами.
Водночас не всі дослідники очікують швидкої появи суперінтелекту. Доцент Корнельського університету Джон Тікстан вважає, що нинішній рівень технологій не дає підстав говорити про неминучий і стрімкий «вибух інтелекту».
За його оцінкою, реальнішим є поступовий сценарій, коли ШІ отримуватиме дедалі більше завдань під час навчання та створення нових моделей. Через це людям буде складніше простежувати весь цикл розробки, особливо якщо внутрішні процеси самих моделей залишатимуться недостатньо зрозумілими.
Окремою проблемою Тікстан називає конкуренцію між технологічними компаніями. Ризики можуть зростати, якщо прагнення швидше випустити потужнішу систему почне переважати над вимогами безпеки, прозорості та людського нагляду.
- Останні
- Популярні
Новини по днях
7 жовтня 2026
