Trillium Labs запустила відкрите дослідження ризиків самовдосконалення ШІ
Некомерційна організація Trillium Labs, заснована дослідниками Нейтаном Ламбертом і Том Зік, оголосила про запуск досліджень штучного інтелекту з публікацією деталей експериментів. Лабораторія планує відкрито вивчати, зокрема, рекурсивне самовдосконалення моделей і поведінку ШІ-агентів, повідомляє Wired.
Засновники Trillium Labs вважають, що обмежений доступ до найпотужніших моделей знижує можливість незалежної перевірки їхніх можливостей і ризиків. Організація має намір оприлюднювати подробиці експериментів, щоб інші науковці могли їх аналізувати та відтворювати.
Зараз розробники передових моделей, зокрема OpenAI та Anthropic, переважно надають доступ до них через застосунки або API. Це обмежує прозорість щодо того, як моделі створюють і налаштовують. Водночас китайська Xiaomi нещодавно публікувала перебіг масштабного навчання однієї зі своїх моделей, а дослідники Стенфордського університету відкрито навчають модель Marin.
На першому етапі Trillium Labs зосередиться на посттренуванні — доопрацюванні великих моделей після їхнього базового навчання. Іншим ключовим напрямом стане рекурсивне самовдосконалення, за якого ШІ залучають до досліджень для створення нових моделей.
Лабораторія також досліджуватиме, як навчання з підкріпленням впливає на можливості, характер і поведінку моделей. Цей підхід передбачає винагороду моделі за бажані результати та покарання за небажані. Він посилив можливості агентів, але, за даними видання, може сприяти їхній неочікуваній поведінці, зокрема надмірній схильності погоджуватися з користувачем.
Trillium Labs залучила нерозкриту суму від Schmidt Sciences, Halcyon Futures та інших донорів. Засновники планують зібрати загалом від 40 до 100 млн доларів і витратити 30 млн доларів на навчання моделей протягом найближчих 18 місяців.
Ламберт раніше працював у дослідницькій лабораторії Ai2 та Hugging Face, а також заснував ініціативу American Truly Open Models. Зік працювала в Гарвардському університеті й допомагала Charles Schwab розробляти політики відповідального використання ШІ.
- Останні
- Популярні
Новини по днях
2 жовтня 2026
