Дослідник Goodfire заявив про новий погляд на зрозумілість нейромереж

19.10.2026, 21:27 processer.media

Дослідник стартапу Goodfire Нік Каммарата заявив, що великі мовні моделі можуть бути значно зрозумілішими для аналізу, моніторингу та контролю, ніж вважали раніше. Його допис обсягом 26 тисяч слів викликав активні дискусії серед фахівців зі штучного інтелекту, однак частина дослідників закликає не робити передчасних висновків, повідомляє MIT Technology Review.

Каммарата раніше працював в OpenAI та допомагав розвивати механістичну інтерпретованість — напрям, що досліджує внутрішню роботу нейромереж. Досі поширеним було уявлення, що моделі формують складні й заплутані структури, які майже неможливо повністю пояснити людині.

Дослідник припускає, що проблема може полягати не в принциповій незрозумілості нейромереж, а у способі їхнього аналізу. Він повернувся до дослідження моделі розпізнавання зображень Inception v1, створеної Google у 2014 році. Раніше Каммарата та його колеги вважали, що окремі нейрони можуть одночасно кодувати не пов’язані між собою поняття — наприклад, автомобілі й котів. Це явище назвали суперпозицією.

Тепер Каммарата вважає, що такий нейрон реагував не на категорії «автомобіль» і «кіт», а на спільну візуальну рису — V-подібну форму. За його словами, подібну реакцію викликали також кут більярдного столу, загострений ніс японського швидкісного поїзда та струмені води з пожежного катера. Натомість округлі O-подібні форми пригнічували його активацію.

Каммарата не стверджує, що вже розуміє роботу великих мовних моделей повністю. Він лише вважає, що детальне пояснення їхньої роботи може бути досяжним. Дослідник і його колеги почали вивчати сучасні LLM та планують оприлюднити технічні результати цієї роботи.

Професор Стенфордського університету Кріс Поттс зазначив, що велика кількість окремих прикладів не замінює суворої оцінки результатів. Джейкоб Гілтон із Alignment Research Center звернув увагу, що дослідники розуміють менш ніж 0,01% внутрішньої роботи передових мовних моделей. Ніл Нанда з Google DeepMind також назвав роботу цікавою, але не вважає її істотним переглядом загальної картини інтерпретованості.

Каммарата визнав, що частина реакцій на його допис зайшла надто далеко. За його словами, залишається багато відкритих питань, зокрема щодо того, наскільки важливими є комбінації нейронів у порівнянні з аналізом кожного з них окремо.

Читати повністю…