Колишній учасник AlphaGo заявив, що сучасні LLM не здатні міркувати
Колишній учасник команди DeepMind, професор машинного навчання Університетського коледжу Лондона Торе Ґрепель вважає, що сучасні великі мовні моделі не мають повноцінного механізму міркування. У колонці для MIT Technology Review він стверджує, що збільшення масштабів таких моделей покращує їхню здатність знаходити шаблони, але не робить їхні висновки більш перевірними.
Як приклад іншого підходу автор наводить AlphaGo — програму, яка 2016 року перемогла професійного гравця в го Лі Седоля з рахунком 4:1. Під час другого матчу програма зробила 37-й хід, який коментатори вважали настільки дивним, що припускали програмну помилку. Згодом AlphaGo виграла партію.
За поясненням Ґрепеля, AlphaGo поєднувала два компоненти. Її мережа політики передбачала, який хід міг би зробити сильний гравець, тоді як механізм пошуку аналізував наслідки можливих ходів і контрходів. Для цього система будувала та переглядала дерево гри з тисячами гілок. Саме цей пошук, на думку автора, дав змогу програмі обрати 37-й хід, хоча мережа політики оцінювала ймовірність такого рішення для експертного гравця приблизно як один шанс із 10 тисяч.
Автор порівнює цю архітектуру з поділом людського мислення на швидке інтуїтивне та повільне обдумане. У AlphaGo нейромережі формували попередні припущення, а пошук перевіряв їх за можливими подальшими сценаріями.
Великі мовні моделі, за оцінкою Ґрепеля, послідовно прогнозують наступні токени. Навіть коли вони формують проміжні кроки розв’язання завдання, цей процес, на його думку, залишається тією самою генерацією наступного токена, лише продовженою в часі. Автор визнає, що такий підхід поліпшив результати у математиці та програмуванні.
Водночас він називає три обмеження: моделі не ведуть явного й сталого обліку гіпотез, упевненості, доказів і відкритих питань; не відокремлюють знання від операцій із ним; а їхні ланцюжки міркувань іноді можуть бути поясненням, сформованим уже після отримання відповіді. Для застосувань у медицині, інженерії та наукових дослідженнях, наголошує Ґрепель, важливо мати змогу перевірити, на яких доказах і припущеннях ґрунтується висновок системи.
На його думку, майбутні системи мають підтримувати явний стан знань, фіксувати сумніви та відкинуті версії, а також незалежно оцінювати, чи справді кожен крок зменшує невизначеність і підтверджений доказами.
- Останні
- Популярні
Новини по днях
2 жовтня 2026
