ШІ легко складає вірші, але спотикається на підрахунку: вчені знайшли причину
Сучасні мовні моделі здатні створювати складні тексти та працювати з метафорами, але можуть помилятися навіть під час підрахунку літер у слові. Причина криється не стільки в обсязі навчання, скільки в тому, як трансформери бачать текст, числа та виконують послідовні операції.
Про це йдеться у дослідженні, опублікованому в ACL Anthology.
На перший погляд можливості великих мовних моделей виглядають парадоксально. ШІ може написати вірш із заданим ритмом, підібрати метафори або створити складний художній текст, але водночас помилитися в елементарній арифметиці чи неправильно порахувати кількість певних літер у слові.
Одна з головних причин такого ефекту — токенізація. Мовна модель не працює з текстом так, як його бачить людина. Перед обробкою слова та речення розбиваються на фрагменти — токени, яким відповідають числові ідентифікатори.
Токен при цьому зовсім не обов’язково дорівнює одній літері. Він може містити кілька символів, частину слова або навіть ціле слово.
Показовим став знаменитий приклад зі словом strawberry. Токенізатор cl100k_base від OpenAI може розділити його на кілька блоків, а не представити для моделі як просту послідовність окремих літер.
Саме тому запит на кшталт «скільки літер r у слові strawberry» для мовної моделі не настільки елементарний, як для людини. Потрібні символи заховані всередині токенів, тоді як модель передусім працює з представленнями цих більших фрагментів.
Схожа проблема виникає з числами. Багатозначне число може потрапити до моделі не як послідовність окремих цифр, а як кілька більших токенів.
Наприклад, число 87439 токенізатор може розкласти на фрагменти на зразок «874» і «39». Для алгоритму перший блок тоді стає окремою одиницею, а не трьома цифрами з різним значенням залежно від їхнього розряду.
Через це моделі складніше послідовно застосовувати звичні правила арифметики. Навіть незначна зміна запису числа здатна змінити його токенізацію. Наприклад, 12345 і 12,345 можуть перетворитися на різні набори токенів.
Ще одна причина пов’язана із самою природою нейромереж. Вони добре працюють там, де близькі варіанти можуть давати близькі за змістом результати.
Для творчості це не проблема. Якщо у вірші замінити слово вдалим синонімом, текст не обов’язково стане неправильним. Може змінитися відтінок або звучання, але загальний сенс збережеться.
В арифметиці такої поблажливості немає. Одна неправильна цифра робить відповідь неправильною, а помилка під час перенесення розряду може змінити весь подальший результат.
Тому завдання, де існує лише одна точна відповідь і потрібно суворо дотримуватися алгоритму, для мовних моделей принципово складніші за генерацію тексту, де допустима велика кількість правильних варіантів.
Третя проблема виникає через архітектуру трансформерів. Їх створювали так, щоб багато операцій можна було виконувати паралельно. Саме ця властивість допомогла ефективно навчати величезні мовні моделі.
Однак чимало математичних алгоритмів працюють за протилежним принципом. Під час довгого ділення або інших багатокрокових обчислень наступна дія залежить від результату попередньої.
Трансформер із фіксованою кількістю шарів має обмежену глибину таких внутрішніх обчислень. Що довшим стає ланцюжок залежних одна від одної операцій, то важче моделі пройти його без помилки.
Розробники навчилися частково обходити цю слабкість. Один зі способів — змусити модель виконувати завдання через проміжні кроки замість спроби одразу видати кінцеву відповідь.
Такий підхід відомий як Chain of Thought. Генеруючи проміжні результати, модель фактично отримує додатковий простір для виконання послідовних операцій.
Новіші системи пішли ще далі. Моделі сімейства o1 від OpenAI, пов’язані з проєктом під кодовою назвою Strawberry, навчали за допомогою підкріплення виконувати складніші ланцюжки міркувань, перевіряти проміжні кроки та коригувати хід розв’язання.
Це суттєво підвищило точність у завданнях, де старіші мовні моделі регулярно помилялися. Проте сама базова архітектура трансформера від цього не перетворилася на звичайний калькулятор.
Саме тому дивна на перший погляд ситуація, коли ШІ може створити вірш, але збитися на підрахунку символів або арифметичній операції, має цілком технічне пояснення. Генерування ймовірного продовження тексту та безпомилкове виконання дискретного алгоритму вимагають від системи принципово різних здібностей.
- Останні
- Популярні
Новини по днях
15 серпня 2026
