Чому штучний інтелект досі погано рахує, але добре пише вірші
Сучасний етап розвитку великих мовних моделей (LLM) характеризується вираженою асиметрією можливостей. Моделі демонструють високий рівень компетентності під час створення художніх текстів, генерації поезії з дотриманням складних метричних канонів і побудови гнучких метафор. Водночас базові арифметичні обчислення, точний підрахунок символів та послідовне відстеження станів залишаються джерелом систематичних помилок навіть для найбільш просунутих систем. 24 Канал дослідив це питання.
Така розбіжність не є наслідком недостатності навчальних даних, а виникає через фундаментальні архітектурні обмеження трансформерів, специфіку математичної репрезентації інформації та теоретичні межі паралельних обчислювальних схем, про що йдеться у масштабному дослідженні про перешкоди для дискретного міркування, опублікованому в ACL Anthology.
Головною причиною "математичної тупості" нейромереж є процес токенізації. Комп'ютери не розуміють людську мову безпосередньо – вони оперують числами. Трансформери розбивають текст на фрагменти, які називають токенами. Це не окремі літери, а цілі блоки символів. Наприклад, популярний токенізатор cl100k_base від OpenAI бачить слово "strawberry" не як послідовність із 10 літер, а як три окремі цифрові ідентифікатори: "Str", "aw" та "berry".
Коли користувач запитує, скільки літер "r" міститься в цьому слові, модель намагається знайти відповідь у цих трьох блоках. Таким чином, ми маємо три відповіді – одна, нуль і дві літери. Оскільки векторні представлення (ембединги) токенів кодують загальну семантику, внутрішня символьна структура всередині них виявляється "заплутаною". Модель просто не "бачить" окремих літер, так само, як людина не бачить ниток у заплутаній мотузці, не розплутавши її.
Цей же механізм проявляється в арифметиці. Алгоритм токенізації часто ігнорує позиційну структуру чисел. Число 87439 може бути розбите на токени "874" і "39". У результаті модель сприймає "874" як єдиний атомарний символ, аналогічний цілому слову, а не як комбінацію цифрових розрядів із відповідними вагами. Це унеможливлює систематичне засвоєння правил додавання чи множення. Будь-яка зміна у форматуванні, наприклад, додавання коми (12,345 замість 12345), повністю змінює послідовність токенів, збиваючи ШІ з пантелику.
Другий бар'єр лежить у площині теорії апроксимації. Нейромережі за своєю природою є безперервними інтерполяторами, які найкраще працюють із "гладкими" функціями, де невеликі зміни входу призводять до невеликих змін виходу. Творчі завдання, як-от написання віршів, ідеально підходять під цей опис, адже заміна одного слова синонімом не руйнує сенс сонета.
Проте дискретна математика працює інакше. В арифметиці помилка в одному розряді (наприклад, при перенесенні одиниці під час додавання) призводить до катастрофічно неправильного результату. Ці різкі розриви функцій створюють для трансформерів геометричні "провали", які вони намагаються згладити, що й призводить до помилок.
Третій ліміт пов'язаний зі схемною складністю та комунікаційним вузьким горлом. Трансформери створювали як максимально паралельні архітектури, щоб прискорити їхнє навчання. Проте математичні алгоритми, як-от довге ділення, є послідовними за своєю суттю: кожен наступний крок залежить від попереднього. Маючи фіксовану кількість шарів, модель намагається виконати всі кроки паралельно за один прохід, що неминуче веде до падіння точності при збільшенні розрядності чисел.
Попри ці обмеження, розробники знайшли обхідні шляхи. Найефективнішим став метод "ланцюжка думок" (Chain of Thought). Коли модель змушують розписувати завдання покроково, вона генерує проміжні токени, які фактично розширюють її "обчислювальну глибину".
Нові та відносно нові моделі, як-от сімейство o1 від OpenAI (проєкт під кодовою назвою "Strawberry"), використовують масштабне навчання з підкріпленням, щоб самостійно перевіряти свої кроки та виправляти траєкторію аналізу.
Це дозволяє ШІ нарешті безпомилково рахувати літери "r" у назві полуниці, хоча фундаментальна архітектура трансформерів все ще залишається орієнтованою на ймовірнісну творчість, а не на залізну логіку чисел.
- Останні
- Популярні
Новини по днях
15 серпня 2026
