Африканська модель штучного інтелекту MORENA обігнала гігантів від Google та Meta
Згідно з публікацією у виданні TechRadar, розробники з Vambo AI створили нову мовну модель MORENA. Вона підтримує 12 африканських мов, серед яких нігерійський піджин, ігбо, йоруба, хауса, суахілі, шона, зулу, коса, кіньяруанда, тсвана, африкаанс та ндебеле, а також англійську, французьку та програмний код.
У ключовому бенчмарку MORENA здобула результат 1,408 біта на байт (bpb), ставши найкращою серед 26 протестованих систем. Найближчий конкурент, модель Lugha-Llama-8B, мала понад у п'ять разів більше параметрів, але набрала лише 1,423 bpb. Водночас модель Gemma на 12 мільярдів параметрів споживає приблизно в 11 разів більше обчислювальних ресурсів, демонструючи гірші показники на тому ж тексті.
Більшість проєктів для африканських мов адаптує існуючі варіанти Llama, що змушує зберігати словник, орієнтований на англійську мову. Команда Vambo AI пішла іншим шляхом і розробила токенізатор та набори даних з нуля. Завдяки цьому MORENA кодує африканський текст у 1,39 раза ефективніше за Gemma 3 та у 1,53 раза краще за Llama 3.2.
Навчання моделі проходило у кілька етапів: спочатку вона використала 251,7 мільярда токенів під час попереднього навчання, а потім ще 63 мільярди токенів на середньому етапі. Для розробки знадобилося понад 22 000 годин роботи графічних процесорів A100, а вартість використаних ресурсів оцінюють у 40 000 доларів. Проєкт підтримали організації UNDP, AIHub4SD та CINECA.
Окрім основної версії на 1,5 мільярда параметрів, розробники випустили менші модифікації на 0,5 мільярда та 0,2 мільярда параметрів. Варіант на 0,5 мільярда обігнав інші зовнішні системи у 11 з 12 мов. Нановерсія на 0,2 мільярда обходиться в 58 разів дешевше за Lugha-Llama-8B і генерує 104 токени на секунду на одному відеоприскорювачі A100.
Розробники також створили версію, сумісну зі звичайними центральними процесорами. Вона працює в автономному режимі навіть на ноутбуку, що робить її доступною в умовах без стабільного доступу до потужних графічних прискорювачів.
- Останні
- Популярні
Новини по днях
24 вересня 2026
