Українська мова в ШІ: Мінцифри запускає національний рейтинг
Зображення: ШІ
Міністерство цифрової трансформації України запровадило національний рейтинг великих мовних моделей, Ukrainian LLM Leaderboard, для оцінки якості їх роботи з українською мовою. Ця ініціатива дозволяє перевірити, наскільки штучний інтелект розуміє мову, правильно використовує відмінки, перекладає тексти та виконує складні інструкції.
Платформу розробили Центр компетенцій WINWIN AI при Мінцифри разом з Українським католицьким університетом (УКУ) та ініціативою lang-uk. Вона забезпечує відкрите порівняння мовних моделей за результатами стандартизованого тестування, пропонуючи об’єктивні показники замість маркетингових заяв.
Хоча штучний інтелект активно використовується в державних сервісах, бізнесі та освіті, якість роботи з українською мовою у різних моделей може значно відрізнятися. Більшість міжнародних тестів зосереджені на англійській мові, а українську часто оцінювали через переклад завдань, що не відображало реальних можливостей. Ukrainian LLM Leaderboard покликаний заповнити цю прогалину. Він дає можливість:
Юрій Панів, аспірант УКУ та керівник розробки мовної моделі Lapa, зазначив: «Після появи великих мовних моделей було незрозуміло, наскільки добре вони працюють з українською мовою: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять і де досі є прогалини в якості роботи з українською. Метою створення українського лідерборду було дати відповідь на ці питання, зібравши наявні бенчмарки від спільноти українського NLP та створивши нові. Сподіваюся, наша ініціатива допоможе як бізнесу у виборі найкращих моделей, так і дослідникам у їхній роботі».
Тестування ШІ-моделей відбувається за допомогою завдань, максимально наближених до реальних сценаріїв. Моделі перевіряють на здатність перекладати, переказувати та стисло викладати тексти, знаходити відповіді в документах, розв’язувати логічні завдання, виконувати завдання шкільного рівня, проводити математичні обчислення та виконувати складні багатокрокові інструкції. Це дозволяє оцінити не тільки загальну якість, а й ефективність у конкретних типах завдань українською мовою.
Всі результати тестування, код і дані знаходяться у відкритому доступі на платформі Hugging Face. Методологію оцінювання розробили Юрій Панів та Дмитро Чаплінський, експерти УКУ та спільноти lang-uk, які мають багаторічний досвід роботи з українською мовою в системах обробки природної мови (NLP). Їхні підходи також застосовувалися під час створення української мовної моделі Lapa LLM.
Створення Ukrainian LLM Leaderboard є прикладом співпраці держави, академічної спільноти та фахівців з обробки природної мови. Роман Кислий, Chief AI Officer у WINWIN AI Center of Excellence, повідомив: «Неможливо керувати процесами, які ти не вимірюєш. Ми вбудовуємо штучний інтелект у сервіси для мільйонів людей і маємо ухвалювати рішення на основі доказів, а не лише заяв виробників. Лідерборд робить якість роботи моделей з українською мовою публічною та вимірюваною».
Команда планує розширювати функціонал Ukrainian LLM Leaderboard. Майбутні напрямки включають тестування роботи моделей із зображеннями, оцінювання етичних аспектів використання ШІ, аналіз вартості використання моделей для українськомовних завдань та розширення тестів для потреб державного сектору. Окрему увагу приділять роботі моделей з адміністративними процедурами, нормативно-правовими текстами та чутливими даними, що допоможе краще оцінювати можливості ШІ-рішень для державного сектору та умови їх безпечного використання.
Ознайомитися з рейтингом та порівняти ШІ-моделі можна на платформі Hugging Face. WINWIN AI Center of Excellence є центром компетенцій при Міністерстві цифрової трансформації України, який працює над розвитком державної AI-інфраструктури та портфеля ШІ-продуктів.
За матеріалами: Херсонська ОДА
- Останні
- Популярні
Новини по днях
25 серпня 2026
