Наш веб-сайт використовує файли cookie, щоб забезпечити ваш досвід перегляду та відповідну інформацію. Перш ніж продовжувати користуватися нашим веб-сайтом, ви погоджуєтеся та приймаєте нашу політику використання файлів cookie та конфіденційність. cookie та конфіденційність

METR оновила оцінку ШІ та виявила слабші результати у завданнях із судженням

processer.media

METR оновила оцінку ШІ та виявила слабші результати у завданнях із судженням

Некомерційна організація METR, що займається оцінюванням штучного інтелекту, оновила свій графік «часового горизонту» моделей. Новий звіт показує, що передові ШІ-системи й надалі швидко поліпшують результати у завданнях із перевірюваним результатом, зокрема програмуванні, але поки поступаються людям у відкритих завданнях, де потрібні професійне судження та оцінка якості.

Про результати дослідження повідомляє MIT Technology Review. У початковій версії графіка METR складність завдань визначалася за часом, який витрачали на них люди. Дослідники встановили, що тривалість завдань, які передові моделі могли успішно виконати, подвоювалася приблизно кожні чотири місяці.

Оновлена оцінка містить більше завдань, зокрема таких, на які людям потенційно потрібно значно більше часу, а також менш формалізованих. METR намагалася перевірити, наскільки прогрес моделей у завданнях із чітким критерієм правильності переноситься на роботу, де результат важче виміряти автоматично.

Автори звіту зазначають, що навчання з підкріпленням ефективно застосовується до завдань, де успіх або помилку можна швидко перевірити. Це, зокрема, допомогло ШІ суттєво поліпшити результати в програмуванні та математиці. Водночас такий підхід складніше використати для вибору нового напряму дослідження або інших рішень, які потребують тривалої перевірки та експертного судження.

В одному з нових завдань моделям запропонували створити оцінювання ШІ, яке METR могла б застосувати у власних дослідженнях. Працівники організації оцінювали запропоновані варіанти, і жоден із них не визнали достатньо корисним для дослідницької роботи. В іншому завданні моделі мали оцінювати філософські аргументи; і тут вони також не досягли людського рівня.

Водночас у METR зафіксували певне поліпшення: нові моделі, зокрема Opus 5.5, частіше демонструють результат, який організація визначає як «на межі відповідності критеріям» для розроблення оцінок. Рік тому всі моделі в цій категорії отримували оцінку «явно нижче порогу».

Дослідники застерігають, що вимірювати прогрес у таких завданнях складно. Час виконання багатьох нових завдань людьми у звіті здебільшого оцінювали приблизно, оскільки практичне тестування могло б вимагати сотень годин або участі вузьких фахівців. Для оцінювання філософських аргументів більшість відповідей перевіряла одна людина, тому результат залежить від узгодженості моделі саме з її судженням.

  • Останні
Більше новин

Новини по днях

Сьогодні,
21 листопада 2026

Новини на тему

Більше новин