Дослідники з Каліфорнійського університету в Ірвайні вирішили перевірити, чи можна оцінювати інтелект сучасних мовних моделей так само, як людський. Для цього вони запропонували 18 системам штучного інтелекту пройти класичні IQ-тести, які оцінюють не обсяг знань, а здатність логічно мислити, знаходити закономірності та розв’язувати незнайомі завдання.
Найкращі моделі продемонстрували результати, що відповідають умовному IQ від 111 до 131, тоді як менш потужні набрали еквівалент 89–110 балів. Для порівняння, середній показник IQ у людей становить близько 100. Особливо добре штучний інтелект проявив себе у словесних завданнях: наприклад, GPT-4 правильно розв’язав майже 80% тестів на мовне мислення.
Набагато складнішими для моделей виявилися математичні та візуальні задачі. Найбільше труднощів виникло з просторовими головоломками, пошуком закономірностей і прихованих фігур. Частину завдань не зміг повністю виконати жоден із протестованих ШІ, що свідчить про обмеження сучасних мовних моделей за межами роботи з текстом.
Дослідники також з’ясували, що сильніші моделі можуть покращувати відповіді слабших, аналізуючи їхні помилки. Водночас зворотний підхід лише погіршував результати. Автори підкреслюють, що такі тести не доводять наявність у ШІ людського інтелекту, але демонструють: попри стрімкий прогрес, універсальне мислення та складне логічне міркування залишаються серйозним викликом для сучасних систем штучного інтелекту.
