Нещодавнє дослідження Apple викликало дискусію щодо автентичності інтелекту в таких моделях штучного інтелекту, як ChatGPT. Дослідницька група під керівництвом Імана Мірзаде (Iman Mirzadeh) мала на меті дослідити межі цих систем. Вони використовували новий бенчмарк, відомий як GSM-Symbolic, щоб оцінити, наскільки ефективно великі мовні моделі (LLM) вирішують складні математичні та логічні задачі. Отримані результати спонукають до серйозних запитань щодо справжньої здатності цих інструментів “мислити”.
Простий трюк виявляє слабкість ШІ
Дослідницька група з Apple виявила, що введення в питання не пов’язаних між собою слів або цифр призводить до того, що моделі штучного інтелекту, які раніше давали точні відповіді, починають хитатися. Насправді включення навіть короткого додаткового речення призводило до зниження точності до 65%. Хоча основна проблема залишалася незмінною, додатковий контекст збивав системи ШІ з пантелику. Крім того, зі збільшенням складності запитань моделі стикалися зі зростаючими труднощами. Це свідчить про те, що магістри не розуміють суті запитань, а відповідають на них, спираючись на шаблони, які вони засвоїли під час навчання.
Справжнє розуміння чи просто здогадки?
Дослідження показує, що відповіді за цими моделями часто здаються розумними, але їм бракує справжнього логічного чи математичного обґрунтування. Багато відповідей можуть здаватися правильними, на перший погляд, але при подальшому вивченні виявляється, що вони є неточними. Це підкреслює реальність того, що інструменти ШІ можуть не “думати” так, як це робить людина; натомість вони відтворюють шаблони людської мови.
Наслідки для ШІ
Дослідження Apple підкреслює важливість переоцінки того, як ми використовуємо та довіряємо системам штучного інтелекту. Хоча ці моделі, здається, демонструють інтелект, вони відчувають значні труднощі, коли стикаються з більш складними або нюансованими проблемами. Результати дослідження підкреслюють, що великі мовні моделі (ВММ) не є безпомилковими, і на них не слід повністю покладатися у вирішенні завдань, що вимагають глибоких міркувань або автентичного розуміння.
Дослідники закликають продовжувати дослідження щодо покращення можливостей моделей ШІ в логіці та математиці. У міру розвитку цих технологій важливо визнавати їхні обмеження і встановлювати відповідні межі для їхнього використання. Хоча штучний інтелект має численні переваги, ми повинні залишатися пильними щодо ризиків надмірної довіри до систем, яким бракує справжнього розуміння складнощів, пов’язаних з ним.
