У нещодавньому дослідженні Apple описала методологію навчання своїх моделей штучного інтелекту останнього покоління з використанням нейромережевих прискорювачів Google, а не популярних апаратних засобів Nvidia.
У документі під назвою “Мовні моделі Apple Intelligence Foundation” (PDF) детально описується розробка мовних моделей Apple від навчання до висновків. Ці моделі, класифіковані як нейронні мережі, відіграють життєво важливу роль у перетворенні користувацьких запитів у текст та зображення, таким чином забезпечуючи роботу функцій Apple Intelligence, інтегрованих у різні операційні системи Apple. Такі функції охоплюють узагальнення тексту та пропозиції повідомлень.
Всупереч перевагам багатьох компаній, що займаються розробкою ШІ, які схиляються до графічних процесорів Nvidia, таких як H100, Apple обрала кремнієві процесори Tensor Processing Unit (TPU) від Google. Цей вибір є дещо очікуваним, враховуючи історично напружені відносини Apple з Nvidia. Технологічний гігант, схоже, не зацікавлений у примиренні, навіть коли мова йде про навчання своїх Apple Foundation Models (AFM).
Apple проігнорувала графічні процесори Radeon від AMD
Цікаво, що Apple не обрала графічні процесори Radeon від AMD, яка раніше постачала чипи для пристроїв Mac. Замість цього Apple обрала процесори TPU v4 і TPU v5 від Google для навчання своїх ШІ. Це рішення відповідає зростальному впровадженню TPU на ринку, завдяки чому Google увійшла до трійки лідерів поряд з Nvidia та Intel.
Для своєї серверної моделі ШІ, AFM-сервера, Apple використовувала 8 192 чипи TPU v4, тоді як модель AFM на пристрої використовувала 2 048 новіших процесорів TPU v5. Для порівняння, Nvidia стверджує, що для навчання ШІ-моделі класу GPT-4 потрібно приблизно 8 000 графічних процесорів H100. Це означає, що, за словами Apple, TPU v4 приблизно порівнянний з H100 від Nvidia за кількістю необхідних прискорювачів.
Apple хвалиться, що її моделі перевершують розробки Meta, OpenAI, Anthropic і навіть Google. З усім тим, дослідницька робота не надає складних специфікацій для AFM-сервера, хоча і згадує, що AFM-on-device містить трохи менш ніж три мільярди параметрів і оптимізований для середнього квантування менш як чотирьох біт для ефективності.
Людська оцінка Apple
Apple віддає перевагу людській оцінці перед стандартизованими тестами, вважаючи, що цей метод краще відображає досвід користувачів. У своїх тестах Apple демонструвала реакцію різних моделей реальним користувачам, які часто віддавали перевагу моделям Apple, а не конкурентам. Однак у документі не деталізуються використовувані підказки та відповіді, тому читачі повинні сприймати твердження Apple за чисту монету.
Загалом, модель AFM-on-device від Apple посіла друге або третє місце за продуктивністю, перевершивши такі моделі, як Gemma 7B, Phi 3 Mini та Mistral 7B, але не дотягнувши до LLaMa 3 8B. Щодо GPT-4o Mini порівняння не проводилося. Крім того, AFM-сервер не показав таких же результатів, як GPT-4 або LLaMa 3 70B, а також, схоже, не може ефективно конкурувати з GPT-4o і LLaMa 3.1 405B.
Apple заявляє про велике досягнення у створенні безпечного контенту. Згідно з результатами дослідження, AFM на пристроях і серверах викликав шкідливі реакції в 7,5% і 6,3% випадків відповідно, тоді як конкурентні моделі продемонстрували показники щонайменше в 10% випадків. Найгіршими були визнані Mistral 7N і Mixtral 8x22B з показниками шкідливих реакцій 51,3% і 47,5% відповідно.
Рішення Apple використовувати TPU-чипи Google
Вибір TPU від Google замість графічних процесорів Nvidia може бути зумовлений прагненням Apple до ефективності та масштабованості. TPU розроблені для високопродуктивних операцій машинного навчання, а досвід Google у сфері ШІ та центрів обробки даних, ймовірно, пропонує Apple надійну інфраструктуру для навчання своїх моделей. Ця співпраця висвітлює конкурентний ландшафт апаратного забезпечення для ШІ, де компанії шукають різні рішення, які відповідають їхнім потребам.
Рішення Apple використовувати обладнання Google, попри історичну критику, ілюструє практичну позицію щодо технологічного партнерства. Вони зосереджені на використанні найкращих доступних інструментів для досягнення бажаних результатів, навіть якщо для цього необхідна співпраця з конкурентами. Це узгоджується з ширшою стратегією Apple щодо інтеграції складних можливостей штучного інтелекту у свої продукти, покращуючи користувацький досвід і водночас зберігаючи конкурентні позиції на ринку.
Акцент дослідження на людській оцінці, а не на технічних показниках, свідчить про те, що Apple надає пріоритет реальній продуктивності та задоволеності користувачів. Залучаючи реальних користувачів до процесу оцінювання, Apple прагне забезпечити практичні переваги та інтуїтивно зрозумілу взаємодію своїх моделей штучного інтелекту. Ця методологія відображає орієнтований на користувача етос, який наголошує на значущих покращеннях, а не на абстрактних показниках продуктивності.
Хоча відсутність всебічних порівнянь і залежність від внутрішніх оцінок Apple може викликати скептицизм, прозорість у деталізації процесів навчання та вибору обладнання дає цінну інформацію про стратегії розвитку ШІ в Apple. Особливої похвали заслуговує їхня відданість безпеці та зменшенню шкідливих наслідків, що є критично важливим питанням при впровадженні технологій ШІ.
Майбутнє чіпів Apple і Google
У перспективі партнерство Apple з Google і впровадження технології TPU може призвести до подальшого вдосконалення можливостей штучного інтелекту. Оскільки моделі ШІ стають все більш інтегрованими в повсякденні технології, фокус на надійності, безпеці та ефективності буде мати вирішальне значення. Постійні зусилля Apple у сфері досліджень і розробок свідчать про прагнення розширити можливості штучного інтелекту, щоб у кінцевому підсумку надати користувачам більш розумні та гнучкі технології.
Таким чином, всебічний аналіз навчання штучного інтелекту, проведений компанією Apple з використанням TPU від Google, підкреслює стратегічний і орієнтований на користувача підхід до створення передових мовних моделей. Дослідження дає уявлення про складні рішення і міркування, необхідні для створення систем штучного інтелекту, які збагачують користувацький досвід, дотримуючись при цьому суворих стандартів безпеки та ефективності. У міру того, як розвивається сфера штучного інтелекту, внесок та інновації Apple, ймовірно, відіграватимуть вирішальну роль у формуванні майбутнього інтелектуальних технологій.
