Google DeepMind представив новий метод під назвою FunSearch. Цей метод використовує великі мовні моделі (LLM) для пошуку нових рішень у математиці та комп’ютерних науках. Метод описаний у статті, опублікованій в журналі Nature. FunSearch – це еволюційний метод, який просуває і розвиває ідеї з найвищими показниками, що відображаються у вигляді комп’ютерних програм. Запуск та оцінка цих програм відбувається автоматично. Система вибирає деякі програми з поточного пулу програм, які передаються магістрам. LLM творчо розвиває їх і генерує нові програми, які автоматично оцінюються. Найкращі з них додаються назад до пулу наявних програм, створюючи цикл самовдосконалення. FunSearch використовує PaLM 2 від Google, але він сумісний з іншими LLM, які навчаються на коді.
За даними Google, “FunSearch” може обчислювати “задачі з верхньою межею” та низку “складних задач з математики та інформатики”. Метод навчання моделі FunSearch в основному вводить систему “Оцінювача” для ШІ-моделі. ШІ-модель виводить серію “творчих методів розв’язання проблем” і “методів оцінювання”. “Процесор” відповідає за оцінку методу розв’язання проблеми, виданого моделлю. Після кількох ітерацій до навчання може приєднатися модель ШІ з сильнішими математичними можливостями.
Google DeepMind використовував модель PaLM 2 для тестування. Дослідники створили спеціальний “пул кодів”, за допомогою кодової форми ввели серію запитань для моделі та налаштували процес оцінювання. Після цього модель автоматично витягувалася з пулу коду в кожній ітерації. Виберіть проблеми, згенеруйте “нові креативні рішення” та надішліть їх оцінювачу для оцінки. “Найкраще рішення” буде знову додано до пулу коду і розпочне нову ітерацію.
Як працює FunSearch
FunSearch використовує ітеративну процедуру. Спочатку користувач пише опис проблеми у вигляді коду. Цей опис складається з процедури для оцінки програм і початкової програми, яка використовується для ініціалізації пулу програм. На кожній ітерації система вибирає деякі програми з поточного пулу програм, які передаються LLM. LLM творчо розвиває їх і генерує нові програми, які автоматично оцінюються. Найкращі з них додаються назад до пулу наявних програм, створюючи цикл самовдосконалення. FunSearch використовує PaLM 2 від Google, але він сумісний з іншими LLM, що навчаються на коді.
Відкриття нових математичних знань
Відкриття нових математичних знань та алгоритмів у різних галузях, як відомо, не під силу навіть найсучаснішим системам ШІ. Для вирішення таких складних завдань за допомогою FunSearch необхідно використовувати кілька ключових компонентів. FunSearch генерує програми, які описують, як ці рішення були знайдені. Цей підхід “покажи, як ти працюєш” – це те, як зазвичай працюють науковці, коли відкриття або явища пояснюються через процес, який використовувався для їх отримання. FunSearch надає перевагу пошуку рішень, представлених дуже компактними програмами — рішення з невеликою короткою програмою можуть описувати дуже великі об’єкти, що дозволяє масштабувати FunSearch.
Google заявив, що метод навчання FunSearch особливо ефективний у “Дискретній математиці (комбінаториці)”. Модель, навчена методом навчання, може легко розв’язувати задачі комбінаторної математики з екстремальними значеннями. У пресрелізі дослідники представили технологічний метод для розрахунку моделей “задач верхнього рівня (центральна задача математики, пов’язана з підрахунком і перестановками)”.
FunSearch та задача про пакування сміття
Щоб перевірити його універсальність, дослідники використали FunSearch для розв’язання іншої складної задачі в математиці: задачі про пакування сміття, яка передбачає спробу. Дослідники залишили в програмі рядки, які б вказували, як її розв’язати. Саме тут і з’явився FunSearch. Він змушує Codey заповнити пропуски — фактично, запропонувати код, який розв’яже проблему. Потім другий алгоритм перевіряє та оцінює те, що пропонує Codey. Найкращі пропозиції — навіть якщо вони ще не є правильними — зберігаються і повертаються назад до Codey, який намагається завершити програму знову. “Багато з них будуть безглуздими, деякі — розумними, а деякі — пристойними, — каже Коді. Ви берете ті, що справді надихають, і кажете: “Гаразд, візьміть ці та повторіть”.
“Проблема пакування сміттєвих баків” – це проблема “розміщення предметів різного розміру в мінімальній кількості контейнерів”. FunSearch надає рішення для “Bin Packing Problem”. Це рішення “just-in-time”, яке генерує програму, що “автоматично підлаштовується на основі наявного об’єму предмета”. Дослідники відзначили, що в порівнянні з іншими методами навчання ШІ, які використовують нейронні мережі для навчання, вихідний код моделі, навченої методом навчання FunSearch, легше перевіряти і розгортати. Це означає, що його легше інтегрувати в реальне промислове середовище.
FunSearch і задані задачі
Система штучного інтелекту під назвою FunSearch досягла успіхів у розв’язанні задач на множинах у комбінаториці. Це розділ математики, який вивчає способи підрахунку можливих розташувань множин. FunSearch автоматично створює запити для спеціально навченого LLM, пропонуючи йому написати короткі комп’ютерні програми, які можуть згенерувати рішення для певного сценарію. Потім система швидко перевіряє, чи є ці розв’язки кращими за відомі. Якщо ні, вона надає зворотний зв’язок LLM, щоб він міг покращити свою роботу в наступному раунді. “Ми використовуємо LLM як двигун творчості, — каже комп’ютерний науковець DeepMind Бернардіно. За його словами, не всі програми, які генерує LLM, корисні, а деякі настільки неправильні, що їх навіть не можна запустити.
“Що мене справді захоплює, навіть більше, ніж конкретні результати, які ми отримали, так це перспективи, які він відкриває для майбутньої людино-машинної взаємодії в математиці. “Замість того, щоб генерувати розв’язок, FunSearch генерує програму, яка знаходить розв’язок. Розв’язок конкретної задачі може не дати мені жодного уявлення про те, як розв’язувати інші пов’язані з нею задачі. Але програма, яка знаходить рішення… Дослідники штучного інтелекту стверджують, що зробили перше у світі наукове відкриття, використавши прорив, який дозволяє припустити, що технологія, яка лежить в основі ChatGPT та подібних програм, може генерувати рішення.
Висновок
FunSearch – це новий метод, який використовує великі мовні моделі (LLM) для пошуку нових рішень в математиці та інформатиці. Детальний опис цього методу міститься в науковій статті в Nature, провідному академічному журналі. FunSearch – це еволюційний метод, який просуває і розвиває ідеї, що мають найбільшу кількість балів, у комп’ютерних програмах. Процес запуску та оцінки цих програм відбувається автоматично. Система вибирає деякі програми з поточного пулу програм, які передаються LLM. FunSearch використовує PaLM 2 від Google, але він сумісний з іншими LLM, які використовують той самий код для навчання. FunSearch може покращити виробничі алгоритми, тим самим оптимізуючи логістику та зменшуючи споживання енергії.
