Якби дослідники ШІ в Google мали почуття гумору, вони б назвали TurboQuant, новий надзвичайно ефективний алгоритм стиснення пам’яті ШІ, представлений у вівторок, «Pied Piper» — або, принаймні, так вважає інтернет.
Цей жарт — це відсилання до вигаданого стартапу Pied Piper, який був у центрі телесеріалу HBO «Кремнієва долина», що виходив з 2014 по 2019 рік.
Серіал розповідав про засновників стартапу, які орієнтувалися в технологічній екосистемі, стикаючись з такими викликами, як конкуренція з більшими компаніями, залучення коштів, технологічні та продуктові проблеми, а навіть (на нашу велику радість) вражали суддів на вигаданій версії TechCrunch Disrupt.
Проривною технологією Pied Piper у телесеріалі був алгоритм стиснення, який значно зменшував розміри файлів із майже безвтратним стисненням. Новий TurboQuant від Google Research також стосується екстремального стиснення без втрати якості, але застосованого до ключового вузького місця в системах ШІ. Звідси й порівняння.
Отже, Google TurboQuant — це по суті Pied Piper, і він щойно досягнув показника Вайсмана 5.2 https://t.co/WievkwijjD pic.twitter.com/4rirvu2YyV
Google Research описав технологію як новий спосіб зменшити робочу пам’ять ШІ без впливу на продуктивність. За словами дослідників, метод стиснення, який використовує форму векторного квантування для усунення вузьких місць кешу в обробці ШІ, по суті, дозволив би ШІ запам’ятовувати більше інформації, займаючи менше місця та зберігаючи точність.
Вони планують представити свої висновки на конференції ICLR 2026 наступного місяця, разом із двома методами, які роблять це стиснення можливим: методом квантування PolarQuant та методом навчання та оптимізації під назвою QJL.
TurboQuant — це новий Pied Piper 🤣 pic.twitter.com/iMAYJs02zt
Отже, по суті, TurboQuant — це Pied Piper https://t.co/Zx9Oq84tSL pic.twitter.com/JPZjz8M3Wp
Зрозуміти математику, що стоїть за цим, можуть дослідники та комп’ютерні науковці, але результати хвилюють ширшу технологічну індустрію в цілому.
Якщо його успішно впровадити в реальному світі, TurboQuant може зробити ШІ дешевшим у роботі, зменшивши його «робочу пам’ять» під час виконання — відому як KV-кеш — «принаймні в 6 разів».
Дехто, наприклад генеральний директор Cloudflare Метью Прінс, навіть називає це моментом DeepSeek для Google — посилання на підвищення ефективності, спричинене китайською моделлю ШІ, яка була навчена з часткою витрат її конкурентів на гірших чіпах, залишаючись конкурентоспроможною за своїми результатами.
Це DeepSeek від Google. Є набагато більше можливостей для оптимізації висновків ШІ за швидкістю, використанням пам’яті, енергоспоживанням та багатокористувацьким використанням. Багато команд у @Cloudflare зосереджені на цих напрямках. #staytuned https://t.co/hHoY4sLT2I
Ну, ми всі знаємо, хто вкрав кодову базу Pied Piper https://t.co/Inv0nlMYnP
Проте варто зазначити, що TurboQuant ще не був широко розгорнутий; наразі це все ще лабораторний прорив.
Це ускладнює порівняння з чимось на кшталт DeepSeek або навіть вигаданим Pied Piper. На телебаченні технологія Pied Piper мала кардинально змінити правила обчислень. TurboQuant, тим часом, може призвести до підвищення ефективності та систем, які потребують менше пам’яті під час висновування. Але це не обов’язково вирішить ширшу проблему нестачі оперативної пам’яті, спричинену ШІ, оскільки він націлений лише на пам’ять під час висновування, а не навчання — останнє продовжує вимагати величезної кількості оперативної пам’яті.
Pied Piper було б кращою назвою https://t.co/qNZmtANFhs
Залишити відповідь