Електроенергія є ключовою сировиною для штучного інтелекту, але нові методи обробки перевищують здатність операторів дата-центрів керувати своїми відносинами з енергомережею, змушуючи їх знижувати потужність до 30%.
«Багато енергії витрачається даремно на цих AI-фабриках», — сказав генеральний директор Nvidia Дженсен Хуан під час програмної промови на щорічній конференції клієнтів GTC. «Кожен невикористаний ват — це втрачений дохід», — проголосила компанія під час щорічної презентації.
Сьогодні стартап Niv-AI вийшов зі стелс-режиму з 12 мільйонами доларів початкового фінансування, щоб вирішити цю проблему шляхом точного вимірювання енергоспоживання GPU за допомогою нових датчиків та розробки інструментів для ефективнішого управління ним.
Стартап з Тель-Авіва був заснований минулого року генеральним директором Томером Тімором та технічним директором Едвардом Кізісом, а його підтримують Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward та Aurora. Компанія відмовилася розкривати свою оцінку.
Оскільки передові лабораторії використовують тисячі GPU спільно для навчання та запуску складних моделей, виникають часті сплески попиту на електроенергію тривалістю в мілісекунди, коли процесори перемикаються між обчислювальними завданнями та комунікацією з іншими GPU.
Ці сплески ускладнюють для дата-центрів управління електроенергією, яку вони споживають з мережі. Щоб не залишитися без достатньої кількості електроенергії, дата-центри платять за тимчасове зберігання енергії для покриття сплесків або знижують використання GPU. Обидва випадки знижують віддачу від інвестицій у дорогі чипи.
«Ми просто не можемо продовжувати будувати дата-центри так, як будуємо їх зараз», — сказав Ліор Хандельсман, партнер Grove Ventures, який входить до ради директорів Niv.
Першим кроком у дорожній карті Niv є розуміння того, що відбувається; зараз компанія встановлює датчики на рівні стійок, які виявляють енергоспоживання на мілісекундному рівні на GPU, які їй належать, а також разом із партнерами з розробки. Мета — зрозуміти конкретні профілі енергоспоживання різних завдань глибокого навчання та розробити методи пом’якшення, які дозволять дата-центрам використовувати більше наявної потужності.
Природно, інженери очікують створити модель ШІ на основі зібраних даних з метою навчити її прогнозувати та синхронізувати енергетичні навантаження по всьому дата-центру — «копілота» для інженерів дата-центрів.
Niv-AI очікує мати робочу систему в кількох дата-центрах США протягом наступних шести-восьми місяців. Це приваблива ідея, оскільки гіперскейлери, які намагаються будувати нові дата-центри, стикаються з труднощами використання землі та перебоями в ланцюгах постачання. Засновники бачать свій кінцевий продукт як відсутній «інтелектуальний рівень» між дата-центрами та електричною мережею.
«Мережа насправді боїться, що дата-центр споживатиме занадто багато енергії в певний час», — сказав Тімор TechCrunch. «Проблема, на яку ми дивимося, — це проблема з двох сторін. Одна — спробувати допомогти дата-центрам використовувати більше GPU і, сподіваємося, отримати більше від енергії, за яку вони вже платять. З іншого боку, можна також створити набагато більш відповідальні профілі енергоспоживання між дата-центрами та мережею».
Залишити відповідь