Ад’юнкт-професор Стенфорда та успішний засновник, який вийшов з бізнесу, Зайн Асгар щойно залучив 80 мільйонів доларів серії А для стартапу, який вирішує проблему вузького місця інференції ШІ проникливим способом. Раунд очолила Menlo Ventures.
Компанія Gimlet Labs створила те, що, за її твердженням, є першою та єдиною “багаточіповою інференційною хмарою” — програмним забезпеченням, яке дозволяє одночасно запускати ШІ-навантаження на різних типах апаратного забезпечення. Воно може розподіляти роботу ШІ-додатку між традиційними центральними процесорами (CPU), ШІ-орієнтованими графічними процесорами (GPU) та високомеморіальними системами.
“Ми, по суті, працюємо на будь-якому доступному різному апаратному забезпеченні”, — розповів Асгар TechCrunch.
Один агент може об’єднувати кілька кроків, і кожен “вимагає різного апаратного забезпечення: інференція обмежена обчисленнями; декодування обмежене пам’яттю; а виклики інструментів обмежені мережею”, — пише провідний інвестор Тім Таллі з Menlo у дописі в блозі про фінансування.
Жоден чіп поки що не вміє робити все, але з появою нового обладнання та перерозподілом застарілих графічних процесорів, “багаточіповий парк готовий — бракує лише програмного шару, щоб змусити його працювати”. Саме це, на думку Таллі, пропонує Gimlet Labs.
Якщо поточна тенденція розгортання дедалі більших обчислювальних потужностей продовжиться, McKinsey оцінює, що витрати на центри обробки даних досягнуть майже 7 трильйонів доларів до 2030 року. Асгар каже, що додатки використовують вже розгорнуте обладнання лише “десь від 15 до 30 відсотків” часу.
“Інший спосіб поглянути на це: ви витрачаєте сотні мільярдів доларів даремно, тому що просто залишаєте бездіяльні ресурси”, — сказав він. “Нашою метою було з’ясувати, як можна зробити ШІ-навантаження в 10 разів ефективнішими, ніж сьогодні”.
Тому він та його співзасновники — Мішель Нгуєн, Омід Азізі та Наталі Серріно — взялися за створення оркеструвального програмного забезпечення, яке розподіляє агентні навантаження так, щоб їх можна було одночасно розподіляти між усіма типами апаратного забезпечення.
Gimlet Labs стверджує, що стабільно прискорює інференцію ШІ в 3-10 разів за тієї ж вартості та енергоспоживання. Gimlet каже, що може навіть розділити базову модель так, щоб вона працювала на різних архітектурах, використовуючи найкращий чіп для кожної частини моделі.
Компанія вже співпрацює з виробниками чіпів NVIDIA, AMD, Intel, ARM, Cerebras та d-Matrix.
Продукт Gimlet, що постачається як програмне забезпечення або через API до власної хмари Gimlet Cloud, призначений не для пересічного розробника ШІ-додатків. Він призначений для найбільших лабораторій ШІ-моделей та центрів обробки даних.
Компанія публічно запустилася в жовтні, заявивши, що одразу мала восьмизначний дохід (тобто щонайменше 10 мільйонів доларів). Асгар сказав, що його клієнтська база більш ніж подвоїлася за останні чотири місяці і тепер включає великого виробника моделей та дуже велику хмарну компанію, хоча він відмовився назвати їх.
Співзасновники раніше разом працювали в Pixie, стартапі, який створив інструмент спостережності з відкритим кодом для Kubernetes. Pixie була придбана New Relic у 2020 році, лише через два місяці після запуску з інвестицією в 9 мільйонів доларів серії А під керівництвом Benchmark. (Технологія Pixie зараз є частиною організації з відкритим кодом, яка курує Kubernetes).
Після того, як близько року тому Асгар випадково зустрів Таллі, а також отримав інвестиції від професорів Стенфорда, венчурні капіталісти почали телефонувати. Після запуску на столі Асгара з’явилася термінова пропозиція. Коли венчурні капіталісти почули, що Асгар розглядає пропозиції, “ми отримали досить великий наплив фінансування”, і раунд швидко перевиконали, сказав він.
Разом із попереднім посівним раундом стартап тепер залучив загалом 92 мільйони доларів, зокрема від багатьох бізнес-ангелів, таких як Білл Кофран з Sequoia, професор Стенфорда Нік МакКіон, колишній генеральний директор VMware Рагу Рагурам та генеральний директор Intel Ліп-Бу Тан. Зараз у компанії працює 30 співробітників.
Серед інших інвесторів — Factory, яка очолила посівний раунд, Eclipse Ventures, Prosperity7 та Triatomic.
Залишити відповідь