Чтобы создавать автономные машины будущего, иногда вашей модели нужна модель.
Компании, разрабатывающие самоуправляемые автомобили, роботов для взаимодействия с физической средой или автономное строительное оборудование, собирают тысячи, если не миллионы часов видео для оценки и обучения.
Организация и каталогизация этого видео сейчас — задача для людей, которые должны просматривать всё это. Даже с перемоткой вперёд это не масштабируется. NomadicML — стартап, основанный генеральным директором Мустафой Балом и техническим директором Варуном Кришнаном, — хочет решить проблемы клиентов, у которых 95% данных их автопарка пылится в архивах.
Задача становится сложнее при поиске граничных случаев (edge cases) — наиболее ценные данные описывают события, которые происходят редко и могут запутать неопытные физические модели ИИ.
Nomadic работает над решением этой проблемы с помощью платформы, которая превращает видео в структурированный, доступный для поиска набор данных через коллекцию моделей компьютерного зрения и языка. Это, в свою очередь, позволяет улучшить мониторинг автопарка и создавать уникальные наборы данных для обучения с подкреплением и более быстрых итераций.
Во вторник компания объявила о привлечении $8,4 млн посевного раунда с пост-денежной оценкой в $50 млн. Раунд возглавил TQ Ventures при участии Pear VC и Джеффа Дина. Это позволит компании привлечь больше клиентов и продолжить улучшение своей платформы. В прошлом месяце Nomadic также заняла первое место на конкурсе питчей Nvidia GTC.
Два основателя, познакомившиеся во время учебы в Гарварде по специальности компьютерные науки, «снова и снова сталкивались с одними и теми же техническими проблемами на своей работе» в таких компаниях, как Lyft и Snowflake, рассказал Бал TechCrunch.
«Мы предоставляем людям понимание их собственных видео, всего того, что управляет их беспилотными автомобилями и роботами, — сказал он. — Именно это продвигает строителей этих автономных систем вперёд, а не случайные данные».
Представьте, например, попытку донастроить понимание беспилотного автомобиля того, что можно проехать на красный свет, если полицейский подает сигнал, или изолировать каждый случай, когда транспортные средства проезжают под конкретным типом моста. Платформа Nomadic позволяет идентифицировать такие инциденты как для целей соблюдения требований, так и для прямой подачи в обучающие конвейеры.
Такие клиенты, как Zoox, Mitsubishi Electric, Natix Network и Zendar, уже используют платформу для разработки интеллектуальных машин. Антонио Пульелли, вице-президент по инжинирингу в Zendar, сказал, что инструмент Nomadic позволил компании масштабировать свою работу гораздо быстрее, чем альтернатива аутсорсинга, и что их экспертиза в предметной области отличает их от других конкурентов.
Такой подход к автоматической аннотации на основе моделей становится ключевым рабочим процессом для физического ИИ. Устоявшиеся компании по маркировке данных, такие как Scale, Kognic и Encord, разрабатывают инструменты ИИ для этой работы, в то время как Nvidia выпустила семейство моделей с открытым исходным кодом Alpamayo, которые можно адаптировать для решения этой задачи.
Варун утверждает, что инструмент его компании — это не просто маркировщик; это «агентная система рассуждений: вы описываете, что нужно, и она выясняет, как это найти», используя несколько моделей для понимания происходящего действия и помещения его в контекст. Инвесторы Nomadic ожидают, что фокус стартапа на этой конкретной инфраструктуре принесет победу.
«Это та же причина, по которой Salesforce не строит собственное облако, а Netflix не строит собственные сети доставки контента, — сказал TechCrunch Шустер Тангер, партнер TQ Ventures, возглавивший раунд. — Как только компания, занимающаяся беспилотными автомобилями, пытается построить Nomadic внутри себя, её отвлекают от того, что приносит ей победу, — от самого робота».
Тангер высоко оценивает талант Nomadic, отмечая, что Кришнан — международный мастер по шахматам, занимающий 1549-е место в мире. Тем временем Кришнан хвастается, что все около дюжины инженеров компании опубликовали научные работы.
Сейчас они усердно работают над разработкой специализированных инструментов, например, такого, который понимает физику смены полосы движения на основе видеозаписей, или другого, который определяет более точное расположение захватов робота на видео. Следующая задача, с точки зрения Nomadic и её клиентов, — разработать аналогичные инструменты для невизуальных данных, таких как показания лидарных датчиков, или объединить данные с датчиков в разных режимах.
«Жонглировать терабайтами видео, прогонять их через сотни моделей со 100+ миллиардами параметров, а затем извлекать точные аналитические выводы — это невероятно сложно», — сказал Бал.
Залишити відповідь