Блог

Aug 29, 2023

Чип Nvidia H100 — самый востребованный в мире

Кажется, что в наши дни каждый хочет заполучить чипы Nvidia H100. Microsoft и Google, создающие генеративные поисковые системы на основе искусственного интеллекта, являются одними из крупнейших клиентов.

Кажется, что в наши дни каждый хочет заполучить чипы Nvidia H100.

Microsoft и Google, создающие генеративные поисковые системы на базе искусственного интеллекта, являются одними из крупнейших клиентов чипов Nvidia H100. Производители серверов утверждают, что ждали своих последних заказов более шести месяцев. Венчурные инвесторы скупают чипы H100 для стартапов, в которые они инвестируют.

Но не только технологические компании ищут H100: по сообщениям Financial Times со ссылкой на неназванные источники, Саудовская Аравия и ОАЭ раскупили тысячи этих чипов стоимостью 40 000 долларов для создания собственных приложений искусственного интеллекта.

Этот высокий спрос на один чип от одной компании привел к чему-то вроде безумия покупателей. «Кто, сколько H100 и когда получит — это главные сплетни в долине», — написал Андрей Карпати из OpenAI в своем сообщении в Твиттере.

Даже Илон Маск, одержимый борьбой с Марком Цукербергом, нашел время прокомментировать нехватку чипов Nvidia. (Маск не уточняет, имеет ли он в виду чипы H100, которые дебютировали в прошлом году, или чипы Nvidia в целом. Но чипы для искусственного интеллекта, безусловно, сейчас в моде.) Tesla Маска тратит 1 миллиард долларов на создание нового суперкомпьютера под названием Dojo. , для обучения своего парка автономных транспортных средств и обработки данных от них. План Додзё начался, по словам Маска, только потому, что у Теслы не хватило Графические процессоры Nvidia — графические процессоры, как называются эти чипы. «Честно говоря… если бы они смогли поставить нам достаточно графических процессоров, нам, возможно, не понадобится Dojo», — сказал Маск инвесторам и аналитикам на телефонной конференции в июле. «У них так много клиентов. Тем не менее они были настолько любезны, что расставили приоритеты для некоторых наших заказов на графические процессоры».

Если бы Tesla смогла получить необходимое количество чипов от Nvidia, эти чипы пошли бы в специализированные компьютеры, которые обрабатывали бы огромное количество видеоданных, что, по словам Маска, необходимо для достижения «общего решения для автономности». »

Данные нужно как-то обработать. Таким образом, Dojo предназначен для оптимизации видеообучения, а не генеративных систем искусственного интеллекта, для обработки объема данных, необходимых для беспилотных транспортных средств, сказал Маск, что важно для достижения автономного вождения, которое безопаснее, чем вождение человека.

Большие языковые модели (LLM) обучаются на огромных объемах данных для генерации сложных ответов на вопросы. Но интеграция LLM в реальные приложения, такие как поисковые системы, требует большой вычислительной мощности.

В ходе исследования исследователи из Вашингтонского университета и Сиднейского университета определили высокие затраты на содержание программ LLM. Google обрабатывает более 99 000 поисковых запросов в секунду. Если бы GPT-3 был встроен в каждый запрос и если бы каждый запрос генерировал 500 токенов, которые представляют собой объекты, представляющие право на выполнение какой-либо операции, Google потребовалось бы примерно 2,7 миллиарда графических процессоров A100 (более старый чип Nvidia AI) для поддержания вверх. По оценкам исследователей, стоимость этих графических процессоров превысит 40 миллиардов долларов только за счет капитальных затрат.

«Что нужно Google и другим компаниям, так это более мощный чип, который будет работать лучше при той же цене или дешевле», — сказал Вилли Ши, профессор практики управления в Гарвардской школе бизнеса, ранее работавший в IBM и Silicon Valley Graphics. Встречайте Nvidia H100, названную в честь ученого-компьютерщика Грейс Хоппер. H100 создан для генеративного искусственного интеллекта и работает быстрее, чем предыдущие модели. По словам Ши, чем мощнее чипы, тем быстрее вы сможете обрабатывать запросы.

Спрос на высокопроизводительные чипы искусственного интеллекта стал благом для Nvidia, которая доминирует на рынке (отчасти благодаря удаче), поскольку конкуренты изо всех сил пытаются догнать ее.

Поскольку стартапы в области генеративного ИИ работают над расширением масштабов и испытывают нехватку H100, это открывает возможности для конкурентов, таких как Amazon и Google, которые работают над созданием собственных чипов, подобных Nvidia, чтобы оказаться на высоте. Чипы Amazon называются Inferentia и Tranium; Google — это тензорные процессоры.