Новая технология трёхмерной памяти призвана вытеснить HBM в сфере ИИ-выводов

Память с высокой пропускной способностью, или HBM, стала неотъемлемой частью искусственного интеллекта и высокопроизводительных вычислений. В памяти HBM модули памяти располагаются друг над другом, что позволяет более эффективно соединять кристаллы памяти и получать доступ к более производительной памяти. Однако, несмотря на растущую популярность и широкое применение HBM, она может оказаться не лучшим решением для всех вычислительных задач. Там, где она играет ключевую роль в обучении ИИ, она может уступать в выводе ИИ.

С этой целью компания d-Matrix только что запустила в лаборатории производство кремниевого чипа d-Matrix Pavehawk 3DIMC. Цифровое вычислительное оборудование в оперативной памяти в настоящее время выглядит как модули памяти LPDDR5 с расположенными поверх них чиплетными модулями DIMC, соединенными через промежуточный слой. Такая конфигурация позволяет оборудованию DIMC выполнять вычисления непосредственно в памяти. Логические чипы DIMC настроены на матрично-векторное умножение — распространенный расчет, используемый в моделях ИИ на основе трансформеров.

«Мы считаем, что будущее логического вывода в ИИ зависит от переосмысления не только вычислений, но и самой памяти», — сказал Сид Шет, основатель и генеральный директор d-Matrix, в недавнем посте в LinkedIn. «Логический вывод в ИИ ограничен памятью, а не только количеством операций с плавающей запятой. Модели быстро растут, а традиционные системы памяти HBM становятся всё более дорогостоящими, энергозатратными и ограниченными по пропускной способности. 3DIMC меняет правила игры». Размещая память в трёх измерениях и обеспечивая более тесную интеграцию с вычислительными мощностями, мы значительно сокращаем задержки, повышаем пропускную способность и открываем новые возможности для повышения эффективности.

Проект d-Matrix DIMC следует модели, которую наблюдали в недавних стартапах и у технических теоретиков: они утверждают, что для конкретных вычислительных задач, таких как обучение ИИ или логический вывод, должно быть оборудование, специально разработанное для эффективной обработки именно этой задачи. d-Matrix считает, что логический вывод ИИ, на который сейчас приходится 50 % рабочих нагрузок ИИ у некоторых гиперскейлеров, настолько отличается от обучения, что заслуживает отдельного типа памяти.

Замена HBM привлекательна и с финансовой точки зрения. HBM производится лишь несколькими мировыми компаниями, в том числе SK hynix, Samsung и Micron, и стоит совсем недёшево. По недавним оценкам SK hynix, рынок HBM будет расти на 30% в год до 2030 года, а цены будут расти вслед за спросом. Альтернатива этому гиганту может привлечь экономных покупателей ИИ, хотя память, созданная исключительно для определённых рабочих процессов и вычислений, может показаться слишком ограниченной потенциальным клиентам, опасающимся «пузыря».