Исследователи из Института автоматизации Китайской академии наук в Пекине представили новую систему искусственного интеллекта SpikingBrain-1.0, которая отличается от ресурсоёмкой архитектуры Transformer, используемой в таких моделях, как ChatGPT. Эта новая модель, вдохновлённая нейронными механизмами человеческого мозга, прокладывает новый курс в области энергоэффективных вычислений.
Основная технология, лежащая в основе SpikingBrain 1.0, известна как «импульсные вычисления» — метод, имитирующий работу биологических нейронов в человеческом мозге.
Вместо того чтобы задействовать всю обширную сеть для обработки информации, как это делают основные системы ИИ, такие как ChatGPT, сеть SpikingBrain 1.0 в основном бездействует. Она использует событийно-ориентированный подход, при котором нейроны посылают сигналы только в ответ на определённые входные данные.
Такой избирательный отклик — ключ к снижению энергопотребления и ускорению обработки данных. Чтобы продемонстрировать свою концепцию, команда создала и протестировала две версии модели: меньшую с 7 миллиардами параметров и большую с 76 миллиардами параметров. Обе модели были обучены на данных общим объёмом около 150 миллиардов токенов, что сравнительно немного для моделей такого масштаба.
Эффективность модели особенно заметна при работе с длинными последовательностями данных. В одном из тестов, упомянутых в статье, модель меньшего размера ответила на запрос, состоящий из 4 миллионов токенов, более чем в 100 раз быстрее, чем стандартная система.
В ходе другого теста вариант SpikingBrain 1.0 продемонстрировал ускорение в 26,5 раз по сравнению с обычными архитектурами Transformer при генерации только первого токена из контекста в один миллион токенов.
По словам Сюй Бо, директора Института автоматизации, эта модель «открывает путь для разработки ИИ нового поколения без использования трансформеров» и может послужить основой для создания нейроморфных чипов с низким энергопотреблением.
Эти потенциальные области применения включают в себя анализ объёмных юридических и медицинских документов, исследования в области физики высоких энергий и решение сложных задач, таких как секвенирование ДНК. Все эти задачи связаны с обработкой огромных массивов данных, где скорость и эффективность имеют решающее значение.
«Эти результаты не только демонстрируют возможность эффективного обучения больших моделей на платформах, отличных от NVIDIA, но и указывают на новые направления для масштабируемого внедрения и применения моделей, вдохновлённых работой мозга, в будущих вычислительных системах», — говорится в исследовательской работе.