Обучение с подкреплением — один из самых перспективных способов непрерывного обучения искусственного интеллекта. Идея заключается в том, чтобы воспроизвести процесс постепенного накопления и адаптации знаний в биологических системах. Мозг делает это с помощью ионных градиентов, которые регулируют медленную направленную передачу сигналов через клеточные мембраны. Воплотить эту идею в аппаратном обеспечении — ключевая цель нейроморфных вычислений.
В недавнем исследовании опубликованном в Nature Communications ученые создали мемристор, который использует встроенный градиент кислорода для медленных и стабильных изменений проводимости, что позволяет алгоритму обучения с подкреплением (reinforcement learning, RL) обучаться быстрее и стабильнее, чем при использовании традиционных подходов.
Благодаря своей способности имитировать синаптическое поведение, мемристоры уже давно считаются перспективными кандидатами на эту роль. Однако большинство существующих устройств страдают от непредсказуемых резких изменений проводимости, что затрудняет устойчивое и стабильное обучение.
Новая работа была выполнена командой ученых из Китая и Гонконга, которые решили эту задачу, создав мемристор со стабильными, временно коррелирующими внутренними состояниями, необходимыми для непрерывного обучения.
Говоря об основной проблеме, которая побудила ученых к этой работе, соавтор исследования Хайфэн Лин из Нанкинского университета почты и телекоммуникаций.Лин сказал: «Ионная конфигурация может резко меняться, как правило, из-за внезапного образования или разрыва проводящих нитей. Это приводит к стохастическому переключению и резким скачкам проводимости».
Чтобы решить эту проблему, команда обратилась к биологическим процессам и попыталась воссоздать в аппаратном обеспечении механизм, с помощью которого живые клетки используют ионные градиенты для медленных, постепенных изменений состояния. Биологические клетки используют ионные градиенты на своих мембранах для создания потенциала покоя, который точно регулирует поток ионов. Градиент создает медленные и направленные изменения в состоянии клеток, позволяя нейронам сохранять внутреннюю память о прошлой активности или состоянии клеток. Воссоздать эту стабильность, регулируемую градиентом, в мемристорах оказалось сложнее, чем кажется.
В большинстве устройств на основе оксидов отсутствует внутренняя структура, направляющая движение ионов, поэтому под действием приложенного электрического поля ионы перемещаются хаотично. Попытки создать искусственные градиенты также не увенчались успехом, поскольку при многократном воздействии электрического поля градиент со временем исчезает.
«Во многих случаях эти градиенты нестабильны, — объясняет Линг. — При многократном воздействии электрическим током градиент может постепенно деформироваться или исчезнуть, поскольку перераспределение ионов постоянно меняет внутреннюю структуру устройства. В результате мы получили аппаратную среду, в которой стабильная динамика с регулированием градиента — то, что делает биологическое обучение таким эффективным, — остается недостижимой»
Чтобы воссоздать аппаратную реализацию динамики, регулируемой градиентом, команда изготовила мемристор с тщательно продуманным многослойным устройством, состоящим из оксида индия и олова (ITO), цинк-порфирина (ZnTPP), оксида алюминия, осажденного атомными слоями (ALD-AlOₓ), и алюминия (Al). Ключевым компонентом является молекулярный слой ZnTPP, расположенный между электродом и слоем оксида алюминия.
Тонкий слой ZnTPP выполняет две важные функции:
- В процессе изготовления он создает химически активные участки для атомно-слоевого осаждения оксида алюминия, в результате чего приграничная область обогащается кислородом и естественным образом формируется внутренний градиент концентрации кислорода в оксидном слое.
- Во время работы он участвует в обратимых координационных взаимодействиях с ионами кислорода, помогая регулировать их миграцию и создавая стабилизирующее межфазное электрическое поле, которое предотвращает разрушение градиента.
«Без градиента движение ионов похоже на движение шарика по плоской поверхности, — говорит Лин. — С градиентом система больше напоминает наклонную поверхность, которая направляет движение в предсказуемом направлении. »
В результате получилось устройство, проводимость которого медленно и непрерывно меняется после электростимуляции, а время релаксации превышает 100 секунд — это намного дольше, чем характерное для других мемристоров второго порядка затухание на наносекундном уровне. Именно эта медленная и стабильная эволюция делает устройство полезным для задач непрерывного обучения, которые решаются в течение длительного времени.
Изготовленное устройство продемонстрировало диапазон модуляции проводимости в 98,1 % при 40 различных псевдоэнергонезависимых (ПЭН) состояниях проводимости — стабильных, различимых во времени плато, которые сохраняются в течение определенного периода после стимуляции.
Это было достигнуто с помощью разработанной командой схемы импульсов под названием «униполярная спайк-зависимая пластичность» (U-SVDP), которая предполагает подачу пар импульсов разной амплитуды для точного баланса дрейфа и диффузии ионов кислорода вдоль внутреннего градиента.
«Устройство не просто генерирует пассивный сигнал релаксации, — говорит Лин. — Вместо этого с помощью ионной динамики, управляемой градиентом, и модуляции U-SVDP мемристор активно генерирует биологически обусловленную временную последовательность внутренних состояний, которая определяет динамическую траекторию скорости обучения, подходящую для непрерывного обучения в нестационарных средах».