Разработаны интеллектуальные фотодетекторы, которые «принюхиваются» и «ищут», как собаки-ищейки, распознавая материалы непосредственно по световым спектрам

Традиционно спектральные камеры делают серию снимков, каждый из которых соответствует определённой длине волны, а затем передают этот большой массив данных на цифровые процессоры для вычислений и анализа сцены. Несмотря на эффективность этого процесса, он создаёт серьёзное узкое место: аппаратное обеспечение должно перемещать и обрабатывать огромные объёмы данных, что ограничивает скорость, энергоэффективность и достижимое пространственно-спектральное разрешение.

Новая платформа устройств, называемая спектральными ядерными машинами (СЯМ), полностью устраняет это узкое место. Вместо того чтобы записывать большие массивы данных, СЯМ напрямую кодируют спектральную и пространственную информацию в выходной фототок, что позволяет самому датчику выполнять задачу по идентификации материалов, химических веществ и объектов в сложной сцене.

«С помощью этого устройства SKM мы создали оптоэлектронные датчики, которые могут обучаться и выполнять вычисления без необходимости в цифровой постобработке».

Работа проводилась в тесном сотрудничестве с исследовательской группой профессора Али Джейви и доктором Дэхуэем Чжаном из Национальной лаборатории имени Лоуренса в Беркли и Калифорнийского университета в Беркли.

Каждое устройство SKM можно настроить с помощью электричества, чтобы усилить или подавить определенные спектральные характеристики. Во время обучения исследователи показывали изображения с датчиков, например с разноцветными птицами на фоне леса, чтобы устройство SKM могло случайным образом выбирать подмножество пикселей и получать простые внешние команды, такие как «определить птицу» или «определить фон».

На этих примерах устройство изучило оптимальную последовательность электрического управления для выделения пикселей с изображением птиц и подавления фоновых областей. При последующем предъявлении новых изображений, которые ранее не встречались, датчик выдавал положительный фототок только для пикселей, относящихся к целевому объекту, демонстрируя, что он научился на предыдущих примерах и может «вынюхивать» и «искать» нужные объекты, подобно собаке-ретриверу.

Команда продемонстрировала, что устройства SKM могут интеллектуально распознавать и анализировать сложные сцены в диапазоне от видимого до среднего инфракрасного спектра без использования обычных наборов гиперспектральных изображений.

В видимом диапазоне фотопроводники на основе кремния выполняли задачи по метрологии полупроводниковых пластин и идентификации объектов, обеспечивая более высокую скорость и энергоэффективность по сравнению с традиционными цифровыми системами гиперспектрального машинного зрения. В среднем инфракрасном диапазоне фотодиод с электрической настройкой при комнатной температуре позволял проводить химическую идентификацию и анализ смесей.

Исследователи также продемонстрировали такие возможности, как определение влажности листьев растений и сегментация объектов — и всё это на основе фототока датчика, без необходимости снимать или обрабатывать куб гиперспектральных данных.

Эта технология знаменует собой новую парадигму в области спектрального машинного зрения. Благодаря внедрению интеллектуальных функций и машинного обучения непосредственно в процесс фотодетектирования устройства SKM устраняют узкие места, связанные с передачей данных, и значительно снижают энергопотребление, обеспечивая сверхбыстрый спектральный анализ в компактном корпусе с низким энергопотреблением.

Благодаря этим возможностям СКМ идеально подходят для мобильных устройств, автономных роботов, мониторинга окружающей среды, промышленного контроля, спутниковой съёмки и других областей применения.

«Эта работа переосмысливает фотодетектирование как автоматическое физическое вычисление, — сказал Юхан Ли, аспирант Калифорнийского университета в Лос-Анджелесе и соавтор работы. — Теперь мы можем быстро выполнять сложный спектральный анализ непосредственно в месте обнаружения фотонов».