Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 6. Поиск дефектов изделий на основе особых точек ORB

Оформить подписку на журнал «Электронные компоненты»

Введение

Цель работы: повысить качество и надежность изделий электронной компонентной базы (ЭКБ), сократить брак и продлить срок службы радиоэлектронной аппаратуры (РЭА) с использованием АПАК и методов компьютерного зрения на основе особых точек ORB.

Несмотря на важность качества ЭКБ, изготовители РЭА порой отказываются от входного контроля, полагаясь вместо него на установление доверия с поставщиками по всей цепочке поставок. Этот основанный на доверии подход предполагает отсутствие ошибок, мошенничества, подделок, повреждений или дефектов в закупаемой ЭКБ, не используя специализированную технологию для входного контроля.

Дефекты часто являются малоразмерными, едва заметными невооруженным глазом и могут иметь серьезные последствия, особенно в РЭА с ужесточенными техническими требованиями, включающие высокие уровни нагрузки. Незначительные отказы работоспособности в конденсаторе или микропроцессоре могут привести к неисправности РЭА, и бывает обидно узнать об отказе нужного радиоэлектронного узла из-за незамеченного дефекта в, казалось бы, незаметном компоненте стоимостью всего в несколько рублей.

Дефекты охватывают широкий спектр проблем, начиная с трещин, изломов, отслоения металлизации и заканчивая деформациями, изменениями цвета, появлением плесени, коррозии, изогнутых и деформированных выводов.

Существует распространенное заблуждение, что производственные машины, например системы автоматизированного оптического контроля (AOI), контролируют качество ЭКБ. Однако эти машины, в первую очередь, отслеживают процесс сборки, не проверяют сами изделия ЭКБ на наличие дефектов и только обнаруживают отклонения в размещении этих изделий. Следовательно, обычно выявляются лишь дефекты значительной величины, что приводит к неисправностям.

Проверка изделий ЭКБ на наличие дефектов должна проводится на этапах межоперационного и выходного контроля на предприятии изготовителя, а также входного и межоперационного контроля на стороне потребителя. Существует множество методов определения дефектов. Авторы статьи провели исследование, обобщение и анализ доступных методов компьютерного зрения. В результате были выделены и доработаны методы, позволяющие с минимальными затратами обнаружить определенные дефекты в определенных классах и типах изделий ЭКБ.

Среди них метод FAST (Features from accelerated segment test) – один из первых эвристических методов поиска особых точек, который получил большое распространение благодаря вычислительной эффективности. Для принятия решения о том, считать заданную точку особой или нет, в этом методе рассматривается яркость пикселей на окружности с центром в точке с ее конкретным радиусом. Развитие эвристических методов привело к разработке метода BRIEF (Binary Robust Independent Elementary Features). Этот быстрый эвристический дескриптор строится из 256 бинарных сравнений между яркостями пикселей на размытом изображении.

В результате дальнейшей эволюции методов описания особых точек изображения появился метод ORB (Oriented FAST and Rotated BRIEF), который был разработан для решения проблемы баланса между вычислительной эффективностью, устойчивостью к преобразованиям и описательной точностью. Данный метод возник в ответ на потребность в алгоритмах, способных функционировать в условиях использования ограниченных ресурсов маломощных компьютеров и даже мобильных телефонов.

Метод ORB интегрирует два ключевых компонента: модифицированный детектор особых точек FAST, дополненный механизмом оценки ориентации, и адаптированный дескриптор BRIEF, преобразованный для обеспечения инвариантности к вращению.

BRIEF формирует бинарный дескриптор путем последовательного сравнения заранее определенных пар пикселей в окрестности особой точки, генерируя компактную битовую строку, которая представляет собой последовательность из нулей и единиц. Однако произвольное вращение изображения вызывает смещение пространственного расположения тестовых пар относительно локальных особенностей изображения, что приводит к существенному ухудшению повторяемости дескриптора.

Метод ORB решает эту проблему за счет введения ориентационного компонента, вычисляемого для каждой особой точки. Полученный угол ориентации используется для аффинного преобразования координат тестовых пар в соответствии с локальной системой координат особой точки. Технически это реализуется через предварительно рассчитанную таблицу повернутых координатных шаблонов, что позволяет избежать ресурсоемких вычислений в реальном времени. Для минимизации избыточности применяется метод машинного обучения, основанный на поиске наименее коррелированных пар пикселей. Это позволяет создать компактный дескриптор, сохраняющий устойчивость к шуму и геометрическим искажениям. Типичный исход сопоставления, выполненного с помощью алгоритма ORB на реальных снимках, представлен на рис. 1.

Определение ориентации особых точек методом FAST

Этот метод сопоставления особых точек, обнаруживаемых при помощи алгоритма FAST, получил широкое распространение благодаря вычислительной эффективности. Существенным недостатком данного подхода является отсутствие информации об ориентации этих точек. В данном разделе представлена методика эффективного определения ориентации особых точек, позволяющая устранить упомянутый недостаток и расширить возможности последующей обработки изображений.

Детектор FAST. Исходным этапом является детектирование точек FAST на изображении. Алгоритм FAST использует один параметр – порог интенсивности (минимальная разница яркости между центральным пикселем и пикселями в круговой области радиуса), который определяет, будет ли центральный пиксель считаться особой точкой. Этот параметр напрямую влияет на скорость работы алгоритма, обеспечивая высокую производительность.

Поскольку FAST не оценивает угловатость – меру, характеризующую принадлежность точки к пересечению двух или более границ, и реагирует на любые резкие перепады яркости, на некоторых снимках это приводит к избыточному количеству особых точек, снижая их информативность для задач сопоставления. Для решения этой проблемы особые точки ранжируются с использованием меры Харриса [1], которая определяется по формуле (1):

гдe Ix и Iy —производные яркости по осям x и y; w(x,y) – весовая функция.

Собственные значения 𝜆 1 и 𝜆 2, матрицы M определяют тип области:

— большие значения обоих 𝜆 – точка является угловой;

— одно большое значение 𝜆, другое близко к нулю – край объекта;

— оба значения 𝜆 малы – однородная область.

Ключевые точки ранжируются по функции отклика Харриса (2):

где k – эмпирический коэффициент (типовые значения: 0,04–0,06). Чем выше значение R, тем более выражена угловатость.

Для получения целевого числа точек сначала устанавливается низкий порог детектирования, после чего отобранные точки упорядочиваются по мере Харриса, и выбираются точки с наивысшими значениями.

Определение ориентации через центроид интенсивности

Определение ориентации особых точек в алгоритмах компьютерного зрения основано на анализе распределения интенсивности пикселей в локальной области изображения [2]. Для этого используются геометрические моменты – математические характеристики, количественно описывающие пространственное распределение яркости. Геометрические моменты изображения выбранной области определяются по следующей формуле (3):

где I– яркость (интенсивность пикселя); x, y – координаты пикселя; p и q – весовые коэффициенты, зависящие от положения пикселя.

Нулевой момент соответствует суммарной яркости области, а первые моменты и характеризуют смещение яркости вдоль осей x и y.

Центроид интенсивности – точка, в которой условно сосредоточена «масса» яркости. Координаты центроида вычисляются по формуле (4):

Эта формула аналогична расчету центра масс в физических системах: чем выше яркость пикселей в определенной зоне, тем в большей мере центроид смещен в ее сторону. Ориентация точки задается углом между геометрическим центром анализируемой области O и центроидом C. Этот угол вычисляется с помощью функции (5):

где arctg учитывает квадранты координатной плоскости, позволяя правильно определить направление вектора . Угол 0 отражает направление, в котором яркость изменяется наиболее резко, что делает его ключевым параметром для описания локальных особенностей изображения.

Для повышения устойчивости к вращению моменты рассчитываются в круговой области радиуса r, равного размеру анализируемой области. Последовательность точек для бинарных сравнений поворачивается в соответствие с углом ориентации особой точки. Пример такого поворота представлен на рис. 2.

Тестирование центроидного метода на синтетических данных (вращение плоскости + шумы) показало, что центроидный подход обеспечивает стабильную оценку ориентации даже при значительном уровне шума.

Вращательно-инвариантный BRIEF

В этом разделе представлена модификация дескриптора BRIEF, обеспечивающая инвариантность к вращению в плоскости. Сначала вводится концепция адаптации BRIEF с учетом ориентации ключевых точек, и анализируются ее ограничения. Затем предлагается метод машинного обучения для выбора некоррелированных бинарных тестов, формирующий улучшенный дескриптор rBRIEF.

Адаптация BRIEF к вращению

Дескриптор BRIEF [3] представляет собой бинарное описание области изображения, формируемое путем сравнения интенсивности пар пикселей. Для области изображения p каждый элементарный тест определяется как бинарная функция (6):

где p(x) и p(y) – интенсивность в точках x и y. Дескриптор формируется как битовая строка длины n, где каждый бит соответствует результату отдельного теста . Это выражается формулой (7):

что эквивалентно объединению битов в целое число, где позиция i-го бита кодирует результат сравнения i-й пары точек.

Для обеспечения инвариантности BRIEF к поворотам в плоскости предлагается осуществить управляемое вращение дескриптора в соответствии с ориентацией особых точек. Любой набор признаков из n бинарных тестов в области ( будет задан матрицей S размером 2×n (8):

Исходный набор координат ( умножается на матрицу поворота , из чего формируется вращаемый набор точек (9):

Это преобразование обеспечивает адаптированность дескриптора к ориентации ключевой точки, сохраняя его информативность при вращении изображения. Тогда вращаемый дескриптор определяется формулой (10):

Дисперсия битовых признаков в дескрипторе BRIEF

Важным свойством дескриптора BRIEF является то, что каждый его битовый признак имеет высокую дисперсию при среднем значении, близком к 0,5. Дисперсия – показатель того, в какой мере значения признака меняются между разными образцами. Среднее значение около 0,5 означает, что бит примерно поровну принимает значения 0 и 1, что обеспечивает максимальную дисперсию (максимальная дисперсия для бинарного признака равна 0,25). Такая ситуация является крайне благоприятной, поскольку способствует высокой различимости разных объектов.

Однако когда BRIEF ориентируют в соответствии с направлением особой точки (вращаемый BRIEF), распределение средних значений битов смещается, и дисперсия снижается. Это происходит потому, что ориентированные особые точки создают более однородные условия для бинарных тестов, из-за чего признаки становятся менее разнообразными.

Высокая дисперсия повышает дискриминативность – способность признаков выделять разные объекты. Кроме того, важно, чтобы бинарные тесты были некоррелированными, то есть не повторяли друг друга, чтобы каждый тест вносил уникальную информацию.

Обучение оптимальных бинарных признаков

Для компенсации потери дисперсии во вращаемом BRIEF применяется «жадный» алгоритм отбора. В качестве тренировочного набора используются 100 тысяч особых точек, взятых из базы изображений. Каждая особая точка представляет собой область изображения размером 31×31 пиксель. Внутри этих областей рассматриваются все возможные бинарные тесты, формируемые путем сравнения двух участков размером 5×5 пикселей. Таким образом, каждый тест – это пара таких участков, расположенных в разных зонах области изображения 31×31.

Поскольку возможных пар участков 5×5 много, сначала исключаются те тесты, у которых эти участки пересекаются. Это делается во избежание переизбытка информации и повышения качества признаков. После описанных действий остается примерно 35 тысяч уникальных бинарных тестов.

Далее все оставшиеся тесты оцениваются по тому, насколько близко среднее значение результатов теста к 0,5. Как уже упоминалось, это значение обеспечивает максимальную дисперсию, а значит, и высокую информативность. Все тесты сортируются по этому критерию, формируя упорядоченный список – вектор .

Затем применяется «жадный» алгоритм отбора: первый тест из автоматически добавляется в итоговый набор. Каждый следующий тест из сравнивается с уже выбранными тестами в итоговом наборе по степени корреляции, то есть определяется, в какой степени результаты тестов похожи друг на друга. Если корреляция с любым из выбранных тестов превышает заранее установленный порог, новый тест отбрасывается во избежание избыточности. Если корреляция ниже порога, тест добавляется в итоговый набор.

Этот процесс продолжается до тех пор, пока в итоговом наборе не окажутся 256 тестов – именно столько битов составляют длину дескриптора rBRIEF. Если на каком-то этапе оказывается, что подходящих тестов недостаточно, порог корреляции постепенно повышается, и поиск продолжается заново, чтобы расширить выбор.

В результате такой тщательной и последовательной селекции формируется набор бинарных тестов, которые обладают высокой дисперсией и низкой корреляцией. Это позволяет дескриптору rBRIEF значительно превзойти вращаемый BRIEF по качеству признаков – он лучше различает объекты и устойчив к поворотам и шумам.

Оценка эффективности метода ORB

В этой части работы проводится оценка эффективности двух методов – oFAST и rBRIEF, интегрированных в единый комбинированный алгоритм ORB. Для оценки использовались два набора изображений: первый набор – изображения с искусственным поворотом в плоскости и искусственно добавленными шумами, а второй – реальные фотографии интегральных микросхем, сделанных под разными ракурсами. Примеры снимков из обоих наборов изображений представлены на рис. 3, где синим цветом обведена группа снимков из первого набора, а красным – из второго. Для каждого изображения вычислялись ключевые точки с помощью oFAST и соответствующие дескрипторы rBRIEF, после чего осуществлялось полное переборное сопоставление дескрипторов для поисков наилучших соответствий.

На синтетическом наборе с добавленным шумом классический BRIEF резко теряет качество после поворота более 5°, тогда как у ORB – наивысшая точность, при которой достигаются 80% правильных совпадений. Более того, ORB имеет высокую устойчивость к появлению шумов на изображении. Таким образом, у ORB – высокая точность и устойчивость к поворотам и шуму, что делает его эффективным инструментом для некоторых задач визуального контроля качества изделий с использованием компьютерного зрения. Экспериментальные исследования подтвердили, что ORB способен эффективно работать на малопроизводительных устройствах, сохраняя качество сопоставления на уровне классических методов. Отличительной чертой ORB является его открытая лицензионная модель, устраняющая юридические барьеры для внедрения в коммерческие продукты.

Таким образом, ORB предлагает альтернативу ресурсоемким алгоритмам и открывает новые возможности для разработки интеллектуальных систем контроля качества, функционирующих в условиях жестких ограничений по энергопотреблению и вычислительной мощности.

Масштабируемое сопоставление бинарных признаков

В этом разделе демонстрируется превосходство нового алгоритма ORB в задачах поиска наиболее похожих объектов при работе с крупными базами изображений. Ключевым преимуществом ORB является его способность сохранять информативность признаков даже при значительном разбросе данных.

Адаптация метода LSH для rBRIEF

Поскольку rBRIEF является бинарным дескриптором, он идеально адаптирован для поиска похожих объектов с использованием метода локально-чувствительного хеширования LSH [4]. LSH является алгоритмом, группирующим данные в хэш-таблицы. Каждая такая таблица распределяет дескрипторы по сегментам на основе их субсигнатур – коротких фрагментов битовой последовательности. При поиске совпадений проверяются только те дескрипторы, которые попадают в те же сегменты хэш-таблицы, что и запрос, благодаря чему сокращается число сравнений.

Для повышения эффективности применяется многозондовый (multi-probe) LSH [5], анализирующий не только точное совпадение субсигнатур, но и их ближайшие варианты. Это позволяет снизить количество хэш-таблиц, смягчить требования к памяти, а также ускорить поиск благодаря использованию более длинных субсигнатур, сократив размер сегментов.

Выводы

Приведены результаты исследования авторов в работах по повышению эффективности анализа ключевых особенностей изображений путем применения бинарного дескриптора ORB в задачах автоматизированного визуального контроля качества изделий микроэлектроники. Комбинированный метод (КМ) ORB, объединяющий модифицированный детектор oFAST с вращательно-инвариантным дескриптором rBRIEF, обеспечивает высокую устойчивость к геометрическим преобразованиям и воздействию шумов, сохраняя при этом вычислительную эффективность и качество сопоставления на уровне классических методов. Практическая значимость работы подтверждена успешным внедрением КМ ORB в системы контроля качества, функционирующих на предприятиях электронной промышленности. АПАК разработан специалистами АО «ЦКБ «Дейтон», установлен и эксплуатируется на ряде предприятий отрасли, приносит существенный экономический эффект, в том числе с использованием особых ключевых точек в комбинированном методе ORB.

Одной из проблем, которую мы планируем рассмотреть в следующих публикациях, является анализ дефектов на объектах сложной формы или при неортогональной съемке. Хотя мы используем устойчивый к вращению и шуму дескриптор КМ ORB, мы не исследовали компенсацию проективных искажений, важную для точного сравнения с эталоном. Будущая работа также включает в себя разработку подхода на основе гомографии для коррекции перспективы и точного совмещения изображений, что может существенно улучшить надежность автоматизированного контроля геометрических параметров дефектов.