Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 8. Автоматизированный визуальный контроль качества изделий микроэлектроники с использованием метода гомографии

Оформить подписку на журнал «Электронные компоненты»

Введение

Статья посвящена проведенным исследованиям в области поиска дефектов на изделиях микроэлектроники с помощью метода гомографии. Изображения, полученные с разных точек обзора или с использованием разных устройств, часто имеют значительные геометрические и фотометрические различия, обусловленные такими факторами, как вариативность окружающей среды, различия в технологии камер и нестабильность условий съемки. В условиях постоянного усложнения изделий микроэлектроники и ужесточения требований к качеству их производства актуальной задачей является совершенствование автоматизированного контроля. Для решения этой проблемы предложен метод, основанный на сопоставлении ключевых признаков эталонного и тестируемого изображений с использованием гомографии. Гомографическая трансформация позволяет компенсировать геометрические искажения и точно выровнять изображения. Эксперименты подтвердили высокую точность и эффективность предложенного подхода в обнаружении дефектов на корпусах интегральных микросхем.

Краткий обзор предшествующих подходов и гомографии

Постоянное усложнение изделий микроэлектроники предъявляет все более жесткие требования к точности и надежности методов автоматизированного поиска дефектов. Изображения изделий, полученные с разных точек обзора или с помощью разного оборудования, могут иметь значительные геометрические и фотометрические различия, обусловленные такими факторами, как изменчивые условия окружающей среды, неоднородность характеристик камер и нестабильность условий съемки. Подобная вариабельность существенно затрудняет сравнение таких изображений и распознание объектов на них. Для решения этой проблемы применяются разные методы обработки изображений: регистрация изображений [1–2], цветовая коррекция [3] и оценка гомографии [4]. Среди перечисленных методов последний представляет наибольший интерес благодаря способности моделировать геометрические проективные соотношения между изображениями.

К числу основных моделей геометрических проективных преобразований относятся проективные преобразования, учитывающие перспективные искажения, жесткие преобразования, сохраняющие неизменность геометрии объекта, и аффинные преобразования, сохраняющие параллельность линий и соотношения расстояний между точками. Жесткие и аффинные преобразования годятся лишь для ограниченного класса деформаций и незначительных изменений перспективы. Проективное преобразование, в свою очередь, представляет собой более общую и сложную модель, учитывающую широкий диапазон изменений точки обзора и перспективных искажений. Задача оценки гомографии заключается именно в определении проективного преобразования, связывающего два изображения. Применение этого преобразования позволяет эффективно идентифицировать и компенсировать геометрические расхождения между изображениями, что способствует повышению точности их регистрации. Основу метода составляет матрица гомографии, описывающая такие геометрические изменения, как вращение, перенос, масштабирование и проективное искажение [5–6].

Эволюция технологий и прикладных требований привела к осознанию того, что обработка исключительно однородных изображений является недостаточной. Это порождает не только проблему геометрических расхождений, но и вводит дополнительные фотометрические различия, обусловленные спецификой сенсоров или способом получения изображения. Таким образом, оценка гомографии сформировалась в самостоятельное, важное и сложное направление исследований, изучению которого и посвящена данная статья.

Основная часть

1. Преобразование изображений на основе гомографии

В этом разделе вводится принцип гомографии, демонстрируется базовая процедура вычисления матриц гомографии, а также приводятся две формы представления матриц. Первая – классическая матрица 3×3, используемая для преобразований в однородных координатах. Вторая – аналитическое представление через параметры камеры и внешние параметры.

1.1. Принцип гомографии

Гомографическое преобразование изображений обычно определяется как проекционное отображение между изображениями одного плоского объекта, полученными с разных позиций двумя камерами без оптического искажения (дисторсии) объективов [7], как показано на рис. 1.

Для представления гомографического преобразования между двумя изображениями обычно используется матрица гомографии H, которая определяется выражением (1):

где [h11, h12, h21, h22], [h13, h23] и [h31, h32] – аффинное преобразование, трансляция (перенос) и перспективное преобразование между изображениями, соответственно. Кроме того, преобразование координат между соответствующими точками двух изображений выражается формулой (2):

где (x, y, 1) – однородные координаты характерной точки в первом изображении; (,, 1) – однородные координаты соответствующей точки во втором изображении; H – матрица гомографии. Раскрыв уравнение (2), получим (3):

Далее, подставляя третье выражение в первые два, получим (4):

Далее, умножая на знаменатель и перенося все члены уравнений в правую часть, получим (5):

Переписав уравнение (5) в матричной форме Ah = 0, получим (6):

где h = – девятимерный вектор-столбец.

Матрица гомографии H является однородной матрицей 3×3. Ее последний элемент обычно нормализуется к единице, что оставляет матрице только восемь степеней свободы. Для решения системы относительно матрицы гомографии необходимы пары соответствующих точек. Каждая пара совпадающих точек порождает два линейных уравнения. Следовательно, для вычисления матрицы гомографии между двумя изображениями требуется не менее четырех пар соответствующих точек [8]. Однако на практике из-за ошибок координат, вызванных шумом на изображениях, обычно используется более четырех пар точек.

1.2. Представления матрицы гомографии

Представление матрицы гомографии может быть реализовано двумя способами: посредством параметризации по четырем точкам и с использованием гомографического потока. В настоящем разделе оба подхода рассматриваются детально и независимо друг от друга.

1.2.1. Параметризация по четырем точкам

Поскольку матрица гомографии имеет восемь степеней свободы, нахождение четырех пар соответствующих точек между изображениями позволяет ее вычислить. Однако в методах оценки гомографии на основе глубокого обучения нецелесообразно использовать нейронные сети для того, чтобы напрямую предсказывать все числа в матрице 3×3, поскольку результат окажется неточным. Это связано с тем, что параметры внутри матрицы гомографии имеют разную смысловую нагрузку. Параметры [h11, h12, h21, h22] описывают вращение и масштабирование аффинного преобразования, [h13, h23] – трансляцию (перенос), а [h31, h32] – перспективное преобразование между изображениями. Значения параметров вращения обычно значительно ниже значений параметров переноса, что создает затруднения в согласовании их влияния при подборе оптимальных значений. Кроме того, невозможно гарантировать, что предсказанная матрица преобразований H будет математически корректной.

Для решения указанных проблем в методах находит широкое применение оценка гомографии на основе глубокого обучения применительно к изделиям микроэлектроники по четырем точкам [9]. Матрица гомографии в параметризованной по четырем точкам форме H4 выражается следующим образом (7):

где (xi, yi) и (– соответствующие точки между двумя изображениями; Δxi = и Δyi = представляют собой смещения по горизонтальной и вертикальной координатам для соответствующих точек.

Параметризованная четырьмя точками форма матрицы гомографии H4 и стандартная форма матрицы 3×3 H эквивалентны, однако форма с параметризацией по четырем точкам предпочтительнее для обучения нейронных сетей и обеспечения их корректной работы. Форма матрицы H4 преобразуется в стандартную матрицу гомографии с помощью алгоритма прямого линейного преобразования, как показано на рис. 2.

1.2.2. Параметризация гомографического потока

Гомографический поток характеризуется как специализированная форма оптического потока с размерностью H×W×2, подчиненная гомографическим ограничениям. Оптический поток – это представление видимого движения объектов, поверхностей или краев сцены, которое возникает в результате относительных перемещений между камерой и сценой; по сути, это векторное поле, показывающее, как каждая точка изображения смещается между двумя последовательными кадрами.

Основная концепция рассматриваемого подхода заключается в генерации восьми базисов потока (предварительно рассчитанных эталонных шаблонов смещения пикселей, каждый из которых соответствует изменению одного конкретного параметра гомографии) путем последовательного изменения элементов одной матрицы гомографии, что дает восемь матриц гомографии. Каждая матрица преобразуется в карту потока – двумерное поле векторов, где каждый вектор указывает смещение соответствующей точки изображения при гомографическом преобразовании относительно ее исходных координат. Это дает восемь базисов гомографического потока и позволяет реконструировать гомографические потоки Hab путем обучения комбинации весов в пространстве, натянутом на указанные базисы потока. Поскольку поток ограничен гомографией, результирующий поток (конкретное поле смещений пикселей между двумя изображениями, которое требуется смоделировать или предсказать) находится в восьмимерном подпространстве внутри 2HW-мерного пространства оптического потока. Следовательно, его можно представить восемью положительными ортогональными базисами, порождающими это подпространство, как показано в формуле (8):

где hab – результирующий гомографический поток, развернутая версия матрицы гомографии 3×3, представленная в виде одного длинного вектора; hi – базисы потока; wi – веса (коэффициенты), определяющие вклад каждого базисного вектора в результирующий поток.

Для получения ортогонального базиса потока генерируются восемь матриц гомографии путем изменения каждого элемента hi единичной матрицы гомографии за исключением элемента в позиции (3,3), который всегда нормализуется к 1. Затем, при заданных координатах изображения, матрицы гомографии могут быть преобразованы в карты гомографического потока путем трансформации координат изображения и вычитания их исходных позиций. После этого восемь гомографических потоков нормализуются по их максимальной амплитуде потока и подвергаются QR-разложению в соответствии с формулой (9):

где M – матрица, каждый столбец которой представляет собой нормализованную гомографическую развертку потока Hi, полученную описанным выше способом; R – матрица преобразования; – обозначение пространства вещественных матриц размерности m×n; Q – матрица, столбцы которой с помощью QR-разложения становятся ортогональными и формируют базисы потока, порождающие гомографическое подпространство Q = {h1, h2,… h8}. Это значит, что каждый базис потока ассоциирован с касательным пространством в начале группы гомографии. Конечный предсказанный гомографический поток достигается путем точного предсказания весов wi каждого из восьми базисов потока. Соответствующий процесс представлен на рис. 3.

2. Алгоритм обнаружения дефектов

После того как изображения были выровнены с использованием метода гомографии, следующий шаг состоит в непосредственном выявлении дефектов. Это ключевая часть визуального контроля, где мы фактически определяем, имеются ли на изображениях отклонения от нормальных условий. Для этого применяется подход, основанный на анализе разности между двумя видами изображений проверяемых изделий: эталонными и тестируемыми (теми, на которых могут быть дефекты). После выделения различий осуществляется их сегментация, фильтрация – отсеивание объектов, полученных на этапе сегментации, которые не являются дефектами (ложные срабатывания), и классификация.

2.1. Получение разностного изображения

Первым шагом является получение разностного изображения. Чтобы выявить отклонения между эталонным и тестируемым изображениями, необходимо вычислить модуль разности значений интенсивности (яркости) каждого пикселя на эталонном изображении и соответствующего пикселя на тестируемом изображении (10):

где D(x,y) – значение разности для пикселя (x,y); Iтест(x,y) – интенсивность пикселя на тестовом изображении; Iэталон(x,y) – интенсивность пикселя на эталонном изображении.

Значения разности показывают, насколько различаются изображения в каждой точке. В местах с дефектами разница значительная, поскольку дефект влияет на яркость и цвет, а в местах, где дефект отсутствует, разница минимальная.

2.2. Подавление шумов и пороговая обработка

На этапе анализа разностного изображения важной задачей является устранение шумов. Для снижения количества ложных срабатываний применяется комбинированный подход к подавлению шумов с использованием медианной и гауссовой фильтрации.

Медианная фильтрация представляет собой нелинейный фильтр, в котором значение каждого пикселя заменяется медианой значений в его локальной окрестности. Такая операция эффективно устраняет одиночные выбросы яркости, характерные для так называемого «шума соли и перца» – формы шума, которая проявляется в виде случайно распределенных белых и черных пикселей. В отличие от линейных фильтров, медианная фильтрация не размывает края объектов, что особенно важно в задачах точной локализации дефектов.

Метод фильтрации Гаусса более чувствителен к локальным изменениям фона и эффективно устраняет равномерный шум, сглаживая мелкие колебания яркости. Ядро фильтра дает наибольший вес пикселям, расположенным близко к центру, и меньший вес – отдаленным пикселям, обеспечивая мягкое сглаживание без резких переходов. Применение подобной фильтрации уменьшает шум фонового характера, однако оно сопровождается размытием границ и, в случае избыточного сглаживания, может снижать точность выделения мелких дефектов.

Практика показала, что наибольшую эффективность в условиях комбинированных шумов (наличия как отдельных ярких выбросов, так и фоновых искажений) дает последовательное применение обеих фильтраций: сначала медианной, затем – гауссовой. Медианная фильтрация удаляет резкие одиночные всплески яркости, не влияя на форму объектов, после чего гауссов фильтр сглаживает фоновые вариации, сохраняя целостность крупных структур. Такое последовательное подавление шумов обеспечивает оптимальное качество разностного изображения перед пороговой обработкой.

После фильтрации выполняется пороговая сегментация, направленная на выделение значимых различий между изображениями. На этапе сегментации каждое значение разностного изображения сравнивается с заданным порогом T: если значение разности в пикселе превышает порог, пиксель маркируется как потенциальный дефект; в противном случае он считается фоновым и исключается из дальнейшего анализа. Эта операция описывается формулой (11):

где M(x,y) – бинарная маска потенциальных дефектов; D(x,y) – значение разности для пикселя (x,y).

При стабильных условиях освещения применяется глобальный порог, одинаковый для всего изображения. Однако в случае нерегулярного освещения или сложного фона предпочтение отдается адаптивной пороговой фильтрации, при которой порог T(x,y) определяется индивидуально для каждой области изображения на основе средней яркости в окрестности. Это позволяет повысить чувствительность к локальным дефектам, не увеличив количество ложных срабатываний, вызванных нерегулярным фоном.

2.3. Анализ и классификация дефектов

По завершении этапов фильтрации и пороговой сегментации формируется бинарная маска, содержащая потенциальные области браков. Поскольку не все выделенные участки являются браком, следующим критически важным шагом является аналитическая обработка и классификация дефектов на изображении. Цель данного этапа – отделить изображения действительно бракованных изделий от изображений с допустимыми дефектами.

Каждый выделенный контур, представляющий собой связанный компонент в бинарной маске, подвергается геометрическому анализу.

Для каждой области вычисляется набор метрик, отражающих ее размер и положение на изображении:

1. Площадь – количество пикселей внутри дефектной области. За счет калибровки по масштабу камеры площадь может быть пересчитана в физические единицы измерения.

2. Периметр – длина замкнутой границы объекта.

3. Координаты центра масс – средневзвешенные координаты объекта, определяющие его положение на изображении.

4. Соотношение сторон – отношение ширины к высоте ограничивающего

прямоугольника. Используется для классификации линейных и точечных дефектов.

На основании полученных геометрических характеристик осуществляется фильтрация малозначимых объектов и предварительная классификация. Области с площадью ниже установленного порога Smin отбрасываются как некритичные. Чтобы разделить дефекты на категории по типу, применяется сверточная нейронная сеть, обученная на размеченных наборах изображений для автоматического определения того, является обнаруженный объект трещиной, раковиной, грязевым налетом или дефектом другого типа.

3. Результаты исследования

В этом разделе представлены результаты практической апробации поиска дефектов на изделиях микроэлектроники с помощью метода гомографии. Экспериментальные исследования проводились на реальных образцах корпусов интегральных микросхем для оценки точности гомографического выравнивания и эффективности обнаружения дефектов. Полученные данные включают количественные метрики и анализ влияния разных факторов на качество контроля, что позволяет объективно оценить применимость предложенного метода в промышленных условиях.

3.1. Исходные данные и средства проведения исследования

В качестве объекта исследования использовались корпуса интегральных микросхем. В системе визуализации использовалась камера с разрешением 1920×1080 пикселей с возможностью увеличения до двухсот крат. Для обеспечения стабильного освещения применялось кольцевое светодиодное освещение с регулируемой интенсивностью, что позволило имитировать разные условия освещенности. Реализация алгоритма была выполнена на высокоуровневом языке программирования Python с использованием библиотек компьютерного зрения OpenCV и фреймворка глубокого обучения PyTorch.

В ходе экспериментальных исследований был сформирован репрезентативный набор данных, включающий в себя 700 годных и 300 изделий с браком. Для объективности оценки каждое изображение сопровождалось точной разметкой, выполненной тремя экспертами с использованием микроскопа, что позволило создать эталонный набор данных.

3.2. Оценка точности гомографического выравнивания

Основной метрикой оценки послужила ошибка репроекции RE, вычисленная как среднее евклидово расстояние между положениями ключевых точек после гомографической трансформации и их истинным положением на эталонном изображении. Евклидово расстояние рассчитывается по формуле (12):

где , – координаты i-й точки после гомографического преобразования; , – координаты i-й точки на эталонном изображении; N – количество контрольных точек, использованных для оценки.

В ходе 100 тестовых запусков предложенный метод на основе параметризации с четырьмя точками показал среднюю ошибку репроекции 0,9 пикселя, что существенно ниже результатов подхода с использованием ORB, где аналогичный показатель составил 3,2 пикселя. Важным преимуществом предложенного метода является его стабильность при разных условиях съемки и освещения: при изменении угла камеры до 15° ошибка не превысила 1,5 пикселей, при 25° наблюдалось закономерное увеличение погрешности до 2,8 пикселей, а при изменении уровня освещенности погрешность не превысила 1,8 пикселя.

3.3. Результаты обнаружения и классификации дефектов

На этапе обнаружения дефектов ключевым показателем эффективности стала полнота выявления, которая достигла 89,3%. При этом удалось минимизировать количество ложных срабатываний до 2,5% благодаря двухэтапной фильтрации: медианный фильтр эффективно устранял точечные шумы типа «соль – перец», а последующее применение фильтра Гаусса подавляло фоновые помехи без размытия границ дефектов. Классификация обнаруженных дефектов проводилась с помощью специально обученной сверточной нейронной сети, общая точность которой составила 91% на тестовой выборке.

3.4. Ограничения метода и направления совершенствования

Несмотря на высокие показатели эффективности, в ходе тестирования были выявлены некоторые ограничения предложенного подхода. Основное ограничение связано с анализом компонентов со сложной текстурой поверхности или глянцевыми покрытиями, создающими блики. В таких случаях наблюдалось существенное увеличение ложных срабатываний. Кроме того, снижение точности метода произошло при работе с сильно поврежденными образцами, где была нарушена геометрия опорных точек, необходимых для расчета гомографии.

Выводы

Эта статья демонстрирует высокую эффективность применения гомографических преобразований для решения задачи автоматизированного визуального контроля качества изделий микроэлектроники. Подход, основанный на точном геометрическом выравнивании эталонного и тестируемого изображений посредством оценки матрицы гомографии, позволил преодолеть проблемы, связанные с вариативностью условий съемки, включая изменения точки обзора, параметров камеры и освещенности.

Предложенный алгоритм обнаружения дефектов, базирующийся на анализе разностного изображения после гомографического выравнивания, доказал свою практическую значимость. Комбинированное использование медианной и гауссовой фильтрации для подавления разнотипных шумов в сочетании с адаптивной пороговой сегментацией обеспечило высокую полноту детектирования при минимизации ложных срабатываний. Точность категоризации последующей классификации дефектов с использованием сверточной нейронной сети составила 91%, что свидетельствует о применимости метода для контроля качества изделий микроэлектроники и его высокой потенциальной возможности совершенствования и применения.