Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта

В отечественном производстве изделий электронной техники (ИЭТ) с автоматизированным программно-аппаратным комплексом (АПАК) визуального поиска дефектов на нескольких предприятиях применяется система машинного зрения с технологией искусственного интеллекта для изделий электронной техники (ИЭТ) – корпусов микросхем, пластин для производства микросхем и т.д. (см. ЭК №№2–12, 2025, 1–3, 5, 2026). При таком подходе растет производительность труда и выход годных изделий, повышается репутация предприятия. В этой части статьи описан алгоритм обнаружения дефектов на печатных платах.

 

 

Введение

Производство печатных плат (ПП) является важнейшим направлением в электронной промышленности. В изделиях микроэлектроники ПП – это высокоплотная коммутационная подложка для монтажа изделий электронной техники, обеспечивающая миниатюризацию, эффективный теплоотвод и электрическую связь. В радиоэлектронной аппаратуре (РЭА) ПП является основой для соединения ИЭТ. Функциональность ПП в значительной степени зависит от ее качества и надежности. Поскольку дефектная ПП может привести к нежелательному поведению РЭА и стать причиной отказа, контроль над ее качеством является важнейшим процессом в электронной промышленности. Цель контроля – обеспечить 100-% качество ПП. Ее достижение является наиболее затратным этапом производства. Оптическая инспекция печатных плат – важнейший процесс в электронной промышленности для обеспечения качества и надежности продукции, снижения производственных затрат и увеличения объемов производства.

Инспекция печатных плат включает в себя обнаружение дефектов и их классификацию для определения причин возникновения. В статье представлены результаты разработки и исследований алгоритма обнаружения дефектов и их классификации специалистами АО «ЦКБ «Дейтон». Алгоритм состоит из пяти этапов: предварительная обработка, извлечение признаков, сегментация изображений, обнаружение и классификация дефектов. Алгоритм позволяет выполнять контроль при повороте, масштабировании и смещении захваченного изображения относительно шаблона, что делает его инвариантным к трансформации изображения. Новизна алгоритма заключается в его устойчивости к анализу разных форм и степени сложности дефектов. Алгоритму требуется 10 с для проверки изображения ПП размерами 100×100 мм 3-го класса точности. Эффективность предложенного алгоритма подтверждена экспериментами на разных изображениях ПП, которые показали, что он подходит для автоматической оптической проверки ПП.

 

Основная часть

Традиционно визуальная инспекция ПП осуществляется специалистами для обнаружения и классификации дефектов. Этот трудоемкий и чреватый ошибками традиционный ручной процесс контроля занимает много времени. Кроме того, результаты контроля могут различаться от человека к человеку из-за различий в остроте зрения и т.д. Проблему контроля качества можно решить с помощью технологий компьютерного зрения (КЗ), глубокого обучения (ГО) и нейронных сетей (НС). Для ускорения и повышения надежности процесса контроля над качеством ПП специалисты АО «ЦКБ «Дейтон» разрабатывают и применяют АПАК – роботизированные комплексы оптической инспекции изделий.

Функционирование АПАК можно разделить на три приема: референтный, нереферентный и гибридный.

В референтном приеме исходное изображение ПП сравнивается с ее шаблонным изображением для обнаружения дефектов. Нереферентный прием основан на правилах проектирования. Он проверяет, соответствует ли конструкция ПП заданным правилам. Однако недостатком нереферентного приема является то, что он не способен идентифицировать дефекты в их искаженном виде. Гибридный прием представляет собой комбинацию референтного и нереферентного способов. Недостатком гибридного метода является его более высокая вычислительная сложность.

Работа АПАК [1] достигается путем применения следующих методов для обнаружения дефектов ИЭТ:

1) использование индексов дефектов, основанных на их типе и повторяемости;

2) анализ признаков свойств дефектов для их классификации по определенным группам, с несколькими дефектами в группе;

3) применение опорных векторов SVM (Support Vector Machine), c помощью которых проводится ГО, и использование признаков предполагаемых дефектов;

4) вычисление градиента серого края изображения ПП для классификации дефектов по определенным классам;

5) классификация дефектов по определенным классам с помощью нереферентного приема. Однако ограничением такого подхода является то, что он классифицирует только один дефект на изображении.

Классификация дефектов так же важна, как и обнаружение дефектов. Она является важным основанием для определения причин дефектов.

В данном исследовании мы описываем референтный способ для обнаружения и классификации дефектов ПП на все возможные классы. Разработанный алгоритм состоит из следующих пяти этапов: предварительная обработка, извлечение признаков, сегментация изображений, обнаружение и классификация дефектов. Мы подробно описываем метод предварительной обработки изображений для устранения вариаций в захваченном изображении, к которым относятся вращение, масштабирование и смещение, относительно шаблонного изображения той же ПП для уменьшения шума и улучшения детализации изображения. Для пояснения этапов извлечения признаков, сегментации изображения, обнаружения и классификации дефектов на рис. 1 представлена структурная схема разработанного алгоритма.

 

 

 

Предварительная обработка изображений 

Изображение инспектируемой ПП может иметь вариации в виде вращения и смещения относительно шаблона. Их можно устранить с помощью методов предварительной обработки изображений. Структурная схема предварительной обработки изображений показана на рис. 2. Тестовое изображение и изображения-шаблоны преобразуются в оттенки серого с помощью метода, описанного уравнением (1) с коэффициентами, полученными опытным путем.

 

 

Уровень серого = 0,299R + 0,587G + 0,114B, (1)

 

где R, G и B – красный, зеленый и синий каналы в цветном изображении.

 

Полученные изображения ПП могут содержать шум. Кроме того, эти изображения могут иметь большие колебания уровней интенсивности из-за различных условий освещения, что приводит к ошибкам в обнаружении дефектов. Предварительная обработка удаляет шумы и улучшает детали изображения. К изображению применяется медианный фильтр для удаления импульсных шумов (изолированные яркие или темные точки на изображении — типа «соль и перец») и случайных резких выбросов – одиночных экстремальных значений (помех), сохраняя при этом четкие границы в ПП. Он также обеспечивает предотвращение «размытия» контуров.

После медианного применяется низкочастотный фильтр, который сглаживает данные, подавляет шумы. В обработке изображений он обеспечивает «размытие по Гауссу», делая переходы между пикселями более плавными, в отличие от других фильтров, лучше сохраняя границы объектов.

 

Извлечение признаков

Далее следует извлечение признаков из изображений шаблона и инспектируемого изображения. Поскольку этот процесс является наиболее трудоемким в алгоритме, для его ускорения используются специальные методы [2]. В табл. 1 показано время выполнения процесса извлечения признаков с помощью разных методов. Метод ускоренного сегментного тестирования (FAST) был выбран, поскольку он требует меньше времени для выполнения, чем другие.

Извлеченные признаки сопоставляются с использованием метрики суммы квадратов разностей (squared difference metric, SSD). Затем матрица геометрического преобразования оценивается на основе сопоставленных признаков с помощью m-оценочного консенсуса выборок (m-estimator sample consensus, MSAC).

 

Сегментация изображения

Цель сегментации изображения – разделить изображение на части для упрощения процесса анализа и поиска дефектов. Для исследуемых ПП применены три части (элемента конструкции): 1) печатный проводящий рисунок (ППР); 2) печатные контакты (ПК); 3) отверстия ОПП.

Фрагмент изображения исследуемой ПП представлен на рис. 3.

 

 

 

В предлагаемом методе мы используем метод пороговой обработки [9] гистограммы, за которым следуют математические морфологические операции для сегментации изображения ПП на указанные части. На рис. 4 показана нормализованная гистограмма изображения ПП (график распределения яркости пикселей, где значения по оси Y приведены к диапазону 0–1 как доли от общего числа пикселей).

 

 

 

Значения ППР и ПК получены с использованием верхнего и нижнего пороговых уровней, как показано в уравнениях (2) и (3), соответственно:

 

 

Обнаружение дефектов

 

Сегментированные изображения (ППР, ПК и ОПП) инспектируемых (ИПП) и шаблонных ПП (ШПП) могут отличаться друг от друга из-за наличия дефектов на изображении инспектируемой ПП. Таким образом, дефекты обнаруживаются путем вычитания изображений. Результаты вычитания могут иметь положительные (ПЗПП) или отрицательные значения (ОЗПП). Как показано в уравнении (4), положительные значения получаются путем вычитания сегментированных шаблонных изображений из соответствующих сегментированных инспектируемых изображений и наоборот для отрицательных, как показано в уравнении (5):

 

ПЗПП = ИПП – ШПП

ОЗППi = ШПП – ИПП,

 

где: i – ППР, ПК и ОПП. 

Неравномерная бинаризация краев также вызывает небольшие различия между тестовыми и шаблонными изображениями. Такие небольшие различия устраняются фильтрацией по областям.

 

Классификация дефектов

Связанные с ППР положительные и отрицательные дефекты показаны в табл. 2.

 

 

Центроид и максимальный радиус дефектов определяются по изображениям ПЗПП и ОЗПП. Для проверки границ дефекта из сегментированного изображения ППР ШПП вырезается квадратная область (длина стороны равна максимальному радиусу дефекта, центроид равен центроиду дефекта) КО. Структурная схема алгоритма классификации дефектов показана на рис. 5–6 для положительных и отрицательных дефектов, соответственно.

Положительные и отрицательные дефекты, связанные с контактными площадками для пайки, показаны в табл. 3. 

 

Литература