Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 4. Проверка качества порошковых материалов и микроструктур поверхностей

АПАК предварительно обрабатывает поверхности материалов с помощью компьютерного зрения (КЗ). Чтобы оптимизировать процесс и избежать необходимости обработки нейронной сетью всего изображения, что является ресурсоемким процессом и отнимает много времени, используется традиционная технология 2D/3D-зрения для выявления возможных дефектов на заданном участке поверхности, то есть для указания областей, требующих дальнейшего исследования.

Выбранные области затем передаются в нейронную сеть, обученную на большом количестве образцов, которая обрабатывает

изображение и присваивает ему оценку, определяющую соответствие

установленным нормативам.

Разработанный АПАК имеет следующий состав:

• компьютер с монитором;

• программное обеспечение (ПО) с инструкциями по обработке информации;

• база данных;

• набор данных с описанием дефектов;

• камера–микроскоп;

• камера для съемки QR- и штрих-кодов.

АПАК получает с помощью камеры–микроскопа информацию –изображение образцов для проверки качества. С помощью КЗ настраиваются параметры изображения. Подготовка изображений к количественному анализу и их математической обработке выполняется при помощи ПО, разработанного специалистами АО «ЦКБ «Дейтон».

Камера-микроскоп обеспечивает сьемку и передачу изображения поверхности материалов в видимом диапазоне с кратностью увеличения2–1000 и разрешением от 3 Мп.

АПАК содержит программные инструкции КЗ для обработки полученной с камеры–микроскопа информации. Описание дефектов и информация, полученная с этой камеры, обрабатывается, сравнивается, определяется наличие или отсутствие дефектов, дается оценка качеству исследуемых материалов.

Партия проверяемых материалов идентифицируется с помощью ее номера, который вводится вручную или с помощью камеры ввода QR- (штрих-) кода, что определяется выбором пользователей АПАК.

АПАК показывает изображение образца материала на экране компьютера, позволяя выбирать поле зрения, настраивать параметры и сохранять требуемые кадры в виде файлов изображений для последующего анализа. Предусмотрена возможность изменять масштаб просмотра изображений.

Для настройки получаемой с камеры информации в АПАК используется функционал настройки изображений, который описан в [1].

Для определения соответствия реального масштаба получаемым изображениям проводится калибровка АПАК. Процесс калибровки изображения описан в [2]. Масштаб устанавливается в системе сразу для всех загруженных изображений.

Описание дефектов материалов и ПО для их определения

Дефектом является каждое отдельное несоответствие исследуемых материалов требованиям, установленным нормативной документацией. Дефектами могут быть не только недопустимые нарушения поверхности для видимого диапазона их обнаружения, но и выход размера частиц материалов за пределы допуска, несоответствие степени шероховатости поверхности нормативам, наличие царапин и сколов на поверхности, содержание сторонних примесей и т. д. Как правило, структура материала не является идеально сплошной и представляет собой основной материал, на поверхности которого распределены примеси, а также дефекты, различающиеся размерами, формой и расположением.

В структуре материала наблюдаются дислокации и вакансии (искажения и несовершенства кристаллической решетки материала).

В микроструктуре – микротрещины и микропоры. В макроструктуре – трещины, раковины, расслоения, рыхлости и т. д.

В нормативной документации должны быть четко указаны предельные отклонения поверхности материалов от номинальных значений,при которых материал выполняет свои функции без изменения свойств.

Отклонение считается допустимым, если численное значение параметра дефекта не выходит за пределы, установленные нормативной документацией. Выход численного значения параметра дефекта за эти пределы означает, что материал имеет дефект.

ПО АПАК позволяет различать:

• критические отклонения, при наличии которых нельзя использовать материал по назначению, так как он не отвечает требованиямпо применению;

• значительные отклонения, которые влияют на использование материалов по назначению, но не являются критическими;

• малозначительные отклонения, которые существенно не влияют на использование материалов.

Поскольку критические и значительные отклонения считаются дефектами и браком, для их выявления контроль должен быть сплошным и в отдельных случаях – неоднократным. Малозначительные отклонения считаются дефектами, но не браком, но для некоторых материалов совокупности отклонений, каждое из которых является малозначительным, могут быть эквивалентными значительному или критическому отклонению.

Для измерения дефектов видимого диапазона разработаны средства, представленные внешним интерфейсом в разделе (вкладка «Пульт управления системой») «Измерение», что позволяет настроить идентификацию дефектов. Внешний интерфейс в разделе измерения дефектов с обозначением органов управления представлен в [2].

Представление полученных результатов подчиняется общей идеологией АПАК. Все промеры автоматически накапливаются в соответствующих базах данных. Для удобства пользователей какие-либо явные операция с файлами не выполняются. При необходимости начать промеры заново (при смене образца) достаточно нажать кнопку

«Очистить» для активной базы данных. На вкладку «Расчет» выносятся расчетные параметры, отмеченные пользователем в окне настроек. Например, для расчета зернистости материалов и распределения их по группам автоматически строится гистограмма распределения в стандартном представлении (рис. 2).

При необходимости интерпретации результатов гистограмму можно перестроить в соответствии с требуемым количеством интервалов и значениями их диапазонов. В состав ПО включено несколько настроек размерных групп, соответствующих стандартам по анализу качества структуры, инородных включений. Пользователь имеет возможность самостоятельно настроить размерные группы на основании требуемого стандарта и сохранить эти настройки для последующего использования.

Инструментарий ПО для определения дефектов материалов

Набор методов и фильтров, преобразованный в инструментарий ПО, существенно расширяет возможности АПАК и эффективно обеспечивает анализ поверхностей материалов. Цель применения методов и фильтров заключается в обработке первичного изображения, при которой результат оказывается более подходящим с точки зрения конкретного применения. Фильтры изображений работают путем выполнения математической операции над каждым пикселем с использованием окружающих его пикселей для получения результата.

Например, фильтр нижних частот (ФНЧ) изменяет значение каждого пикселя в изображении на среднее значение пикселя и пикселей в его окружении.

Инструментарий ПО АПАК основан на использовании масок фильтра. Фильтры позволяют либо улучшить изображение, отсеяв ненужные «шумы» и мелкие частицы, либо изменить его так, чтобы акцентировать на нем те или иные объекты, что позволяет сделать вывод о важности содержания изображений. В АПАК маска фильтра представляет собой двумерную систему, элементы которой симметрично окружают рабочую точку. Коэффициенты системы выбираются таким образом, чтобы обеспечить требуемое преобразование первичного изображения. Для демонстрации этого подхода двумерная система размерностью 3½3 для пикселя c координатами x и y показана на примере таблицы.

Если величины w1, w2, …, w9 представляют собой коэффициенты, маски пикселя (x, y) и его восьми соседей, то алгоритм можно представить как выполнение следующей операции в окрестности 3½3 точки x, y (1):

Результаты исследований показали важность величины и формы двумерной системы. При малой величине (оптимально 3½3) фильтры обрабатывают мелкие объекты; большая величина двумерной системы влияет на крупные объекты, высокие и узкие двумерной системы –на вертикальные, а короткие и широкие – на горизонтальные [3].

ПО перемещается по каждому пикселю изображения, выполняя ту же математическую операцию и используя окружающие пиксели в его окрестностях, чтобы определить новое значение целевого пикселя.

Инструментарий ПО сгруппирован в соответствии с функциональностью. Вкладка «Качественные фильтры» показана на рис. 3 и применяется в АПАК к исходным изображениям.

Рассмотрим по порядку эти фильтры.

1. Низкочастотный фильтр (ФНЧ), который ослабляет высокочастотные компоненты и усиливает роль низкочастотных. Частота его применения к изображениям отражает количество имеющихся в них деталей. Резкие перепады яркости, помехи и шумы являются примером высокочастотных элементов в изображении.

ФНЧ выделяет слабые детали, которые были затушеваны шумом.

При обработке изображений ФНЧ служит для удаления шума, снижения разрешения (без уменьшения размера изображения) или приглушения деталей за один этап процедуры. В более сложных процедурах обработки изображений отфильтрованное НЧ-изображение можно использовать для возврата оттенков и цвета результирующему изображению после того, как другие процедуры обработки удалили их в процессе улучшения деталей.

В процессах разработки АПАК исследованы стандартные формы ФНЧ: идеальный, Баттерворта и гауссов [4].

Идеальным считается фильтр, который отсекает все ВЧ-компоненты преобразования Фурье, находящиеся на расстоянии, которое превышает указанное расстояние D от начала координат преобразования. Передаточная функция идеального ФНЧ определяется следующим образом (2):

Порядок ФНЧ Баттерворта n определяет ослабление в полосе задержания. Чем выше порядок фильтра, тем сложнее он в реали-зации. В отличие от идеального ФНЧ, при спользовании ФНЧ Баттерворта плавно уменьшается степень размывания с увеличением частоты среза. При использовании низких порядков фильтра шум на результирующем изображении не заметен (так как фильтру свойственен гладкий переход между низкими и высокими частотами).

Гауссов ФНЧ определяется как (4):

Это значит, что ослабляемые низкочастотным фильтром частоты пропускаются ВЧ-фильтром, и наоборот. При этом ФВЧ обладают теми же свойствами в отношении шума, что и ФНЧ [6].

3. Медианный фильтр (МФ) реализует нелинейную процедуру подавления шумов. МФ представляет собой скользящее по полю изображения окно двумерной системы, элементы которой симметрично окружают рабочую точку (см. рис. 4), охватывающее нечетное число отсчетов. Значение рабочей точки (x, y) заменяется медианой всех элементов изображения в окне двумерной системы.

Медианой дискретной последовательности называется средний по порядку член ряда, получающегося при упорядочении исходной последовательности. Номер медианного элемента вычисляется по формуле (6):

то есть результатом фильтрации является медианное значение пикселей окрестности, форма которой определяется маской фильтра.

МФ способна эффективно удалять из изображения помехи, независимо воздействующие на отдельные пиксели. Например, такими помехами являются «битые» пиксели на изображении, «снеговой» шум, когда часть пикселей заменяется пикселями с максимальной интенсивностью, и т. д. Преимущество МФ заключается в том, что «горячий» пиксель на темном фоне будет заменен темным, а не «размазан» по окрестности [7].

МФ используется в АПАК для подавления аддитивного и импульсного шумов на изображении. Характерной особенностью МФ является сохранение перепадов яркости (контуров) изображения. При этом, если перепады яркости велики, то результаты использования МФ лучше применения описанных выше фильтров. Особенно эффективным МФ является в случае импульсного шума.

4. Пороговый фильтр (ПФ), который задается следующим образом (8)

Величина p является порогом фильтрации. Если величина центральной точки ПФ превышает среднее значение отсчетов mn в ее М-окрестности на величину порога, то она заменяется средним значением. Значение порога является константой, так как оно функционально зависимо от величины центральной точки [8].

В ПФ АПАК порог определяет предельную интенсивность, ниже которой значение анализируемой точки не меняется на размытое.

5. Пиктоновый фильтр (ПФ), который определен в национальном стандарте [9], меняет цвет пикселя на цвет с наиболее вероятным значением интенсивности в пределах заданного радиуса. ПФ используется для устранения дефектов растрового изображения

(поры в волокнах, включения в матрице и т. д.).

Для усиления слабых деталей композиции используются спектральные фильтры нерезкого маскирования, статистического дифференцирования, Уоллиса, Собеля, Фурье-степенной и кепстра.

Спектральные фильтры представлены во вкладке «Фильтры» (рис. 4). К этим фильтрам относятся следующие.

1) Фильтр нерезкого маскирования обрабатывает изображение, повышая четкость за счет усиления контраста мелких деталей при неизменном общем контрасте. Сначала АПАК получает маску: копирует оригинальное изображение, применяет размытие к полученной копии. Затем АПАК сравнивает маску с оригинальным изображением. Если отличия в точке изображения превышают определенный порог, маска вычитается из исходного изображения.

В пикселях, параметры которых совпадают с маской, изменений не происходит. Порог необходим для того, чтобы избежать усиления нежелательных деталей [10].

2) Фильтр статистического дифференцирования выделяет области, содержащие резкие переходы по яркости или цветности, и подавляет области с примерно однородной интенсивностью и цветностью.

3) Фильтр Уоллиса (Wallis, WF) улучшает детализацию за счет контрастности [11]. Результат обработки изображения f можно представить следующим образом (9):

4) Фильтр Собеля основан на приближении значений градиента яркости изображения. Он вычисляет градиент яркости в каждой точке на изображении, находя величину изменения яркости и ее направление. Результат отражает изменения яркости изображения в каждой точке, то есть вероятность нахождения точки на границе, а также ориентацию.

Этот фильтр используется для обрисовки объектов, как показано для частиц тантала на рис. 5а и алюминия на рис. 5б.