Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 1. Технические средства настройки изображений для видимого диапазона обнаружения дефектов

Статья Дарьи Дормидошиной, заместителя генерального директора АО «ЦКБ «Дейтон», Юрия Евстифеева, к.т.н., старшего научного сотрудника, профессора АО «ЦКБ «Дейтон», Юрия Рубцова, генерального директора АО «ЦКБ «Дейтон» в журнале «Электронные компоненты» №2/2025

Введение
Программное обеспечение (ПО) АПАК включает в себя системное ПО и ПО баз данных от «Ред Софт» [1–3], языки программирования Java [4], Python [5], C# [6], компьютерное зрение, машинное обучение, нейронные сети, являющиеся технологиями ИИ.
Создание и внедрение АПАК обеспечивает следующий ряд преимуществ: сокращение времени машинного обучения за счет отработки технологий выборки изделий с дефектами (в настоящее время при 30 видах дефектов требуется 6 тыс. изображений образцов с дефектами или их описаний для одного оператора, что занимает более года по 8 ч ежедневной работы); сортировка изделий с дефектами, не являющимися браком, для отнесения к более низкой категории качества; создание глобальной базы дефектов; программный анализ роста числа дефектов; формирование предложений для внесения изменений в технологические процессы; документирование (стандартизация) и использование приобретаемого опыта в дальнейших разработках; обнаружение скрытых дефектов (прозрачные частицы); использование цветофильтров, зеркал; программирование интенсивности освещения; программирование скорости перемещения камеры–микроскопа (или изделия); обеспечение надежности электронных и механических частей; отработка методов аттестации устройств и порядка подтверждения результатов проверки качества изделий ЭКБ; разработка устройств автоматической загрузки и выгрузки (сортировки) изделий; унификация и симплификация электронных и механических комплектующих. Прорабатываются вопросы о переходе от сверточных к капсульным нейронным сетям [7], обеспечения лучшего понимания контекста и повышения точности обнаружения дефектов.
Технолог-инспектор, специалист в возрасте 20–25 лет c опытом работы более года, со здоровым зрением с вероятностью в 85% отличает качественное изделие от некачественного, тогда как система автоматизации уже сейчас обеспечивает 90-% вероятность обнаружения дефектов. АПАК развивается. Ожидается, что вероятность обнаружения дефектов повысится.
Возможны варианты адаптации АПАК к поиску внешних и внутренних дефектов в кристаллах микросхем и полупроводниковых приборов, микроэлектронных механических систем (МЭМС), изделий пьезотехники, микросборок, модулей, резисторов и другой номенклатуры изделий электронной компонентной базы (ЭКБ).
Разработка и внедрение АПАК на ведущих предприятиях России и Белоруссии позволит значительно ускорить и увеличить выпуск изделий электронной техники (ИЭТ) высокого качества, уменьшить их стоимость и затраты на материалы, сократить трудоемкость производства. АПАК целесообразно использовать в системах входного контроля ИЭТ и поиска дефектов в результате их монтажа на предприятиях–изготовителях РЭА. АПАК в производственном режиме уже работает в цехах АО «Завод «Марс» для проверки корпусов микросхем и применяется в системах оценки качества микросварки конденсаторов производства АО «Элеконд» на аппаратах микросварки с помощью электромагнитных датчиков в реальном производственном режиме. Планируется применение на других предприятиях, изготавливающих микроэлектронные изделия. Наряду с видимым оптическим диапазоном планируется применение лазерного, инфракрасного, ультрафиолетового, ультразвукового, рентгеновского способа обнаружения внешних и внутренних дефектов. При этом используются основные принципы настройки изображения, описанные в настоящей статье.
Исследования физических отклонений в изделиях обеспечит понимание возможного механизма образования дефектов, а полученные знания затем можно в дальнейшем использовать для усовершенствования процесса разработки, технологии и изготовления изделий.
Первую часть статьи по разработке АПАК мы начинаем с описания настройки изображения для обнаружения дефектов сложноинтегрированных металло–стеклокерамических корпусов микросхем в видимом оптическом диапазоне излучения (оптическое излучение относится к электромагнитному излучению в диапазоне длин волн 100 нм…1 мм [8]; термины «свет» и «видимое излучение» относятся к диапазону длин волн 360–830 нм, который воспринимается человеческим глазом).
В следующих частях статьи мы опишем измерение обнаруженных дефектов, автоматизацию процессов обнаружения дефектов, требования к устройствам компьютерного зрения, систему управления роботизированными устройствами, примеры внедрения и эксплуатации на заводах–изготовителях.

Основная часть
В производственной среде изготовители, в основном, применяют методы видимого контроля для обнаружения дефектов продукции на сборочной или производственной линиях. Эти методы используют обработку и анализ изображений для поиска несоответствия продукции на основе заранее определенных критериев и успешно применяются для обнаружения дефектов поверхности. Методы видимого контроля также позволяют оценить неоднородности на поверхностях изделий. Получение изображения является важным процессом в видимом контроле. Традиционно оптическая микроскопия используется для поверхностного осмотра с целью получения изображений с высоким разрешением, хотя она имеет ограниченное поле зрения и больше подходит для определенного класса изделий микроэлектроники. Можно снять изображение изделия целиком благодаря большому полю зрения, однако разрешение полученных изображений намного ниже по сравнению с изображениями, полученными путем посегментного осмотра изделий.
В АПАК используется метод мезоскопии [9], который объединяет в себе большое поле зрения с возможностями высокого разрешения оптической микроскопии. Мезоскопия применяется для получения изображений с высоким разрешением для обнаружения дефектов на изделиях, например до 3 мкм на пиксель. Для анализа этих дефектов малого размера требуются изображения с очень высоким разрешением. Важным процессом при этом является пороговая обработка, которая преобразует цветное или полутоновое изображение в бинарное.
Пороговая обработка – простейший метод сегментации изображения на области с общими свойствами. Метод позволяет создать черно-белые бинарные изображения из полутоновых или цветных путем преобразования интенсивности всех пикселей в отдельные значения: один или ноль. Пороговое значение снижает интенсивность пикселей относительно определенного значения до нуля (черный), тогда как пикселям выше этого значения присваивается единица (белый). Пороговое значение полезно для быстрой оценки сегментации изображений благодаря своей простоте и высокой скорости обработки. Метод пороговой обработки является популярным способом обработки изображений и используется по умолчанию для порогового удержания в таком ПО как MATLAB. Пороговая обработка классифицирует сегменты на изображении. Зарубежные разработчики поиска дефектов используют метод пороговой обработки с минимальной ошибкой (Minimum Error Thresholding, MET), который, как было доказано, превосходит другие технологии пороговой обработки в обзоре 40 разных методов. Кроме того, были предложены модифицированные подходы с использованием этих методов, в которых вместо среднего значения используется медиана данных гистограммы яркости. Было обнаружено, что медианное расширение исходного метода MET работает лучше, чем их исходный аналог для изображений с сильно перекошенным и тяжелым хвостовым распределением яркости. Разработчики АПАК исследовали методы с коррекцией контраста и методы с коррекцией контраста на основе медианы для различения дефектов путем применения специфичных для изображения корректировок контраста, а затем использования метода Оцу (Nobuyuki Otsu) на основе медианы для пороговой обработки [10].
Метод Оцу – алгоритм вычисления порога бинаризации для полутонового изображения, применяемый для распознания образов и обработки изображений. Назван в честь доктора инженерии Токийского университета Нобуюки Отсу.
Для настройки изображений в видимом диапазоне обнаружения дефектов разработаны средства, представленные внешним интерфейсом в разделе АПАК «Изображение» на странице «Пульт управления Системой», что позволяет настроить изображение для идентификации дефектов. Настройки выполняются по: размеру изображения, яркости, контрастности, зернистости, насыщенности, фильтрам цветности, контурности (риc. 1).

Окно с изображением изделия размещается в левом верхнем углу экрана монитора (дисплея), входящего в состав АПАК (рис. 2).
В верхней центральной части окна с изображением изделия находятся кнопки установки размера и перемещения изображения (рис. 3а–б). При превышении изображением размеров экрана предоставляется возможность выполнять навигацию, перемещая изображение: в правый верхний угол, в центр верхней части изображения, центральную часть, в правый нижний угол, в центр нижней части изображения, в левый нижний угол.
Аналогичные кнопки навигации находятся также в окне «Пульт управления Системой» на вкладке «Изображение» (см. рис. 1).

Установки размера изображения в окнах с изображением изделия и на вкладке «Изображение» страницы «Пульт управления Системой» связаны синхронно. В результате проведенных исследований была определена наиболее оптимальная кратность (от 1 до 21) увеличения изображения для пользователей АПАК и для требований к камере–микроскопу, системе обработке изображений, дисплею, а также к обнаружению дефектов конкретного типа изделия. Съем изображения выполняется с помощью камер–микроскопов видимого диапазона. Просмотр – с помощью дисплеев. Параметры камер–микроскопов и дисплеев определяются постановкой задачи на обнаружение дефектов.

Изменение величины изображения, в процессе которого его размер изменяется по осям х и у (ширине и высоте), выполняется пропорционально. Если увеличение выполняется с кратностью 10, с этой же кратностью происходит увеличение как по оси х, так и у. Для формализации задачи увеличения изображения использована следующая формула (1):

где fx(x, y) – функция обработки входного изображения по оси х; fу(x, y) – функция обработки входного изображения по оси у; Fвх – входное изображение; Fвых – результирующее изображение.

Размер изображения увеличивается для поиска дефектов на нем и измерения размеров дефектов, а также для машинного обучения [11]. Увеличение помогает изменить количество пикселей на изображении, изменив тем самым время для машинного обучения, количество входных узлов, что, в свою очередь, изменяет сложность модели нейронной сети.
Для выбора оптимального в конкретных условиях эксплуатации АПАК метода увеличения размера изображения были выполнены исследования со следующими приемами:
а) интерполяции по ближайшему соседнему пикселю: округление координат обрабатываемых пикселей до ближайших целочисленных координат исходного изображения и использование их значений интенсивности. Это самый простой и быстрый метод, который, однако, дает пикселизированное изображение (пиксели становятся резкими границами вместо плавного изменения интенсивности участков изображения);
б) аффинные преобразования: для каждого пикселя конечного изображения используется фиксированный набор точек исходного изображения и интерполируется в соответствии с их взаимным положением и выбранным способом (окна фильтров). Для билинейной интерполяции используется 2×2 исходных пикселя, для бикубической – 4×4. Такой прием сглаживает изображение при увеличении. Время преобразования информации заметно больше, чем при интерполяции по ближайшему соседнему пикселю, и зависит от размера конечного изображения и способа интерполяции;
в) суперсэмплинг: разбиение исходного изображения по сетке пикселей конечного изображения. Поскольку при использовании этого метода для увеличения на каждый пиксель конечного изображения приходится один пиксель исходного, результат увеличения равен ближайшему соседу.
Можно выделить два подвида этого приема: с округлением границ пикселей до ближайшего целого числа пикселей и без такового. В первом случае подвид этого приема используется в случаях, когда размер исходного изображения кратен размеру конечного. Отношение обработанных пикселей к исходным при округлении границ равно единице.
Подвид без округления при увеличении дает негативный эффект, когда большая часть исходного пикселя на конечном изображении выглядит однородной, но на краях виден переход. Отношение обработанных пикселей к исходным без округления границ может заключаться в пределах 1–4, потому что каждый исходный пиксель вносит вклад либо в один конечный, либо в два соседних, либо в четыре соседних пикселя.
Производительность этого приема ниже, чем у аффинных преобразований, потому что в расчете конечного изображения участвуют все пиксели исходного. Версия с округлением до ближайших границ работает быстрее;
г) свертка: подобна аффинным преобразованиям, так как используются интерполяции, но имеет не фиксированное окно, а окно, пропорциональное масштабу. Вклад каждого исходного пикселя в конечный определяется фильтром. Отношение обработанных пикселей к исходным целиком определяется размером окна фильтра. Скорость работы этого метода зависит от размеров: исходного изображения, конечного изображения, окна фильтра.
Одно из преимуществ этого приема в том, что фильтры могут задаваться отдельной функцией, никак не привязанной к реализации метода. При этом функция самого фильтра может быть достаточно сложной без особой потери производительности, поскольку коэффициенты для всех пикселей в одном столбце и для всех пикселей в одной строке считаются только один раз. Таким образом, сама функция фильтра вызывается только (a + b) ∙ c раз, где a и b – размеры конечного изображения, а c – размер окна фильтра.

В зависимости от требований к размерам и контрастности дефектов, скорости их обнаружения в АПАК применяются перечисленные выше приемы увеличения размера изображения; при этом учитывается их способность влиять на качество результирующего изображения в виде изменений яркости, контрастности, зернистости.
Это объясняется введением артефактов в изображение и устраняется регулировкой параметров изображения – яркости, контрастности, зернистости, насыщенности, цветности, контурности.

Яркость изображения характеризуется интенсивностью света, отраженного от изделий и дефектов. Камеры–микроскопы в АПАК могут принять только отраженный свет. Однако Отражательная способность у всех элементов изображения – разная, в том числе у дефектов. Работа камеры–микроскопа АПАК настроена на основе яркости света, который мог бы быть отражен от нейтрально-серой поверхности. Камера–микроскоп АПАК определяет интенсивность света исходя из этого критерия. Соответственно, все элементы изображения могут быть темнее или светлее нейтрально-серой поверхности. При яркости, установленной в ноль на вкладке «Изображение» страницы «Пульт управления Системой», все элементы изображения становятся темными и неразличимыми (рис. 4).

При максимальной установке яркости часть элементов изображения проявляется достаточно четко и идентифицируется как дефект, а другая часть засвечивается и не определяется (рис. 5).

Поскольку дефекты в большинстве случаев отличаются по яркости от элементов изделия, представляется возможным определять области дефектов, которые темнее или светлее. Соответственно, предполагается, что яркость дефектов окажется в несколько другом интервале, чем яркость элементов изделия [12]. Пороговая обработка изображения осуществляется в том известном диапазоне яркости, в котором имеются дефекты. Пусть интервал (b1, b2) определяет диапазон изменения яркости пикселей. В таком случае можно преобразовать (бинаризовать) изображение в двухцветное черно-белое по двойному порогу:

В том случае, когда яркость пикселя находится в заданном диапазоне, его значение приравнивается единице (на практике обычно 255, что равняется белому цвету). В иных случаях значение обращается в 0, и пикселю присваивается черный цвет.
Порог также может быть не двойным, а задаваться одной константой b. Если это верхний порог, то все значения больше b равны 255, а меньше b – нулю. В отношении нижнего порога действует в точности противоположное правило. Чтобы определить необходимый диапазон изменения яркости, вычисляется гистограмма яркости. Ее построение подразумевает распределение пикселей по уровням яркости. По ним выбирается тот самый интервал, в котором содержатся значения яркости областей дефектов. По найденному интервалу осуществляется сегментирование изображения по порогу. Такое бинарное изображение содержит в себе контуры искомых дефектов.
По оси абсцисс гистограммы откладываются числовые значения яркости, по оси ординат – число точек изображения (пикселей) с этой яркостью. Аргументы гистограммы упорядочиваются по возрастанию: чем правее расположена точка на горизонтальной оси, тем больше яркость у пикселя. Минимальное значение яркости, равное нулю соответствует началу координат гистограммы. Эта точка шкалы представляет черный цвет. Самая правая точка (белый цвет со значением яркости равным 255) является самой яркой. Высота каждого столбца гистограммы равняется числу пикселей изображения с определенным значением яркости.
При обнаружении дефектов в рамках гистограммы рассчитываются и используются на изображении: средняя яркость всех пикселей изображения и отклонение от среднего значения. Это число показывает, насколько велики пределы изменения яркостных значений изображения или его фрагментов.
При построении гистограммы задается значение уровня кеширования (временное хранение некоторых часто читаемых данных в месте, откуда их можно прочитать). Чем выше это значение, тем быстрее и менее точно рассчитывается распределение яркостей пикселей изображения.
Для коррекции яркости изображения между входными значениями и выходными значениями изображений в АПАК используется гамма-коррекция (обозначаемая как γ). Применяется классическая функция, описанная формулой (2):

где Fвых и Fвх – неотрицательные вещественные числа; k – коэффициент гамма-коррекции.
Поскольку связь между входными и выходными значениями изображений нелинейная, эффект не одинаков для всех пикселей и зависит от их исходной величины. В разработке используются подтвержденные на практике результаты исследований разработчиков OpenCV Python; при этом формула (2) преобразована с учетом количества полутонов 255 (3):

Гистограмма таких расчетов при γ = 2 для изображения на рис. 2 показана на рис. 6.

При γ < 1 ухудшается распознавание элементов изделия (в том числе дефектов) на слабо освещенных участках. При γ = 1 и k = 1 характеристика передачи полутонов линейна, и перепады освещенности изделия в светах и тенях отображаются одинаково. При γ > 1 в тенях остается слишком мало информации, что снижает качество изображения; неизбежна постеризация (огрубление цветовых и тональных переходов) изображения. При этом оператор АПАК, обучающий средства распознавания, различает только ступенчатые тональные переходы. Следовательно, дефект на изделии может быть не обнаружен. Примеры изображения изделия для разных γ <1, γ = 1 и γ >1 показан на рис. 7.

Яркость соответствующего пикселя, которая зависит от таких факторов как отражательные свойства поверхности изделия (определяемые материалом поверхности и микроструктурой), свойства освещения и поверхность изделия, ориентация по отношению к камере–микроскопу и источнику освещения является основным фактором изображения. Таким образом, остальные механизмы настройки в изображения АПАК – производные от яркости, но они также необходимы для настройки изображения и поиска на нем дефектов.

Итак, для определения дефектов необходима настройка яркости и запись ее значения для дальнейшей установки при проведении инспекции.

Контрастность изображения – разница в яркости между светлыми и темными областями изображения. Контрастность определяет количество оттенков на изображении. Изображения с низкой контрастностью выглядят детализованными, но им недостает объема, и они выглядят расплывчатыми. Изображения с нормальной контрастностью выглядят детализованными, четкими и объемными. Изображения с высокой контрастностью не выглядят детализованными, особенно в областях с градуированными тонами (переходами между двумя или более цветами или двумя оттенками одного цвета) и могут быть чрезмерно постеризованными. В результате получается обобщенное изображение с ограниченным количеством полутонов и трудно различимыми дефектами.
Изменение контрастности изображения подразумевает изменение значения каждого его пикселя. Изменение выполняется в АПАК путем умножения или деления значений пикселей изображения на соответствующую константу, значение которой было определено от абсолютно малой величины 1∙10–12 до 2 при апробировании АПАК.
Для увеличения уровня контрастности каждый пиксель изображения умножается на положительное значение больше 1, а для уменьшения ее уровня – на положительное значение меньше 1. При этом недопустимо выходить за пределы тонов яркости пикселей. Следовательно, максимально допустимый предел составляет 255; пикселю присваивается только максимально допустимое значение вместо нового увеличенного значения.
При уменьшении значения контрастности, значение любого пикселя не должно быть ниже минимально допустимого значения 0.
Таким образом может происходить искажение тонов яркости изображения. Для исключения подобного эффекта в АПАК вводится коэффициент, меняющийся при приближении результирующего значения к границам 0 и 255. Функция настройки контрастности в АПАК имеет следующий вид (4):

где Fвых и Fвх – неотрицательные вещественные числа; k – коэффициент настройки контрастности; b – величина коррекции контрастности для обеспечения целочисленного положительного значения и с учетом достижения границ 0 и 255.
На рис. 8 показана контрастность на низком и высоком уровнях после подключения функции выделения фрагментов. Явно видно, что при увеличении контрастности изображения шум и ложные срабатывания уменьшаются.

Зернистость изображения определяет чрезмерную избыточность видеошумов на изображении. Эффект проявляется в виде разноцветных точек, хаотично разбросанных по всему изображению. Как фотопленка с небольшим зерном имеет лучшее разрешение, но меньшую чувствительность, так и камера–микроскоп с большим количеством элементов обеспечивает изображение с лучшим разрешением, но меньшим количеством света на пиксель. Таким образом, как и зерно фотопленки, физический размер пикселя представляет собой компромисс между разрешением и чувствительностью.
Если зерна фотопленки распределены случайным образом и имеют разный размер, ячейки датчика изображения имеют одинаковый размер и расположены в виде сетки. Настройки зернистости регулируют коэффициент усиления в программе обработки. В итоге, высокие значения зернистости дают шумное изображение, внешне сходное с традиционной фотопленкой.
Источниками зернистости изображения являются: процесс его получения, оцифровка, а также процесс передачи. Работа камер–микроскопов, реагирующих на электромагнитное излучение в видимом спектральном диапазоне, зависит не только от внешних условий в процессе получения изображения, но и от качества самих камер. Влияющими на величину шума факторами являются уровень освещенности и температура сенсоров камер–микроскопов. В процессе передачи изображения могут искажаться помехами, возникающими в каналах связи. При передаче изображения с использованием беспроводной связи оно может исказиться из-за внешних воздействий.
Как и в любом техническом приспособлении, в сенсорах и объективах камер–микроскопов иногда имеются производственные дефекты, повреждения, неработающие пиксели и т.д. При наличии такого недостатка на изображения может появиться зернистость в одних и тех же местах.
Зернистость изображения может быть яркостная. Это точки, которые выглядят светлее или темнее окружения. Такой шум похож на пыль, которой «присыпано» изображение. Темная зернистость возникает из-за съемки со слабым освещением изделия, а светлая – из-за очень интенсивного освещения.
Хроматическая зернистость изображения выглядит как цветные пятна, разводы или рябь на картинке. Если приблизить изображение, можно заметить пиксели, которые являются более красными, зелеными или синими, чем они должны быть. Одна из причин появления хроматической зернистости – разная чувствительность цветовых каналов сенсора камеры–микроскопа.
В промышленной визуализации точное обнаружение и различение дефектов изделий от шума является критически важным и трудным, особенно в сложных производственных средах.
Добавление зернистости изображения может оказаться желательным способом скрыть при необходимости артефакты, которые появились в результате съемки, сжатия или обработки изображения, и тем самым повысить вероятность обнаружения дефектов. На рис. 9 показан уровень зернистости, когда работа с поиском дефектов практически невозможна.

Для применения инструмента зернистости в АПАК используется следующие математические соображения. Пусть f(x, y) – некоторое изображение, х, у – координаты. Фактическое растровое изображение имеет конечные размеры A ≤ x ≤ B, C ≤ y ≤ D и состоит из отдельных пикселей, расположенных с некоторым шагом в узлах прямоугольной сетки. Линейное преобразование изображения описывается выражением (5):

Интегрирование в выражении (5) ведется по всей области определения x и y, характеризует преобразование всего изображения целиком (глобальное преобразование для изображения); преобразование h1(x, y, x’, y’) является функцией рассеяния. Это фрагмент изображения, который после преобразования является пятном. В соответствии с (6), все точки изображения f(x, y) превращаются в пятна, происходит суммирование (интегрирование) всех пятен. Такая процедура позволяет сфокусировать изображение. Функция рассеяния определена на интервалах (–∞ < x < ∞), (–∞ < y < ∞) и не должна меняться при изменении начала отсчета по x и y. Для этого она должна иметь вид: h1(x, y, x’, y’) = h1(x–x’, y–y’). Кроме того, функция рассеяния обладает осевой симметрией. В этом случае все точки изображения «расплываются» одинаково равномерно во все стороны с помощью метода пространственной инвариантности. В АПАК используется локальная пространственная инвариантность, когда интегрирование и усреднение проводится не по всей области определения x и y, а по сравнительно небольшой окрестности каждой точки изображения. Функция рассеяния точки при этом имеет ограниченные размеры. Достоинством такого подхода является сокращение времени обработки изображения.
Регулировка зернистости изображения позволяет обрабатывать зернистость, которая распространена более или менее равномерно по всему изображению. Эффекты зернистости не устраняют проблемы с изображением, которые затрагивают только некоторые пиксели (пыль, чередование черных и белых частиц или выпадение точек растра на светлых участках).

Насыщенность цвета изображения определяется характером распределения излучения в спектре видимого света. Наиболее насыщенный цвет образуется при существовании пика излучения на одной длине волны, тогда как более равномерное по спектру излучение воспринимается как менее насыщенный цвет. В субтрактивной модели формирования цвета, например при смешении красок на бумаге, снижение насыщенности наблюдается при добавлении белых, серых, черных красок, а также краски дополнительного хроматического тона. Насыщенный цвет можно назвать сочным, глубоким, менее насыщенный – приглушенным, приближенным к серому. Полностью ненасыщенный цвет является оттенком серого.
В теории цвета насыщенность цветового, или хроматического, тона характеризуется зрительными качествами ясности и чистоты, которые достигаются отсутствием или минимизацией примесей других тонов.
Таким образом, более насыщенными являются основные тона цветового спектра: красный, синий и желтый. Поскольку ахроматические тона (от белого до черного) насыщены в наименьшей степени, они обладают максимальной способностью поглощать тона хроматического ряда. Добавление в цветовой тон черного или белого снижает его насыщенность.
Степень насыщенности изображений определяется следующим образом (6):

где M – среднее значение градаций серого нормализованного изображения; µ – ожидаемое значение, когда среднее значение изображения равно 1 и оно достигает наивысшего уровня насыщенности; ϭg – стандартное отклонение.
Для нормализованного изображения в оттенках серого процесс насыщения представлен увеличением среднего значения в оттенках серого от 0 до 1 [13]. На рис. 10 показаны кривые степени насыщения в зависимости от среднего значения в оттенках серого для разных ϭg. При проведении эксперимента, когда ϭg принимает значение 0,3, кривая наиболее близка к обеспечению выявления дефектов для уровней описанных выше настроек параметров изображения.

На рис. 11 показано, как с помощью установки насыщенности выявляются ранее не определенные дефекты и удаляются ложные срабатывания.
Фильтры цветности (цветовые фильтры) меняют цветовую палитру на экране и могут помочь отличить друг от друга элементы, в том числе дефекты, различающиеся цветом. В разделе (вкладка пульта управления АПАК — Системой) «Изображение» разработан и имеется инструмент избирательной установки цветов фильтра (рис.12), позволяющий более детальнее настраивать цвет фильтра для поиска трудно обнаруживаемых дефектов.
АПАК преобразует сложное обнаружение дефектов в простую пороговую сегментацию на изображении с применением фильтра. Экспериментальные результаты для ряда дефектов показали эффективность предлагаемого метода.

Установкой значений фильтров цветности выполнено преобразование цветовых каналов, а метод расчета преобразований описан следующим образом (7):

где R′(x,y), G′(x, y) и B′(x, y) представляют изображение после преобразования каналов R, G, B;
kR – коэффициент ограничения восприятия красного цвета; kG – коэффициент ограничения восприятия зеленого цвета; kB – коэффициент ограничения восприятия синего цвета.
Среднее значение коэффициентов восприятия изображений из цветного в полутоновый определены в [14] и равны 0,299, 0,587 и 0,114, соответственно для красного, зеленного и синего цветов.
Применение фильтров обеспечивает обнаружение дефектов, не поддающихся количественному измерению, но очевидных, таких как царапины, выпуклости другие плохо определенные дефекты. Размеры дефектов обычно невелики по сравнению с отображаемой поверхностью, что нарушает однородность фона. Многие из этих непредвиденных дефектов с отклонениями цвета и структуры не могут быть описаны явными мерами, что затрудняет их автоматическое обнаружение дефектов. Метод применения фильтров позволяет упростить использования сложного процесса обучения на образцах.
Контурность ПО АПАК позволяет подчеркнуть перепады яркости и контуры изображений. Выделение вертикальных перепадов осуществляется дифференцированием по строкам, горизонтальных – по столбцам. Дифференцирование производится в цифровой форме (8):

где ∆x = 1 – приращение вдоль строки, равное 1 пикселю; ∆y = 1 – приращение вдоль столбца, тоже равное 1 пикселю. Выделение перепадов по диагонали можно получить, вычисляя разности уровней диагональных пар элементов.
Выделение горизонтального перепада можно выполнить также путем вычисления приращения разности яркостей пикселей вдоль строки, что равноценно вычислению второй производной по направлению (оператор Лапласа) (9):

Операторы Лапласа реагируют на перепады яркости в виде ступенчатого изменения. Они также позволяют выделять изолированные точки, тонкие линии, их концы и острые углы объектов. На рис. 8 показаны примеры таких выделений. Контурность позволяет более однозначно определять дефекты на изображении.

Отражение изображения. Флажок «Отразить по горизонтали» преобразует изображение изделия зеркально по горизонтали. Аналогично работает функция отражения изображения по вертикали (рис. 12).

Возможность сохранения настроек в файл. При нажатии кнопки «Сохранить установки» появляется диалоговое окно с установкой директории ust_img и файлами типа .txt. Имя файла формируется автоматически и состоит из идентификаторов: ust_img + текущие год, месяц, день, час, минута и секунда. Имя файла можно изменить в диалоговом окне «Имя файла».
Считывание настроек и их автоматическая установка выполняется при нажатии кнопки «Загрузить настройки». При этом открывается диалоговое окно, и указывается файл для считывания. Считываются и устанавливаются такие данные настройки как: размер изображения, яркость, контрастность, зернистость, насыщенность, фильтры.

Выводы
При создании программно-технических средств настройки изображений АПАК для обнаружения дефектов в видимом диапазоне получены следующие результаты:
1) выполнена формализация задачи исследования методов настройки изображений для компьютерного зрения;
2) определены и выбраны наиболее перспективные методы настройки изображений;
3) выбранные методы доработаны для применения в конкретных условиях;
4) предложены улучшения в части настройки изображений для компьютерного зрения.
Таким образом, примененные в АПАК методы настройки изображений для видимого диапазона обнаружения дефектов изделий микроэлектроники показали целесообразность своего применения, создан точный инструмент для определения дефектов, реализована обработка данных, что оптимизирует скорость работы.
Существующие методы при формализации задачи методов настройки изображений для компьютерного зрения модифицированы для решения более обширных задач поиска дефектов и будут использоваться в дальнейшей работе в разных приложениях.