Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 2. Измерение обнаруженных дефектов в видимом диапазоне

Разработка и внедрение АПАК проведена специалистами АО «ЦКБ «Дейтон» в целях сокращения затрат и повышение качества продукции, выпускаемой предприятиями радиоэлектронной промышленности. Обнаружение дефектов с помощью компьютерного зрения (КЗ) в производстве ИЭТ – автоматизированный процесс, в котором ис пользуются камеры–микроскопы высокого разрешения, программное обеспечение (ПО) для проверки наличия дефектов в видимом диапазоне и их анализа в режиме реального времени, узлы робототехнических средств для отбора ИЭТ, обеспечивая высокое качество и эффективность процессов производства.

В первой части статьи (см. ЭК №2, 2025 г.) были описаны методы и способы настройки изображений для видимого диапазона обнаружения дефектов. Во второй части рассматриваются методы измерения, классификации и формирования базы данных (БД) дефектов с помощью автоматизированного программно-аппаратного комплекса (АПАК) для поиска дефектов изделий электронной техники (ИЭТ). При этом изображение дефекта сохраняется в базе данных для дальнейшего применения. В следующих частях статьи описываются функции автоматического опознания дефектов, требования к устройствам компьютерного зрения, система управления роботизированными устройствами АПАК, примеры внедрения в производство из практики исследований, разработки и эксплуатации на заводах-изготовителях ИЭТ и перспективы развития АПАК

Введение

Разработка и внедрение АПАК проведена специалистами АО «ЦКБ «Дейтон» в целях сокращения затрат и повышение качества продукции, выпускаемой предприятиями радиоэлектронной промышленности. Обнаружение дефектов с помощью компьютерного зрения (КЗ) в производстве ИЭТ – автоматизированный процесс, в котором используются камеры–микроскопы высокого разрешения, программное обеспечение (ПО) для проверки наличия дефектов в видимом диапазоне и их анализа в режиме реального времени, узлы робототехнических средств для отбора ИЭТ, обеспечивая высокое качество и эффективность процессов производства.

Дефектом является каждое отдельное несоответствие ИЭТ требованиям, установленным нормативной документацией. Дефектами могут быть не только недопустимые нарушения поверхности в видимом диапазоне их обнаружения элементов ИЭТ, но и выход размера элемента ИЭТ за пределы допуска, несоответствие степени шероховатости поверхности изделия нормативам, наличие царапин и сколов на поверхности, содержание сторонних примесей и т. д. Структура материала не является идеально сплошной и представляет собой химическую систему, состоящую из основного материала, внутри и по границам которой распределены примеси, а также дефекты, различающиеся размерами, формой и расположением [1]. В структуре материала можно наблюдать дислокации и вакансии (искажения и несовершенства кристаллической решетки материала).

В микроструктуре имеются микротрещины и микропоры. В макроструктуре – трещины, раковины, расслоения, рыхлости и пр.

В нормативной документации должны четко указываться предельные отклонения поверхности элементов ИЭТ от номинальных значений, при которых ИЭТ выполняют свои функции без снижения надежности.

Отклонение считается допустимым, если численное значение параметра изделия не выходит за пределы, установленные нормативной документацией. Выход этой величины за пределы означает, что ИЭТ имеет дефект.

ПО АПАК позволяет различать:

— критические отклонения при наличии которых нельзя использовать ИЭТ по назначению, так как она не отвечает требованиям безопасности;

— значительные отклонения влияют на использование ИЭТ по назначению и на ее долговечность, но не являются критическими;

— малозначительные отклонения существенно не влияют на использование ИЭТ.

Критические и значительные отклонения считаются дефектами и браком, для их выявления контроль должен быть сплошным и в отдельных случаях – неоднократным. Малозначительные отклонения считаются дефектами, но не браком, однако у некоторых ИЭТ совокупности отклонений, каждое из которых является малозначительным, могут быть эквивалентны значительному или критическому отклонению и относятся к соответствующей категории [2].

Работа АПАК на производственных линиях предприятий поддерживается и сопровождается специалистами предприятий и АО «ЦКБ «Дейтон» в части совершенствования новых технологий искусственного интеллекта (ИИ), функционирования средств робототехники и мехатроники.

На предприятиях радиоэлектронной промышленности контроль внешнего вида ИЭТ необходим для определения их качества, поскольку внешний вид влияет на функцию изделия. Однако такие характеристики ИЭТ как миниатюризация, точность, высокая плотность эле ментов ИЭТ (в многокристальных модулях, гибридных микросхемах, микросборках и т. д.) представляют собой огромную проблему для ручного осмотра под микроскопом, полностью зависящую от зрения инспектора и субъективного суждения. Таким образом, для автоматизации контроля внешнего вида ИЭТ стало необходимым и обнаружение дефектов на основе обработки изображений с помощью технологий ИИ. АПАК имитирует восприятие человеческим глазом дефектов с использованием камеры–микроскопа и принимает решения с помощью компьютеров и ПО, реализуя безопасный, эффективный и бесконтактный неразрушающий контроль внешнего вида ИЭТ.

Развитие предприятий отечественной радиоэлектронной промышленности требует создания разных режимов контроля качества при смешанном серийном производстве, индивидуальном мелкосерийном производстве, а также применения систем оценки качества материалов и изделий на всех участках производственных процессов. Кроме того, следует применять возможности автоматизации многих традиционных процессов, к которым относятся вторичная выбор ка после производства или отслеживание качества с отдельной проверкой для многотипных изделий, совмещенных в одном ИЭТ. Эти производственные сценарии, как правило, представляют собой более сложные процессы, более высокую степень автоматизации, более строгие требования к качеству и в большей мере нуждаются в гибком систематизированном ПО для оценки качества. Однако анализ используемого КЗ за рубежом выявляет несколько заметных проблем в этой технологии, ограничивая ее применение с упомянутыми сценариями.

Основные проблемы возникают при решении новых задач с использованием традиционных методов, включая адаптивность разных характеристик изображения, требования к многократному увеличению изображения, повышению производительности, обнаружению новых видов дефектов и т. д. [3]. Сложность и разнообразие характеристик изображения дефектов ИЭТ, в основном, являются результатом вмешательства факторов окружающей среды и непредсказуемости самих дефектов. Возникает ряд проблем, к которым относятся, например, разные варианты внешнего вида, неоптимальное освещение, дающее значительную информацию, которая не относится к поставленной задаче (фон или шум). Для традиционных алгоритмов обнаружения дефектов незначительные изменения изображения могут привести к сбою на любом этапе производства и появлению партии бракованных изделий. Дефекты могут варьироваться от незначительных проблем, которые оказывают минимальное влияние на ИЭТ, до серьезных, которые делают ИЭТ непригодным для использования или процесс неэффективным. Определяя и классифицируя типы дефектов, которые имеют отношение к оцениваемому ИЭТ или процессу, предприятия обеспечивают согласованность в отчетности и сравнении. АПАК разработан с надежным ПО для проверки наличия дефектов, основанном на методах обработки изображений, включая устранение фона, аппроксимацию границ, адаптацию к ИЭТ с разными материалами элементов. Это ПО обеспечивает использование бесконтактного метода, гарантирующего отсутствие загрязнений или повреждений во время осмотра и эффективно выявляющего визуальные искажения, отклонения поверхности и инородные предметы. В АПАК сочетается применение традиционных 2D и 3Dметодов КЗ с мастерскими навыками инспектора, отвечающего за качество изделия. Традиционное 2D КЗ десятилетиями использовалось для автоматизированного контроля качества ИЭТ. В основном, оно состоит из одной или нескольких камер–микроскопов, которые захватывают изображение, и компьютера, который обрабатывает это изображение и на основе ПО определяет соответствие проверяемого ИЭТ указанным требованиям к качеству.

В последние годы 3D технология буквально добавила дополнительное измерение к возможностям КЗ. Такое обнаружение идеально при меняется для проверки размеров и форм дефектов широкого спектра типов, которые можно описать и оптимизировать [4]. АПАК позволяет решать задачи, когда дефект становится труд но описать. Например, при обнаружении дефектных потертостей поверхности ИЭТ, задача отбраковки которых требует выявления и оценки опытным инспектором. Обучаясь с помощью изображений образцов дефектов ИЭТ, АПАК имитирует работу опытных инспекторов по обеспечению более последовательного и точного процесса проверки.

Стандартные компоненты автоматизированного обнаружения дефектов стали доступными в готовом виде, но для получения оптимального результата необходимо глубокое понимание использования технологий и наличие навыков в области обнаружения дефектов, включая креативное мышление, управление камерой–микроскопом и освещением для захвата требуемых изображений. АПАК предварительно обрабатывает поверхности ИЭТ с помощью 2D/3Dзрения. Чтобы оптимизировать процесс и избежать необходимости обработки нейронной сетью всего изображения, что является ресурсоемким и отнимает много времени, используется традиционная технология 2D/3Dзрения для выявления возможных дефектов на заданном участке поверхности или, другими словами, для указания областей, требующих дальнейшего исследования. Выбранные области затем передаются в нейронную сеть, обученную на большом количестве образцов, которая обрабатывает изображение и присваивает ему оценку, определяющую его соответствие установленному стандарту качества [5]. Если результат оценки находится на пограничном уровне, АПАК выполняет постобработку с использованием 2D/3D зрения, выявив конкретные, предопределенные типы дефектов или, например, измерив их размеры. Качество изображения имеет первостепенное значение для результата проверки и зависит от освещения, экспозиции, оптики камеры–микроскопа. Суть в том, что именно сочетание всех элементов позволяет раздвинуть границы возможностей АПАК. Часто потребности в технологиях АПАК возрастают с усложнением задач. Особенно востребованы этих технологии для решения задач, которые в противном случае потребовали бы привлечения инспектора с большим опытом. Лучшим примером является проверка ИЭТ на предмет плохо обнаруживаемых дефектов, или «сомнительных дефектов». Обычно это оценка на основе такого количества параметров, когда сложно достаточно точно указать необходимый участок для проверки, чтобы выполнить ту же проверку, что и опытный инспектор.

В случае, когда речь идет о большом количестве микроучастков поверхностей ИЭТ, которые проверяются на наличие дефектов, обработка всего изображения с помощью КЗ часто становится ресурсом кой. При этом используются методы 2D/3Dзрения для предварительной обработки изображений и определения областей изображения с потенциальными дефектами, чтобы через нейронную сеть проходи ли только соответствующие участки [6]. Такое гибридное решение целесообразно, когда 2D/3Dзрение и машинное обучение (МО) можно объединить для повышения надежности и для захвата подходящих изображений требуется более точная проверка качества поверхности ИЭТ. Применение гибридных методов часто происходит в условиях промышленной эксплуатации, где снижается возможность обнаружения дефектов из-за, например, высокой скорости конвейерной ленты, недостаточного освещения, неподходящей температуры, пыли и т. д. Если задача заключается всего лишь в «подсчете пикселей» и изме рении размеров, количеств или чего то подобного для оценки того, находится ли деталь в пределах указанных допусков, редко возникает необходимость в использовании методов МО. В таких случаях традиционное 2D/3Dзрение может оказаться единственным эффективным способом достижения цели. Аналогично, некоторые задачи решаются стандартными способами. К ним обычно относятся сравнительно простые задачи, когда легко идентифицировать и аннотировать дефекты, а выборочное пространство по отношению к дефектам меньше.

В стандартных решениях автоматизированного поиска дефектов предварительная обработка для выбора участков изображения не выполняется – обрабатывается все изображение. Следовательно, обычно предварительным условием является относительно низкая скорость обнаружения дефектов, что позволяет при автоматизированном по иске успеть обработать изображение и найти дефекты. Если объем производства невелик или состоит из небольших партий разных изделий, рекомендуется применять 2D/3D зрение как наиболее подходящий метод. Измерения дефектов относятся к количественным мерам, используемым для оценки и анализа качества ИЭТ. Они обеспечивают стандартизованный подход к выявлению, отслеживанию и анализу проблем качества, которые возникают при производстве, а также помогают предприятиям оценивать уровень несоответствия, определять основные причины и принимать решения на основе данных для улучшения качества и сокращения дефектов [7]. АПАК автоматически обнаруживает дефектные особенности, из меряет их размеры с помощью камеры–микроскопа и ПО. АПАК регистрирует параметры измерения одного и того же дефекта с некоторыми вариациями в положении, в основном потому, что полу чаются разные изображения. Это вызвано оптическими факторами, неравномерным освещением, случайными шумами и т. д. Для решения такой проблемы используются разные методы измерения дефектов на основе их размеров. Результаты показывают, что эти методы значительно повышают надежность и согласованность измерения размера дефекта. При условии надлежащего моделирования методы измерения применяются к дефектам разных типов

Основная часть

Для измерения дефектов видимого диапазона их обнаружения разработаны средства, представленные внешним интерфейсом на вкладке «Измерения» страницы «Пульт управления Комплексом», что позволяет настроить идентификацию дефектов. Внешний интерфейс в разделе измерения дефектов с обозначением органов управления представлен на рис. 1.

Калибровка и юстировка камер–микроскопов

Калибровка – это задача получения внутренних и внешних пара метров камеры по отснятому ею изображению. Калибровка камеры используется на начальном этапе решения задач КЗ для учета особенностей существующей реальности и увеличения точности замера раз меров дефектов [8]. В отличие от калибровки, которая позволяет корректировать показания камер–микроскопов с учетом их характеристик, юстировка направлена на оптимизацию параметров положения камер–микро скопов АПАК для получения наилучших результатов. АПАК при проведении инспекции выполняет постоянную проверку ориентации камер–микроскопов относительно поверхностей ИЭТ. АПАК выполняет юстировку камер–микроскопов для оптимизации взаиморасположения элементов камер–микроскопов и инспектируемых поверхностей ИЭТ. Для обозначения подобных действий в отношении разных приборов также используется термин «регулировка» или «градуировка». Юстировка камер–микроскопов, которая рассматривается в следующих частях цикла описаний процессов разработки и внедрения АПАК, выполняется непрерывно на этапах проверки качества ИЭТ с помощью ПО и узлов робототехнических средств АПАК. Для проведения калибровки используется калибровочный шаблон. Он предназначен для калибровки камер–микроскопов и ПО КЗ для измерения размеров дефектов в реальных единицах. Калибровочный шаблон представляет собой прозрачную пленку с нанесенной на него микрометрической шкалой (рис. 2)

На рис. 3 показано расположение камеры–микроскопа относительно шаблона, где 1 – камера–микроскоп; 2 – шаблон; f – расстояние от камеры до шаблона.

При таком положении проводится калибровка. На шаблоне выбирается объект для калибровки камеры, например квадрат 1 на рис. 2, имеющий реальный заранее известен с точностью до микрометров, размер. Указывается единица измерения размеров дефектов в окне 1 рис. 1 и размер стороны квадрата шаблона, в окне 2, рис. 1. На изображении квадрат очерчивается от верхнего левого угла до нижнего правого при нажатии кнопки 3, указатель 1 (рис. 4).

ПО АПАК рассчитывает количество пикселей, входящее в фактический размер стороны измеряемого квадрата. Исходя из полученных данных о реальном размере L квадрата и количестве находящихся в нем пикселей n определяется цена деления пикселя X по формуле:

Для определения размера дефектов необходимо полученное количество пикселей n умножить на цену пикселя X в соответствии с формулой:

Измерение дефектов с помощью отрезка линии

Результат измерения дефектов в видимом диапазоне их обнаружения с помощью отрезка линии показан на рис. 5.

В этом случае измеряется хорда трещины в виде дуги. Для некоторых изделий это частый случай, когда трещина образует дугу, а размер длины хорды

определяет критерий отнесения дефекта к браку, или снижение уровня качества изделий. Измерения после нажатия клавиши 7 (см. рис. 1) осуществляются мышью, с помощью которой создается стрелка зеленого цвета. Одновременно рассчитывается длина этой стрелки (линии). Путем измерения длины хорды (l) и высоты сегмента (h) рассчитывается также овальность трещины (см. порядок измерения на рис. 6).

Расчет производится ПО в соответствии с формулой:

В этом случае овальность определяет критерий отнесения дефекта к браку, или снижению уровня качества изделий. Кроме того, ПО АПАК рассчитывает радиус овальности трещины по формуле:

Радиус в отдельных случаях играет решающую роль в оценке дефекта. Трещины с радиусом больше R1 и меньше R2 могут представлять опасность по причине возможных выпадений фрагментов изделия, нарушая его функциональность. Отрезок линии в ПО АПАК формируется с помощью двух пар ко ординат x1 y1 и x2 y2 – начальной и конечной точек, соответственно. Длина отрезка линии определяется с помощью формулы:

Измерение дефектов с помощью вписанной окружности (овала)

Результат измерения дефектов в видимом диапазоне их обнаружения с помощью вписанной окружности (овала) показан на рис. 7.

Измерения начинаются после нажатия клавиши 8, показанной на рис. 1, после чего с помощью мыши чертится овал синего цвета. Одновременно в его левом верхнем углу указываются вертикальный и горизонтальный радиусы. ПО АПАК при измерении дефектов с помощью вписанного овала рассчитывает два параметра: горизонтальный и вертикальный ради усы. Максимальная величина радиуса является критерием для отнесения дефекта к браку. Горизонтальный и вертикальный радиусы в ПО АПАК формируются с помощью двух пар координат x1 y1 и x2 y2 – начальной и конечной точек, соответственно. Горизонтальный радиус определяется с помощью формулы:

Вертикальный радиус определяется с помощью формулы:

Измерение дефектов с помощью описанного прямоугольника

Измерения начинаются после нажатия клавиши 9, показанной на рис. 1, после чего с помощью мыши чертится прямоугольник красного цвета. Одновременно в его левом верхнем углу указываются длина вертикальной и горизонтальной сторон. Результат измерения дефектов в видимом диапазоне их обнаружения с помощью описанного прямоугольника показан на рис. 8.

ПО АПАК при измерении дефектов с помощью описанного прямоугольника рассчитывает два параметра: длину горизонтальной и вертикальной сторон. Горизонтальная и вертикальная стороны прямоугольника ПО АПАК формируются с помощью двух пар координат x1 y1 и x2y2 – начальной и конечной точек, соответственно. Горизонтальная сторона определяется с помощью формулы:

Вертикальная сторона определяется с помощью формулы

Максимальная величина горизонтальной или вертикальной стороны является критерием для отнесения дефекта к браку.

Измерение дефектов с помощью описанного треугольника

Результат измерение дефектов для видимого диапазона их обнаружения с помощью описанного треугольника показан на рис. 9.

Измерения начинаются после нажатия клавиши 10, показанной на рис. 1, после чего с помощью мыши чертится треугольник желтого цвета. Одновременно в правом верхнем углу треугольника указывается высота, а в левом нижнем углу – основание треугольника. Высота и основание ПО АПАК треугольника формируются с помощью двух пар координат x1 y1 и x2 y2 – начальной и конечной точек, соответственно. Высота треугольника определяется с помощью формулы

Основание треугольника определяется с помощью формулы

Величины высоты и основания треугольника являются критерием для отнесения дефекта к браку [9].

Выделение дефектов с помощью совокупности точек

Для анализа дефекты помечаются совокупностью точек с помощью мыши после нажатия клавиши 11, показанной на рис. 1. Результат представлен на рис. 10.

Очистка дополнительных объектов на изображении поверхности изделия

Очистка дополнительных объектов на изображении поверхности изделия выполняется после нажатия клавиши 4, показанной на рис. 1. Исходное изображение до нажатия этой кнопки представлено на рис. 11а), а на рис. 11б) – результат после очистки. Такая функция позволяет начать измерение дефектов на «чистом» изображении поверхности изделия.

Сохранение изображения изделия с дефектов и просмотр

ПО АПАК позволяет провести измерение дефектов одним из вышеперечисленных способов, убедиться в их классификации как бра кованных и сохранить изображение дефекта с помощью клавиши 5, показанной на рис. 1. Оно сохраняется в базе данных для его применения при выполнении функции автоматического опознания дефектов, описанной в следующих частях. Изображению дефекта автоматически присваивается дата и время записи, а пример ее идентификации и возможности ее дальнейшего просмотра показан на рис. 12а–б.

Для отнесения изображения с дефектом к тем или иным группам, перед записью выводится окно для его классификации (рис. 13).

Изображение с дефектами можно просмотреть с помощью клавиши 6, показанной на рис. 1. Выводы Измерение дефектов требует надежных инструментов и методологий, которые обеспечивают точный сбор, анализ и интерпретацию данных. Используя эти инструменты, предприятия могут эффективно отслеживать и оценивать показатели качества, выявлять тенденции и принимать обоснованные решения. Этот процесс имеет решающее значение для обеспечения выпуска высококачественных изделий микроэлектроники. При применении автоматизированного программно-аппаратного комплекса для поиска дефектов изделий микроэлектроники наряду с технологиями ИИ необходимо выполнить требования к методологии измерений. При этом следует учитывать несколько ключевых моментов для эффективного измерения, анализа и автоматизированного обнаружения дефектов. Они включают: • установление процессов и механизмов для обнаружения и фиксации дефектов, обеспечение их точной регистрации и анализа; • уровни проблематичности дефекта и их возможное влияние на качество изделий, безопасность или соответствие нормативным требованиям; • определение и категоризацию типов дефектов по внешнему виду, которые имеют отношение к инспектируемому изделию; • определение процедур и корректирующих действий по устранению выявленных дефектов и предотвращению их повторения.

Такие требования обеспечивают такие характеристики изделия как надежность, долговечность, функциональность и производи тельность. Выполняя эти требования, предприятия могут использовать автоматизированную инспекцию изделий микроэлектроники на предмет обнаружения качества дефектов, которые обеспечат целостное представление о показателях качества и потенциальных возможностях для улучшения производства. Эффективно анализируя и интерпретируя состояние дел с дефектами изделий, предприятия получают более глубокое представление о потенциальных областях улучшения, принимают решения на основе данных и обеспечивают постоянное совершенствование продукции. Этот итеративный процесс измерения дефектов, анализа их природы имеет важное значение для предприятий, которые стремятся предоставлять исключительные изделия, соответствующие или пре восходящие ожидания заказчиков и потребителей.