Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта. Часть 11. Современные тенденции в методах автоматизированного оптического контроля изделий электронной техники

Статья вышла в журнале «Электронные компоненты» №12/2025

Оформить подписку на журнал «Электронные компоненты»

Введение

В настоящей статье рассматриваются современные тенденции в исследованиях и результатах обнаружения дефектов изделий электронной техники оптическим способом. Описаны перспективы машинного обучения и глубокого машинного обучения, синтеза данных о дефектах, трехмерного компьютерного зрения, Edge AI, где интеллектуальные функции передаются непосредственно в камеру для более эффективной работы автоматизированных систем оптического обнаружения дефектов изделий электронной техники.

Обнаружение дефектов оптическим способом – процесс, при котором автоматизированные системы контроля выявляют производственные дефекты, используя в современных условиях искусственный интеллект (ИИ), что позволяет специалистам предприятий быстро определять первопричину дефекта, минимизируя время простоя и повышая выход годных.

В производстве изделий электронной техники (ИЭТ) обнаружение дефектов становится критически важным, когда бракованная продукция поставляется потребителю как годная. Методы обнаружения дефектов необходимы для поддержания качества, быстрого и точного выявления бракованной продукции. Изучение и применение передовых технологий обнаружения дефектов стало критически важным подходом к интеллектуальной модернизации и повышению конкурентоспособности в радиоэлектронной промышленности. Своевременное обнаружение и классификация этих дефектов – ключ к поддержанию низкого уровня дефектности и сокращению отходов. Поскольку визуальные методы контроля силами технологов-инспекторов даже с помощью микроскопов часто не позволяют контролировать изделия сложной формы и обеспечить высокую точность, на смену им приходят передовые технологии, к которым относятся компьютерное зрение (КЗ) и глубокое машинное обучение (ГО).

Вслед за развитием методов ГО в последнее время число соответствующих исследовательских работ и положительных результатов значительно увеличилось, что свидетельствует о том, что обнаружение дефектов ИЭТ остается актуальной темой для исследований в области интеллектуального производства. В настоящее время существующие исследования предоставляют ценную информацию для развития этой области, но все еще имеется потенциал для улучшения охвата методов и исследовательских систем.

Дефекты ИЭТ могут возникать на разных этапах производства, включая применение материалов, изготовление элементов ИЭТ. Понимание способов выявления этих дефектов крайне важно для определения их первопричин и внедрения эффективных стратегий обнаружения и предотвращения, что является основной тенденцией 2025 г. Дефекты могут негативно повлиять на эксплуатационные характеристики и безопасность ИЭТ при их эксплуатации в составе радиоэлектронной аппаратуры (РЭА).

В настоящее время наблюдается систематическое обобщение технологий обнаружения дефектов с точки зрения структурной модульности автоматизированных систем оптического обнаружения дефектов ИЭТ, процессов принятия решений по методам на основе анализа основных алгоритмов, проблемам и решениям, будущим тенденциям развития. Формируется четкая и эффективная структура классификации дефектов для улучшения читаемости и практической применимости результатов обеспечения качества ИЭТ посредством оптического контроля их поверхностей.

Модульное построение автоматизированных систем оптического обнаружения дефектов ИЭТ

Процесс автоматизированного обнаружения дефектов включает в себя использование передовых методов контроля и применяемости оборудования для их выявления на поверхности ИЭТ и оценки проблемности, что требует сочетания знаний из таких разных дисциплин, как оптика, обработка изображений, распознание образов и ИИ. Технология обнаружения дефектов позволяет автоматически выявлять, локализовать и классифицировать дефекты изделий путем сбора, обработки и анализа изображений поверхности ИЭТ [1]. Базовой тенденцией 2025 г. является более четкое определение модульности в структуре АПАК. Как видно из рис. 1, АПАК состоит из модуля получения изображений и модуля обработки изображений. Такой подход к описанию АПАК в качестве примера представлен в [2].

Модуль получения изображений включает в себя такое оборудование, как источники света, камеры в сочетании с телецентрическим объективом формирования изображений, предназначенные для получения изображений высокого разрешения, фотографирования или съема изображений поверхностей изделий в динамике с последующей загрузкой полученных результатов в компьютерную систему.

Методы получения изображений делятся на статические и динамические. Статическое получение позволяет избежать размытия и деформации, вызванных движением ИЭТ или камер; оно может использоваться для обнаружения дефектов кристаллов на поверхности полупроводниковых пластин, определения дефектов на поверхности корпусов для микросхем на паллете и т.д.

Динамическое получение изображений требует использования камер с высокой частотой кадров и быстродействующих алгоритмов обработки изображений, либо для оптимизации без ущерба для эффективности производства ИЭТ должны применяться методы компенсации движения и обработки изображений.

Динамическое получение изображений может использоваться для контроля формы и размеров многовыводных рамок для микросхем в процессах вырубки штампом или проверки качества ИЭТ на конвейерных лентах.

Для контроля дефектов серийно производимых ИЭТ, быстро движущихся на конвейере, требуются прецизионный контроль (обеспечивающий высокую точность и стабильность показателей) в режиме реального времени и оперативная обратная связь по результатам контроля.

Для оптического обнаружения дефектов используются матричная (зонная) или линейная камеры.

Матричная камера считывает изображение по частям (зонам), в отличие от обычных камер, которые считывают все изображение целиком. Это позволяет его обрабатывать быстрее и эффективнее, что особенно важно для задач, требующих высокой скорости при обнаружении дефектов ИЭТ на производственных линиях.

Идеально подходит линейная камера, способная захватывать крупные объекты с высокой скоростью и разрешением в режиме реального времени, поскольку она отображает весь объект одной линией. Как показано на рис. 2, когда требуется непрерывное движение или высокое разрешение, линейная камера значительно превосходит камеру с зонным сканированием. Технология линейного сканирования подходит для задач, требующих получения больших изображений с высоким разрешением и высокой скоростью, например для непрерывного контроля керамической ленты при изготовлении металлокерамических корпусов ИЭТ.

Высокоскоростная система обнаружения дефектов в режиме реального времени на основе камер строится для получения детальных изображений поверхности ИЭТ.

Модуль обработки изображений использует МО или ГО для поиска дефектов на изображении поверхности ИЭТ.

МО работает с небольшими наборами данных, требует ручного извлечения признаков [3], проще в интерпретации и реализации, оптимально подходит для структурированных данных о дефектах ИЭТ.

В настоящее время определены типы алгоритмов МО:

1) обучение с учителем: АПАК обучается на размеченных наборах, где входные и выходные данные четко определены;

2) обучение без учителя: выявляются закономерности или взаимосвязи в данных без каких-либо предопределенных меток;

3) обучение с подтверждением: АПАК обучается, взаимодействуя со специалистами и получая «вознаграждения» или «штрафы» в зависимости от своих действий.

Кроме того, для обнаружения дефектов ИЭТ применяются: полуконтролируемое МО (комбинирует элементы обучения с учителем и без него, использует небольшое количество размеченных данных в сочетании с большим объемом неразмеченных данных) и другие типы МО, такие как активное обучение (позволяет АПАК самостоятельно запрашивать у пользователя наиболее важные данные для разметки, вместо того чтобы получать их в готовом виде). Выбор типа обучения зависит от параметров имеющихся данных и задач обнаружения дефектов.

ГО использует многослойные нейронные сети (НС) для автоматического извлечения признаков из данных. Главные отличия от МО в том, что: АПАК с ГО находит закономерности в больших объемах первичных данных без предварительной ручной подготовки, в то время как МО требует, чтобы специалисты вручную выделяли признаки из данных.

МО и ГО стали в 2025 г. двумя основными технологиями ИИ, которые направлены на то, чтобы АПАК учился на основе данных. Хотя оба подхода используются для прогнозирования и автоматизации принятия решений, они различаются способами обработки данных и сложностью используемых технологий.

ГО использует НС с несколькими скрытыми слоями, которые позволяют автоматически изучать сложные закономерности на основе необработанных данных, таких как изображения поверхности ИЭТ. ГО автоматически изучает признаки на основе данных, эффективнее работает с большими наборами данных, требуются графические процессоры для обучения. Стоимость АПАК при этом значительно повышается, но скорость обработки данных и вероятность обнаружения ошибок также значительно выше.

ГО включает в себя разные архитектуры НС, каждая из которых подходит для решения определенных задач. В АПАК для ГО используются НС: автоэнкодеры, копирующие входные данные на выход, которые позволяют обнаруживать дефекты на изображении поверхности ИЭТ с помощью слоев; генеративные состязательные сети, состоящие из генератора и дискриминатора. Генератор создает новые данные, а дискриминатор отличает сгенерированные данные от фактических. Это позволяет генератору улучшать свою способность создавать близкие к реалистичным образы.

Ключевые особенности МО и ГО показаны в табл. 1.

МО необходимы структурированные данные для точного обнаружения дефектов и принятия решений. Если данные не размечены и не организованы, технологии МО не могут их точно интерпретировать, и это становится областью ГО.

Результаты обнаружения дефектов включают точный размер, тип и местоположение дефектов. Они обрабатываются АПАК и суммируются в протоколах проверки, которые обобщаются и анализируются.

Современные тенденции анализа изображений

Анализ изображений АПАК позволяет выявлять дефекты на поверхности изделий при их классификации и разметке.

Классификация дефектов – это процесс их систематизации по таким определенным признакам, как характер, причина возникновения, степень влияния на работоспособность, возможность и целесообразность устранения. Классификация применяется для определения приоритета исправления, оценки рисков и принятия решений об использовании ИЭТ.

Основные критерии признаков для классификации:

1) по степени влияния: критические приводят к полной неработоспособности ИЭТ или создают угрозу безопасности применения в РЭА; значительные: существенно влияют на функциональность, долговечность или внешний вид, но не делают ИЭТ полностью непригодным; незначительные: имеют несущественное влияние на эксплуатацию ИЭТ;

2) по причинам возникновения: конструктивные – ошибки в самой конструкции; производственные – связаны с нарушениями технологического процесса при изготовлении; эксплуатационные – возникающие при эксплуатации;

3) по возможности устранения: устранимые – могут быть удалены с учетом технической и экономической целесообразности; неустранимые – исправление технически невозможно или экономически невыгодно; такие ИЭТ считаются бракованными и не могут использоваться по назначению.

С морфологической точки зрения образованы четыре типа распространенных поверхностных дефектов ИЭТ: дефекты типа усиления, дефекты типа отсутствия, дефекты типа искажения и дефекты типа замещения.

Дефекты типа усиления относятся к таким нежелательным частям или особенностям на поверхности ИЭТ, как грязь, посторонние частицы, например микробрызги стекла на поверхности металлостеклянных корпусов для микросхем и т.д.

Напротив, дефекты типа отсутствия относятся к ИЭТ, у которого отсутствуют определенные необходимые элементы или характеристики, что проявляется в отсутствующих контактах, маркировке и т.д.

Дефекты типа искажения относятся к ненормальным изменениям формы или размера ИЭТ, таким как перекосы, складки, деформации и т.д.

Дефекты типа замещения относятся к части ИЭТ, которая заменяется неправильным или несоответствующим материалом, что проявляется в разнице цвета, ошибками в маркировке и т.д.

Кроме поверхностных современные АПАК позволяют распознать подповерхностные дефекты. Это трещины или пузыри с пустотами. Описание процессов обнаружения таких дефектов представлено в [4]. Подповерхностные дефекты скрыты под поверхностью и могут нарушить целостность ИЭТ. Их обнаружение с помощью определенных технологий освещения и алгоритмов выполняется АПАК [5].

Примечательно, что ИЭТ подвержены дефектам разных типов из-за их разного состава элементов и производственных процессов. Например, полупроводниковые пластины подвержены царапинам и истиранию в результате трения с неисправными (неправильно отрегулированными) устройствами производственного оборудования. Микросхемы в пластиковых корпусах, напротив, более подвержены дефектам, связанным с искажениями, к которым относятся коробление и деформация поверхностей, из-за ошибок в технологических процессах корпусирования. Разнообразие этих типов дефектов требует применения специфических алгоритмов при использовании в АПАК. В 2025 г. в части разработок АО «ЦКБ «Дейтон» такие алгоритмы реализованы и описаны программным кодом для АПАК [6].

По мере совершенствования АПАК увеличивается разнообразие обнаруживаемых типов дефектов. Например, дефектами полупроводниковых пластин являются кристаллические перекосы и нерегулярности легирования. Кристаллические перекосы относятся к несовершенствам в выравнивании структуры кристаллической решетки кремния, которые могут нарушить поток электронов, отрицательно влияя на производительность ИЭТ. Нерегулярности легирования связаны с неравномерным распределением примесей, намеренно добавленных в кремний для повышения проводимости. Эти дефекты могут приводить к локальным изменениям электрических характеристик, усложняя проектирование схем и снижая общую эффективность работы РЭА. Устранение дефектов этих типов имеет решающее значение для поддержания качества продукции. Этот рост приводит к необходимости более детальной классификации дефектов для повышения качества производства. Так, по внешнему виду и расположению на поверхности полупроводниковой пластины дефекты классифицируются на: центральные, локальные, случайные и царапины. Эта классификация основана на системе категоризации Кемпфа [7], которая определяет дефекты на основе наблюдаемых структурных закономерностей и известных причин с дальнейшими уточнениями, основанными на инженерных идеях. Группирование изображения дефектов расширяет возможности по разработке целевых стратегий устранения дефектов, которые улучшают качество изделий на протяжении всего производства.

Разметка данных представляет собой процесс аннотирования необработанных данных, на которых учится АПАК. Обучение АПАК состоит в том, на что следует обращать внимание, как называются дефекты (или их элементы) и как они соотносятся друг с другом. При правильном подходе разметка становится основой надежных АПАК. Даже самые совершенные алгоритмы АПАК работают со сбоями, обучаясь на непоследовательных, предвзятых или некачественных данных.

Проблема заключается не только в достаточном количестве данных, но и в наличии правильных данных. Ручная разметка фактических данных требует больших затрат времени и средств, что создает серьезные препятствия для АПАК. В современной практике используются синтетические данные, которые представляют собой экономичную альтернативу, позволяющую сократить затраты на разметку данных. Синтетические данные становятся одним из самых мощных инструментов подготовки данных для АПАК.

Синтетические данные больше не являются экспериментальными. Прогнозируется, что к 2030 г. синтетические данные будут использоваться для обучения АПАК в большей мере, чем наборы фактических данных. Крупнейшие компании, занимающиеся разработкой ИИ, движутся в этом направлении. Изготовители ИЭТ могут использовать платформы синтетических данных для улучшения процессов контроля качества, генерируя разнообразные изображения дефектов, что значительно повышает точность их обнаружения и снижает затраты.

Созданы масштабируемые конвейеры синтетических данных для поддержки АПАК. Обучение на основе симуляции становится необходимым для АПАК. Успешная работа АПАК требует огромных объемов высококачественных данных, сбор которых может оказаться сложным. Синтетические данные решают эту проблему, предоставляя масштабируемую альтернативу для обработки быстро меняющихся наборов данных. Экономическая эффективность синтетических данных по сравнению с фактическими данными очевидна, поскольку снижаются текущие расходы, связанные со сбором, пересмотром и соблюдением требований.

Синтетические данные обеспечивают практические решения проблем, связанных с затратами, и не являются чем-то из ряда вон выходящим; они становятся основной стратегией для АПАК.

Современные акценты на методах обнаружения дефектов

Для 2025 г. характерно фокусирование на предотвращении дефектов посредством контроля процесса производства [8]. Этот проактивный подход сокращает отходы и затраты, гарантируя качество с самого начала. Раннее обнаружение дефектов экономит деньги и ресурсы, предотвращая выпуск бракованной продукции, что повышает эффективность современных производственных процессов.

ГО преобразило методы обнаружения и классификации дефектов в производстве, повысив точность при работе с большими наборами данных. Высокоэффективные алгоритмы и вычислительные системы, использующие методы ГО, помогают выявлять дефекты, ранее не обнаруживавшиеся технологами с помощью микроскопа, что улучшает контроль качества и способствует своевременному оповещению о производственных отклонениях. Модели ГО могут обучаться для совершенствования с течением времени на больших объемах данных, что снижает субъективность обнаружения и повышает общую производительность АПАК.

КЗ действует как электронный инспектор, выявляя микроскопические дефекты, невидимые человеческому глазу. Традиционно визуальный контроль основывался на оценке человеком, но переход на передовые решения для КЗ значительно повысил точность и стабильность. КЗ повышает эффективность производства, снижает уровень дефектов на производственных операциях.

Отмечается переход от «правил» к «суждению». Современные АПАК заменяют жесткие инструкции интеллектуальным распознанием образов. Благодаря ГО АПАК изучают примеры качественных и некачественных ИЭТ для принятия независимых адаптивных решений.

К ключевым усовершенствованиям относятся:

— снижение ложных срабатываний при естественных изменениях на поверхности ИЭТ (например, на предприятиях–изготовителях металлокерамических корпусов для микросхем периодически меняется печь, что сказывается на незначительных изменениях оттенков поверхности изделий);

— выявление сложных дефектов в материалах и покрытиях;

— повышение точности АПАК за счет обучения на реальных данных;

— мгновенная адаптация без ручной перенастройки.

Это развитие делает АПАК ключевым фактором контроля качества, превращая контроль из реактивной задачи в предиктивную.

Три основные технологии, которые определяют трансформацию оптического обнаружения дефектов в 2025 г.

Современный АПАК больше не ограничивается только выявлением дефектов. АПАК направлен на обеспечение надежности на каждом этапе производства. Предприятия используют ИИ и ГО, 3D КЗ и периферийные вычисления для ускорения и повышения точности промышленного контроля качества.

Эти технологии составляют основу АПАК нового поколения, которые обучаются на основе данных, адаптируются к изменениям и принимают решения в режиме реального времени на производственной линии.

Три основные технологии, которые определяют трансформацию АПАК в 2025 г.:

1). ИИ и ГО в системе контроля качества применяются на производственных линиях, где материалы и элементы ИЭТ сильно различаются. АПАК обучается на примерах как годных, так и бракованных ИЭТ, распознавая закономерности, которые пропускают основанные на правилах традиционные системы оценки качества. АПК обеспечивает стабильные и надежные результаты контроля для ИЭТ разных видов.

К преимуществам относятся:

— выявление сложных или непредсказуемых дефектов с высокой точностью;

— сокращение количества ложных срабатываний, приводящее к повышению выхода годных;

— повышение стабильности работы производственных циклов;

— улучшение автоматизированного оптического контроля с помощью самообучающихся моделей.

ИИ и ГО превращает оптический контроль в более интеллектуальный инструмент принятия решений, а не просто в детектор дефектов.

2). 3D КЗ помогает гарантировать соответствие ИЭТ всем физическим характеристикам. Применение: 3D КЗ повышает точность размеров при промышленном контроле качества благодаря использованию датчиков, которые измеряют высоту, глубину и форму. АПАК измеряет контуры, уплотнения и узлы в режиме реального времени, помогая выявлять вмятины, зазоры или несоосности, невидимые для традиционного 2D КЗ. Это обеспечивает стабильно высокую эффективность КЗ для сложных геометрических форм. Примеры применения: измерение глубины вмятин, плоскостности и размеров элементов. Проверка покрытий на однородность (золотое, серебряное и т.д.). Обнаружение деформаций.

3D КЗ существенно сокращает время проверки ИЭТ благодаря добавлению восприятия глубины.

3). Применение Edge AI (периферийный ИИ) преобразует визуальный контроль, обрабатывая данные непосредственно на устройстве, а не отправляя их на сервер, или в информационную сеть предприятия. Этот локализованный интеллект, который позволяет АПАК анализировать изображения, обнаруживать дефекты и мгновенно принимать решения непосредственно в производственном цехе.

Edge AI позволяет передавать интеллектуальные функции непосредственно в камеру для более эффективного автоматизированного КЗ. Edge AI – технология, при которой алгоритмы ИИ выполняются локально на устройствах АПАК. Это децентрализованная вычислительная парадигма, Edge AI позволяет обрабатывать данные непосредственно у источника их генерации, что обеспечивает более быструю обработку, снижает задержки и повышает безопасность и конфиденциальность данных, поскольку они не передаются через информационные сети.

Edge AI идеально подходит для высокоскоростных линий контроля, требующих реагирования в режиме реального времени и минимальных задержек.

Преимущества: обеспечивает работу АПАК в режиме реального времени без задержек в сети. Снижает затраты на оборудование и передачу данных. Поддержка непрерывной инспекции даже при отсутствии подключения к информационной сети предприятия. Благодаря встроенным в устройства АПАК интеллектуальным функциям Edge AI делает инспекцию более быстрой, эффективной и надежной.

Выводы

Современные тенденции развития методов обнаружения дефектов в 2025 г. для АПАК обобщены и представлены в табл. 2.

При описанном выше развитии АПАК в настоящее время имеет ряд ограничений, которые необходимо устранять в будущем. Это актуальные задачи для разрешения ограничений.

Первым основным ограничением является пропускная способность: АПАК оптимизирован для высокоскоростной инспекции, способной анализировать ИЭТ за секунды или минуты, тогда как растущее число дефектов требует значительно большего времени инспекции.

Во-вторых, разрешение современного АПАК ограничивает обнаружение дефектов относительно крупными дефектами поверхности, а нано- или субмикронные дефекты, особенно актуальные для современных ИЭТ с размерами менее 28 нм, остаются пока вне досягаемости.

В-третьих, в АПАК должны применяться такие средства контроля окружающей среды, как гашение вибраций, фильтрация частиц и совместимость с чистыми помещениями, которые необходимы на производственных линиях.

В-четвертых, АПАК должны далее интегрироваться в сети MES (Manufacturing Execution System) [9] для отслеживания данных в реальном времени и быть совместимыми с промышленными контурами обратной связи.

По мере развития технологий разработки и изготовления ИЭТ потребность в эффективных и масштабируемых АПАК будет только расти. На текущий момент АПАК представляет собой многообещающий план решения этих задач, открывая путь будущим инновациям в области автоматизированного контроля, которые могут улучшить результаты производства и обеспечить необходимую надежность ИЭТ. Это актуальные перспективные задачи для машинного обучения и глубокого машинного обучения, синтеза данных о дефектах, трехмерного компьютерного зрения.

Благодаря постоянному совершенствованию и интеграции классификации дефектов на основе МО и ГО АПАК устанавливает новые стандарты обнаружения дефектов ИЭТ, что в конечном итоге будет способствовать повышению эффективности и надежности отечественной цепочки производства радиоэлектронной продукции.

При этом необходимо перечитать и переосмыслить стандарты советского времени, а также использовать результаты зарубежного опыта в этой области [10–14].