Разработка и внедрение АПАК для поиска дефектов изделий микроэлектроники с помощью искусственного интеллекта Часть 10. Обзор, анализ, разработка и испытание технологии виртуальной реальности в автоматизированных системах обнаружения дефектов изделий электронной техники

Статья вышла в журнале «Электронные компоненты» №11/2025

Оформить подписку на журнал «Электронные компоненты»

Введение

Благодаря стремительному развитию промышленной автоматизации и информационных технологий нового поколения роботизированные системы стали ключевой областью исследований в области интеллектуального производства [1]. Немаловажны и требования к методикам выполнения эффективной валидации на этапе проектирования. Однако длительный цикл разработки, большие итерационные затраты, сложные программно-технические средства и высокая стоимость изготовления роботизированных комплексов затрудняют проведение эффективной проверки результатов моделирования на этапе проектирования.
Обнаружение дефектов изделий визуальным методом используется в автоматизированных производственных линиях, и их разработка также требует времени, высоких итерационных затрат, сложных программно-технических средств.
Автоматизированные программно-аппаратные комплексы для обнаружения дефектов изделий электронной техники визуальным методом обладают преимуществами по сравнению с работой инспекторов-технологов в высокой эффективности выявления, точности и гибкости, играя значительную роль в повышении качества, производительности и точности контроля на производственных линиях.
Применение виртуальной реальности (VR) открывает новые возможности для построения АПАК. Технология VR точно имитирует промышленные производственные среды и процессы, включая работу оборудования и изменения физических условий. Конструкторы могут точно моделировать работу АПАК в VR-среде, сокращая время на создание моделей элементов АПАК, а также оценивая и оптимизируя их производительность [2–5].
Авторы настоящей статьи и разработчики систем обнаружения дефектов изделий визуальным методом предлагают новые подходы к решению этих проблем – применение технологии виртуальной реальности. Результаты проведенных исследований позволяют создать платформу для моделирования роботизированных устройств в автоматизированных системах обнаружения дефектов на основе архитектуры виртуальной реальности. Платформа имеет иммерсивный интерфейс управления системой и процессами инспекции, тем самым подтверждая рациональность конструкции. На этой основе было проведено экспериментальное сравнение различных систем. Результаты показывают, что платформу моделирования можно использовать для проверки предложений по проектированию систем обнаружения дефектов. Благодаря ей снижаются затраты на разработку и сокращается время внедрения систем распознавания дефектов.
Применение технологии VR для имитационного тестирования является экономически эффективным и действенным подходом, предоставляющим действенные средства для оценки работы АПАК.

Обзор и анализ разработок автоматизированных систем обнаружения дефектов изделий с помощью технологии виртуальной реальности
В настоящее время технология VR применяется в промышленном секторе. Специалисты, исследователи и ученые применяют ее в таких областях, как разработка и изготовление АПАК.
В [6] описано построение цифрового двойника АПАК на основе платформы Unity3D. Благодаря использованию методов VR-отображения моделирование достигло визуализации и мониторинга в реальном времени при перемещении роботизированной системы. Unity3D – это кросс-платформенная среда разработки для создания 3D-приложений, например интерактивных приложений. Unity3D позволяет создавать проекты для более чем 25 платформ, включая компьютеры, консоли, мобильные устройства и интернет, а основными инструментами разработки служат язык программирования C# и визуальный редактор.
В [7] представлен комплексный подход к проектированию АПАК для совместной работы человека и робота в промышленных цехах. Используя технологию VR, этот метод позволяет проектировщикам создавать интерактивные прототипы рабочих станций и проверять результаты проектирования на ранних стадиях разработки.
В [8] описан разработанный метод получения изображений для серийного робота с шестью степенями свободы с помощью промышленных камер. Был создан блок цифрового двойника системы обнаружения, а также реализованы предложенная модель кинематики робота и метод планирования траектории захвата. Программное обеспечение Unity3D облегчило настройку среды цифрового двойника для системы обнаружения.
В [9] предлагается глубокое машинное обучение (МО) для решения задачи планирования движения манипуляторов. Этот метод позволяет отражать движения человеческой руки на роботизированной руке. Создав платформу VR, пользователи могут плавно управлять положением и ориентацией манипулятора робота посредством движений руки.
В [10] предлагается использовать иммерсивный цифровой двойник для реализации архитектуры мониторинга и управления промышленным процессом для систем управления производством (Manufacturing Execution System, MES). Киберфизические системы, MES, робототехника, интернет вещей, VR и протоколы связи OPC UA (Open Platform Communications Unified Architecture) используются для интеграции этих технологий и расширения возможностей проектирования за счет более высокой производительности.
VR-технология позволяет решить проблемы ограничений, связанные с разработкой АПАК. Одним из основных ограничений является точная калибровка и настройка, необходимые для обеспечения адекватных результатов работы АПАК. Это ограничение может сузить возможности адаптации системы к разным продуктам и сделать ее более специфичной для определенных измерений и характеристик ИЭТ.
Изменения освещения также являются одной из основных проблем для этих систем: например, настройки освещения должны оставаться постоянными или контролироваться во избежание нежелательных теней или световых шумов, которые можно спутать с дефектами. Таким образом, исследования должны быть направлены на разработку устройств реального времени, которые не подвержены влиянию рабочих или окружающих условий [11].
Углы обзора систем получения изображений в большинстве случаев ограничены определенной предопределенной двумерной плоскостью контролируемого компонента. Однако это решение считается дорогостоящим и требует специальной настройки. Методы оптического 3D-контроля, предложенные в [12], можно считать эффективным инструментом для смягчения этих проблем и предоставления полного описания трехмерной природы компонента. Предлагаемая система использует проекцию структурированного света для получения трехмерного изображения ИЭТ, как показано на рис. 1.

Эта система может оказаться очень полезной при исследовании дефектов печатных плат, таких как паяные соединения и элементы ИЭТ. Кроме того, в [13–14] предлагаются роботизированные руки для промышленной инспекции и распознавания, которые могут обеспечить большую гибкость и мобильность для доступа к разным углам обзора проверяемого ИЭТ.

Для решения упомянутых выше проблем мы предлагаем метод, использующий технологию VR, для разработки платформы моделирования АПАК. С помощью этой платформы виртуального моделирования мы проводим тестирование АПАК, проверяем рациональность конструкций АПАК и ускоряем процесс проектирования, тестирования и развертывания АПАК.
Мы применяем разработанную платформу VR для создания АПАК. С ее помощью мы создаем точные и надежные конструкции для обнаружения дефектов ИЭТ визуальным методом.
АПАК использует компьютерное зрение для проведения контроля качества ИЭТ. Платформа VR для АПАК разделена на пять уровней: пользовательский сервис, модели механизмов, алгоритмы принятия решений, обработка данных и физические устройства, как показано на рис. 2.

Пользовательский сервис с помощью эффективного механизма сопоставления виртуального и реального между физическим и цифровым пространствами обеспечивает моделирование процессов, проверку решений и оптимизацию алгоритмов для АПАК в виртуальной среде.
Модели механизмов конструируются посредством геометрического моделирования и визуализации данных (рендеринга) для создания трехмерных представлений физического оборудования, включая кинематические модели и топологические структуры. Благодаря моделированию геометрических характеристик, моделей движения и систем принятия решений цифровая модель обеспечивает комплексное отображение информации о физическом оборудовании.
Система принятия решений использует алгоритмы обнаружения дефектов для анализа качества поверхности детали. После обработки результаты возвращаются в систему пользовательского сервиса, создавая, таким образом, систему обратной связи в АПАК.
Цифровое и физическое пространства взаимодействуют через систему обработки данных, обеспечивая сбор, передачу, вычисления и обратную связь для устройств.
К физическим устройствам относятся такие компоненты, как роботизированные манипуляторы, устройства перемещения, системы КЗ (АПАК получает изображения о поверхности ИЭТ с помощью КЗ), датчики и роботизированные транспортные средства (конвейеры), используемые в АПАК.

Разработка платформы виртуального моделирования

Построение цифровой модели

Разработка платформы имитационного моделирования для АПАК на основе архитектуры VR-платформы начинается с построения цифровой модели, как показано на рис. 3.
Построение цифровой модели включает в себя интеграцию физической информации для сопоставления виртуальных единиц с геометрией, структурой, свойствами, поведением, правилами, логикой и всем жизненным циклом ИЭТ. Этот процесс включает в себя три основных этапа: настройку высокоточного представления производственной среды, построение моделей и определение физических правил для АПАК.

Организация работы АПАК VR-платформой заключается в настройке виртуальных сцен для технологических зон, а также зон контроля и готовой продукции путем настройки сцен, элементов пользовательского интерфейса и программ. Этот процесс направлен на достижение высокоточного представления производственной среды.
Построение геометрической модели включает в себя создание геометрической модели АПАК с помощью программного обеспечения для трехмерного моделирования, гарантируя, что компоненты модели имеют ту же структуру, форму, размер и сборочные взаимосвязи, что и фактический АПАК. Затем модель импортируется в программу для рендеринга с целью повышения адекватности работы модели. Для создания физических правил функционирования АПАК осуществляется загрузка моделей прямой и обратной кинематики в трехмерную модель АПАК для виртуального моделирования. Этот процесс позволяет имитировать движение в цифровом пространстве, обеспечивая реальную связь между поведением физической сущности и установленными правилами.

Моделирование движением манипулятора
В VR-среде управление АПАК осуществляется путем моделирования. Основываясь на теории кинематики, мы устанавливаем формульную зависимость между соответствующими кинематическими параметрами, накладываем ограничения на угол поворота и скорость каждого сочленения с помощью скрипта для моделирования его физических характеристик. Выполняется анализ прямой кинематики конструкции манипулятора для определения координат конечного элемента в системе координат основания. В соответствии с прямой кинематикой и принципами ее преобразования устанавливается система координат АПАК, а механическая структура преобразуется в аналитическую математическую модель с использованием системы координат для реализации управления манипулятором на интеллектуальной платформе виртуального моделирования. Созданная система координат манипулятора показана на рис. 4.

Преобразование позиции между локальными системами координат соседних звеньев требует двух однородных вращательных преобразований и двух однородных трансляционных преобразований. Матрица изменений между преобразованием системы {i–1} и преобразованием системы {i} выражается следующим образом (1):

где θi, di, αi и αi – параметры связи робота: θi – угол между осями xi–1 и xi; di – расстояние между осями xi–1 и xi вдоль оси zi–1; αi – расстояние между осями zi–1 и zi вдоль оси xi; αi – угол между осями zi–1 и zi.
В результате последовательного умножения элементов уравнения получаем соотношение преобразования координат между осями манипулятора. Результат для 6-й оси получаем с помощью уравнения (2):

АПАК управляется шестью независимыми серводвигателями, которые последовательно делятся на уровни от фиксированного конца в соответствии с шестью степенями свободы. VR-модель делится на Основание, Плечо, Локоть, Запястье 1, Запястье 2, Запястье 3. Сочленение добавляется на основе завершения иерархического деления структуры оборудования. В 6-осном манипуляторе сочленения ограничены вращением вокруг одной оси – оси родительской точки привязки. Управление движением манипулятора запускается средствами написания сценария на языке C# после назначения кинематических и контроллерных атрибутов. В конечном итоге обеспечивается имитация движения манипулятора на платформе VR.

Разработка системы взаимодействия человека с автоматизированной системой обнаружения дефектов ИЭТ визуальным методом
В VR-среде пользователь взаимодействует с АПАК разными способами и управляет им с целью контроля качества. В программной реализации добавляются компоненты, позволяющие управлять манипулятором с помощью виртуальных кнопок, ползунков и других элементов управления. При этом регулируется скорость движения манипулятора, осуществляются выбор объектов контроля и просмотр его результатов. Добавив звуковые компоненты для настройки системы обратной связи в режиме реального времени, можно получать ​​информацию о состоянии робота, ходе контроля и результаты на основе звуковой обратной связи. В VR-среде можно проверять результаты оценки качества и внимательно изучать детали дефектов, в том числе конкретную информацию о несоответствующем ИЭТ, типах дефектов и их характеристики.

Тестирование с использованием моделирования рабочего процесса

Настройка экспериментальной среды
В первую очередь, в состав оборудования для имитационного тестирования входит компьютер, контроллеры, манипуляторы. При использовании VR-устройств необходимо настроить виртуальную область взаимодействия размером не менее 2×1,5 м. Поле зрения АПАК составляет 120°, обеспечивая наклон вниз на 30–45° для полного покрытия заданной виртуальной области взаимодействия.

Тестирование автоматизированной системой обнаружения дефектов ИЭТ визуальным методом
Имитационные испытания проводятся в соответствии с процессом работы АПАК в реальных условиях. Рабочий процесс можно разбить на следующие этапы: ИЭТ транспортируются в зону контроля, после чего выполняется контроль наличия дефектов. АПАК использует камеру высокого разрешения и сложные алгоритмы обработки изображений для проверки дефектов на поверхности ИЭТ. После завершения проверки АПАК отдельно транспортирует годные и бракованные ИЭТ: первые отправляются в зону готовой продукции, а вторые – в специализированную зону для дальнейшей обработки. В процессе проверки такие данные, как результаты проверки деталей и время проверки, автоматически сохраняются и загружаются в систему управления производством MES.

Результаты испытаний и анализ
В этом эксперименте рабочий процесс АПАК был проверен в виртуальной среде. Результаты моделирования показали, что АПАК для контроля качества способен обнаруживать дефекты на ИЭТ. После определения типа дефекта данные загружались в систему управления производством MES. Экспериментально было подтверждено, что АПАК обеспечивает благоприятную среду взаимодействия с технологами, а рабочий процесс функционирует бесперебойно. Предложение по проекту АПАК является осуществимым.

Эксперименты по обнаружению дефектов в виртуальной среде

Модель алгоритма обнаружения дефектов
Благодаря высокой эффективности и производительности в режиме реального времени АПАК использует алгоритмы для обнаружения дефектов на поверхности ИЭТ и КЗ для распознания их типов. В нашем случае применяется алгоритм, который отличается повышенной точностью и скоростью. В плане обнаружения дефектов имеются сложности, поскольку обнаруженная цель мала, а ее признаки не всегда очевидны. Алгоритм включает в себя как канальные модули внимания в сети слияния признаков, так и пространственные, постепенно уточняя признаки дефектов. Такой подход выделяет важные признаки, подавляя менее важные. Архитектура модели алгоритма представлена на рис. 5.
Алгоритм повышенной точности и скорости эффективно решает проблемы микродефектных областей на поверхности ИЭТ и существенных изменений распределения на изображении, значительно повышает точность обнаружения дефектов.

Обработка данных эксперимента
В эксперименте по обнаружению дефектов в качестве источника данных для тестирования алгоритма использовался набор данных о дефектах поверхностей ИЭТ, собранных в реальных промышленных условиях. Он охватывает поверхностные дефекты четырех типов: царапины, трещины, вмятины и включения. Набор данных содержит четыре тысячи изображений в оттенках серого, случайным образом разделенных на обучающий, проверочный и тестовый наборы в соотношении 8:1:1.

Индикаторы оценки
Для более эффективного сравнения экспериментальной эффективности работы усовершенствованных алгоритмов с наборами данных, а также для описания и анализа экспериментальных результатов мы определили в качестве критериев оценки этого эксперимента индикаторы оценки в области обнаружения дефектов. К ним относятся: точность (Tm) [15] и чувствительность (Чm).
Для оценки введем матрицу ошибок, которую можно рассчитать как для двоичной, так и для более сложной классификации. В данном случае двоичная классификация максимально приемлема и представлена в таблице.

Точность алгоритма Тm рассчитывается по формуле (3):

Точность алгоритма показывает долю правильно интерпретированных дефектов в наборе данных (П и О) от общего количества данных.
Этот показатель имеет ряд недостатков. Он: а) не учитывает дисбаланс классов; б) не дает информацию о типе ошибок; в) зависит от порога классификации, изменение которого может значительно повлиять на значение точности.
Чувствительность рассчитывается Чm по формуле (4):

Чувствительность показывает дефекты с положительным результатом на фоне числа дефектов с ложноотрицательным результатом (то есть вероятность того, что дефект будет корректно определен с помощью алгоритма). Особое внимание этой оценке уделяется, когда в поставленной перед алгоритмом задаче ошибка пропуска дефекта высока, как, например, при анализе поверхности ИЭТ ответственного применения. Чувствительность показывает, какова доля ИЭТ, у которых выбор даст положительный результат. Чем выше чувствительность, тем реже с ее помощью появляются ошибки. В то же время, если чувствительность мала, то вероятность ошибки снижается. Следовательно, чувствительность как оценка алгоритма может применяться для исключения ошибок в случае дефектов с близким подобием, когда требуется сузить круг предполагаемых к обнаружению дефектов. Заметим также, что чувствительность может дать много ложных срабатываний, что требует дополнительных затрат на дальнейшее исследование. Чувствительность наиболее информативна при отрицательном результате, благодаря чему повышается уверенность инспектора-технолога в том, что АПАК не пропустил результат.

Обучение и развертывание модели виртуальной реальности
Используя фреймворки МО, мы обучаем алгоритмическую модель и затем развертываем ее на виртуальной платформе моделирования АПАК. В виртуальной среде мы проводим эксперименты по обнаружению дефектов. Сначала мы экспортируем файл весов модели и файл конфигурации в необходимый формат. Затем для загрузки моделей используются библиотеки. С помощью скриптов на C# мы загружаем модель, обрабатываем полученные с камеры входные изображения и вызываем модель для вывода данных. В выходные данные модели входят ограничивающие рамки обнаруженных дефектов, как видно из рис. 6 АПАК планарного типа, метки классов и оценки достоверности.

С помощью скриптов эти выходные данные анализируются, а результаты обнаружения преобразуются в визуальные элементы. Это достигается путем создания элементов пользовательского интерфейса на сцене для отображения полей обнаружения и меток категорий, что позволяет выявлять дефекты на поверхностях ИЭТ.

Экспериментальные результаты и анализ
При проведении экспериментов по обнаружению дефектов деталей на виртуальной платформе АПАК мы используем КЗ. В рамках того же распределения наборов данных сравниваются распространенные в настоящее время алгоритмы серии YOLO с предлагаемым усовершенствованным алгоритмом с использованием VR-технологии.
Сравнение с экспериментальными результатами в таблице показывает, что точность алгоритма Tm с использованием VR высока и достигает 96,1%. Его чувствительность Чm тоже высока и составляет 72,7%. На рис. 7 показана реализация АПАК для двух 6-осных манипуляторов: 1-й слева с камерой выполняет поиск дефектов на поверхности размещенных на паллете ИЭТ, 2-й извлекает дефектные ИЭТ.

Результаты испытаний показывают, что АПАК может точно обнаруживать дефекты поверхности и имеет высокую точность при определении дефектов разных типов. Предложенный в этой статье метод превосходит наши предыдущие алгоритмы [16–17] с точки зрения точности и чувствительности, что доказывает эффективность усовершенствованного алгоритма с использованием VR-технологии для обнаружения дефектов.

Выводы
Чтобы сократить высокие затраты на разработку, длительные циклы проектирования и упростить проверку эффективности алгоритмов для АПАК мы разработали платформу моделирования c использованием VR-технологии. Платформа имеет иммерсивный интерфейс управления системой и проведения инспекции, тем самым подтверждая рациональность конструкции. На этой основе было проведено экспериментальное сравнение разных систем. Результаты показали, что платформу моделирования можно применять для проверки предложений по проектированию систем обнаружения дефектов. Такой подход снижает затраты на разработку и сокращает время внедрения систем распознания дефектов.
В этой виртуальной среде мы создаем модели АПАК, проводим анализ производительности и оптимизируем систему. Созданы рабочие сценарии виртуального моделирования, усовершенствованы алгоритмы МО и протестированы рабочие процессы АПАК в VR-среде. На этой основе были выполнены эксперименты по распознанию дефектов с помощью АПАК и технологии VR. Сравнение экспериментальных результатов показало, что точность и чувствительность усовершенствованных алгоритмов увеличились. В ходе проведенных экспериментов была подтверждена реализуемость АПАК с использованием VR-технологии. Моделирование, имитация и оптимизация сложных АПАК с использованием технологий виртуального моделирования имеют значительный потенциал для промышленного производства.
Одна из целей нашей дальнейшей работы состоит в улучшении алгоритмов обнаружения дефектов ИЭТ. Мы также планируем повысить точность модели АПАК между интерфейсом VR и физическими системами.
АПАК является отличным инструментом для обнаружения внешних поверхностных дефектов, однако с помощью этой системы трудно исследовать внутренние дефекты или любые другие дефекты, для обнаружения которых она не предназначена. Хотя рентгенография и термография позволяют частично решить проблему обнаружения внутренних дефектов, эти технологии эффективны при проверке некоторых дефектов ИЭТ, например мест монтажа микросхем в BGA-корпусах.
АПАК по-прежнему сталкиваются с некоторыми ограничениями, требующими дальнейшего совершенствования. Например, большую часть времени они затрачивают на осмотр поверхностных дефектов. Более того, углы обзора проверяемых ИЭТ обычно фиксированы, что допускает пропуск дефектов. Для решения этих проблем необходимо использовать роботизированные руки и 3D-инспекцию.
При использовании МО, особенно при реализации алгоритма глубокого обучения, требуется большое количество образцов. Это обстоятельство побуждает разработчиков полагаться на моделированные данные или математические модели для получения достаточного количества обучающих образцов, которых может оказаться недостаточно для представления характеристик дефектов. По этой причине мы рассматриваем возможности создания релевантной базы данных по изображениям дефектов поверхности ИЭТ для повышения производительности алгоритмов оптического контроля с использованием VR-технологии. При этом ее исследование и применение в области АПАК для обнаружения дефектных ИЭТ продолжают развиваться.