Разработка и внедрение АПАК для поиска дефектов изделий электронной техники с помощью искусственного интеллекта

Статья  напечатана в журнале «Электронные компоненты» №7/2026

 

Введение

Электронная промышленность – одна из самых быстро развивающихся, инновационных и конкурентоспособных отраслей. Для удовлетворения высоких требований потребителей ИЭТ изготовителям ноебходимо поддерживать высокие стандарты качества продукции. Автоматическая оптическая инспекция – один из неразрушающих методов, используемых для контроля качества ИЭТ. Метод считается надежным и может заменить инспекторов–людей, которые испытывают усталость и монотонность при выполнении задач инспекции, а при двух- или трехсменной работе такой подход позволяет увеличить объем продукции.

АПАК состоит из аппаратного (АО) и программного обеспечения (ПО). АО включает в себя устройства освещения, датчики изображения, технические средства обработки информации и подачи ИЭТ, которые отвечают за получение оптических данных, тогда как ПО реализует алгоритм инспекции для извлечения признаков изображений ИЭТ и классификации их на годные и дефектные в соответствии с требованиями заказчиков. В АПАК используются разные механизмы и конструкции перемещения датчиков изображения, освещения и подачи ИЭТ. Одним из вариантов подачи ИЭТ в АПАК является конвейер. Практика разработки и ведения АПАК свидетельствует о том, что применение конвейера является оптимальным для сокращения времени инспекции ИЭТ.

При использовании конвейера возникает нежелательный эффект – сдвиг конвейерной ленты, который ведет к отклонению ИЭТ от заданного положения, что представляет собой серьезную проблему в АПАК, поскольку приводит к перемещению ИЭТ за пределы заданного поля зрения камер и других датчиков, вызывает размытие изображений, смещение точек контроля и увеличение количества ложных срабатываний. Сдвиг конвейерной ленты часто указывает на скрытые механические проблемы, к которым относятся ошибки в натяжении, скопление мусора или износ шкивов. Область положения ИЭТ смещается, из-за чего система пропускает или не распознает дефекты. В итоге ухудшается качество изображений, необходимых для обнаружения дефектов. Годное изделие может выглядеть как дефектное. Сдвиг конвейерной ленты и ИЭТ может привести к слишком раннему или слишком позднему срабатыванию АПАК, а также к ошибкам в захвате изображения.

 

Способы устранения проблем сдвига ленты конвейера

Скопление мусора на шкивах или ленте может привести к ее сдвигу. Ошибки в натяжении направляющих или конструктивных элементах вызывают сдвиг ленты по одной из осей перемещения, нарушив соосность ленты. Изношенные подшипники конвейера становятся причиной ошибок в натяжении ленты.

Для их устранения выполняется обслуживание конвейера: обеспечение надлежащего натяжения ленты и регулировка конструктивных элементов. Компьютерное зрение (КЗ) используется для обнаружения отклонения ленты в режиме реального времени путем мониторинга краев ленты или с помощью лазерных проекционных линий, что позволяет системе корректировать положение или предупреждать инспекторов о сдвиге ленты.

Для контроля скорости ленты, направления и угла поворота в конвейерах применяются энкодеры, которые информируют АПАК о точном положении ленты, компенсируют колебания скорости.

Когда лента конвейера вибрирует, меняет положение или движется с непостоянной скоростью, камеры захватывают размытые или смещенные изображения. АПАК компенсирует эти отклонения замедлением цикла, расширением допусков или увеличением количества ложных срабатываний.

Для АПАК разработано ПО, способное обрабатывать изменения положения ИЭТ (сопоставлением шаблонов или с помощью контроля на основе характеристик), и позволяет устранить смещения.

 

ПО для устранения смещений изображений из-за сдвига ленты конвейера

Механические средства ориентации и фиксации изображений ИЭТ не обеспечивают требуемой стабильности положения геометрически сложных ИЭТ на конвейерной ленте. Это ограничение обусловлено совокупным влиянием кинематических люфтов, вибрационных нагрузок, погрешностей математических моделей управления и инструментальных ошибок измерительных систем. Сдвиг ИЭТ за пределы рабочей зоны КЗ приводит к артефактам кадрирования, деградации уверенности нейросетевой сегментации, частичной потере информативных зон дефектов и росту вероятности ложных срабатываний. Устранение этих эффектов требует бесконтактного метода коррекции положения, интегрированного в цикл инспекции без изменения правил перемещения конвейерной ленты.

Критерием корректного позиционирования принимается отклонение геометрического центроида сегментационной маски от предварительно калиброванного эталонного положения в пиксельной системе координат. Эталон фиксируется на этапе пусконаладки и определяет оптимальную область инспекции, обеспечивающую максимальную точность детектирования нейросетевой модели. Допустимое технологическое отклонение зависит от требований к точности АПАК. В наших исследованиях оно составляет ±0,1 мм. В пределах этого допуска АПАК сохраняет стабильные метрики классификации без существенной потери качества распознания дефектов. Превышение порога смещает область распознания относительно фактических дефектов, вызывая деградацию уверенности нейронных моделей и увеличение доли ложноотрицательных результатов.

Для решения проблемы сдвига ИЭТ относительно оси Y были разработаны два метода: автоматизированное управление перемещением области распознавания, а также автоматическое выравнивание и центрирование области распознания.

Автоматизированное управление перемещением области распознания осуществляется управлением положения конвейерной ленты через графический интерфейс инспектора. АПАК функционирует в режиме разомкнутого контура (open loop), где управляющее воздействие формируется исключительно на основе субъективной визуальной оценки положения ИЭТ в потоковом видеосигнале. Инспектор задает целевое смещение в миллиметрах через поле ввода и выбирает необходимую единицу измерения. Каждая единица измерения соответствует предварительно откалиброванному множителю импульсов, который вычисляется экспериментально на основе шага ходового винта, микрошага драйвера шагового двигателя и передаточного отношения редуктора. В программной реализации эти коэффициенты зафиксированы как константы, обеспечивающие линейное пересчитывание физической величины в количество микрошагов привода.

Процесс передачи команды строго регламентирован. Сформированное значение расстояния кодируется в последовательность из трех аппаратных инструкций: установление направления перемещения ИЭТ на конвейерной ленте относительно оси y, настройка расстояния перемещения ИЭТ по ленте, а также инициализация движения. Поскольку передача осуществляется по UART-каналу (Universal Asynchronous Receiver-Transmitter – универсальный асинхронный приемопередатчик) без аппаратного подтверждения, надежность исполнения обеспечивается программным polling-механизмом (регулярный опрос). Цикл блокируется до получения ответного кода, подтверждающего завершение перемещения. Для сохранения отзывчивости графического интерфейса в период ожидания применяется периодическая обработка очереди событий GUI (Event Queue) – механизм, который принимает действия инспектора. Такой подход гарантирует прямой контроль над каждым шагом перемещения, что критически важно при замене приводов, юстировке оптических осей камер КЗ. Однако точность позиционирования в этом режиме ограничена разрешением видеопотока и человеческим фактором, составляя в среднем ±0,5–1,0 мм, а время полного цикла калибровки достигает 15–40 с, что делает решение не всегда эффективным в напряженном ритме серийного производства ИЭТ.

Автоматический метод реализует стратегию замкнутого управления, где сегментационная маска нейросети выступает в роли бесконтактного датчика положения. Алгоритм функционирует автоматически, исключая человеческий фактор из процесса устранения ошибок при смещении. Техническая реализация начинается с захвата текущего кадра и передачи его на инференс (логический вывод) нейронной модели в режиме сегментации. На выходе формируется бинарная маска ИЭТ, к которой применяется оператор вычисления ограничивающего прямоугольника с параметрами x, y, w, h. Ключевым индикатором смещения выступает вертикальная координата y нижней границы маски относительно калиброванной оптической зоны инспекции. Координатная система привязана к центру оптической оси камеры, что обеспечивает инвариантность к горизонтальному положению ИЭТ и фокусирует вычисления исключительно на продольном сдвиге вдоль конвейера.

На основе координаты y дискретный конечный автомат классифицирует положение объекта по трем состояниям (1–3):

 

 

 

 

Точность автоматической коррекции достигает ±0,1 мм при условии стабильной калибровки оптической системы, корректной работы сегментационной модели и отсутствия систематических погрешностей кинематики транспортирующей ленты. Время цикла позиционирования варьируется в диапазоне 0,3–12 с в зависимости от величины отклонения, что позволяет интегрировать алгоритм в непрерывный производственный цикл с минимальными временными потерями. Внедрение замкнутого контура визуального управления обеспечивает детерминированное выравнивание каждого ИЭТ перед нейросетевым анализом, минимизируя вероятность ложных срабатываний и повышая общую эффективность инспекции с помощью АПАК.

На рис. 1 приведена структурная схема алгоритма для устранения смещения позиционирования в АПАК ИЭТ конвейерного типа, и дается краткое описание основных блоков ПО АПАК.

Рассмотрим подробнее назначение каждого блока на рис. 1.

Блок 1. Захват кадра с камеры.

На данном этапе осуществляется получение текущего изображения из видеопотока активной камеры путем вызова специализированного метода управления видеозахватом. Полученное изображение сохраняется во временный файл стандартного формата (JPEG/PNG) в предварительно созданной директории для обеспечения последующей обработки нейросетевой моделью. Эта операция необходима для синхронизации процесса захвата с алгоритмами обработки и обеспечения целостности данных при работе в многопоточном режиме.

Блок 2. Обработка кадра нейронной моделью.

Осуществляется загрузка предварительно обученной сегментационной модели архитектуры YOLO (You Only Look Once), специализирующейся на детектировании объектов и построении пиксельных масок. Выполняется инференс модели на входном изображении с заранее заданными гиперпараметрами: порогом уверенности детектирования (confidence threshold), исключающим ложноположительные срабатывания и нормализованным размером входного изображения (imgsz) в соответствии с архитектурой нейронной сети. Результатом работы модели являются бинарные маски сегментации для каждого обнаруженного объекта и ограничивающие прямоугольники (bounding boxes) с координатами и оценкой уверенности классификации.

Блок 3. Декодирование кадра.

Из структуры результатов инференса извлекаются необходимые данные для последующего геометрического анализа: маски сегментации (masks.xy), которые содержат координаты принадлежащих объекту пикселей; метки классов обнаруженных объектов (classes), идентифицирующие тип дефекта или ИЭТ; значения уверенности модели (confidences), характеризующие достоверность детектирования. Данные преобразуются из формата тензоров фреймворка (многомерного массива данных) в стандартный массив NumPy для совместимости с библиотекой КЗ.

Блок 4. Построение бинарной маски.

На основе извлеченных координат сегмента формируется замкнутый контур ИЭТ методом аппроксимации полигона. Координаты вершин полигона преобразуются из формата с плавающей точкой в формат int32 для обеспечения совместимости с функциями библиотеки КЗ, требующими целочисленных координат. Для верификации корректности сегментации и визуального контроля качества работы нейросетевой модели контур визуализируется на копии исходного изображения с заданной толщиной линии и цветом, отличным от фонового.

Блок 6. Извлечение координат ограничивающего прямоугольника.

Вычисляются параметры минимального ограничивающего прямоугольника, описывающего сегментированный контур ИЭТ: координата x левого верхнего угла по горизонтальной оси, координата y левого верхнего угла по вертикальной оси, ширина w прямоугольника и высота h. Эти геометрические характеристики используются для принятия решения о пространственном позиционировании ИЭТ относительно зоны инспекции и определения необходимости скорректировать положение конвейерной ленты.

Блок 7. Проверка граничащих условий.

Выполняется проверка вычисленных координат ИЭТ относительно допустимой зоны инспекции, определяемой техническими требованиями к системе контроля. Критерии проверки включают: условие y < 20, свидетельствующее о смещении ИЭТ назад за пределы рабочей области кадра; условие y > 195, указывающее на смещение ИЭТ вперед за допустимые границы зоны контроля. Результаты проверки определяют дальнейшую логику алгоритма: переход к коррекции положения или завершение цикла центрирования.

Блок 8. Принятие решения о направлении коррекции.

Осуществляется принятие решения о направлении коррекции положения ИЭТ на конвейерной ленте. При выполнении условия y > Ymin констатируется, что ИЭТ находится в допустимой зоне по верхней границе рабочей области, и выполняется переход к блоку 9 для дополнительной проверки нижней границы. В противном случае, при y ≤ Ymin, фиксируется смещение ИЭТ назад за пределы зоны инспекции, и алгоритм переходит к блоку 12 для вычисления расстояния коррекции и последующего перемещения конвейера в обратном направлении.

Блок 9. Проверка нижней границы зоны инспекции (y < Ymax).

При выполнении условия подтверждается, что ИЭТ находится в допустимой зоне по нижней границе рабочей области, что свидетельствует об успешном центрировании. Выполняется переход к блоку 10 для завершения алгоритма с положительным результатом. В противном случае фиксируется смещение ИЭТ вперед за пределы зоны контроля, и алгоритм переходит к блоку 14 для вычисления расстояния коррекции и последующего перемещения конвейера в прямом направлении.

Блок 10. Завершение алгоритма: ИЭТ центрировано.

При нахождении координаты y в допустимом диапазоне [Ymin; Ymax] принимается решение об успешном центрировании ИЭТ в зоне инспекции. Алгоритм завершает работу с кодом возврата 1, сигнализирующим о готовности системы к выполнению последующих операций контроля качества. Это состояние свидетельствует о корректном позиционировании изделия для последующего детектирования дефектов нейросетевой моделью.

Блок 11. Перемещение конвейерной ленты на фиксированное расстояние.

При отсутствии ИЭТ на ленте выполняется ее автоматическое перемещение на фиксированное расстояние, определяемое параметрами шагового двигателя и передаточным отношением механического редуктора. Эта операция необходима для подачи следующего ИЭТ в зону инспекции. После завершения перемещения осуществляется возврат к блоку 1 для повторного захвата кадра и анализа наличия ИЭТ, что обеспечивает непрерывность производственного цикла.

Блоки 12, 14. Вычисление расстояния коррекции положения ИЭТ.

Осуществляется расчет расстояния D, необходимого для точного позиционирования ИЭТ в центре зоны инспекции. Формула расчета включает следующие параметры: Y – целевая координата центра зоны инспекции (эталонное значение); y – текущая координата верхней границы ИЭТ, полученная из ограничивающего прямоугольника; H – эталонная высота ИЭТ согласно технической документации; h – текущая высота ИЭТ, вычисленная из сегментации; δ(y=0) – функция, выполняющая перевод расстояния из пикселей в микрошаги управления шаговым двигателем конвейера.

Блоки 13, 15. Перемещение ИЭТ на вычисленное расстояние D.

На основании вычисленного расстояния D формируются управляющие G-коды для шагового двигателя конвейера, определяющие направление (вперед/назад) и величину перемещения. Сформированные команды передаются через последовательный порт (COM-порт) микроконтроллеру, управляющему шаговым двигателем конвейерной ленты. Микроконтроллер интерпретирует полученные команды и обеспечивает точное позиционирование ИЭТ с разрешением, определяемым количеством микрошагов на один шаг двигателя и механическими характеристиками манипуляторов АПАК.

 

 

 

 

Выводы

Выбор АПАК напрямую влияет на эффективность контроля. Применение устройств подачи ИЭТ конвейерного типа дает существенный выигрыш в инспекции. При этом текстура конвейерной ленты может проявляться на изображениях, лента – вибрировать от изношенных подшипников или несбалансированных шкивов и размывать края изображения, а скорость – изменяться, что приводит к сдвигу ИЭТ и сдвигу моментом захвата.

Использование низкопрофильных конвейеров со специально прецизионно обработанными шкивами и герметичными подшипниками минимизируют вибрацию. Плоские поверхности ленты обеспечивают чистый фон. Подсветка позволяет усилить контроль силуэтов и обнаружение краев.

При этом эффективным методом борьбы с перечисленными выше проблемами является ПО для устранения смещений изображений из-за сдвига конвейерной ленты. Представленное в настоящей статье ПО реализовано и внедрено на производстве для контроля корпусов микросхем, может настраиваться и применяться при конвейерном производстве