1　背景

集成電路芯片已廣泛應(yīng)用于多個領(lǐng)域，但是制造過程中產(chǎn)生的缺陷會直接影響集成電路芯片的壽命和可靠性。傳統(tǒng)的人工檢測方法，存在耗時長、勞動強(qiáng)度大、誤檢率高等缺點(diǎn)，已無法適應(yīng)生產(chǎn)的需求。通過機(jī)器視覺檢測技術(shù)對產(chǎn)品進(jìn)行分析處理，檢驗(yàn)產(chǎn)品是否符合質(zhì)量要求，對保障產(chǎn)品質(zhì)量，提高產(chǎn)品合格率起到了關(guān)鍵作用。

芯片封裝技術(shù)的基本工藝流程，包括硅片切割、芯片貼裝、芯片互聯(lián)、封裝成型、切筋成型等工序。裝片工段目前未配備自動檢測設(shè)備，芯片質(zhì)量依靠人工判斷，人工采用單批次產(chǎn)品首件檢查、定時抽檢、定時巡檢等手段效率較低、準(zhǔn)確率低。打線工段目前設(shè)備配備有工業(yè)相機(jī)，設(shè)備可以存儲圖片，但由于每天生產(chǎn)芯片數(shù)量龐大，設(shè)備無法存儲如此龐大的數(shù)據(jù)，設(shè)備無圖片分析算法。因此，產(chǎn)品工藝與設(shè)備問題導(dǎo)致的質(zhì)量問題無法準(zhǔn)確預(yù)知。

本項(xiàng)目“基于5G和工業(yè)操作系統(tǒng)在芯片封裝領(lǐng)域的機(jī)器視覺檢測應(yīng)用”，主要針對芯片封裝領(lǐng)域的芯片貼裝與焊線等工藝工序，旨在利用5G、機(jī)器視覺等融合技術(shù)，助力企業(yè)實(shí)現(xiàn)高分辨率、高速度的封裝檢測。

2　案例實(shí)施與應(yīng)用情況

（1）項(xiàng)目實(shí)施方案

本次方案以5G邊緣控制器預(yù)裝Intewell操作系統(tǒng)為核心，基于軟件定義控制，扁平化傳統(tǒng)網(wǎng)絡(luò)架構(gòu)，以統(tǒng)一開放靈活的平臺架構(gòu)面向多種工業(yè)應(yīng)用場景，實(shí)現(xiàn)5G通信技術(shù)、機(jī)器視覺檢測、運(yùn)動控制與大數(shù)據(jù)分析的融合。在現(xiàn)場層，發(fā)揮5G網(wǎng)絡(luò)高帶寬、低延時、高可靠、方便部署等特點(diǎn)，實(shí)現(xiàn)5G邊緣控制器與粘片機(jī)、焊線機(jī)的穩(wěn)定通信。邊緣計(jì)算層通過5G邊緣控制器，基于軟件定義控制的理念，實(shí)現(xiàn)一臺設(shè)備代替多個PLC/DCS，同時將PLC控制與和視覺采集功能融合于同一平臺。在應(yīng)用層，視覺采集軟件采用高級語言開發(fā)環(huán)境結(jié)合工業(yè)相機(jī)廠商提供的SDK軟件驅(qū)動包實(shí)現(xiàn)視覺采集、視覺圖像處理和PLC控制系統(tǒng)之間通過MODBUS/TCP或者共享內(nèi)存（Shared Memory）接口直接通信，與之前PLC和計(jì)算機(jī)網(wǎng)絡(luò)通信性能相比，基于軟件之間的通信可有效確保數(shù)據(jù)通信實(shí)時性和穩(wěn)定性，滿足自動化控制與圖像處理的需求。系統(tǒng)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

5G低延時高速率的特性適合此場景應(yīng)用，一方面芯片行業(yè)生產(chǎn)速率極高，工業(yè)相機(jī)在芯片生產(chǎn)過程中需要在極短的時間內(nèi)完成芯片圖片取圖，并在邊緣側(cè)完成分析與運(yùn)動控制，對于網(wǎng)絡(luò)速率、實(shí)時控制方面要求極高。另一方面由于圖片數(shù)量多，3D相機(jī)拍攝的圖片數(shù)據(jù)大，在進(jìn)行視覺處理時就需要大帶寬的網(wǎng)絡(luò)傳輸。

（2）項(xiàng)目實(shí)施效果

廣州某芯片封測廠基于5G和工業(yè)操作系統(tǒng)在芯片封裝領(lǐng)域的機(jī)器視覺檢測應(yīng)用項(xiàng)目于2020年10月開始籌備立項(xiàng)、論證、進(jìn)行項(xiàng)目可行性分析，同時進(jìn)行了5G專網(wǎng)、基于機(jī)器視覺的芯片表面缺陷檢測子系統(tǒng)、國產(chǎn)化高實(shí)時虛擬化Intewell操作系統(tǒng)、MaVIEW軟件定義PLC子系統(tǒng)、數(shù)據(jù)采集等功能模塊建設(shè)，2021年9月項(xiàng)目完成建設(shè)任務(wù)并投入正常使用，項(xiàng)目實(shí)施周期為11個月。

截止2021年9月30日，項(xiàng)目所包含建設(shè)內(nèi)容已經(jīng)全部完成，項(xiàng)目建設(shè)了基于5G和工業(yè)操作系統(tǒng)在芯片封裝領(lǐng)域的機(jī)器視覺檢測應(yīng)用系統(tǒng)，通過低時延、高可靠的5G網(wǎng)絡(luò)，融合基于Intewell操作系統(tǒng)打造的芯片缺陷檢測系統(tǒng)，實(shí)現(xiàn)比人眼視覺檢測更可靠、更高精度的產(chǎn)品檢測。結(jié)合控制，可實(shí)現(xiàn)產(chǎn)品的自動檢測、可追溯性和質(zhì)量控制。

圖2 上片工序視覺檢測

圖3 焊線工藝視覺檢測

圖4 大數(shù)據(jù)分析看板

3　應(yīng)用創(chuàng)新性、重點(diǎn)與難點(diǎn)問題

基于機(jī)器視覺的芯片封裝表面缺陷檢測的關(guān)鍵技術(shù)，涉及到了圖像處理算法的設(shè)計(jì)、選取和改進(jìn)，以及分類算法的設(shè)計(jì)和選取。缺陷產(chǎn)生的原因及其特征描述如表1所示。

表1 缺陷產(chǎn)生原因及特征描述

產(chǎn)生上述缺陷容易導(dǎo)致焊接不牢等危害，為保證該芯片焊接后的穩(wěn)定性與耐久性，需在焊接前對芯片進(jìn)行缺陷檢測，剔除不合格產(chǎn)品?；谝陨夏繕?biāo)釆取圖5所列出的方案路線，最終實(shí)現(xiàn)用決策樹法和K近鄰法兩種算法對缺陷特征數(shù)據(jù)進(jìn)行分類。方案路線如圖5所示。

圖5 方案路線圖

（1）芯片缺陷圖像預(yù)處理方法

通過照相設(shè)備得到的芯片圖像可能存在各種誤差，不能直接使用算法進(jìn)行缺陷提取，必須對圖像進(jìn)行預(yù)處理操作。如對比度増強(qiáng)、濾波等步驟，以突岀圖像灰度特征。如圖像存在光照不均勻和傾斜情況，還需選擇適當(dāng)?shù)乃惴▽D像進(jìn)行光照校正和傾斜校正，以此來為后續(xù)操作提供高精度的輸入圖像。

（2）芯片缺陷圖像閾值分割方法

針對芯片圖像中缺陷部位提取這一情況，探索選取最適合步驟的閾值分割算法，比較選取了多種閾值分割算法。最終根據(jù)芯片圖像的特點(diǎn)，選取了最大類間方差法并進(jìn)行改進(jìn)來實(shí)現(xiàn)缺陷位置的提取，最終取得了良好的分割效果。

（3）芯片缺陷圖像輪廓提取方法

為實(shí)現(xiàn)對缺陷輪廓的完整提取，比較選取了五種邊緣提取算子，最終選取了效果最好的Canny算子對缺陷輪廓進(jìn)行提取，以獲取缺陷位置的面積、周長等各項(xiàng)數(shù)據(jù)，為后續(xù)的分類操作奠定基礎(chǔ)。

（4）芯片缺陷分類識別算法

根據(jù)對芯片缺陷樣本數(shù)據(jù)值和設(shè)定的缺陷類型，采用決策樹分類法和K近鄰算法同時對測試數(shù)據(jù)集進(jìn)行檢測分類，比較得出采用K近鄰分類算法更適用芯片表面的封裝檢測。

（5）基于國產(chǎn)高實(shí)時操作系統(tǒng)的邊緣計(jì)算的二值化圖像處理技術(shù)

圖像的二值化處理就是將圖像上的點(diǎn)的灰度值為0或255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果。即將256個亮度等級的灰度圖像通過適當(dāng)?shù)拈撝颠x取而獲得仍然可以反映圖像整體和局部特征的二值化圖像。在數(shù)字圖像處理中，二值圖像占有非常重要的地位，特別是在實(shí)用的圖像處理中，以二值圖像處理實(shí)現(xiàn)而構(gòu)成的系統(tǒng)是很多的，要進(jìn)行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像，這樣子有利于在對圖像做進(jìn)一步處理時，圖像的集合性質(zhì)只與像素值為0或255的點(diǎn)的位置有關(guān)，不再涉及像素的多級值，使處理變得簡單，而且數(shù)據(jù)的處理和壓縮量小。為了得到理想的二值圖像，一般采用封閉、連通的邊界定義不交疊的區(qū)域。所有灰度大于或等于閾值的像素被判定為屬于特定物體，其灰度值為255表示，否則這些像素點(diǎn)被排除在物體區(qū)域以外，灰度值為0，表示背景或者例外的物體區(qū)域。

（6）基于國產(chǎn)高實(shí)時操作系統(tǒng)的邊緣計(jì)算的幾何特征定位技術(shù)

真正的幾何特征定位技術(shù)（Geometrical Object Locator）不是灰度相關(guān)性技術(shù)（Normalized Grayscale Correlation）的變種，它基于對象的邊緣輪廓的提取和表述，能對自由形狀的物體進(jìn)行識別和定位，且具有強(qiáng)大的去模糊算法，能對復(fù)雜背景下的物體實(shí)現(xiàn)準(zhǔn)確的識別和精準(zhǔn)的定位。好的幾何特征定位器能做到1/40亞象素的平移重復(fù)定位精度，0.02度旋轉(zhuǎn)重復(fù)定位精度，速度往往能達(dá)到毫秒級。幾何特征定位技術(shù)的特點(diǎn):

基于對象輪廓或邊緣找尋和定位零件。

容許重疊、陰影，對比度低，邊緣不清，凌亂或背景噪音。

基于模板操作，能找到相同或不同模板的多個事件。

定位器返回每個找到事件的X.Y坐標(biāo)，旋轉(zhuǎn)角度和大小比例。

兩個零件碰到一起了，定位器能找到，還能分出哪個是哪個。

圖6 軟件處理圖

大小比例不同的對象，基于相同的模板，能找出來，還能計(jì)算比例系數(shù)。看圖象對比度很差，但不影響定位。

圖7 軟件處理圖

背景很零亂，但不影響識別和定位；有對比度突變，和背景極其零亂。

圖8 軟件處理圖

黑乎乎的，圖象質(zhì)量很差，定位器能力強(qiáng)大。

圖9 軟件處理圖

用傳統(tǒng)的圖象處理軟件，一般得不到上面的結(jié)果，由此就能看出幾何特征定位技術(shù)的強(qiáng)大功能。

4　效益分析

（1）項(xiàng)目實(shí)現(xiàn)月產(chǎn)能達(dá)到420萬只。按此產(chǎn)能測算，項(xiàng)目生產(chǎn)設(shè)備月創(chuàng)造產(chǎn)值134.40萬元，利潤達(dá)到4.66萬元，達(dá)到項(xiàng)目預(yù)期指標(biāo)。

（2）項(xiàng)目在建設(shè)前，生產(chǎn)線故障品由人工去檢查，這種檢查方式產(chǎn)生質(zhì)量誤判率很高，同時通過人工主動檢查判斷的方式，所有判斷標(biāo)準(zhǔn)均處于主觀人工判斷，人工判斷的情況就會導(dǎo)致較明顯的芯片錯誤才能發(fā)現(xiàn)（例如芯片缺失），而很多輕微的需要經(jīng)過儀器精密檢測的缺陷不能及時發(fā)現(xiàn)，導(dǎo)致成品失敗率較高。項(xiàng)目建設(shè)后，生產(chǎn)線故障品由系統(tǒng)自動檢查，這種做法依據(jù)人工定制主觀標(biāo)準(zhǔn)閾值，同時通過機(jī)器拍照輔助判斷，人工不需要進(jìn)行裝片和焊線缺陷的判斷，可以在此環(huán)節(jié)及時發(fā)現(xiàn)不良產(chǎn)品，避免缺陷品流入下一環(huán)節(jié)，同時能夠及時反饋上一個工序。

項(xiàng)目建設(shè)后，生產(chǎn)線故障品檢出自動化率，由實(shí)施項(xiàng)目前的0提升到90%以上；生產(chǎn)過程數(shù)據(jù)可視化率，由實(shí)施項(xiàng)目前的0提升到90%以上，達(dá)到項(xiàng)目指標(biāo)。

項(xiàng)目在建設(shè)前，生產(chǎn)線的直接操作人員每人可以操控5臺焊線機(jī)；項(xiàng)目完成建設(shè)后，生產(chǎn)線運(yùn)行過程中，直接操作人員能有效降低生產(chǎn)過程中的抽檢及確認(rèn)產(chǎn)品品質(zhì)的頻率，因此生產(chǎn)線的直接操作人員，由實(shí)施項(xiàng)目前的2.5人次減少為2人次，下降20%，達(dá)到項(xiàng)目指標(biāo)。

（ 3 ） 裝片工段的不良率由實(shí)施項(xiàng)目前的1665PPM降低至800PPM；焊線工段的不良率由實(shí)施項(xiàng)目前的234PPM降低至160PPM；批量性的產(chǎn)品報廢批數(shù)由實(shí)施項(xiàng)目前的1批次以上降為0，有效避免了此類因人為誤操作產(chǎn)生的批量性產(chǎn)品報廢。達(dá)到項(xiàng)目指標(biāo)。

5　案例意義

本項(xiàng)目完成建設(shè)，有利于推動我國半導(dǎo)體封裝測試業(yè)的自主創(chuàng)新發(fā)展，提升我國半導(dǎo)體封裝測試的競爭力，也同時有利于半導(dǎo)體封裝測試業(yè)上下游相關(guān)產(chǎn)業(yè)發(fā)展，推動國民經(jīng)濟(jì)的健康持續(xù)發(fā)展。項(xiàng)目建成，有利于提升行業(yè)從業(yè)人員的技術(shù)水平和收入。

本項(xiàng)目為我國自主高端電子制造裝備和系統(tǒng)建設(shè)提供了難得的全流程示范，為我國高端電子制造領(lǐng)域的產(chǎn)業(yè)安全提供了技術(shù)保障，其推廣應(yīng)用能夠大幅度地提高我國復(fù)雜電子控制類產(chǎn)品的設(shè)計(jì)研制效率和降低制造成本，有力地支撐了中國制造2025戰(zhàn)略目標(biāo)在電子設(shè)備類離散型智能制造領(lǐng)域的達(dá)成。

摘自《自動化博覽》2022年4月刊