★ 濟南博觀智能科技有限公司 

1　目標和概述 

傳統(tǒng)的生產(chǎn)線對人工判斷監(jiān)測依賴程度高，人工作 業(yè)存在疲勞以及評判標準的不一。對企業(yè)生產(chǎn)商來說無 法實現(xiàn)有效質(zhì)量監(jiān)管， 大批量的次品流入消費者市場 必然會引起客訴，進而影響品牌方生產(chǎn)企業(yè)的形象。

 以糧油生產(chǎn)為例，目前行業(yè)對于包裝袋的縫線識 別，大多工廠僅依靠人工目檢完成，自動化程度低。在 這種情況下，博觀糧油機器視覺解決方案的應(yīng)用落地， 采用視覺大模型的低代碼算法訓(xùn)練平臺能夠快速實現(xiàn)流 水線所需碎片化算法訓(xùn)練，提高檢測精度， 減輕糧油 工廠的人力成本，從生產(chǎn)環(huán)節(jié)入手創(chuàng)造更多價值，助力 工廠降本增效，推動糧食加工企業(yè)向規(guī)模化生產(chǎn)和集約 化經(jīng)營方向轉(zhuǎn)變，實現(xiàn)智慧升級，綜合來看具有較高的 場景價值性。

 博觀糧油機器視覺解決方案，借助機器視覺質(zhì)檢平 臺，以網(wǎng)絡(luò)覆蓋智能制造工廠為切入點，從行業(yè)生產(chǎn)線 視覺外觀缺陷檢測和字符信息識別兩大方面入手進行功 能提升，整體視覺方案除應(yīng)用于糧油生產(chǎn)以外，未來還 可應(yīng)用于3C電子、新能源等行業(yè)。該方案在不改變現(xiàn) 有工廠生產(chǎn)制造流水線的前提下，定制化提供機器視覺 硬件外設(shè)環(huán)境，依靠獨立開發(fā)的深度學(xué)習(xí)算法檢測平臺 MVIP和視覺業(yè)務(wù)軟件BreVision，智能化實現(xiàn)視覺檢 測代替人工檢測的需求，達到工廠降本增效和柔性生產(chǎn) 的目標。

 2　方案介紹 

2.1　核心技術(shù) 

2.1.1　OCR字符檢測識 

OCR檢測獲取的面粉袋噴印側(cè)圖像， 如圖1所示， 可識別生產(chǎn)日期、合格信息等，并可判斷字符的完整性。 

 圖1 OCR檢測

（1）端到端識別算法 

該項目采用了端到端的字符識別技術(shù)，以保證整個 功能的高效、準確。區(qū)別于傳統(tǒng)的識別算法，如圖2所 示，端到端識別算法無需文字定位、定點、識別多個步 驟，僅需輸入原始圖像即可輸出識別結(jié)果，在節(jié)約耗時 的同時最大程度挖掘可用信息。

 圖2 端到端識別算法 

（2）圖像增強&修復(fù)技術(shù) 

在工業(yè)視覺領(lǐng)域，圖像的清晰度一直是一個關(guān)鍵問 題，受限于應(yīng)用場景、工業(yè)攝像頭的成像質(zhì)量，獲取的 初始圖像往往不會非常清晰。為了應(yīng)對這樣的問題，該 項目加入了基于深度學(xué)習(xí)的圖像增強與修復(fù)技術(shù)，在識 別算法的開端加入該模塊，如圖3所示，從根本上解決 字符不清晰或字符有污損的問題。 

圖3 圖像增強與修復(fù) 

（3）完整性判斷 

在實際應(yīng)用中，經(jīng)常面臨的另一個問題是字符不完 整和缺位數(shù)問題，為此該項目引入完整性判斷模塊，根 據(jù)字符的分布、深層圖像信息，確定送入的字符塊是否完整。若出現(xiàn)字符明顯殘缺，則判斷為異常樣本，進行告警。

 總之，OCR算法在工業(yè)場景需要保持高穩(wěn)定、高 精度和可復(fù)制性，便于支持工業(yè)環(huán)境中不同產(chǎn)線的要 求，比如全天候光線變化、褶皺導(dǎo)致字體變形、噴碼在 畫面任意位置、字體格式、不同大小等情況，在為企業(yè) 降本增效的同時，做到智能化設(shè)備本身的成本控制。

 2.1.2　縫線完整性缺陷檢測識別

 圖4 縫線檢測 

縫線檢測通過配置ROI區(qū)域，獲取面粉袋的注意力 區(qū)域，通過異常抓拍的識別模型判斷是否為正常拍攝的 圖像，最后通過縫線異常判斷模型，檢測其縫線是否完整，如圖4所示。 

（1）滑動ROI 

在ROI配置過程中，由于面粉袋位置發(fā)生移動和扭 曲，導(dǎo)致配置的ROI區(qū)域并不準確，出現(xiàn)大量無效的背 景影響判別效果。為解決此問題，在實際使用過程中， 使用滑動ROI，算法會根據(jù)面粉袋的邊緣位置得到較為 準確的封口區(qū)域，如圖5所示。

 圖5 滑動ROI 

（2）異常拍攝判斷 

由于生產(chǎn)現(xiàn)場的復(fù)雜環(huán)境以及相機拍攝的不確定性，實際情況中會時而出現(xiàn)異常拍攝的數(shù)據(jù)，例如未拍 攝到面粉袋、拍攝的面粉袋不完全、拍攝到工作人員等等。這些異常數(shù)據(jù)會對檢測算法產(chǎn)生干擾，從而影響最 終效果，所以算法需要先判斷是否為正常拍攝圖像，剔 除異常拍攝圖片后可大大提升算法精度。如圖6所示， 分別為正常拍攝、拍攝部分袋子和設(shè)備空拍的圖像。在 實際使用時，加入異常拍攝判斷，存在空拍時進行算法 剔除。

 圖6 異常拍攝圖像 

（3）縫線異常判斷 

通過上述流程之后，圖片被送入最終的縫線檢測模 型，判別封口是否縫上，保證面粉在運輸過程中，不發(fā) 生灑、漏等問題。此過程中會出現(xiàn)跳線、彎曲、褶皺、 小口、過曝、過暗等各種形態(tài)的樣本，如圖7所示。多 種形態(tài)的樣本會嚴重影響判別的精度。

 圖7 各類樣本 

對于縫線異常判斷，精度要求較高，負樣本形態(tài)各 異，并且難以收集，同時褶皺、彎曲、光線環(huán)境差都使得縫線位置判斷困難，而多種多樣的負樣本類型需要模 型去學(xué)習(xí)更多的特征，但負樣本難以收集，數(shù)量較少。 針對這些不同類型的情況，該項目設(shè)計了不同的數(shù)據(jù)增 廣、網(wǎng)絡(luò)算子和損失函數(shù)，并通過實驗表明，可以有效 解決上述各類問題。

 2.1.3　在線訓(xùn)練 

（1）整體流程 

MVIP深度學(xué)習(xí)機器視覺檢測平臺，首先通過海量 的媒體數(shù)據(jù)+獨創(chuàng)的大規(guī)模多模態(tài)算法模型，使得大模 型從海量視頻數(shù)據(jù)中實現(xiàn)自監(jiān)督學(xué)習(xí)通識知識，結(jié)合 Few-ShotLearning等小樣本學(xué)習(xí)算法，本平臺可在幾 百張樣本圖片下達到下游常見任務(wù)90+%的精度。無損 高速地傳輸給服務(wù)器端。在 服務(wù)器端我們將進行強大 的算法模型檢測，包括縫線檢測、文本檢測和文本識別 等一系列算法，然后將迭代后的模型再次使用5G傳輸 技術(shù)傳輸給邊緣側(cè)設(shè)備，供模 型實時更新強化。 

（2）技術(shù)原理 

MVIP深度學(xué)習(xí)機器視覺檢測平臺的核心技術(shù)是博 觀獨創(chuàng)的在線學(xué)習(xí)算法，該方法通過離線模型做離線識 別，同時使用監(jiān)督模型協(xié)助監(jiān)督。在實際應(yīng)用中，將監(jiān) 督模型給出的得分低于閾值的識別圖像無損地保存在在 線學(xué)習(xí)素材庫內(nèi)。設(shè)備運行一段時間后，算法自動統(tǒng)計 運行規(guī)律找出低頻率識別時段，并在素材庫滿足一定條 件后，啟動凍結(jié)式網(wǎng)絡(luò)參數(shù)迭代更新在線學(xué)習(xí)，讓離線 模型不斷完善自身“弱點”，從而達到在線學(xué)習(xí)的優(yōu)化 效果。 

（3）技術(shù)優(yōu)勢 

MVIP深度學(xué)習(xí)機器視覺檢測平臺場景適應(yīng)能力極 強，模型魯棒性高，可輕松應(yīng)對各種新場景。在識別劣 勢的場景下可自動啟用在線學(xué)習(xí)系統(tǒng)，不影響設(shè)備正常 運行的情況下，在較短的時間內(nèi)完善模型快速提升識別 率。搭載 5G技術(shù)，使數(shù)據(jù)在前端與服務(wù)器端不丟包傳 輸并且可 加速在線學(xué)習(xí)素材讀取速度，促進了算法的 高效性和實時性。

 在實際應(yīng)用中，算法同時處理對面粉袋的縫線檢測 和面粉袋上文本識別兩種需求，通過在線學(xué)習(xí)方式，實 時更新識別算法，提升算法魯棒性，從而高效精準地完 成整體算法運算。

 2.2　系統(tǒng)架構(gòu) 

MVIP深度學(xué)習(xí)機器視覺檢測平臺助力的生產(chǎn)環(huán)節(jié) 技術(shù)如下： 

面粉在灌裝到面粉袋后，面粉袋通過流水線輸送到 噴碼機處，自動噴碼生產(chǎn)日期和批次號等OCR信息到面 粉袋外包裝上，然后輸送到縫紉機處封好縫線，后續(xù)流 水線進入機器視覺智能化系統(tǒng)識別區(qū)，通過機器視覺技 術(shù)實現(xiàn)OCR的識別和封口縫線質(zhì)量檢測。 

具體解決方案依靠光電傳感器觸發(fā)工業(yè)相機拍照， 工業(yè)光源穩(wěn)定照射到OCR區(qū)以及封口縫線區(qū)，得到各自 拍攝到的視覺圖片，視覺檢測系統(tǒng)并行將相機采集到的 圖像通過深度學(xué)習(xí)的算法進行識別和檢測，判定面粉袋 的質(zhì)量狀態(tài)，并通過視覺軟件可視化展示，同時把結(jié)果 通過通信的手段給到執(zhí)行機構(gòu)信號并分揀生產(chǎn)的合格品 和次品。

 該解決方案系統(tǒng)架構(gòu)自下而上主要分為采集層、邊 緣計算層、應(yīng)用層三層，具體邏輯架構(gòu)如圖8所示。 

圖8 博觀糧油機器視覺解決方案系統(tǒng)架構(gòu) 

2.3　軟硬件部署 

該解決方案在前端部署硬件視覺產(chǎn)品，利用AI算 法賦能機器視覺一體機，實現(xiàn)高效的圖片采集回傳。 基于BreVision視覺業(yè)務(wù)軟件對圖片進行分析，可以 檢測出廠的每袋面粉的生產(chǎn)日期和批次號的正確性。 BreVision視覺業(yè)務(wù)軟件是一款基于深度學(xué)習(xí)的智能工 業(yè)視覺軟件平臺，專門用于解決復(fù)雜缺陷的定位、檢 測、分類等問題，同時具備高效準確的字符識別能力， 可適用于各類復(fù)雜應(yīng)用場景。該解決方案軟硬件部署如圖9所示。

 圖9 博觀整體視覺方案

 3　代表性及推廣價值 

 3.1　應(yīng)用情況及效果 

目前，博觀糧油機器視覺解決方案已經(jīng)在國內(nèi)某知 名糧油工廠實現(xiàn)落地，賦能后共計覆蓋30+條生產(chǎn)流水 線，節(jié)省30+人力，并且從人工目檢每條生產(chǎn)線8000多 袋/天的生產(chǎn)能力，提升到應(yīng)用機器視覺檢測后每條生 產(chǎn)線20000多袋/天的生產(chǎn)能力，生產(chǎn)效率提升150%， 有效實現(xiàn)了生產(chǎn)設(shè)備滿時運轉(zhuǎn)的工作狀態(tài)。

 3.2　創(chuàng)新性 

3.2.1　技術(shù)的示范效應(yīng) 

該方案中的機器視覺質(zhì)檢平臺依靠深度學(xué)習(xí)算法， 能高效檢測糧油生產(chǎn)中的包裝袋破損問題，精準識別 OCR信息，已達到<0.1%的過檢率和0%的漏檢率，方 案后續(xù)可以投入于國內(nèi)更多的糧油加工企業(yè)及糧食行 業(yè)。我國是農(nóng)業(yè)大國，糧食行業(yè)是直接與農(nóng)業(yè)生產(chǎn)相關(guān) 的基礎(chǔ)行業(yè)，存在大量機器視覺替換人工檢測的潛在需 求。該方案能夠利用高性價比的機器視覺幫助眾多糧油 企業(yè)降低人力成本，促進柔性生產(chǎn)，帶動智能化轉(zhuǎn)型升 級，應(yīng)用前景廣闊，市場推廣規(guī)模巨大。 

3.2.2　商業(yè)價值 

近年來，在制造業(yè)向自動化、智能化升級轉(zhuǎn)型的趨 勢下，機器視覺擁有著千億規(guī)模的市場前景。但目前在 工業(yè)領(lǐng)域，將AI融入機器視覺算法中的嘗試剛剛起步， 在全球范圍尚處于摸索起步階段，本項目的成功應(yīng)用給 行業(yè)內(nèi)客戶提供了比較有借鑒意義的案例。 

博觀機器視覺質(zhì)檢平臺計劃在不斷通過人工智能算 法優(yōu)化來進一步提升機器視覺設(shè)備的泛化性和準確性， 讓人工智能更穩(wěn)定地應(yīng)用于工業(yè)現(xiàn)場的惡劣環(huán)境中，對 于提升整體工業(yè)制造的智能化水平也頗具意義。該機器 視覺質(zhì)檢平臺探索的路徑是，結(jié)合客戶的痛點以及AI算 法的能力，將兩者合二為一，采用最高效的方式來不斷 地提高工業(yè)場景的生產(chǎn)效率。未來博觀將在智能制造、 高端裝備、自動化設(shè)備等行業(yè)探尋更多技術(shù)深化和項目 合作。 

3.2.3　社會價值 

（1）節(jié)約人力成本 

從長期來看，伴隨日益嚴重的人口老齡化趨勢， 人員短缺、勞動力價格上漲的狀態(tài)還將持續(xù)，這都在無 形之中加劇企業(yè)的生產(chǎn)成本。博觀糧油機器視覺解決方 案的落地應(yīng)用，能夠?qū)崿F(xiàn)機器視覺對人工檢測的有效替 代，減輕糧油生產(chǎn)過程中對傳統(tǒng)人力的依賴性，能夠為 企業(yè)節(jié)約大量的人力成本，緩解因人工成本上漲而帶來 的生產(chǎn)壓力，加快降本增效。 

（2）減少糧食資源浪費 

在人多地少的基本國情下，節(jié)約糧食是保障14億 人糧食安全的戰(zhàn)略選擇。然而，我國糧食損耗浪費現(xiàn)象 嚴重，糧食供給端存在資源配置效率偏低的問題。據(jù)聯(lián) 合國糧農(nóng)組織估計，我國每年僅在糧食收獲、運輸、儲 存、加工過程中造成的損失浪費，就達到糧食總量的 6%。博觀糧油機器視覺解決方案通過機器視覺質(zhì)檢， 在發(fā)現(xiàn)包裝袋斷線、漏縫等多種殘次問題后，能做到第 一時間報警并剔除，解決了傳統(tǒng)人工檢測帶來的產(chǎn)品品 質(zhì)波動問題，減少了因包裝袋破損產(chǎn)生的糧食損耗，在 保證產(chǎn)品良品率的同時避免了原材料浪費。 

（3）保障糧食生產(chǎn)安全 

保障糧食安全，不僅要從源頭出發(fā)保證原材料的 安全，還要加強對加工制造過程的檢驗檢查。包裝袋開 口、破損等加工過程中常見的問題容易引發(fā)袋內(nèi)糧品污 染，保質(zhì)期縮短，還會招致發(fā)霉蟲害等，威脅人民健 康。博觀糧油機器視覺解決方案，借助人工智能、機器 視覺、云計算等先進技術(shù)，高效檢測包裝袋破損問題 并及時告警相關(guān)人員處理，實現(xiàn)了糧油工廠的智能化管 控，為糧食生產(chǎn)安全保駕護航。

摘自《自動化博覽》2023年第2期暨《邊緣計算2023專輯》