★中國航空制造技術研究院邰月檸，霍志宇，閆利強

關鍵詞：人工裝配；混合現(xiàn)實；空間定位；虛實融合

1　研究背景

飛機、發(fā)動機等航空產(chǎn)品的人工裝配環(huán)節(jié)，由于裝配零件數(shù)量多、種類復雜，且作業(yè)周期長、參與裝配人員眾多，極易發(fā)生錯裝、漏裝問題^[1]。同時，裝配場景的復雜性給裝配質(zhì)量檢驗工作帶來了挑戰(zhàn)。通過數(shù)字化技術的應用，充分利用產(chǎn)品數(shù)字化定義和數(shù)據(jù)組織，可成為質(zhì)量監(jiān)管人員管控裝配質(zhì)量的重要手段^[2]。然而，利用當前航空制造中運用的數(shù)字化設計制造工具進行裝配質(zhì)量管理所面臨的挑戰(zhàn)日益凸顯：

（1）在航空產(chǎn)品裝配結(jié)果檢驗過程中，產(chǎn)品設計、制造信息通常通過包含文字描述和圖表的文檔在產(chǎn)品、工藝設計人員與裝配、質(zhì)檢員之間進行傳遞，其形式是半面的、靜態(tài)的，嚴重依賴現(xiàn)場人員的技能經(jīng)驗水平和對文檔的理解^[3]。

（2）航空產(chǎn)品的復雜性，造成裝配結(jié)果檢驗周期長、質(zhì)檢員工作疲勞程度大，極易引起漏檢錯檢問題，且此類問題難以追溯，難以形成可靠的檢驗過程記錄。

（3）制造現(xiàn)場的質(zhì)檢員所使用的傳統(tǒng)規(guī)格的平板電腦、智能手機等終端設備往往只作為平面圖紙和工藝檢驗規(guī)程文檔的簡單替換，難以體現(xiàn)航空產(chǎn)品設計制造數(shù)字化、信息化的優(yōu)勢。

混合現(xiàn)實（Mixed Reality，MR）是虛擬現(xiàn)實技術的一個重要分支。與傳統(tǒng)虛擬現(xiàn)實（Virtual Reality，VR）所要達到的完全沉浸的效果不同，MR技術是要借助顯示技術、交互技術、多種傳感技術和計算機圖形與多媒體技術將虛擬環(huán)境與用戶周圍的現(xiàn)實環(huán)境混合為一體^[4]。將MR應用到飛機裝配結(jié)果檢驗任務，使質(zhì)檢員在混合現(xiàn)實環(huán)境看到虛擬物體和真實環(huán)境的混合場景，可增強用戶對業(yè)務場景的感知能力^[5]，有助于使質(zhì)檢員將實際裝配結(jié)果與產(chǎn)品數(shù)模進行直接比對，從而提升檢驗信息傳遞準確程度并減輕質(zhì)檢員工作強度。此外，通過混合現(xiàn)實設備可錄制檢驗過程以便于追溯檢驗結(jié)果，確定故障原因。

MR設備平臺和算法軟件技術在國內(nèi)外均處于快速發(fā)展和頻繁迭代的階段，并在航空制造等行業(yè)中得到廣泛應用^[6]。在混合現(xiàn)實產(chǎn)品的研發(fā)方面，國外的波音、空中客車、洛克希德·馬丁等航空企業(yè)與微軟、達索系統(tǒng)等企業(yè)緊密協(xié)作開發(fā)了包括BARK、MOON、DiotaAR等混合現(xiàn)實軟硬件產(chǎn)品和解決方案，在輔助裝配、遠程專家支持、虛擬訓練、虛擬方案驗證等任務中發(fā)揮了重要的作用^[3]。國內(nèi)混合現(xiàn)實企業(yè)圍繞行業(yè)中的痛點問題，如安防、巡檢、遠程專家協(xié)助、虛擬培訓等任務研發(fā)了多款針對性的產(chǎn)品，并取得了良好的效果，促進了傳統(tǒng)工業(yè)行業(yè)向智能化轉(zhuǎn)型^[7]。

2　相機在空間中的定位技術

2.1　相機位姿估計

相機位姿估算就是建立圖像像素坐標系與三維空間坐標系之間的映射關系。根據(jù)已知其世界坐標系下點的像素位置，計算相機在三維空間坐標系下的位置和姿態(tài)。相機位姿估計可通過N點透視位姿求解（Perspective-npoints，PnP）算法實現(xiàn)^[8]。該方法如圖1所示，根據(jù)觀測到圖像上n個已知位置的特征點的像素位置，通過直接線性變換（Direct Linear Transformation，DLT）或非線性優(yōu)化（Non-linear Optimization，NLO）的方法求解出估計相機位姿。其中，根據(jù)非線性優(yōu)化的方法可減少三維空間坐標系不夠準確的特征點對結(jié)果的影響，使位姿估計結(jié)果準確、可靠。

圖1  相機位姿[R,t]估計示意圖

2.2　平面標志物識別與虛實注冊

平面標志物的檢測、識別與跟蹤是通過在平面區(qū)域上制作特殊圖案化標志，從應用場景中獲取的圖像中識別并定位跟蹤該標志進行虛實空間的注冊，從而實現(xiàn)虛實融合的效果。虛實注冊（Registration）或者是配準是將虛擬對象與真實對象之間坐標系對齊的過程^[9]。虛實注冊最主要的任務是通過觀察當前場景獲得相機相對于已知標識的位置和姿態(tài)，使得虛擬場景正確的與真實場景進行疊加。基于標識的跟蹤注冊過程為：系統(tǒng)通過真實場景的視頻進行分析，對該圖像進行提取、檢測與識別，以此來確定標識的ID；識別出標識以后，可以計算出相機相對于該標識的6自由度（6DoF）位置和姿態(tài)；然后根據(jù)外部參數(shù)矩陣設置虛擬相機位置渲染3D虛擬模型圖像實現(xiàn)虛實疊加顯示效果輸出到顯示設備中。基于標志物的跟蹤注冊方法計算復雜度較低，具有較好的實時性和準確性，技術也較為成熟^[10]。

2.3  基于視覺SLAM的相機位置跟蹤

相機位置跟蹤可以通過視覺SLAM（Simultaneous Localization and Mapping）實現(xiàn)。SLAM技術通過計算機視覺方法同時實現(xiàn)特征點云地圖構(gòu)建和相機6DoF位姿計算^[11]。SLAM過程中，相機通過特征點檢測、跟蹤、三角定位的方法建立特征點云，并通過濾波或非線性優(yōu)化的方法匹配特征點云并計算相機的位置，從而在三維空間內(nèi)定位AR設備。

3  系統(tǒng)設計

3.1　整體設計

MR裝配結(jié)果檢驗輔助系統(tǒng)以智能平板電腦為平臺，通過疊加顯示各類虛擬信息引導質(zhì)檢員完成對裝配結(jié)果的檢查。質(zhì)檢員開始質(zhì)檢后，AR設備將自動開啟全程錄像。通過AR眼鏡，質(zhì)檢員可以在檢驗現(xiàn)場查看到流程中每一步驟的檢驗內(nèi)容、操作指導等數(shù)字信息，還可通過語音進行程序控制、質(zhì)檢項目選擇、檢測結(jié)果輸入等。在完成整個場景后，將檢驗信息上傳到質(zhì)檢后臺，后臺支持相關數(shù)據(jù)的查詢、展示及報告的生成，從而使得裝配結(jié)果檢驗過程實現(xiàn)了工單無紙化、信息標準化、檢驗電子化、管理可追溯等目標，助力了航空產(chǎn)品生產(chǎn)單位在裝配結(jié)果檢驗環(huán)節(jié)效率提升。

3.2　功能模塊

MR裝配結(jié)果檢驗輔助系統(tǒng)具備MR空間注冊及自定位、虛實疊加顯示、檢測流程控制、檢驗提示信息加載及顯示、裝配問題標注、裝配結(jié)果檢驗報告自動生成6項主要功能。這6項功能通過系統(tǒng)的6個主要功能模塊實現(xiàn)，每個模塊的功能描述和實現(xiàn)途徑如圖2所示。

圖2  MR裝配結(jié)果檢驗輔助系統(tǒng)6項主要功能模塊示意圖

（1）MR空間注冊及自定位模塊。MR空間注冊通過二維碼平面標志物實現(xiàn)。二維碼平面標志物具有易識別、易跟蹤、定位精確的優(yōu)點。通過在場景中的固定位置設置平板標志物，可準確獲得MR設備自定位過程中相對于檢驗場景的初始位置，從而實現(xiàn)MR設備自定位結(jié)果與裝配場景坐標系間的配準，從而實現(xiàn)空間注冊。空間注冊完成后，MR設備通過視覺SLAM算法實現(xiàn)檢驗場景坐標系下連續(xù)的自定位。

（2）MR虛實疊加顯示模塊。MR虛實疊加顯示模塊通過視頻流顯示和3D渲染虛擬相機共同實現(xiàn)。其中，在MR設備屏幕區(qū)域播放MR設備視頻相機所獲得的視頻流，同時設置與MR設備屏幕區(qū)域，即視頻流播放區(qū)域等大的3D渲染窗口，并以MR設備視頻相機內(nèi)參為依據(jù)設置用于渲染3D場景的3D渲染虛擬相機的投影矩陣，投影矩陣用于計算三維空間中一點在相機圖像所渲染的位置^[12]。假設相機內(nèi)參如圖3（a）所示，m、cx、cy分別為相機焦距和相機光心坐標，w、h分別為圖像橫向、縱向分辨率，則3D渲染虛擬相機的投影矩陣為A可由以下公式求得。其中，l、r、t、b、n、f為圖3（b）所示的投影矩陣參數(shù)，該參數(shù)定義了3D渲染區(qū)域的形狀和大小。當視頻流顯示窗口與3D渲染虛擬相機如圖3（c）所示重合并同步播放視頻流和渲染3D場景時即可實現(xiàn)MR虛實疊加顯示效果。

圖3  虛實疊加中相機參數(shù)模型與投影模型示意圖

（3）裝配結(jié)果檢驗流程控制模塊。裝配結(jié)果檢驗流程控制模塊讀取預先編制的檢驗流程描述文件獲得每個裝配零件的檢驗次序。檢驗順序依照人工裝配環(huán)節(jié)每個零部件的裝配順序，引導質(zhì)檢員對每個零件的裝配結(jié)果依次完成檢驗。

（4）裝配結(jié)果檢驗提示信息加載和顯示模塊。裝配結(jié)果檢驗提示信息加載和顯示模塊用于在每個零部件裝配結(jié)果的檢驗中載入外部文件構(gòu)建虛實融合的檢驗場景。每個零件檢驗所需的信息包括固定于裝配位置顯示的3D模型和固定于MR設備屏幕像素位置顯示的零件名稱、編號、圖樣，以及檢驗所需的注意事項信息。

（5）裝配問題標注模塊。裝配問題標注模塊采用射線碰撞檢驗技術實現(xiàn)三維空間中的標注功能。當質(zhì)檢員發(fā)現(xiàn)當前待測零件存在安裝問題時，可將MR設備對準零件位置點擊標注，隨后在彈出的窗口中輸入裝配問題描述信息。同時，系統(tǒng)自動拍攝問題位置的圖片并進行標注。檢驗者最后可選擇保存信息從而將存在裝配問題零件、所在位置、場景圖像、質(zhì)檢員、檢驗時間、問題描述等存儲為數(shù)據(jù)文件。這樣不僅可以保存問題信息，還可通過MR功能使其他質(zhì)檢人員可以通過載入數(shù)據(jù)文件快速定位裝配問題所在位置并回溯所發(fā)生的裝配。

（6）裝配結(jié)果檢驗報告自動生成模塊。裝配結(jié)果檢驗報告自動生成模塊可加載裝配問題數(shù)據(jù)文件，并通過模板生成包含整個檢驗任務中所有零件檢驗結(jié)果的報告文本，并對于每個檢驗到的裝配問題進行描述。

3.3　系統(tǒng)界面設計

圖4為系統(tǒng)界面設計。系統(tǒng)通過各類顯示控件實現(xiàn)以三維模型、圖片、文本為載體的檢驗信息提示，并通過按鍵、文本輸入框等交互控件實現(xiàn)質(zhì)檢員對檢驗環(huán)節(jié)、檢驗內(nèi)容的控制。

圖4  MR裝配結(jié)果檢驗輔助系統(tǒng)界面設計示意圖

4  案例驗證

如圖5（a）所示構(gòu)建MR裝配結(jié)果檢驗輔助系統(tǒng)的簡易驗證場景。該場景包括1塊底板和10個零件，每個零件均指定固定的裝配位置。檢驗系統(tǒng)依次提示檢測人員每個零件的裝配位置從而引導質(zhì)檢員完成檢驗任務。圖5（b）顯示了系統(tǒng)運行時虛實疊加顯示檢驗提示信息的效果。

（a）MR裝配結(jié)果檢驗輔助系統(tǒng)的簡易驗證場景：零件實景（左）、零件場景三維數(shù)模（右）

（b）MR裝配結(jié)果檢驗輔助系統(tǒng)運行效果示意圖

圖5  案例驗證場景及MR裝配結(jié)果檢驗輔助系統(tǒng)運行效果

5  結(jié)論

隨著新時期航空制造業(yè)發(fā)展的需要，大批軍民用飛行器不斷研制、生產(chǎn)。由于航空產(chǎn)品具有科技含量高、結(jié)構(gòu)復雜、性能先進的特點，因此對各類型號研制、裝備生產(chǎn)和使用中的質(zhì)量檢驗工作，特別是裝配環(huán)節(jié)的質(zhì)量檢驗提出了更高的要求。目前我國航空產(chǎn)品生產(chǎn)中的質(zhì)量檢驗環(huán)節(jié)主要采用人工檢驗的模式進行，對質(zhì)檢員經(jīng)驗和責任心要求高。同時，檢驗專家缺乏導致任務負擔重，檢驗的效率和可信度都受到影響。在裝配結(jié)果檢查中運用MR技術，可有效提升質(zhì)量檢驗環(huán)節(jié)的數(shù)字化、信息化水平，進而提升檢驗效率和檢驗結(jié)果的置信度，從而有效降低質(zhì)量檢驗的成本，實現(xiàn)航空產(chǎn)品生產(chǎn)提質(zhì)增效。

作者簡介：

邰月檸（1996-），女，貴州貴陽人，助理工程師，碩士，現(xiàn)就職于中國制造技術研究院，主要從事數(shù)字化制造技術方面的研究。

霍志宇（1988-），男，河北磁縣人，高級工程師，博士，現(xiàn)就職于中國制造技術研究院，主要從事數(shù)字化制造技術方面的研究。

閆利強（1994-），男，山西呂梁人，工程師，碩士，現(xiàn)就職于中國制造技術研究院，主要從事數(shù)字化制造技術方面的研究。

參考文獻：

[1] 邵緒威. 數(shù)字化制造技術在航空航天領域應用及發(fā)展趨勢研究[J]. 中文科技期刊數(shù)據(jù)庫 (全文版) 工程技術, 2024 (1) : 43 - 46.

[2] 胡桂新, 彭鵬. 我國民用航空工業(yè)數(shù)字化發(fā)展的思考與建議[J]. 機電產(chǎn)品開發(fā)與創(chuàng)新, 2024, 37 (1) : 171 - 173.

[3] Maryam Safi, Joon Chung, Pratik Pradhan. Review of augmented reality in aerospace industry. Aircraft Engineering and Aerospace Technology, 2019, 10 (7) : 1187 - 1194.

[4] 楊慧麗, 官炳政, 李金成, 等. 基于混合現(xiàn)實技術的智能裝備向?qū)肹J]. 橡塑技術與裝備, 2024, 50 (3) : 67 - 69.

[5] 中國增強現(xiàn)實行業(yè)分析[J]. 中國科技信息, 2023 (5) : 2 - 7.

[6] 汪嘉杰, 王磊, 范秀敏, 等. 基于視覺的航天電連接器的智能識別與裝配引導[J]. 計算機集成制造系統(tǒng), 2017, 23 (11) : 2423 - 2430.

[7] 霍志宇. 高精度增強現(xiàn)實輔助裝配空間定位技術研究與應用[J]. 航空制造技術, 2022, 65 (18) : 105 - 110.

[8] Lepetit V, Moreno-Noguer F, Fua P. Epnp: An accurate o (n) solution to the pnp problem[J]. International journal of computer vision, 2009, 81 (2) : 155 - 166.

[9] Garrido-Jurado S, Mu?oz-Salinas R, Madrid-Cuevas F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47 (6) : 2280 - 2292.

[10] 面向移動增強現(xiàn)實的場景識別與跟蹤注冊技術研究[D]. 北京: 北京理工大學, 2014.  

[11] Aulinas J, Petillot Y, Salvi J, et al. The SLAM problem: a survey[C] // Proceedings of the 2008 Research and Development: Proceedings of the 11th International Conference of the Catalan Association for Artificial Intelligence. conference on Artificial Intelligence 2008: 363-371.

[12] 劉浩君. 旋轉(zhuǎn)物體三維影像投射的研究[J]. 電子技術與軟件工程, 2015 (11) : 105 - 106.

摘自《自動化博覽》2024年9月刊