中國移動通信有限公司研究院牟彥，姚柯翰，劉鵬，陸璐

1　引言

當前，全球科技創(chuàng)新進入密集活躍時期，新工業(yè)革命蓬勃發(fā)展。工業(yè)互聯(lián)網(wǎng)是新一代信息通信技術(shù)與工業(yè)經(jīng)濟深度融合的關(guān)鍵基礎(chǔ)設(shè)施，其打造了新型應(yīng)用模式和全新工業(yè)生態(tài)。它通過人、機、物的全面互聯(lián)，構(gòu)建起覆蓋全要素、全產(chǎn)業(yè)鏈、全價值鏈的新型制造與服務(wù)體系，為工業(yè)數(shù)字化、網(wǎng)絡(luò)化、智能化轉(zhuǎn)型升級提供了實現(xiàn)路徑。

隨著現(xiàn)代工業(yè)向智能化方向的不斷發(fā)展，海量工業(yè)數(shù)據(jù)持續(xù)發(fā)往數(shù)據(jù)中心，工業(yè)設(shè)備對通信和計算資源的需求變得越來越緊迫，而算力基礎(chǔ)設(shè)施的提升速度仍難以滿足工業(yè)互聯(lián)網(wǎng)向智能化發(fā)展的應(yīng)用需求。

隨著可編程芯片的出現(xiàn)，在網(wǎng)計算成為一種新的計算范式。在網(wǎng)計算將計算任務(wù)卸載至網(wǎng)絡(luò)設(shè)備，以實現(xiàn)更高效、靈活的數(shù)據(jù)處理，其主要技術(shù)優(yōu)勢在于減少應(yīng)用數(shù)據(jù)搬運、壓縮傳輸數(shù)據(jù)量，以及優(yōu)化通信模式。通過引入在網(wǎng)計算加速技術(shù)，工業(yè)互聯(lián)網(wǎng)在網(wǎng)絡(luò)基礎(chǔ)設(shè)施層能夠更好地支持智能機器的連接、機器與軟件系統(tǒng)的連接、大數(shù)據(jù)分析等應(yīng)用。利用網(wǎng)絡(luò)基礎(chǔ)設(shè)施參與數(shù)據(jù)計算和控制處理的方式可以提升系統(tǒng)整體運行效率，降低通信延遲，減少總體能耗。

工業(yè)互聯(lián)網(wǎng)強調(diào)“人、機、物”的全面互聯(lián)，產(chǎn)生大量應(yīng)用數(shù)據(jù)，且多數(shù)應(yīng)用需要滿足低時延、高吞吐、高并發(fā)、高可靠的業(yè)務(wù)需求，因此工業(yè)互聯(lián)網(wǎng)對算力和網(wǎng)絡(luò)的需求十分嚴格。在網(wǎng)計算技術(shù)通過近數(shù)據(jù)處理減少數(shù)據(jù)搬運，并利用網(wǎng)絡(luò)天然的高吞吐交換能力實現(xiàn)控制、計算等任務(wù)卸載，可以更好地滿足工業(yè)系統(tǒng)對可靠性和時延的要求。工業(yè)互聯(lián)網(wǎng)的目標是通過開放的網(wǎng)絡(luò)平臺將設(shè)備、生產(chǎn)元素連接起來，在網(wǎng)計算技術(shù)使得這些設(shè)備和元素在地理上分散的同時，仍保持高效的數(shù)據(jù)交換和處理能力，這種協(xié)同效應(yīng)不僅提高了生產(chǎn)的效率，還為創(chuàng)新提供了條件。在網(wǎng)計算可以賦能多種工業(yè)互聯(lián)網(wǎng)場景，包括提供數(shù)據(jù)采集、數(shù)據(jù)清洗、復雜事件驅(qū)動及控制決策等技術(shù)能力。如解決云化PLC帶來的時延和抖動，利用可編程轉(zhuǎn)發(fā)設(shè)備調(diào)度控制任務(wù)與網(wǎng)絡(luò)流量，實現(xiàn)控制任務(wù)與專用控制器解耦以支持生產(chǎn)線的切換與靈活升級。

本文通過分析工業(yè)互聯(lián)網(wǎng)對在網(wǎng)計算加速技術(shù)的需求場景，提出了在網(wǎng)計算關(guān)鍵技術(shù)，并通過在網(wǎng)計算加速了工業(yè)互聯(lián)網(wǎng)應(yīng)用部署。

2　工業(yè)互聯(lián)網(wǎng)的在網(wǎng)計算加速需求

工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)是構(gòu)建工業(yè)環(huán)境下人、機、物全面互聯(lián)的關(guān)鍵基礎(chǔ)設(shè)施，根據(jù)業(yè)務(wù)需求和數(shù)據(jù)流向，工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)又可進一步劃分為工廠內(nèi)網(wǎng)和工廠外網(wǎng)^[1]。

工業(yè)互聯(lián)網(wǎng)內(nèi)網(wǎng)和外網(wǎng)中的計算基礎(chǔ)設(shè)施部署如圖1所示。其中骨干網(wǎng)絡(luò)與超算中心構(gòu)成工廠外網(wǎng)，生產(chǎn)現(xiàn)場網(wǎng)絡(luò)、生產(chǎn)辦公網(wǎng)絡(luò)和園區(qū)網(wǎng)絡(luò)構(gòu)成工廠內(nèi)網(wǎng)^[2]。

圖1  面向工業(yè)互聯(lián)網(wǎng)的在網(wǎng)計算加速場景

工業(yè)互聯(lián)網(wǎng)的計算基礎(chǔ)設(shè)施包括部署在工業(yè)外網(wǎng)和內(nèi)網(wǎng)中的中心云、邊緣云、網(wǎng)關(guān)等。中心云主要處理非實時的大規(guī)模數(shù)據(jù)，部署在企業(yè)外網(wǎng)或內(nèi)網(wǎng)；邊緣云主要處理有一定實時性、安全性要求的業(yè)務(wù)，通常部署在園區(qū)網(wǎng)絡(luò)或者生產(chǎn)辦公網(wǎng)絡(luò)。

2.1　園區(qū)物聯(lián)網(wǎng)的時延敏感業(yè)務(wù)受邊緣計算規(guī)模制約

園區(qū)物聯(lián)網(wǎng)通過對智能物聯(lián)網(wǎng)設(shè)備的信息匯總分析，實現(xiàn)對園區(qū)運行狀態(tài)的實時感知和運行監(jiān)測。智能物聯(lián)設(shè)備受制于體積、功耗，常常會存在資源有限、算力不足的情況^[3]。當前主流的解決方案是依靠部署在網(wǎng)絡(luò)邊緣的邊緣服務(wù)器提供計算卸載服務(wù)，匯總物聯(lián)網(wǎng)終端數(shù)據(jù)并做出相應(yīng)決策。

隨著物聯(lián)網(wǎng)設(shè)備數(shù)量的快速增長，基于邊緣計算的計算卸載架構(gòu)也在帶寬、時延及可靠性上面臨巨大挑戰(zhàn)^[4]。一方面，以通用服務(wù)器為基礎(chǔ)的邊緣集群的吞吐量性能難以滿足物聯(lián)網(wǎng)場景中廣泛存在的高性能計算需求^[5]。另一方面，基于邊緣計算的計算卸載架構(gòu)在完成計算時會引入額外的處理時延和阻塞，難以支撐不斷涌現(xiàn)的時延敏感型物聯(lián)網(wǎng)應(yīng)用（如自動駕駛、應(yīng)急聯(lián)動）。同時，由于邊緣計算中心所在的位置限制，其規(guī)模不太可能隨著數(shù)據(jù)需求的增長而無限擴展。

2.2　生產(chǎn)辦公網(wǎng)絡(luò)需要提高基于業(yè)務(wù)的服務(wù)保障能力

工業(yè)互聯(lián)網(wǎng)中的場景利用XR業(yè)務(wù)（包括虛擬現(xiàn)實、增強現(xiàn)實和混合現(xiàn)實技術(shù)）對現(xiàn)實世界進行模擬、增強或交互。如在虛擬環(huán)境中進行產(chǎn)品設(shè)計，模擬產(chǎn)品的外觀、功能和性能，有助于加快設(shè)計迭代速度，降低開發(fā)成本。在維護與修理環(huán)節(jié)，通過XR為工人提供遠程協(xié)作和實時指導，降低維修成本，縮短停機時間。在培訓與教育環(huán)節(jié)，為學員在虛擬環(huán)境中模擬實際操作，提高培訓效果和安全性。

隨著XR技術(shù)不斷演化升級，數(shù)據(jù)流更多源異構(gòu)、圖像分辨率更高、應(yīng)用場景更多樣、用戶規(guī)模更龐大，對網(wǎng)絡(luò)下行帶寬、容量、確定性時延和可靠性均提出了全新要求。業(yè)務(wù)終端的規(guī)模劇增，導致服務(wù)器算力不足，對數(shù)據(jù)通道帶寬的擠占會極大影響控制信息的傳輸，為實現(xiàn)更精準的服務(wù)保障，還需要增加手段對數(shù)據(jù)流的業(yè)務(wù)信息進行探測和感知。

2.3　生產(chǎn)現(xiàn)場網(wǎng)絡(luò)需要解決靈活配置與實時工業(yè)控制的矛盾

客戶對制造業(yè)提出了定制化和個性化要求，需要生產(chǎn)線具備高度的靈活性，支持生產(chǎn)線的快速重新配置。基于中心云進行控制功能云化，可以實現(xiàn)生產(chǎn)線的快速重配和靈活性，但無法滿足實時工業(yè)控制（如執(zhí)行器、機械臂、傳送帶等的速度或扭矩控制）對低延遲和高可靠性網(wǎng)絡(luò)的要求^[6]。引入邊緣云計算可以顯著減少傳播延遲，但邊緣計算節(jié)點依賴于與遠程云基礎(chǔ)設(shè)施相同的虛擬化技術(shù)，需要依賴實時操作系統(tǒng)來消除CPU調(diào)度的影響。控制更新時間更短、數(shù)量更多的新型機械臂實現(xiàn)實時速度控制需要超快的響應(yīng)時間，傳統(tǒng)的邊緣計算基礎(chǔ)設(shè)施很難滿足這一要求。

工業(yè)現(xiàn)場需要使用大量的控制器組裝協(xié)同完成復雜的操作。工業(yè)控制器之間需要通過垂直協(xié)同（上下級控制器間的協(xié)同）和水平協(xié)同（平級控制器間的協(xié)同）共同完成特定生產(chǎn)工業(yè)流程。如何實現(xiàn)不同控制器之間的指令協(xié)同以及機械臂的動作協(xié)同，是對機械臂控制器間的交互性能提出的新的要求。

2.4　工廠內(nèi)外網(wǎng)面臨原始數(shù)據(jù)擁塞和訓練數(shù)據(jù)通信瓶頸

工業(yè)互聯(lián)網(wǎng)的關(guān)鍵應(yīng)用之一就是使用機器學習對海量數(shù)據(jù)實施流式計算及大數(shù)據(jù)分析。物聯(lián)網(wǎng)設(shè)備產(chǎn)生大量連續(xù)的數(shù)據(jù)流，工廠內(nèi)網(wǎng)采集的原始數(shù)據(jù)如果直接通過工廠外網(wǎng)送往數(shù)據(jù)中心，會導致網(wǎng)關(guān)擁塞，損害物聯(lián)網(wǎng)系統(tǒng)的可擴展性。

云數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)在支持分布式機器學習的訓練過程中，也存在分布式機器學習的中間通信流量過大造成網(wǎng)絡(luò)擁塞和較大聚合延遲問題，從而影響分布式機器學習模型訓練速度和效率，進而影響業(yè)務(wù)的部署和迭代。

3　面向工業(yè)互聯(lián)網(wǎng)的在網(wǎng)計算技術(shù)架構(gòu)

在網(wǎng)計算使用網(wǎng)絡(luò)設(shè)備進行近數(shù)據(jù)計算，可以在高速轉(zhuǎn)發(fā)過程完成應(yīng)用數(shù)據(jù)處理，縮短了數(shù)據(jù)傳輸路徑，是解決分布式應(yīng)用在計算和通信瓶頸問題上的重要技術(shù)。

圖2  面向工業(yè)互聯(lián)網(wǎng)的在網(wǎng)計算技術(shù)架構(gòu)

如圖2所示，在網(wǎng)計算架構(gòu)包含異構(gòu)網(wǎng)元、高性能互聯(lián)、在網(wǎng)計算通信庫、分布式應(yīng)用和編排管理5個核心功能層：異構(gòu)網(wǎng)元是指在不同場景下具備在網(wǎng)計算能力的物理設(shè)備，是實現(xiàn)在網(wǎng)計算的基礎(chǔ)底座；高性能互聯(lián)層為服務(wù)器、在網(wǎng)計算網(wǎng)元提供可靠、高效的連接保障，可基于現(xiàn)有成熟協(xié)議棧，如RoCE、InfiniBand、OPC UA和Modbust等，也可以基于自定義協(xié)議棧；在網(wǎng)計算通信庫作為在網(wǎng)計算架構(gòu)體系的核心層，為分布式應(yīng)用提供了通用的在網(wǎng)計算加速能力；分布式應(yīng)用層包含在網(wǎng)計算可以服務(wù)的各種應(yīng)用類型，包括以計算為特征的大規(guī)模數(shù)據(jù)采集、質(zhì)量管理預測，以控制和響應(yīng)為特征的AGV協(xié)同導引，以多媒體融合為特征的車間可視化等應(yīng)用；在網(wǎng)計算編排管理層主要包括對網(wǎng)絡(luò)設(shè)備的資源管理，以及計算任務(wù)跨網(wǎng)絡(luò)設(shè)備運行過程的任務(wù)調(diào)度管理和編排。

在網(wǎng)計算架構(gòu)的橫向：在網(wǎng)計算通信庫承上啟下，以異構(gòu)網(wǎng)內(nèi)算力資源實現(xiàn)統(tǒng)一的在網(wǎng)計算服務(wù)；縱向：在網(wǎng)計算編排管理全棧貫通，優(yōu)化應(yīng)用開發(fā)模式、協(xié)同端網(wǎng)任務(wù)部署、統(tǒng)籌網(wǎng)內(nèi)資源管理。在網(wǎng)計算通過“一橫一縱”實現(xiàn)應(yīng)用層和網(wǎng)元之間的計算通信協(xié)同，實現(xiàn)包括在網(wǎng)數(shù)據(jù)推理、在網(wǎng)業(yè)務(wù)感知、在網(wǎng)控制，以及在網(wǎng)數(shù)據(jù)聚合等4項面向工業(yè)互聯(lián)網(wǎng)的加速技術(shù)。

4　面向工業(yè)互聯(lián)網(wǎng)的在網(wǎng)計算加速技術(shù)

4.1　在網(wǎng)數(shù)據(jù)推理技術(shù)有效彌補園區(qū)物聯(lián)網(wǎng)邊緣算力不足

在網(wǎng)計算數(shù)據(jù)推理是由可編程轉(zhuǎn)發(fā)設(shè)備實現(xiàn)包括決策樹、SVM、樸素貝葉斯的各種分類算法，支撐網(wǎng)絡(luò)設(shè)備在網(wǎng)絡(luò)路徑上就近返回決策處理結(jié)果。引入在網(wǎng)數(shù)據(jù)推理后，由網(wǎng)絡(luò)轉(zhuǎn)發(fā)設(shè)備實施數(shù)據(jù)推理計算，依據(jù)分析服務(wù)器下發(fā)的數(shù)據(jù)模型對收集到的原始數(shù)據(jù)進行推理，對原始數(shù)據(jù)進行特征提取和異常識別并將控制指令返回給終端設(shè)備。與基于分析服務(wù)器的推理（原始數(shù)據(jù)被傳輸?shù)椒治龇?wù)器進行推理）相比，中間層網(wǎng)絡(luò)設(shè)備推理提前終止了終端設(shè)備發(fā)往分析服務(wù)器的原始數(shù)據(jù)流量，節(jié)省了核心網(wǎng)絡(luò)的帶寬，即減少了網(wǎng)絡(luò)中業(yè)務(wù)流的總量，利用網(wǎng)絡(luò)設(shè)備的高速處理能力減少了推理時間,在卸載分析服務(wù)器的算力的同時加速了數(shù)據(jù)的實時分析和控制指令的響應(yīng)。

4.2　在網(wǎng)業(yè)務(wù)感知技術(shù)有效提升生產(chǎn)辦公等場景下XR業(yè)務(wù)的服務(wù)質(zhì)量

在網(wǎng)業(yè)務(wù)感知通過網(wǎng)絡(luò)設(shè)備根據(jù)數(shù)據(jù)包載荷獲取業(yè)務(wù)信息以實現(xiàn)業(yè)務(wù)探測功能，根據(jù)關(guān)聯(lián)數(shù)據(jù)流方式實現(xiàn)專用承載識別及網(wǎng)絡(luò)切片識別，提供了更精準的服務(wù)保障。在網(wǎng)計算技術(shù)通過網(wǎng)絡(luò)感知業(yè)務(wù)的方式，提升網(wǎng)、業(yè)、端協(xié)同以及構(gòu)建分布式高性能計算能力，為XR終端設(shè)備提供了高性能計算支撐。XR業(yè)務(wù)實現(xiàn)端云協(xié)同渲染時，需要實現(xiàn)邊緣云和終端設(shè)備協(xié)同分配計算任務(wù)，在終端側(cè)進行低延遲的渲染任務(wù)，在邊緣云進行計算密集型的運算和圖像渲染，并整合兩者的計算結(jié)果。引入在網(wǎng)計算能力，通過網(wǎng)絡(luò)設(shè)備增強并行分布式計算能力和聚合通信能力，隨路卸載邊緣云的計算任務(wù)，可以大幅提升XR的渲染能力，提供更實時的用戶體驗。

4.3　在網(wǎng)控制技術(shù)優(yōu)化生產(chǎn)現(xiàn)場網(wǎng)絡(luò)的可控性和靈活性

在網(wǎng)控制技術(shù)是指關(guān)鍵控制任務(wù)被卸載到通過遠端管理的網(wǎng)元設(shè)備中的方法。比如，在進行工業(yè)機械臂的控制流程系統(tǒng)中，將工業(yè)機械臂的控制流程重新劃分為延遲敏感任務(wù)和高級控制任務(wù)，將高級控制任務(wù)保留在原云/邊緣數(shù)據(jù)中心的工業(yè)控制器，將工業(yè)機械臂的實時速度控制卸載到可編程轉(zhuǎn)發(fā)設(shè)備。由工業(yè)控制器、在網(wǎng)計算網(wǎng)元設(shè)備和工業(yè)機械臂組成的控制系統(tǒng)，將較長、較遠的控制環(huán)路分割成較小的環(huán)路，以處理傳輸延遲，實現(xiàn)線速計算，并確保微秒級的實時響應(yīng)時間，從而解決云和邊緣云機器人技術(shù)問題。這種使用網(wǎng)絡(luò)硬件對現(xiàn)場實施控制的方式可以在通信過程中為應(yīng)用層的低延遲實時計算開辟新的領(lǐng)域。

在分布式系統(tǒng)中，通過共識協(xié)議來實現(xiàn)對某個數(shù)據(jù)值或操作序列的一致性，比如鎖管理系統(tǒng)、組播通信、一致性協(xié)調(diào)。支持在網(wǎng)計算的轉(zhuǎn)發(fā)設(shè)備卸載一致性共識功能，可以減少工業(yè)控制器之間的協(xié)調(diào)延遲。

4.4　在網(wǎng)數(shù)據(jù)聚合技術(shù)可降低工廠內(nèi)網(wǎng)和外網(wǎng)數(shù)據(jù)擁塞問題

在網(wǎng)數(shù)據(jù)聚合技術(shù)在工廠內(nèi)網(wǎng)及工廠外網(wǎng)的數(shù)據(jù)中心內(nèi)部有不同的實現(xiàn)：

在工廠內(nèi)網(wǎng)采用在網(wǎng)數(shù)據(jù)聚合技術(shù)，利用可編程數(shù)據(jù)平面的改進通信協(xié)議，支持在網(wǎng)絡(luò)級別的硬件交換機內(nèi)實現(xiàn)數(shù)據(jù)聚合算法，根據(jù)網(wǎng)絡(luò)狀態(tài)和物聯(lián)網(wǎng)設(shè)備使用的不同通信技術(shù)實現(xiàn)數(shù)據(jù)聚合功能。通過減少通過網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)包數(shù)量，減少對網(wǎng)絡(luò)設(shè)備帶寬資源的占用和服務(wù)器計算資源的消耗。

在云數(shù)據(jù)中心網(wǎng)絡(luò)引入在網(wǎng)數(shù)據(jù)聚合技術(shù)，由網(wǎng)絡(luò)交換節(jié)點卸載機器學習中的參數(shù)聚合處理，使任務(wù)總體數(shù)據(jù)傳輸量下降，解決通信系統(tǒng)中存在的帶寬瓶頸，使其模型訓練速度加快，業(yè)務(wù)效率提升，最終提高系統(tǒng)計算任務(wù)的總體性能。

5　總結(jié)與展望

工業(yè)互聯(lián)網(wǎng)對計算和網(wǎng)絡(luò)提出了更加嚴格的業(yè)務(wù)需求，通過引入在網(wǎng)計算可以實現(xiàn)系統(tǒng)性能的提升。本文通過分析工業(yè)互聯(lián)網(wǎng)工廠內(nèi)外多種應(yīng)用場景和業(yè)務(wù)需求，針對性地提出了在網(wǎng)數(shù)據(jù)推理、在網(wǎng)業(yè)務(wù)感知、在網(wǎng)控制，以及在網(wǎng)數(shù)據(jù)聚合等4項關(guān)鍵技術(shù)，有效提升了工業(yè)互聯(lián)網(wǎng)應(yīng)用的計算效率、可靠性和靈活性，同時提升了算網(wǎng)資源的利用率。面向未來，在網(wǎng)計算將深度融入工業(yè)互聯(lián)網(wǎng)算網(wǎng)基礎(chǔ)設(shè)施，不斷賦能更多應(yīng)用場景和垂直業(yè)務(wù)。

作者簡介：

牟　彥（1979-），女，工程師，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為未來網(wǎng)絡(luò)、在網(wǎng)計算、算力網(wǎng)絡(luò)以及工業(yè)互聯(lián)網(wǎng)的技術(shù)和應(yīng)用。

姚柯翰（1993-），男，工程師，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為算網(wǎng)一體前沿技術(shù)、在網(wǎng)計算、AI網(wǎng)絡(luò)等。

劉　鵬（1991-），男，工程師，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為下一代IP網(wǎng)絡(luò)、確定性網(wǎng)絡(luò)的技術(shù)和應(yīng)用。

陸　璐（1979-），女，高級工程師，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為移動核心網(wǎng)策略、演進、標準和技術(shù)研究。

參考文獻：

[1] 工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟(AII). 工業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)連接白皮書(版本2.0)[R]. 2021.

[2] YANG Fan, SONG Wenxuan, XU Fangmin, et al. Research on the Application of Computing Force Network

Technology in Industrial Internet of Things[J]. Radio Communications Technology, 2023, 49 (1) : 63 - 71.

[3] Kaur K, Garg S, Aujla G S, et al. Edge Computing in the Industrial Internet of Things Environment: SoftwareDefined-Networks-Based Edge-Cloud Interplay[J]. IEEE Communications Magazine, 2018, 56 (2) : 44 - 51.

[4] Rafique W, Qi L, Yaqoob I, et al. Complementing loT Services through Software Defined Networking and Edge Computing: A Comprehensive Survey[J]. IEEE Communications Surveys & Tutorials, 2020, PP (99) : 1.

[5] 潘輝江. 基于網(wǎng)內(nèi)計算的物聯(lián)網(wǎng)計算卸載設(shè)計與研究[D]. 北京: 北京郵電大學, 2022.

[6] Sándor Laki1, Csaba Gy?rgyi1, József Pet?o2, et al. In-Network Velocity Control of Industrial Robot Arms[J]. NSDI, 2022.

摘自《自動化博覽》2024年第二期暨《邊緣計算2024專輯》