文獻(xiàn)標(biāo)識(shí)碼：B文章編號(hào)：1003-0492（2024）11-070-03中圖分類號(hào)：TP29

★王曉東，郭亮亮（山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，山西太原030012）

關(guān)鍵詞：工業(yè)物聯(lián)網(wǎng)；時(shí)序數(shù)據(jù)；智能緩存；數(shù)據(jù)處理技術(shù)

目前，工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理系統(tǒng)的相關(guān)應(yīng)用和產(chǎn)品已經(jīng)得到了初步的探索，但海量時(shí)序數(shù)據(jù)的產(chǎn)生導(dǎo)致工業(yè)數(shù)據(jù)規(guī)模變大，工業(yè)物聯(lián)網(wǎng)場(chǎng)景下海量數(shù)據(jù)的高并發(fā)寫入、高吞吐存儲(chǔ)和寫多讀少等特征導(dǎo)致數(shù)據(jù)管理和運(yùn)營(yíng)面臨新挑戰(zhàn)。由于工業(yè)物聯(lián)網(wǎng)缺乏端邊云協(xié)同場(chǎng)景下海量數(shù)據(jù)全鏈路管理的基礎(chǔ)理論和技術(shù)體系，導(dǎo)致數(shù)據(jù)并發(fā)寫入速度慢、分組聚合速率低、存儲(chǔ)和處理不及時(shí)，難以實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)、查詢、處理一體化。當(dāng)前由于對(duì)工業(yè)大數(shù)據(jù)軟件系統(tǒng)的構(gòu)建邏輯與方法論存在模糊的認(rèn)識(shí)，制約了工業(yè)大數(shù)據(jù)應(yīng)用價(jià)值創(chuàng)造和良性持續(xù)發(fā)展，影響了工業(yè)物聯(lián)網(wǎng)應(yīng)用的推廣。

針對(duì)以上問(wèn)題，本文通過(guò)研究端邊云協(xié)同的工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理理論、新型工業(yè)時(shí)序數(shù)據(jù)存儲(chǔ)與高魯棒處理技術(shù)、工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理原型平臺(tái)研發(fā)及應(yīng)用示范等基礎(chǔ)理論與關(guān)鍵技術(shù)，建立了新一代工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理關(guān)鍵技術(shù)方案，為解決我國(guó)工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)處理困境提供了一種新思路。

1  端邊云協(xié)同的工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理理論

時(shí)序數(shù)據(jù)作為工業(yè)大數(shù)據(jù)中最為基本和普遍的數(shù)據(jù)形式，其海量性、多源性、連續(xù)性和高動(dòng)態(tài)性強(qiáng)的數(shù)據(jù)特征，給提供支撐服務(wù)的各種資源的優(yōu)化管理帶來(lái)了前所未有的挑戰(zhàn)。同時(shí)，工業(yè)物聯(lián)網(wǎng)設(shè)備的分散性與管理決策過(guò)程的集中性之間的矛盾，導(dǎo)致大體量數(shù)據(jù)在服務(wù)執(zhí)行過(guò)程中帶寬資源消耗增加、數(shù)據(jù)共享代價(jià)大，嚴(yán)重阻礙了工業(yè)物聯(lián)網(wǎng)設(shè)備互聯(lián)、數(shù)據(jù)快捷流通和交互聚合。

本文擬采用“端邊云協(xié)同”思路，構(gòu)建分布式一體化的數(shù)據(jù)管理架構(gòu)（如圖1所示），為工業(yè)時(shí)序數(shù)據(jù)的管理、調(diào)度和共享服務(wù)提供低時(shí)延、低能耗和高可靠性的算力支撐；研究“端邊云”節(jié)點(diǎn)的粒度劃分策略和聯(lián)合建模理論，建立以“信息-模型-資源”為驅(qū)動(dòng)的要素分級(jí)治理和信息整合方法，實(shí)現(xiàn)工業(yè)數(shù)據(jù)跨系統(tǒng)、跨層級(jí)的全局流通和鏈接共享；研究以數(shù)據(jù)流動(dòng)為導(dǎo)向的多方資源協(xié)同管理機(jī)制，定義各角色、功能、組件及其相互之間的作用關(guān)系，構(gòu)建面向工業(yè)時(shí)序數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)分布式架構(gòu)；研究邊緣節(jié)點(diǎn)的統(tǒng)一管控和動(dòng)態(tài)擴(kuò)展策略，建立基于工業(yè)物聯(lián)網(wǎng)的端邊云協(xié)同數(shù)據(jù)管理模型，提升多業(yè)務(wù)場(chǎng)景下邊緣節(jié)點(diǎn)數(shù)據(jù)管理的自治與協(xié)作能力。

圖1 分布式一體化的數(shù)據(jù)管理架構(gòu)

為實(shí)現(xiàn)“節(jié)點(diǎn)自治、分層多級(jí)、協(xié)同調(diào)度、統(tǒng)一管理”的分布式數(shù)據(jù)管理，本文面向工業(yè)物聯(lián)網(wǎng)體系，采用分布式架構(gòu)，建立基于支持現(xiàn)場(chǎng)智能終端-邊緣計(jì)算中心-云端互聯(lián)互通的端邊云協(xié)同架構(gòu)，以解決傳統(tǒng)工業(yè)數(shù)據(jù)孤島的缺陷。本文探索以數(shù)據(jù)流動(dòng)為導(dǎo)向的多方資源協(xié)同管理方法，定義面向工業(yè)時(shí)序數(shù)據(jù)的分布式數(shù)據(jù)管理架構(gòu)，構(gòu)建跨層級(jí)、協(xié)同調(diào)度的信息廣播和數(shù)據(jù)管理機(jī)制，融合數(shù)據(jù)查詢與處理機(jī)制，構(gòu)建工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理模型。

2　工業(yè)物聯(lián)網(wǎng)存-算-網(wǎng)資源協(xié)同調(diào)度與智能緩存技術(shù)研究

工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)在海量的分布式資源中，具有數(shù)據(jù)量大、冷熱訪問(wèn)特征明顯等特點(diǎn)。網(wǎng)絡(luò)系統(tǒng)為任意應(yīng)用提供數(shù)據(jù)傳輸、存儲(chǔ)與計(jì)算支持，而同一應(yīng)用被部署在任意網(wǎng)絡(luò)下均可工作。

如何管理調(diào)度這些海量的存儲(chǔ)、計(jì)算與網(wǎng)絡(luò)資源，提高熱時(shí)序數(shù)據(jù)的訪問(wèn)效率，對(duì)于提高工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)與處理效率至關(guān)重要。為解決上述問(wèn)題，本文研究了工業(yè)物聯(lián)網(wǎng)海量多類資源的協(xié)同調(diào)度與智能緩存技術(shù)。首先，提出存-算-網(wǎng)資源通用抽象理論，為工業(yè)物聯(lián)網(wǎng)海量資源提供高精度、高隱私的抽象視圖；其次，設(shè)計(jì)高效的存-算-網(wǎng)資源分布式調(diào)度算法，以資源抽象視圖及應(yīng)用的數(shù)據(jù)存儲(chǔ)需求為輸入，快速計(jì)算數(shù)據(jù)傳輸與存儲(chǔ)的最優(yōu)資源分配方案；最后，監(jiān)測(cè)應(yīng)用對(duì)數(shù)據(jù)訪問(wèn)的模式，訓(xùn)練熱數(shù)據(jù)預(yù)測(cè)模型，構(gòu)建多級(jí)智能緩存與替換策略。技術(shù)路線如圖2所示。

圖2 存-算-網(wǎng)資源協(xié)同調(diào)度與智能緩存技術(shù)路線

此外，針對(duì)傳統(tǒng)物聯(lián)網(wǎng)分布式網(wǎng)絡(luò)系統(tǒng)模塊化架構(gòu)、網(wǎng)絡(luò)與應(yīng)用互為黑盒、互不感知的問(wèn)題，本文提出了工業(yè)物聯(lián)網(wǎng)-應(yīng)用融合的新型工業(yè)物聯(lián)網(wǎng)架構(gòu)，并以此為基礎(chǔ)，研究設(shè)計(jì)了低成本、高效的時(shí)序數(shù)據(jù)存儲(chǔ)方法與高魯棒、低時(shí)延的時(shí)序數(shù)據(jù)處理方法。在工業(yè)物聯(lián)網(wǎng)-應(yīng)用融合的新型架構(gòu)中，網(wǎng)絡(luò)與應(yīng)用對(duì)彼此的黑盒抽象被打開，可以互相感知。應(yīng)用可以向網(wǎng)絡(luò)提供更多的存儲(chǔ)與處理需求信息，而網(wǎng)絡(luò)在執(zhí)行數(shù)據(jù)存儲(chǔ)與處理任務(wù)時(shí)可以充分考慮不同應(yīng)用的不同業(yè)務(wù)特性，選擇最優(yōu)的存儲(chǔ)策略與數(shù)據(jù)處理資源分配，從而實(shí)現(xiàn)工業(yè)物聯(lián)網(wǎng)時(shí)序高效數(shù)據(jù)存儲(chǔ)與高魯棒性處理。

3　基于可編程硬件的高效網(wǎng)內(nèi)時(shí)序數(shù)據(jù)處理技術(shù)

工業(yè)物聯(lián)網(wǎng)應(yīng)用需要對(duì)網(wǎng)內(nèi)產(chǎn)生的海量時(shí)序數(shù)據(jù)進(jìn)行實(shí)時(shí)高效的處理分析。傳統(tǒng)的物聯(lián)網(wǎng)數(shù)據(jù)處理方式需將數(shù)據(jù)從存儲(chǔ)設(shè)備傳輸至計(jì)算設(shè)備進(jìn)行處理，不僅會(huì)消耗大量的網(wǎng)絡(luò)資源，也會(huì)造成較高的延遲，降低數(shù)據(jù)處理的效率。

為此，本文將研究基于可編程硬件與機(jī)器學(xué)習(xí)的網(wǎng)內(nèi)時(shí)序數(shù)據(jù)處理技術(shù)。首先，為時(shí)序數(shù)據(jù)處理算子設(shè)計(jì)適用于可編程硬件的網(wǎng)內(nèi)處理原語(yǔ)；其次，收集應(yīng)用運(yùn)行時(shí)不同算子的發(fā)生頻率及其之間的依賴關(guān)系等信息，結(jié)合物聯(lián)網(wǎng)資源信息，設(shè)計(jì)基于強(qiáng)化學(xué)習(xí)的時(shí)序數(shù)據(jù)處理任務(wù)調(diào)度算法，將數(shù)據(jù)處理操作分配到可編程硬件與傳統(tǒng)計(jì)算硬件上，降低數(shù)據(jù)處理延遲。技術(shù)路線如圖3所示。

圖3 高效網(wǎng)內(nèi)時(shí)序數(shù)據(jù)處理技術(shù)路線

為解決當(dāng)前時(shí)序數(shù)據(jù)庫(kù)存在的架構(gòu)復(fù)雜、查詢困難、一致性弱、成本高等問(wèn)題，本文將構(gòu)建多模數(shù)據(jù)實(shí)時(shí)分流、多級(jí)任務(wù)動(dòng)態(tài)配置的分布式任務(wù)調(diào)度框架，分析工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)的冷熱、時(shí)效等特點(diǎn)，構(gòu)建基于人工智能的冷熱存儲(chǔ)空間智能配比方法，形成基于時(shí)效、資源、負(fù)載等多場(chǎng)景驅(qū)動(dòng)的數(shù)據(jù)庫(kù)軟件配置策略，設(shè)計(jì)統(tǒng)一的、與環(huán)境無(wú)關(guān)的多模引擎和外部計(jì)算系統(tǒng)標(biāo)準(zhǔn)接口，構(gòu)建新型工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)庫(kù)軟件架構(gòu)，為新型工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理原型平臺(tái)提供技術(shù)支持。

4　工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理原型平臺(tái)研發(fā)

未來(lái)的工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理將向云端邊一體化方向演進(jìn)。數(shù)據(jù)管理平臺(tái)支撐匯聚海量工業(yè)時(shí)序數(shù)據(jù)資源，數(shù)據(jù)資源通過(guò)時(shí)序數(shù)據(jù)庫(kù)軟件實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)互聯(lián)互通，提供面向工業(yè)數(shù)采、預(yù)防維護(hù)、數(shù)字孿生等復(fù)雜工業(yè)應(yīng)用場(chǎng)景的數(shù)據(jù)存儲(chǔ)與組織、查詢、分析以及維護(hù)等管理服務(wù)。

為此，本文擬研究工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理原型平臺(tái)的研發(fā)。首先，研究多模數(shù)據(jù)庫(kù)多層級(jí)、多場(chǎng)景、可拓展的自動(dòng)配置方案，分析工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)的冷熱、時(shí)效等特點(diǎn)，構(gòu)建基于人工智能的冷熱存儲(chǔ)空間智能配比方法，形成基于時(shí)效、資源、負(fù)載等多場(chǎng)景驅(qū)動(dòng)的數(shù)據(jù)庫(kù)軟件配置策略；然后，研究企業(yè)多源異構(gòu)生產(chǎn)數(shù)據(jù)的接入和融合方法，挖掘工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)間的運(yùn)行規(guī)律和因果影響機(jī)理，建立基于分布式的并行時(shí)序分析模型；最后，采用B/S模式和基于JavaEE三層應(yīng)用體系架構(gòu)的先進(jìn)技術(shù)框架，研發(fā)包括異構(gòu)數(shù)據(jù)集成、分布式存儲(chǔ)和處理、可集成智能應(yīng)用的企業(yè)安全生產(chǎn)數(shù)據(jù)管理平臺(tái)，支持風(fēng)險(xiǎn)態(tài)勢(shì)動(dòng)態(tài)研判、風(fēng)險(xiǎn)綜合分析、動(dòng)態(tài)預(yù)警、趨勢(shì)分析等功能。

5　結(jié)束與展望

本文針對(duì)當(dāng)前工業(yè)物聯(lián)網(wǎng)場(chǎng)景下海量數(shù)據(jù)高并發(fā)寫入、高吞吐存儲(chǔ)帶來(lái)的數(shù)據(jù)管理難題，從時(shí)序數(shù)據(jù)的采集、存儲(chǔ)、處理與管理等環(huán)節(jié)著手，解決了工業(yè)數(shù)據(jù)的流動(dòng)、轉(zhuǎn)換、分析和互聯(lián)困難等核心問(wèn)題。本文研究的內(nèi)容將支撐“新一代工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理關(guān)鍵技術(shù)研究”的一系列基礎(chǔ)理論與技術(shù)創(chuàng)新，研發(fā)的工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)管理原型平臺(tái)將為工業(yè)時(shí)序數(shù)據(jù)的全流程一體化管理提供實(shí)施手段，將滿足工業(yè)物聯(lián)網(wǎng)對(duì)工業(yè)軟件平臺(tái)及數(shù)字生態(tài)的創(chuàng)新發(fā)展需求，將提升我國(guó)工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)管理平臺(tái)自主研發(fā)能力。

作者簡(jiǎn)介：

王曉東（1995-），男，山西古交人，碩士，現(xiàn)就職于山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，研究方向?yàn)樾乱淮畔⒓夹g(shù)、智能制造、工業(yè)互聯(lián)網(wǎng)等。

郭亮亮（1981-），男，山西晉城人，正高級(jí)工程師，碩士，現(xiàn)就職于山西省信息產(chǎn)業(yè)技術(shù)研究院有限公司，研究方向?yàn)檎?企業(yè)信息化技術(shù)研發(fā)與應(yīng)用、工業(yè)互聯(lián)網(wǎng)、智慧礦山等。

參考文獻(xiàn)：

[1] 劉帥, 喬穎, 羅雄飛, 等. 時(shí)序數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)綜述[J]. 計(jì)算機(jī)研究與發(fā)展, 2024, 61 (3) : 614 - 638.

[2] 謝偉, 盧士達(dá), 時(shí)寬治, 等. 面向工業(yè)物聯(lián)網(wǎng)時(shí)序數(shù)據(jù)的異常檢測(cè)方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2024, 60 (12) : 270 - 282.

[3] 王建民. 工業(yè)互聯(lián)網(wǎng)端邊云協(xié)同數(shù)據(jù)處理難題[C]. 中國(guó)通信學(xué)會(huì)工業(yè)互聯(lián)網(wǎng)委員會(huì). 2022工業(yè)互聯(lián)網(wǎng)學(xué)術(shù)大會(huì)論文集. 清華大學(xué), 2023.

[4] 關(guān)運(yùn)通. 基于時(shí)序數(shù)據(jù)分析的工業(yè)互聯(lián)網(wǎng)異常檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2020.

[5] 夏夢(mèng)圓. 工業(yè)互聯(lián)網(wǎng)中邊緣數(shù)據(jù)管理架構(gòu)和算法研究[D]. 長(zhǎng)沙: 湖南大學(xué), 2020.

[6] 王妙瓊, 魏凱, 姜春宇. 工業(yè)互聯(lián)網(wǎng)中時(shí)序數(shù)據(jù)處理面臨的新挑戰(zhàn)[J]. 信息通信技術(shù)與政策, 2019, (5) : 4 - 9.

[7] 秦宏志. 空地協(xié)同網(wǎng)絡(luò)的智能緩存機(jī)制研究[D]. 沈陽(yáng): 沈陽(yáng)航空航天大學(xué), 2022.

[8] 周雨彤. 邊緣計(jì)算網(wǎng)絡(luò)中基于區(qū)塊鏈的智能緩存策略研究[D]. 北京: 北京郵電大學(xué), 2022.

摘自《自動(dòng)化博覽》2024年11月刊