近日，Arm宣布推出Arm Ethos-U85神經(jīng)網(wǎng)絡(luò)處理器（NPU），以及全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)——Arm Corstone-320，以加速實(shí)現(xiàn)語(yǔ)音、音頻和視覺(jué)系統(tǒng)的部署，促進(jìn)未來(lái)多模態(tài)智能應(yīng)用的全方位部署。

隨著人工智能（AI）不斷對(duì)我們的日常生活產(chǎn)生越來(lái)越大的影響，其推理任務(wù)也逐漸從云端遷移到邊緣側(cè)和端側(cè)。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健告訴記者，將計(jì)算資源部署于邊緣和終端，在提升響應(yīng)速度與可靠性、節(jié)省帶寬資源、保護(hù)隱私與數(shù)據(jù)安全，以及降低成本等方面都具有明顯優(yōu)勢(shì)。

近日，Arm宣布推出Arm Ethos-U85神經(jīng)網(wǎng)絡(luò)處理器（NPU），以及全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)——Arm Corstone-320，以加速實(shí)現(xiàn)語(yǔ)音、音頻和視覺(jué)系統(tǒng)的部署，促進(jìn)未來(lái)多模態(tài)智能應(yīng)用的全方位部署。

1.Arm第三代面向邊緣AI的NPU產(chǎn)品

物聯(lián)網(wǎng)的興起極大推動(dòng)了邊緣計(jì)算設(shè)備的普及，這些系統(tǒng)開(kāi)始具備更強(qiáng)的處理能力和連接性，使得數(shù)據(jù)處理更加靠近數(shù)據(jù)源。隨著機(jī)器學(xué)習(xí)（ML）和AI技術(shù)的發(fā)展，智能設(shè)備不僅能夠執(zhí)行任務(wù)，還能夠?qū)W習(xí)和適應(yīng)。

近來(lái)，伴隨著Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調(diào)效率都有了質(zhì)的突破，加上低功耗的AI加速器和專(zhuān)用芯片被集成到終端設(shè)備中，邊緣智能正變得越來(lái)越自主和強(qiáng)大。

Arm多年來(lái)不斷開(kāi)發(fā)邊緣AI加速器，以滿足邊緣側(cè)和端側(cè)不斷增長(zhǎng)的推理工作負(fù)載需求。此前兩款成功的NPU產(chǎn)品——Arm Ethos-U55和Ethos-U65，為邊緣側(cè)和端側(cè)AI應(yīng)用帶來(lái)了高性能、高能效的解決方案。

與上一代產(chǎn)品相比，Ethos-U85性能提升四倍，能效提高20%，同時(shí)，其MAC單元可從128個(gè)擴(kuò)展到2048個(gè)（在1GHz時(shí)，算力實(shí)現(xiàn)4TOPs），能夠?yàn)橹T如工廠自動(dòng)化和商用或智能家居攝像頭等需要更高性能的應(yīng)用提供有力的支持。

Ethos-U85提供了與前幾代 Ethos U 系列相同的一致工具鏈，因此合作伙伴能夠利用現(xiàn)有的投資，達(dá)到無(wú)縫的開(kāi)發(fā)者體驗(yàn)。更重要的是，全新Ethos-U85 NPU支持了TensorFlow Lite和PyTorch等AI框架。

于2017年問(wèn)世的Transformer架構(gòu)徹底改變了生成式AI，并成為許多新型神經(jīng)網(wǎng)絡(luò)的首選架構(gòu)。Transformer架構(gòu)將推動(dòng)新的應(yīng)用，特別是面向視覺(jué)和生成式AI用例中，對(duì)于理解視頻、填充圖像的缺失部分或分析來(lái)自多個(gè)攝像頭的數(shù)據(jù)以進(jìn)行圖像分類(lèi)和目標(biāo)檢測(cè)等任務(wù)非常有效。

大模型在邊緣AI落地面臨模型成熟度、邊緣AI平臺(tái)開(kāi)發(fā)等挑戰(zhàn)，而Ethos-U85 可原生支持Transformer架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）以實(shí)現(xiàn)AI推理。

隨著微處理器被部署到諸如工業(yè)機(jī)器視覺(jué)、可穿戴設(shè)備和消費(fèi)者機(jī)器人等更多高性能的物聯(lián)網(wǎng)系統(tǒng)中，Ethos-U85專(zhuān)為與Arm領(lǐng)先的Armv9 Cortex-A CPU相結(jié)合而設(shè)計(jì)，以加速處理ML任務(wù)，并為更廣泛的更高性能設(shè)備提供高能效的邊緣推理能力。

迄今，Arm Ethos NPU系列產(chǎn)品已有逾20家授權(quán)許可合作伙伴，其中，Alif Semiconductor和英飛凌是全新Arm Ethos-U85 NPU的早期采用者。

2.全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)

隨著語(yǔ)音、音頻和視覺(jué)功能融合到物聯(lián)網(wǎng)（IoT）中，物聯(lián)網(wǎng)設(shè)備與其周?chē)h(huán)境交互、解讀和感知的方式發(fā)生了徹底的變化。從前難以想象的廣泛新應(yīng)用和功能正逐步被發(fā)掘。而這將推動(dòng)物聯(lián)網(wǎng)設(shè)備和技術(shù)實(shí)現(xiàn)重大的創(chuàng)新與變革。

邊緣AI既帶來(lái)了機(jī)遇，也帶來(lái)了挑戰(zhàn)。在設(shè)計(jì)邊緣AI芯片和系統(tǒng)時(shí)，需要在計(jì)算能力和能效之間找到合適的平衡。高性能的處理能力往往伴隨著更高的功耗，而邊緣設(shè)備往往對(duì)功耗和成本都有著嚴(yán)格限制。

馬健表示，Arm架構(gòu)天然具備優(yōu)異的能效。在產(chǎn)品設(shè)計(jì)中實(shí)現(xiàn)低功耗設(shè)計(jì)是Arm與生俱來(lái)的DNA，能幫助廣大的合作伙伴降低能耗和成本。

與此同時(shí)，隨著越來(lái)越多的數(shù)據(jù)在邊緣被處理，數(shù)據(jù)安全和隱私保護(hù)變得尤為重要。這要求芯片設(shè)計(jì)必須包含加密和安全功能。邊緣用例五花八門(mén)，傳統(tǒng)物聯(lián)網(wǎng)市場(chǎng)存在碎片化，為了更好地統(tǒng)一多樣化的應(yīng)用要求，達(dá)到規(guī)模化效益，軟件定義和適于軟件移植的標(biāo)準(zhǔn)更是必不可少。Arm在IP、參考設(shè)計(jì)和軟件標(biāo)準(zhǔn)上持續(xù)投入，從而幫助整個(gè)邊緣AI生態(tài)應(yīng)對(duì)這些挑戰(zhàn)。

Arm一貫秉承構(gòu)建通用計(jì)算平臺(tái)和生態(tài)的策略，不僅平衡性能與能效，更將軟件的可擴(kuò)展性和系統(tǒng)應(yīng)用的開(kāi)發(fā)成本作為一個(gè)關(guān)鍵的考量因素，進(jìn)而助力生態(tài)系統(tǒng)合作伙伴實(shí)現(xiàn)最低的總擁有成本（TCO）。

“我們認(rèn)為只有普適性的通用計(jì)算平臺(tái)才可能達(dá)到規(guī)模化，進(jìn)而更好地實(shí)現(xiàn)豐富的軟件支持。期待未來(lái)通過(guò)大模型和多模態(tài)，物聯(lián)網(wǎng)碎片化問(wèn)題可以得到更好的改進(jìn)，AI會(huì)從一個(gè)單一功能到多功能，甚至是向通用 AI 的方向演進(jìn)，這樣的演進(jìn)方式也非常適合搭載Arm推出的通用處理器，不管是嵌入式處理器還是應(yīng)用處理器，還是處理器上實(shí)現(xiàn)的統(tǒng)一的工具鏈以及對(duì)操作系統(tǒng)（OS）和中間件的軟件支持。”馬健說(shuō)。

Arm Corstone-320物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP和全新的Ethos-U85 NPU，為語(yǔ)音、音頻和視覺(jué)等廣泛的邊緣AI應(yīng)用提供所需的性能，例如實(shí)時(shí)圖像分類(lèi)和目標(biāo)識(shí)別，或在智能音箱上啟用具有自然語(yǔ)言翻譯功能的語(yǔ)音助手。

該參考設(shè)計(jì)平臺(tái)涵蓋了軟件、工具和支持，其中包括Arm虛擬硬件。該平臺(tái)的軟硬件結(jié)合特性將使開(kāi)發(fā)者能夠在物理芯片就緒前便啟動(dòng)軟件開(kāi)發(fā)工作，從而加速推進(jìn)產(chǎn)品進(jìn)程，為日益復(fù)雜的邊緣AI設(shè)備縮短上市時(shí)間。

馬健表示，軟硬件必須協(xié)同工作才能釋放AI處理的最大潛能。Arm不僅僅聚焦處理器IP，更是在軟件與工具鏈方面加強(qiáng)投資，以滿足更簡(jiǎn)單、快速的高性能邊緣AI系統(tǒng)的開(kāi)發(fā)需求，支持諸多AI算子與應(yīng)用在Arm計(jì)算平臺(tái)上的優(yōu)化運(yùn)行，使邊緣AI在Arm平臺(tái)上“枝繁葉茂”。

展望AI加速器的未來(lái)，AI正處于非常迅速的發(fā)展初期，尤其是邊緣AI。Arm將持續(xù)通過(guò)強(qiáng)大的產(chǎn)品組合，對(duì)新的Transformer模型提供原生的支持，對(duì)工具鏈保持一致、易用的特性，幫助整個(gè)物聯(lián)網(wǎng)生態(tài)更容易實(shí)現(xiàn)AI和ML的轉(zhuǎn)型。

投稿、合作郵箱：fu.lin@zhiding.cn