凌云光技術股份有限公司深度學習算法部負責人 朱中洋博士

1　背景

2012年，神經網絡之父Geoffrey Hinton的學生Alex Krizhevsky，通過改進的LeNet在視覺領域競賽ILSVRC 2012中摘下桂冠。在百萬量級的ImageNet數據集合上，改進的LeNet效果大幅度超過傳統方法，從此引爆深度學習在各個場景中的應用。

此后，Google、Facebook和NVIDIA等強ToC背景企業，逐步引領深度學習在ToC領域落地實施并率先取得成功。深度學習在購物推薦、廣告推薦、路徑規劃和喜好挖掘等領域得到廣泛應用，更通過植入到手機等終端設備的方式走到每個人身邊。

2　深度學習與工業場景之間的“語義鴻溝”

既然深度學習性能這么好，能不能把它應用在工業場景，重復、有效、可靠地解決問題？能否應用在瑕疵檢測、缺陷分級和根因分析上？如果簡單地把它移植過來，會出現哪些鴻溝和問題？

第一個鴻溝：深度學習平臺

大家熟知的AI頭部公司多有自己的深度學習平臺，包含整合的算力、存儲、數據、數據標注、模型訓練和模型部署等功能。這類平臺只適合于具有少高效應（項目數量少、樣本量大且算力需求大）的公司，如互聯網企業。而工業場景中的項目卻以長尾效應（項目數量多、樣本量小且算力需求?。橹?，如工業質檢行業。云模式是否適用于工業質檢行業？將花費高代價整合出來的算力和存儲根據項目分割，是否是最優選擇？

第二個鴻溝：預訓練

做工業質檢時，即使在算法層面上開發相應的框架形成自己的平臺，最常用的基本上還是一些非常頂尖的ToC企業發布的框架網絡，如ImageNet的預訓練權重。但在實踐過程中我們發現，雖然ImageNet的圖片和工業圖片之間的鴻溝非常大，但仍然可以提升模型的性能。這樣就引出了第二個鴻溝，是不是可以有屬于自己、圖片完全來源于工業領域的預訓練模型？

第三個鴻溝：小樣本

在工業人工智能領域，隨著產品良率和產能的提升，缺陷瑕疵的數量必然會越來越少，深度學習在工業中的使用場景會逐漸收斂為小樣本的場景，小樣本深度學習未來是工業人工智能核心。2018年之后，出現了很多小樣本相關的論文，但不難發現，這些頂尖的小樣本深度學習算法并不是為工業量身打造，將學術界提出的小樣本識別方法直接應用在工業中，往往是不能立刻見效的。

3　凌云光深度學習平臺

深度學習有三個很重要的因素，即平臺、數據和算法。凌云光大膽創新，提出了全新的深度學習平臺、數據預訓練及改進算法，從而使深度學習契合工業界的發展和需求。

（1）建立統一規格的多維度深度學習平臺

凌云光深度學習平臺包含三個維度，分別是超輕型的深度學習平臺、服務器的深度學習平臺、云端的深度學習平臺。超輕型的深度學習平臺針對的是邊端保密項目，這類項目往往數量少，邊端無法聯網，這種情況下，超輕型的便攜式深度學習算力平臺就十分有優勢。對于各個邊端可以進行聯網互聯，數據量在服務器算力承受范圍之內的產線級客戶來說，服務器的深度學習平臺才是最佳選擇。而針對數據量大，沒有保密需求的客戶，需要云級別的算力，則可以使用云端的算力平臺。凌云光以多維度算力平臺，滿足不同的客戶需求，提升客戶服務能力。

（2）數據層

充分利用扎根工業領域多年的優勢，凌云光收集大量的缺陷樣本數據，并對樣本進行清洗和標注，形成數據資源。此外，還對過往樣本的缺陷和根因也進行標注，便于在未來進行數據挖掘和根因分析，從而從根本上提高工廠的檢測效率，進而提高工廠產品良率。

（3）算法層

凌云光深度剖析開源深度學習算法，構建屬于工業人工智能深度學習的頂尖算法研究方向，包括小樣本、超低耗時的模型研發等。比如在印刷質量檢測領域，幅寬一米的印刷品，速度要達到120米/分鐘，常規的深度學習模型是行不通的。此外，我們還深入研究了深度預適應算法、Open Set Learning、零樣本學習方法、細粒度圖像的分類方法、工業的知識圖譜等。

4　小結

小樣本深度學習未來將成為一個體系，會有多種多樣的方法。例如，可以使用模型微調的方法、數據增強的方法、遷移學習的方法等。凌云光正在研發的下一代真正適用于工業的小樣本深度學習就融合了這些方法。

回顧工業人工智能的發展過程不難發現，直接套用國外已有的開源模型，很難滿足實際需求，在前人的基礎上，必須有所創新，去適應工業中的小而多的應用場景。我們在工業人工智能領域，必須通過自主研發，成為行業參與者、引領者，進而構建真正的智慧工廠。

摘自《自動化博覽》2021年12月刊