基于5G MEC+邊緣智能的AI跨邊云協同訓練推理測試床
引言/導讀
(一) 本測試床提出背景和存在的難題、挑戰
云端訓練模型，下發到邊緣端推理：直接將云端算法遷移到邊緣設備上執行，對邊緣設備的算力、功耗和散熱要求高；云端和邊端缺乏模型持續優化更新協同框架，只能進行簡單的協同，無法保證模型長期準確率。
大規模數據需要上傳至云端：增大企業定制網運行負荷和網絡占用；企業大量數據有數據加密需求，不能直接上傳至云端，導致多用戶同一模型以及模型持續優化問題。
業務場景多樣化，未形成標準的協同推理解決方案：工廠智能生產的業務碎片化，對軟硬件的需求各不相同，目前各大軟硬件廠商（如各大AI算法廠商和算力芯片廠商）未形成標準的協同推理解決方案，以解決碎片化場景問題。智慧工廠的云邊協同平臺未來發展趨勢
云端和邊緣端互相補充，協同訓練推理，構建云端和邊緣端連續的學習循環，保證業務長期可靠穩定地運行。
1. 云邊協同訓練推理，解決工業邊端算力不足
? 云邊協同推理：云邊模型切割、模型壓縮等方案實現協同推理。
? 增量學習：模型在云端或邊緣進行自適應優化，邊用邊學，模型越來越準確。
2. 數據無需上傳云端，解決工業客戶數據隱私問題
? 聯邦學習：邊緣本地訓練，參數云上聚合，保護數據隱私，減少網絡帶寬。
? 遷移學習：云上保留原始模型信息，邊緣新訓練集進行學習更新，得到適用于新場景的模型。
3. AI協同服務按需定制，解決工業智能化場景碎片化問題
? 特定業務特殊定制：企業根據業務需求，定制合理的AI協同服務。
? 靈活自主，資源有效利用：可靠性增強，節約能耗，環境適應性強，解決工業環境差異大問題。
一、 關鍵詞
邊云協同平臺、邊緣智能、協同推理、模型優化
2.1. 發起公司和主要聯系人聯系方式
中國電信：丁鵬，dingpeng6@chinatelecom.cn
2.2. 合作公司
瑞斯康達：提供智能工廠典型應用場景環境，參與現場測試床驗證
三、 測試床項目目標
(一) 測試床項目目標
基于柔性制造PCB焊點質量檢測驗證場景：已有大量PCB焊點質量檢測數據集，在此基礎上建立PCB焊點質量檢測模型，通過測試床進行模型的持續優化，為柔性制造PCB焊點質量檢測提供基于5G MEC+邊緣智能的AI跨邊云協同訓練推理測試床。
提供定制化AI協同服務：基于智能邊緣設備，實現基于5G MEC+邊緣智能的AI邊云協同訓練和協同推理，就近為端側提供算力支持和模型持續優化支持，保護數據隱私，為用戶持續提升智能化品質。
(二) 測試床計劃解決哪些問題、價值點
保障企業保密數據本地化：保障企業數據不出邊緣節點即可參與模型訓練。
讓服務可定制，降低資源消耗：提供適合業務需求的智能邊緣設備AI協同服務，即裝即用，降低資源消耗。
提升模型效果：云邊協同，循環促進的訓練推理模式，保證模型的長期可靠運行。
四、 測試床方案架構
4.1. 測試床應用場景
測試床在企業本地部署通用服務器或MEC，也可使用運營商云主機或公用MEC平臺，作為測試床云端，使用定制化的智能邊緣設備作為邊緣端，兼容現有的AI框架，提供跨云邊協同訓練推理框架，并使用增量學習、聯邦學習和遷移學習等能力提供可優化的AI模型服務。使用模型壓縮等技術實現云邊協同推理，保證業務的穩定可靠運行。
測試床適用于支撐智能工廠中的工業智能應用場景，例如焊點檢測、產品質量檢測、工人非法越界檢測、安全帽檢測、工服檢測、人臉識別等。
4.2. 測試床架構
1. 在體系架構的位置
本測試床在工業互聯網功能視圖平臺體系框架中的位置如下圖所示，通過邊緣層的數據接入、數據預處理和智能分析實現邊緣側的數據處理和分析，通過PaaS層和應用層的資源部署與管理、數據管理與服務、模型管理與服務和工業創新應用實現模型優化和更新、協同推理。過程實現數據的優化閉環，形成云邊模型連續的學習循環。。
2. 在實施框架的位置
工業互聯網平臺實施框架中，本測試床內容包含邊緣層的數據預處理和邊緣智能應用部分，企業層在企業MEC上部署平臺的云端包括數據模型、工業模型的管理等。在產業層提供多企業MEC協同接口，支撐開展資源配置優化和產業生態的構建。實施架構如下圖所示：
3. 本測試床架構
本測試床主要提供低成本、高性能、易使用、隱私保護的邊緣智能，滿足企業數據本地化（數據不出廠區）和即裝即用的定制化服務。測試床架構如下圖所示：
4.3. 測試床方案
基于5G MEC+邊緣智能的AI跨邊云協同訓練推理測試床功能架構如下圖所示：
1. 自動化異構邊緣適配
定制化邊緣AI服務與邊緣智能設備、邊緣智能硬件廠商進行適配，實現自動化的邊緣資源適配。
2. 實現邊緣AI基礎框架
實現邊緣AI 管理，數據集管理，數據預處理，跨云邊數據同步，配置管理等。
3. 云邊協同訓練和協同推理
高效利用云邊各類資源。利用模型壓縮、困難樣本發現等技術實現協同推理；利用遷移學習、增量學習、聯邦學習技術實現邊緣AI可長期可靠穩定的使用 。實現高性能、低成本、隱私安全的邊緣AI系統。基于5G MEC+邊緣智能的AI跨邊云協同訓練推理測試床技術實施方案如下圖所示：
4.4. 方案重點技術
? 模型優化技術：解決邊緣AI模型的訓練優化問題，保證模型長期穩定運行。
? 邊云協同訓練、協同推理技術：基于現有的邊云協同平臺打造邊云協同訓練和協同推理框架，保證業務對時間延時和精度的需求。
? 輕量化模型分割技術：通過DNN模型壓縮技術和模型拆分技術，實現輕量化的邊緣模型，適用邊緣算力較低的設備
4.5． 應用場景
1. 協同推理
在焊點質量檢測場景中如何使用跨云邊協同推理服務。由于邊緣資源有限，焊點質量檢測性能較低。但是，協同推理服務可以提高整體性能，將通過困難樣本挖掘識算法將困難樣板上傳到云并進行推理。
2. 聯邦學習
隱私保護、數據安全：不同工廠的焊接技術是屬于加密技術，焊點成像采集的圖像不能用于共享訓練數據，通過聯邦學習技術，無需分享本廠的成像數據，保證數據的隱私性和安全性。
解決數據孤島問題：單一工廠的數據數量有限，焊點技術單一，不能包括多種質量問題的類型，通過云上的參數服務模塊對全局模型進行優化合并，充分利用各節點資源，提高模型的精度。
3. 遷移增量學習
條件允許的情況下，使用全部數據重新訓練模型的效果是最佳的。真實的生產環境是開放并且復雜多變的，在訓練模型之前無法獲得所有可能情形的有效信息作為訓練數據。隨著終端運行不斷生產數據，新的類別不斷產生，已有類別的新實例不斷出現，智能邊緣能夠在獲得新數據時，重新訓練數據，保證不斷優化學習的能力。
4.5. 方案自主研發性、創新性及先進性
技術創新：平臺兼容現有的AI框架，通過遷移學習、聯邦學習、增量學習和模型壓縮等技術實現協同訓練和協同推理，解決邊緣數據樣本少，冷啟動、邊緣數據隱私問題等，讓模型越用越精確。
模式創新：5G MEC下沉，降低業務時延；平臺在產業層實現多企業MEC協同接口，匯聚產業資源，優化資源配置，有助于構建產業生態。
應用創新：結合不同層級不同環境的計算設備承擔不同算力需求的任務，結合企業需求，提供定制化的AI協同服務。
五、 測試床實施部署
5.1. 測試床實施規劃
本測試床實施分為三個階段：
? 第1階段：2021.02-2021.03
開展測試床場景梳理、可行性評估、測試床架構設計等工作。
? 第2階段：2021.04-2021.07
開展測試床實施方案設計、設備選型與環境建設、測試床平臺功能測試等工作。
? 第3階段：2021.08-2022.01
開展測試床部署、典型應用場景驗證、輸出針對焊點檢測常間的實施方案等工作。
5.2. 測試床實施的技術支撐及保障措施
本測試床參與方分工協作，共同支撐與保障本測試床的實施工作：
中國電信股份有限公司研究院負責基于5G MEC+邊緣智能的AI跨邊云協同訓練推理測試床部署與驗證。
瑞斯康達科技發展股份有限公司負責提供智能工廠典型應用場景環境，參與現場測試床驗證等工作。
5.3. 測試床實施的自主可控性
本測試床實施各項關鍵技術均為自主研發，具有良好的自主可控性。
六、 測試床預期成果
1. 適配異構邊緣AI設備適配
實施前：目前的模型在某些硬件平臺上無法直接運行，與硬件環境有強依賴。
實施后：與硬件設備廠商開展合作，適配設備環境，實現自動化資源適配。
2. 邊緣AI協同基礎框架實現
實施前：目前平臺的云邊協同平臺未支持各種AI框架、未實現對數據集和模型的管理。
實施后：云邊支持TensorFlow、pytorch等AI端框架、數據集管理、模型管理、跨云邊數據同步等。
3. 跨邊云協同訓練推理構建
實施前：云端訓練，邊緣推理，邊端不支持大模型的運行。
實施后：合理利用云邊資源，根據負載，對應用類型實時調度，實現高性能、低成本、數據安全。
4. 增量學習、聯邦學習和遷移學習驗證
實施前：缺少跨邊云AI協同優化框架實施情況
實施后：支持多種模型優化方案，保證AI模型長期穩定可靠運行。
6.2. 測試床的商業價值、經濟效益
首個具有增量學習、聯邦學習、遷移學習框架、協同訓練推理的平臺：解決邊緣智能跨云邊協同訓練推理落地推廣中遇到的AI模型訓練等棘手問題。
讓工廠用得方便的邊緣智能：提供定制化的服務，實現企業的智能化生產與監控，持續優化提升工廠的智能化水平，節約資源，提升效率。
6.3. 測試床可推廣性
1. 形成可推廣解決方案
可基于5G定制網，以邊緣智能為核心，形成面向智慧工廠的AI定制協同服務解決方案：
l 邊緣智能AI跨邊云協同服務框架
l AI跨邊云協同服務產品：工業智能邊緣設備+定制化AI跨邊云協同服務
l 面向智慧工廠集成產品：端+網+云+AI協同管理
2. 可推廣垂直行業
以瑞斯康達測試床為基礎，向柔性制造行業推廣，如網關設備制造、MEC設備制造等。
以焊點檢測場景實施為基礎，向其他工業智能場景推廣，如產品質量檢測、防靜電服檢測、人臉識別、安全模識別檢測等。
3. 推廣路徑
? 技術推廣：牽頭制定行業標準、測試床推廣、典型案例推廣
? 產品推廣：不斷豐富邊云協同訓練推理框架在智慧工廠場景的實施部署
? 服務推廣：打造面向智慧工廠邊云協同平臺培訓/展示服務，帶動更多行業和企業部署
七、 測試床成果驗證
本測試床部署在工廠車間內，在此進行測試床成果的測試與驗證。具體時間計劃見測試床實施規劃時間表。
7.2. 測試床成果驗證方案
1. 邊緣智能服務部署驗證內容
? 適合工廠特定場景的自研輕量級邊緣模型和云模型
? 實現模型管理和數據集管理
? 具有與邊緣模型相匹配算力的智能邊緣設備
2. 跨云邊協同訓練推理平臺驗證內容
? 兼容現有的AI框架
? 具備聯邦學習、遷移學習、增量學習模型的協同訓練框架
? 具備云邊協同推理框架
無關系
9.1. 測試床成果交付件
? 具備可定制的邊緣智能AI跨邊云協同服務，適用于企業/園區等特定場景的需求
? 自研跨邊云協同訓練推理平臺，普遍適用于工廠智能生產，智能監控等場景
? 典型工廠焊點檢測、安全帽識別和人臉識別等場景的跨云邊協同訓練和協同推理的智能AI邊緣部署方案
9.2. 測試床可復制性
本測試具有較好的復制推廣性。一方面以瑞斯康達測試床為基礎，向柔性制造行業復制推廣，如網關制造、MEC設備制造等；另一方面，以焊點檢測場景實施為基礎，向其他場景推廣，如產品質量檢測、防靜電服檢測、人臉識別、安全帽識別等。
9.3. 測試床開放性
本測試床可開放給更多通訊提供商、運營商和制造企業共同參與測試床驗證與推廣工作。
10.1. 測試床使用者
歡迎所有的AII成員企業參與和使用本測試床項目。然而，在初始階段，由于試驗站點的訪問權限有限，本測試床將僅限于現有的合作伙伴。之后，本測試床將逐步開放給更多AII成員企業使用。
10.2. 測試床知識產權說明
中國電信與瑞斯康達科技發展股份有限公司共同對測試床的建設、運營以及使用擁有產權。
10.3. 測試床運營及訪問使用
測試床的部署和運營將在瑞斯康達工廠進行。現階段訪問控制和管理權限僅限于測試床參與企業。
10.4. 測試床資金
測試床的資金將來自于測試床參與企業。
10.5. 測試床時間軸
第1階段（2021.01-2021.03）：完成測試床場景梳理、可行性評估、測試床架構設計等工作。
第2階段（2021.01-2021.07）：完成測試床實施方案設計、設備選型與環境建設、測試床平臺功能測試等工作。
第3階段（2021.08-2022.01）：完成測試床部署、測試床典型應用場景驗證、輸出針對焊點檢測場景的實施方案等工作。
聲明
本報告所載的材料和信息，包括但不限于文本、圖片、數據、觀點、建議，不構成法律建議，也不應替代律師意見。本報告所有材料或內容的知識產權歸工業互聯網產業聯盟所有（注明是引自其他方的內容除外），并受法律保護。如需轉載，需聯系本聯盟并獲得授權許可。未經授權許可，任何人不得將報告的全部或部分內容以發布、轉載、匯編、轉讓、出售等方式使用，不得將報告的全部或部分內容通過網絡方式傳播，不得在任何公開場合使用報告內相關描述及相關數據圖表。違反上述聲明者，本聯盟將追究其相關法律責任。
AII微信公眾號
AII頭條號