引言/導(dǎo)讀
(一) 本測(cè)試床提出背景和存在的難題、挑戰(zhàn)
云端訓(xùn)練模型，下發(fā)到邊緣端推理：直接將云端算法遷移到邊緣設(shè)備上執(zhí)行，對(duì)邊緣設(shè)備的算力、功耗和散熱要求高；云端和邊端缺乏模型持續(xù)優(yōu)化更新協(xié)同框架，只能進(jìn)行簡(jiǎn)單的協(xié)同，無(wú)法保證模型長(zhǎng)期準(zhǔn)確率。
大規(guī)模數(shù)據(jù)需要上傳至云端：增大企業(yè)定制網(wǎng)運(yùn)行負(fù)荷和網(wǎng)絡(luò)占用；企業(yè)大量數(shù)據(jù)有數(shù)據(jù)加密需求，不能直接上傳至云端，導(dǎo)致多用戶(hù)同一模型以及模型持續(xù)優(yōu)化問(wèn)題。
業(yè)務(wù)場(chǎng)景多樣化，未形成標(biāo)準(zhǔn)的協(xié)同推理解決方案：工廠智能生產(chǎn)的業(yè)務(wù)碎片化，對(duì)軟硬件的需求各不相同，目前各大軟硬件廠商（如各大AI算法廠商和算力芯片廠商）未形成標(biāo)準(zhǔn)的協(xié)同推理解決方案，以解決碎片化場(chǎng)景問(wèn)題。智慧工廠的云邊協(xié)同平臺(tái)未來(lái)發(fā)展趨勢(shì)
云端和邊緣端互相補(bǔ)充，協(xié)同訓(xùn)練推理，構(gòu)建云端和邊緣端連續(xù)的學(xué)習(xí)循環(huán)，保證業(yè)務(wù)長(zhǎng)期可靠穩(wěn)定地運(yùn)行。
1. 云邊協(xié)同訓(xùn)練推理，解決工業(yè)邊端算力不足
? 云邊協(xié)同推理：云邊模型切割、模型壓縮等方案實(shí)現(xiàn)協(xié)同推理。
? 增量學(xué)習(xí)：模型在云端或邊緣進(jìn)行自適應(yīng)優(yōu)化，邊用邊學(xué)，模型越來(lái)越準(zhǔn)確。
2. 數(shù)據(jù)無(wú)需上傳云端，解決工業(yè)客戶(hù)數(shù)據(jù)隱私問(wèn)題
? 聯(lián)邦學(xué)習(xí)：邊緣本地訓(xùn)練，參數(shù)云上聚合，保護(hù)數(shù)據(jù)隱私，減少網(wǎng)絡(luò)帶寬。
? 遷移學(xué)習(xí)：云上保留原始模型信息，邊緣新訓(xùn)練集進(jìn)行學(xué)習(xí)更新，得到適用于新場(chǎng)景的模型。
3. AI協(xié)同服務(wù)按需定制，解決工業(yè)智能化場(chǎng)景碎片化問(wèn)題
? 特定業(yè)務(wù)特殊定制：企業(yè)根據(jù)業(yè)務(wù)需求，定制合理的AI協(xié)同服務(wù)。
? 靈活自主，資源有效利用：可靠性增強(qiáng)，節(jié)約能耗，環(huán)境適應(yīng)性強(qiáng)，解決工業(yè)環(huán)境差異大問(wèn)題。
一、 關(guān)鍵詞
邊云協(xié)同平臺(tái)、邊緣智能、協(xié)同推理、模型優(yōu)化
2.1. 發(fā)起公司和主要聯(lián)系人聯(lián)系方式
中國(guó)電信：丁鵬，dingpeng6@chinatelecom.cn
2.2. 合作公司
瑞斯康達(dá)：提供智能工廠典型應(yīng)用場(chǎng)景環(huán)境，參與現(xiàn)場(chǎng)測(cè)試床驗(yàn)證
三、 測(cè)試床項(xiàng)目目標(biāo)
(一) 測(cè)試床項(xiàng)目目標(biāo)
基于柔性制造PCB焊點(diǎn)質(zhì)量檢測(cè)驗(yàn)證場(chǎng)景：已有大量PCB焊點(diǎn)質(zhì)量檢測(cè)數(shù)據(jù)集，在此基礎(chǔ)上建立PCB焊點(diǎn)質(zhì)量檢測(cè)模型，通過(guò)測(cè)試床進(jìn)行模型的持續(xù)優(yōu)化，為柔性制造PCB焊點(diǎn)質(zhì)量檢測(cè)提供基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測(cè)試床。
提供定制化AI協(xié)同服務(wù)：基于智能邊緣設(shè)備，實(shí)現(xiàn)基于5G MEC+邊緣智能的AI邊云協(xié)同訓(xùn)練和協(xié)同推理，就近為端側(cè)提供算力支持和模型持續(xù)優(yōu)化支持，保護(hù)數(shù)據(jù)隱私，為用戶(hù)持續(xù)提升智能化品質(zhì)。
(二) 測(cè)試床計(jì)劃解決哪些問(wèn)題、價(jià)值點(diǎn)
保障企業(yè)保密數(shù)據(jù)本地化：保障企業(yè)數(shù)據(jù)不出邊緣節(jié)點(diǎn)即可參與模型訓(xùn)練。
讓服務(wù)可定制，降低資源消耗：提供適合業(yè)務(wù)需求的智能邊緣設(shè)備AI協(xié)同服務(wù)，即裝即用，降低資源消耗。
提升模型效果：云邊協(xié)同，循環(huán)促進(jìn)的訓(xùn)練推理模式，保證模型的長(zhǎng)期可靠運(yùn)行。
四、 測(cè)試床方案架構(gòu)
4.1. 測(cè)試床應(yīng)用場(chǎng)景
測(cè)試床在企業(yè)本地部署通用服務(wù)器或MEC，也可使用運(yùn)營(yíng)商云主機(jī)或公用MEC平臺(tái)，作為測(cè)試床云端，使用定制化的智能邊緣設(shè)備作為邊緣端，兼容現(xiàn)有的AI框架，提供跨云邊協(xié)同訓(xùn)練推理框架，并使用增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)等能力提供可優(yōu)化的AI模型服務(wù)。使用模型壓縮等技術(shù)實(shí)現(xiàn)云邊協(xié)同推理，保證業(yè)務(wù)的穩(wěn)定可靠運(yùn)行。
測(cè)試床適用于支撐智能工廠中的工業(yè)智能應(yīng)用場(chǎng)景，例如焊點(diǎn)檢測(cè)、產(chǎn)品質(zhì)量檢測(cè)、工人非法越界檢測(cè)、安全帽檢測(cè)、工服檢測(cè)、人臉識(shí)別等。
4.2. 測(cè)試床架構(gòu)
1. 在體系架構(gòu)的位置
本測(cè)試床在工業(yè)互聯(lián)網(wǎng)功能視圖平臺(tái)體系框架中的位置如下圖所示，通過(guò)邊緣層的數(shù)據(jù)接入、數(shù)據(jù)預(yù)處理和智能分析實(shí)現(xiàn)邊緣側(cè)的數(shù)據(jù)處理和分析，通過(guò)PaaS層和應(yīng)用層的資源部署與管理、數(shù)據(jù)管理與服務(wù)、模型管理與服務(wù)和工業(yè)創(chuàng)新應(yīng)用實(shí)現(xiàn)模型優(yōu)化和更新、協(xié)同推理。過(guò)程實(shí)現(xiàn)數(shù)據(jù)的優(yōu)化閉環(huán)，形成云邊模型連續(xù)的學(xué)習(xí)循環(huán)。。
2. 在實(shí)施框架的位置
工業(yè)互聯(lián)網(wǎng)平臺(tái)實(shí)施框架中，本測(cè)試床內(nèi)容包含邊緣層的數(shù)據(jù)預(yù)處理和邊緣智能應(yīng)用部分，企業(yè)層在企業(yè)MEC上部署平臺(tái)的云端包括數(shù)據(jù)模型、工業(yè)模型的管理等。在產(chǎn)業(yè)層提供多企業(yè)MEC協(xié)同接口，支撐開(kāi)展資源配置優(yōu)化和產(chǎn)業(yè)生態(tài)的構(gòu)建。實(shí)施架構(gòu)如下圖所示：
3. 本測(cè)試床架構(gòu)
本測(cè)試床主要提供低成本、高性能、易使用、隱私保護(hù)的邊緣智能，滿(mǎn)足企業(yè)數(shù)據(jù)本地化（數(shù)據(jù)不出廠區(qū)）和即裝即用的定制化服務(wù)。測(cè)試床架構(gòu)如下圖所示：
4.3. 測(cè)試床方案
基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測(cè)試床功能架構(gòu)如下圖所示：
1. 自動(dòng)化異構(gòu)邊緣適配
定制化邊緣AI服務(wù)與邊緣智能設(shè)備、邊緣智能硬件廠商進(jìn)行適配，實(shí)現(xiàn)自動(dòng)化的邊緣資源適配。
2. 實(shí)現(xiàn)邊緣AI基礎(chǔ)框架
實(shí)現(xiàn)邊緣AI 管理，數(shù)據(jù)集管理，數(shù)據(jù)預(yù)處理，跨云邊數(shù)據(jù)同步，配置管理等。
3. 云邊協(xié)同訓(xùn)練和協(xié)同推理
高效利用云邊各類(lèi)資源。利用模型壓縮、困難樣本發(fā)現(xiàn)等技術(shù)實(shí)現(xiàn)協(xié)同推理；利用遷移學(xué)習(xí)、增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)技術(shù)實(shí)現(xiàn)邊緣AI可長(zhǎng)期可靠穩(wěn)定的使用 。實(shí)現(xiàn)高性能、低成本、隱私安全的邊緣AI系統(tǒng)。基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測(cè)試床技術(shù)實(shí)施方案如下圖所示：
4.4. 方案重點(diǎn)技術(shù)
? 模型優(yōu)化技術(shù)：解決邊緣AI模型的訓(xùn)練優(yōu)化問(wèn)題，保證模型長(zhǎng)期穩(wěn)定運(yùn)行。
? 邊云協(xié)同訓(xùn)練、協(xié)同推理技術(shù)：基于現(xiàn)有的邊云協(xié)同平臺(tái)打造邊云協(xié)同訓(xùn)練和協(xié)同推理框架，保證業(yè)務(wù)對(duì)時(shí)間延時(shí)和精度的需求。
? 輕量化模型分割技術(shù)：通過(guò)DNN模型壓縮技術(shù)和模型拆分技術(shù)，實(shí)現(xiàn)輕量化的邊緣模型，適用邊緣算力較低的設(shè)備
4.5． 應(yīng)用場(chǎng)景
1. 協(xié)同推理
在焊點(diǎn)質(zhì)量檢測(cè)場(chǎng)景中如何使用跨云邊協(xié)同推理服務(wù)。由于邊緣資源有限，焊點(diǎn)質(zhì)量檢測(cè)性能較低。但是，協(xié)同推理服務(wù)可以提高整體性能，將通過(guò)困難樣本挖掘識(shí)算法將困難樣板上傳到云并進(jìn)行推理。
2. 聯(lián)邦學(xué)習(xí)
隱私保護(hù)、數(shù)據(jù)安全：不同工廠的焊接技術(shù)是屬于加密技術(shù)，焊點(diǎn)成像采集的圖像不能用于共享訓(xùn)練數(shù)據(jù)，通過(guò)聯(lián)邦學(xué)習(xí)技術(shù)，無(wú)需分享本廠的成像數(shù)據(jù)，保證數(shù)據(jù)的隱私性和安全性。
解決數(shù)據(jù)孤島問(wèn)題：?jiǎn)我还S的數(shù)據(jù)數(shù)量有限，焊點(diǎn)技術(shù)單一，不能包括多種質(zhì)量問(wèn)題的類(lèi)型，通過(guò)云上的參數(shù)服務(wù)模塊對(duì)全局模型進(jìn)行優(yōu)化合并，充分利用各節(jié)點(diǎn)資源，提高模型的精度。
3. 遷移增量學(xué)習(xí)
條件允許的情況下，使用全部數(shù)據(jù)重新訓(xùn)練模型的效果是最佳的。真實(shí)的生產(chǎn)環(huán)境是開(kāi)放并且復(fù)雜多變的，在訓(xùn)練模型之前無(wú)法獲得所有可能情形的有效信息作為訓(xùn)練數(shù)據(jù)。隨著終端運(yùn)行不斷生產(chǎn)數(shù)據(jù)，新的類(lèi)別不斷產(chǎn)生，已有類(lèi)別的新實(shí)例不斷出現(xiàn)，智能邊緣能夠在獲得新數(shù)據(jù)時(shí)，重新訓(xùn)練數(shù)據(jù)，保證不斷優(yōu)化學(xué)習(xí)的能力。
4.5. 方案自主研發(fā)性、創(chuàng)新性及先進(jìn)性
技術(shù)創(chuàng)新：平臺(tái)兼容現(xiàn)有的AI框架，通過(guò)遷移學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、增量學(xué)習(xí)和模型壓縮等技術(shù)實(shí)現(xiàn)協(xié)同訓(xùn)練和協(xié)同推理，解決邊緣數(shù)據(jù)樣本少，冷啟動(dòng)、邊緣數(shù)據(jù)隱私問(wèn)題等，讓模型越用越精確。
模式創(chuàng)新：5G MEC下沉，降低業(yè)務(wù)時(shí)延；平臺(tái)在產(chǎn)業(yè)層實(shí)現(xiàn)多企業(yè)MEC協(xié)同接口，匯聚產(chǎn)業(yè)資源，優(yōu)化資源配置，有助于構(gòu)建產(chǎn)業(yè)生態(tài)。
應(yīng)用創(chuàng)新：結(jié)合不同層級(jí)不同環(huán)境的計(jì)算設(shè)備承擔(dān)不同算力需求的任務(wù)，結(jié)合企業(yè)需求，提供定制化的AI協(xié)同服務(wù)。
五、 測(cè)試床實(shí)施部署
5.1. 測(cè)試床實(shí)施規(guī)劃
本測(cè)試床實(shí)施分為三個(gè)階段：
? 第1階段：2021.02-2021.03
開(kāi)展測(cè)試床場(chǎng)景梳理、可行性評(píng)估、測(cè)試床架構(gòu)設(shè)計(jì)等工作。
? 第2階段：2021.04-2021.07
開(kāi)展測(cè)試床實(shí)施方案設(shè)計(jì)、設(shè)備選型與環(huán)境建設(shè)、測(cè)試床平臺(tái)功能測(cè)試等工作。
? 第3階段：2021.08-2022.01
開(kāi)展測(cè)試床部署、典型應(yīng)用場(chǎng)景驗(yàn)證、輸出針對(duì)焊點(diǎn)檢測(cè)常間的實(shí)施方案等工作。
5.2. 測(cè)試床實(shí)施的技術(shù)支撐及保障措施
本測(cè)試床參與方分工協(xié)作，共同支撐與保障本測(cè)試床的實(shí)施工作：
中國(guó)電信股份有限公司研究院負(fù)責(zé)基于5G MEC+邊緣智能的AI跨邊云協(xié)同訓(xùn)練推理測(cè)試床部署與驗(yàn)證。
瑞斯康達(dá)科技發(fā)展股份有限公司負(fù)責(zé)提供智能工廠典型應(yīng)用場(chǎng)景環(huán)境，參與現(xiàn)場(chǎng)測(cè)試床驗(yàn)證等工作。
5.3. 測(cè)試床實(shí)施的自主可控性
本測(cè)試床實(shí)施各項(xiàng)關(guān)鍵技術(shù)均為自主研發(fā)，具有良好的自主可控性。
六、 測(cè)試床預(yù)期成果
6.1. 測(cè)試床的預(yù)期可量化實(shí)施結(jié)果
1. 適配異構(gòu)邊緣AI設(shè)備適配
實(shí)施前：目前的模型在某些硬件平臺(tái)上無(wú)法直接運(yùn)行，與硬件環(huán)境有強(qiáng)依賴(lài)。
實(shí)施后：與硬件設(shè)備廠商開(kāi)展合作，適配設(shè)備環(huán)境，實(shí)現(xiàn)自動(dòng)化資源適配。
2. 邊緣AI協(xié)同基礎(chǔ)框架實(shí)現(xiàn)
實(shí)施前：目前平臺(tái)的云邊協(xié)同平臺(tái)未支持各種AI框架、未實(shí)現(xiàn)對(duì)數(shù)據(jù)集和模型的管理。
實(shí)施后：云邊支持TensorFlow、pytorch等AI端框架、數(shù)據(jù)集管理、模型管理、跨云邊數(shù)據(jù)同步等。
3. 跨邊云協(xié)同訓(xùn)練推理構(gòu)建
實(shí)施前：云端訓(xùn)練，邊緣推理，邊端不支持大模型的運(yùn)行。
實(shí)施后：合理利用云邊資源，根據(jù)負(fù)載，對(duì)應(yīng)用類(lèi)型實(shí)時(shí)調(diào)度，實(shí)現(xiàn)高性能、低成本、數(shù)據(jù)安全。
4. 增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和遷移學(xué)習(xí)驗(yàn)證
實(shí)施前：缺少跨邊云AI協(xié)同優(yōu)化框架實(shí)施情況
實(shí)施后：支持多種模型優(yōu)化方案，保證AI模型長(zhǎng)期穩(wěn)定可靠運(yùn)行。
6.2. 測(cè)試床的商業(yè)價(jià)值、經(jīng)濟(jì)效益
首個(gè)具有增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)框架、協(xié)同訓(xùn)練推理的平臺(tái)：解決邊緣智能跨云邊協(xié)同訓(xùn)練推理落地推廣中遇到的AI模型訓(xùn)練等棘手問(wèn)題。
讓工廠用得方便的邊緣智能：提供定制化的服務(wù)，實(shí)現(xiàn)企業(yè)的智能化生產(chǎn)與監(jiān)控，持續(xù)優(yōu)化提升工廠的智能化水平，節(jié)約資源，提升效率。
6.3. 測(cè)試床可推廣性
1. 形成可推廣解決方案
可基于5G定制網(wǎng)，以邊緣智能為核心，形成面向智慧工廠的AI定制協(xié)同服務(wù)解決方案：
l 邊緣智能AI跨邊云協(xié)同服務(wù)框架
l AI跨邊云協(xié)同服務(wù)產(chǎn)品：工業(yè)智能邊緣設(shè)備+定制化AI跨邊云協(xié)同服務(wù)
l 面向智慧工廠集成產(chǎn)品：端+網(wǎng)+云+AI協(xié)同管理
2. 可推廣垂直行業(yè)
以瑞斯康達(dá)測(cè)試床為基礎(chǔ)，向柔性制造行業(yè)推廣，如網(wǎng)關(guān)設(shè)備制造、MEC設(shè)備制造等。
以焊點(diǎn)檢測(cè)場(chǎng)景實(shí)施為基礎(chǔ)，向其他工業(yè)智能場(chǎng)景推廣，如產(chǎn)品質(zhì)量檢測(cè)、防靜電服檢測(cè)、人臉識(shí)別、安全模識(shí)別檢測(cè)等。
3. 推廣路徑
? 技術(shù)推廣：牽頭制定行業(yè)標(biāo)準(zhǔn)、測(cè)試床推廣、典型案例推廣
? 產(chǎn)品推廣：不斷豐富邊云協(xié)同訓(xùn)練推理框架在智慧工廠場(chǎng)景的實(shí)施部署
? 服務(wù)推廣：打造面向智慧工廠邊云協(xié)同平臺(tái)培訓(xùn)/展示服務(wù)，帶動(dòng)更多行業(yè)和企業(yè)部署
七、 測(cè)試床成果驗(yàn)證
本測(cè)試床部署在工廠車(chē)間內(nèi)，在此進(jìn)行測(cè)試床成果的測(cè)試與驗(yàn)證。具體時(shí)間計(jì)劃見(jiàn)測(cè)試床實(shí)施規(guī)劃時(shí)間表。
7.2. 測(cè)試床成果驗(yàn)證方案
1. 邊緣智能服務(wù)部署驗(yàn)證內(nèi)容
? 適合工廠特定場(chǎng)景的自研輕量級(jí)邊緣模型和云模型
? 實(shí)現(xiàn)模型管理和數(shù)據(jù)集管理
? 具有與邊緣模型相匹配算力的智能邊緣設(shè)備
2. 跨云邊協(xié)同訓(xùn)練推理平臺(tái)驗(yàn)證內(nèi)容
? 兼容現(xiàn)有的AI框架
? 具備聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)、增量學(xué)習(xí)模型的協(xié)同訓(xùn)練框架
? 具備云邊協(xié)同推理框架
無(wú)關(guān)系
9.1. 測(cè)試床成果交付件
? 具備可定制的邊緣智能AI跨邊云協(xié)同服務(wù)，適用于企業(yè)/園區(qū)等特定場(chǎng)景的需求
? 自研跨邊云協(xié)同訓(xùn)練推理平臺(tái)，普遍適用于工廠智能生產(chǎn)，智能監(jiān)控等場(chǎng)景
? 典型工廠焊點(diǎn)檢測(cè)、安全帽識(shí)別和人臉識(shí)別等場(chǎng)景的跨云邊協(xié)同訓(xùn)練和協(xié)同推理的智能AI邊緣部署方案
9.2. 測(cè)試床可復(fù)制性
本測(cè)試具有較好的復(fù)制推廣性。一方面以瑞斯康達(dá)測(cè)試床為基礎(chǔ)，向柔性制造行業(yè)復(fù)制推廣，如網(wǎng)關(guān)制造、MEC設(shè)備制造等；另一方面，以焊點(diǎn)檢測(cè)場(chǎng)景實(shí)施為基礎(chǔ)，向其他場(chǎng)景推廣，如產(chǎn)品質(zhì)量檢測(cè)、防靜電服檢測(cè)、人臉識(shí)別、安全帽識(shí)別等。
9.3. 測(cè)試床開(kāi)放性
本測(cè)試床可開(kāi)放給更多通訊提供商、運(yùn)營(yíng)商和制造企業(yè)共同參與測(cè)試床驗(yàn)證與推廣工作。
10.1. 測(cè)試床使用者
歡迎所有的AII成員企業(yè)參與和使用本測(cè)試床項(xiàng)目。然而，在初始階段，由于試驗(yàn)站點(diǎn)的訪問(wèn)權(quán)限有限，本測(cè)試床將僅限于現(xiàn)有的合作伙伴。之后，本測(cè)試床將逐步開(kāi)放給更多AII成員企業(yè)使用。
10.2. 測(cè)試床知識(shí)產(chǎn)權(quán)說(shuō)明
中國(guó)電信與瑞斯康達(dá)科技發(fā)展股份有限公司共同對(duì)測(cè)試床的建設(shè)、運(yùn)營(yíng)以及使用擁有產(chǎn)權(quán)。
10.3. 測(cè)試床運(yùn)營(yíng)及訪問(wèn)使用
測(cè)試床的部署和運(yùn)營(yíng)將在瑞斯康達(dá)工廠進(jìn)行。現(xiàn)階段訪問(wèn)控制和管理權(quán)限僅限于測(cè)試床參與企業(yè)。
10.4. 測(cè)試床資金
測(cè)試床的資金將來(lái)自于測(cè)試床參與企業(yè)。
10.5. 測(cè)試床時(shí)間軸
第1階段（2021.01-2021.03）：完成測(cè)試床場(chǎng)景梳理、可行性評(píng)估、測(cè)試床架構(gòu)設(shè)計(jì)等工作。
第2階段（2021.01-2021.07）：完成測(cè)試床實(shí)施方案設(shè)計(jì)、設(shè)備選型與環(huán)境建設(shè)、測(cè)試床平臺(tái)功能測(cè)試等工作。
第3階段（2021.08-2022.01）：完成測(cè)試床部署、測(cè)試床典型應(yīng)用場(chǎng)景驗(yàn)證、輸出針對(duì)焊點(diǎn)檢測(cè)場(chǎng)景的實(shí)施方案等工作。