引言
中興通訊是全球領(lǐng)先的綜合通信解決方案提供商，為全球160多個(gè)國(guó)家和地區(qū)的電信運(yùn)營(yíng)商和行業(yè)客戶提供創(chuàng)新技術(shù)與產(chǎn)品解決方案。基于在5G、云XR等領(lǐng)域的深入理解和豐富實(shí)踐，中興通訊推出了5G云XR創(chuàng)新平臺(tái)產(chǎn)品ZTE XRExplore。
江蘇中車數(shù)字科技有限公司是中國(guó)中車旗下子公司，專業(yè)為企業(yè)提 供一流智能制造全面解決方案的企業(yè)。公司擁有完善的創(chuàng)新和研發(fā)機(jī)制，以聯(lián)接，數(shù)字，智能，效率，質(zhì)量，柔性的經(jīng)營(yíng)理念，通過“平臺(tái)+產(chǎn)品+服務(wù)”模式， 構(gòu)建了“中車工業(yè)數(shù)字平臺(tái)”以及“智能物流、智能制造、智能運(yùn)營(yíng)”等三大解決方案陣營(yíng)。公司致力于為國(guó)內(nèi)外制造企業(yè)轉(zhuǎn)型升級(jí)提供全面的技術(shù)支撐、業(yè)務(wù)咨詢以及 一站式，精益化，智能化，平臺(tái)化服務(wù)。助力企業(yè)提高資產(chǎn)運(yùn)營(yíng)效率，推動(dòng)生產(chǎn)力不斷提升，驅(qū)動(dòng)企業(yè)持續(xù)改進(jìn)。
中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司南京分公司，下轄江寧、浦口、六合、溧水、高淳縣（區(qū)）分公司，被評(píng)為“江蘇省企業(yè)信息化建設(shè)示范企業(yè)”。
一、 項(xiàng)目概況
1. 項(xiàng)目背景
5G時(shí)代，網(wǎng)速限制將被徹底解除，用戶可隨時(shí)隨地觀看視頻，VR、AR等XR業(yè)務(wù)將走出科技館，走向真實(shí)的行業(yè)和用戶，借助沉浸式科技，用戶將擁有看待世界的全新視角，看見原本看不見的，看懂原本看不懂的，做到原本不能做的。
5G 網(wǎng)絡(luò)使得接觸資源的速度加快，幫助用戶高效選擇出適合的資源。
借助5G大帶寬與低延時(shí)的能力，將XR內(nèi)容云化，可以提供更加高效便捷內(nèi)容分發(fā)能力。
在5G網(wǎng)絡(luò)的支撐下，用戶不能身處何地，都可通過網(wǎng)絡(luò)即時(shí)獲取到所需的XR內(nèi)容資源。5G網(wǎng)絡(luò)的成熟，將使不同行業(yè)和類型的用戶更加便捷地開展部署XR業(yè)務(wù)，并將促進(jìn)多形態(tài)XR業(yè)務(wù)與內(nèi)容不斷豐富。
2. 項(xiàng)目簡(jiǎn)介
ZTE XRExplore 創(chuàng)新平臺(tái)基于端邊云架構(gòu)，提供邊緣識(shí)別、邊緣渲染和推流，降低對(duì)終端性能要求和終端功耗，可大大提升業(yè)務(wù)質(zhì)量和體驗(yàn)；平臺(tái)提供豐富的3D內(nèi)容展示、云VR沉浸式業(yè)務(wù)和 AR增強(qiáng)現(xiàn)實(shí)業(yè)務(wù)，可應(yīng)用于多人協(xié)作設(shè)計(jì)、培訓(xùn)、遠(yuǎn)程指導(dǎo)等多種場(chǎng)景。
江蘇中車結(jié)合ZTE XRExplore平臺(tái)在兩個(gè)場(chǎng)景提出了具體的應(yīng)用需求
1. 數(shù)字孿生場(chǎng)景
江蘇中車面向客戶進(jìn)行機(jī)車產(chǎn)品和核心部件的市場(chǎng)推廣和技術(shù)討論時(shí)，大部分環(huán)節(jié)只有二維圖紙和碎片化的文字介紹，無法直觀，生動(dòng)和快速體現(xiàn)機(jī)車和核心部件的價(jià)值所在，生產(chǎn)數(shù)據(jù)和實(shí)際運(yùn)營(yíng)數(shù)據(jù)脫節(jié)，無法數(shù)字化展現(xiàn)和打通媒介，亟需XR解決方案。
2. 故障檢修場(chǎng)景
面對(duì)復(fù)雜的機(jī)車故障檢修時(shí)，往往需要江蘇中車技術(shù)人員，現(xiàn)場(chǎng)維修人員，機(jī)車管理人員等多角色現(xiàn)場(chǎng)參與定位和解決，需要耗費(fèi)大量的人力，物力，財(cái)力以及時(shí)間成本，亟需遠(yuǎn)程解決方案。
3. 項(xiàng)目目標(biāo)
1. 針對(duì)產(chǎn)品展示場(chǎng)景，結(jié)合ZTE XRExplore創(chuàng)新平臺(tái)，存儲(chǔ)海量數(shù)字模型，隨時(shí)隨地，使用多終端以數(shù)字孿生方式展現(xiàn)全量機(jī)車產(chǎn)品和核心部件的生產(chǎn)制造全生命周期數(shù)據(jù)，聯(lián)通PHM系統(tǒng)檢測(cè)實(shí)時(shí)回傳數(shù)據(jù)，通過檢測(cè)數(shù)據(jù)與生產(chǎn)數(shù)據(jù)對(duì)比分析，提供機(jī)車改造優(yōu)化的效率。
2. 應(yīng)對(duì)故障檢修場(chǎng)景，結(jié)合數(shù)字孿生功能和遠(yuǎn)程專家指導(dǎo)功能，使能參與故障解決的多方人員可以隨時(shí)隨地，使用多終端方式異地同時(shí)組會(huì)討論，協(xié)商解決方案，實(shí)現(xiàn)實(shí)時(shí)AR遠(yuǎn)程指導(dǎo)，完成故障定位和檢修，提高故障解決效率，節(jié)省人力，物力，財(cái)力和時(shí)間成本。
二、項(xiàng)目實(shí)施概況
1. 項(xiàng)目總體架構(gòu)和主要內(nèi)容
基于在5G、XR技術(shù)等方面的雄厚積累，中興通訊推出了以PAD/手機(jī)/VR和AR眼鏡客戶端、邊緣云XR渲染平臺(tái)和中心云管理平臺(tái)為主體的三級(jí)系統(tǒng)架構(gòu)設(shè)計(jì)。系統(tǒng)具備故障弱化能力，在中心管理平臺(tái)不可用的情況下，保證現(xiàn)有的邊緣服務(wù)不中斷。系統(tǒng)利用邊緣云XR渲染平臺(tái)計(jì)算能力，釋放終端壓力，保證XR順暢運(yùn)行，改善體驗(yàn)。
ZTE XRExplore產(chǎn)品采用了端、邊、云的系統(tǒng)設(shè)計(jì)架構(gòu)，在部署時(shí)可以靈活的端、邊、云分離部署，也可以合設(shè)部署。
系統(tǒng)架構(gòu)如下：
圖1 系統(tǒng)架構(gòu)
中心管理平臺(tái)可以部署在云端（公有云或私有云），也可以部署在邊緣側(cè)。中心管理平臺(tái)提供了中心門戶、用戶管理、內(nèi)容管理、業(yè)務(wù)管理、智能運(yùn)維、智能運(yùn)營(yíng)等功能模塊；
邊緣-云渲染平臺(tái)采用分層架構(gòu)，底層是GPU服務(wù)器和網(wǎng)絡(luò)設(shè)備，通過邊緣云平臺(tái)為云渲染平臺(tái)提供彈性計(jì)算服務(wù)、GPU虛擬化服務(wù)、存儲(chǔ)服務(wù)和虛擬網(wǎng)絡(luò)服務(wù)。中間是云XR能力層，提供了云XR渲染、云XR推流、工作流編排、會(huì)控及媒體處理、視頻流分發(fā)等能力組件。上層是面向各行業(yè)的云XR應(yīng)用服務(wù)層，提供了門戶、會(huì)議AS、數(shù)據(jù)服務(wù)、應(yīng)用服務(wù)和接口機(jī)等功能模塊；
終端包括XR眼鏡及顯示屏等。XR眼鏡客戶端包括Master角色和Slave角色，Master角色的XR眼鏡可以操控模型，Slave角色的XR眼鏡只能接收推流的視頻。當(dāng)XR眼鏡客戶端為Master角色時(shí)，眼鏡客戶端為主控客戶端，其觀看的3D模型經(jīng)過云渲染后的視頻流第一視角實(shí)時(shí)通過云渲染平臺(tái)的云XR內(nèi)容分發(fā)模塊分發(fā)給Slave類型客戶端進(jìn)行同步觀看。云XR推流模塊分發(fā)給所有Slave角色客戶端。
結(jié)合江蘇中車的數(shù)字孿生和故障檢修場(chǎng)景，ZTE基于云XR的能力中臺(tái)，研發(fā)了云XR協(xié)作應(yīng)用，既能滿足海量數(shù)字孿生模型的場(chǎng)景打通生產(chǎn)數(shù)據(jù)和檢測(cè)數(shù)據(jù)，又能實(shí)現(xiàn)多方異地協(xié)同以XR方式解決復(fù)雜故障的場(chǎng)景。
2. 網(wǎng)絡(luò)架構(gòu)
中興通訊XRExplore產(chǎn)品借助于公司在其它視頻類產(chǎn)品（如：IPTV/ OTT/ CDN、視頻會(huì)議和安防等視頻產(chǎn)品）可靠性方面的深厚積累（如在雙機(jī)部署、異地容災(zāi)、N+1備份、產(chǎn)品安全方面等有成熟的部署經(jīng)驗(yàn)），在產(chǎn)品化規(guī)模部署和安全性方面具有顯著優(yōu)勢(shì)。
下圖為中興通訊XRExplore產(chǎn)品的部署架構(gòu)圖。
圖2 產(chǎn)品部署網(wǎng)絡(luò)架構(gòu)圖
結(jié)合江蘇中車場(chǎng)景，具體部署情況如下：
端側(cè)支持各類異構(gòu)胖瘦終端，通過無線網(wǎng)絡(luò)靈活接入系統(tǒng)。邊側(cè)基于私有云部署，存儲(chǔ)海量三維模型數(shù)據(jù)并提供可視化算力支持，以數(shù)字孿生方式展現(xiàn)機(jī)車產(chǎn)品和核心部件的生產(chǎn)制造全生命周期數(shù)據(jù)，支持拖拉、旋轉(zhuǎn)、標(biāo)記、涂色等多人操作。中心管理平臺(tái)進(jìn)行用戶管理、內(nèi)容管理、應(yīng)用管理，為智能運(yùn)維提供支持。
3. 具體應(yīng)用場(chǎng)景和應(yīng)用模式
針對(duì)產(chǎn)品展示場(chǎng)景，結(jié)合ZTE XRExplore創(chuàng)新平臺(tái)，存儲(chǔ)海量數(shù)字模型，隨時(shí)隨地，使用多終端以數(shù)字孿生方式展現(xiàn)全量機(jī)車產(chǎn)品和核心部件的生產(chǎn)制造全生命周期數(shù)據(jù)，通過檢測(cè)數(shù)據(jù)與生產(chǎn)數(shù)據(jù)對(duì)比分析，提供機(jī)車改造優(yōu)化的效率。
1）5G+XR數(shù)字孿生系統(tǒng)，產(chǎn)品質(zhì)量分析會(huì)多人同場(chǎng)景沉浸式協(xié)作。
主要功能和業(yè)務(wù)：
? 多人協(xié)同，提高多部門跨地域會(huì)議效率；
? 生產(chǎn)制造全生命周期數(shù)據(jù)管理；
? PHM（預(yù)測(cè)與健康管理）系統(tǒng)數(shù)據(jù)結(jié)合分析；
? 檢測(cè)數(shù)據(jù)與生產(chǎn)數(shù)據(jù)對(duì)比分析。
圖3 多人協(xié)作
2）XRExplore平臺(tái)在工業(yè)領(lǐng)域遠(yuǎn)程指導(dǎo)的應(yīng)用
應(yīng)對(duì)故障檢修場(chǎng)景，結(jié)合數(shù)字孿生功能和遠(yuǎn)程專家指導(dǎo)功能，使能參與故障解決的多方人員可以隨時(shí)隨地，使用多終端方式異地同時(shí)組會(huì)討論，協(xié)商解決方案，實(shí)現(xiàn)實(shí)時(shí)AR遠(yuǎn)程指導(dǎo)，完成故障定位和檢修，提高故障解決效率，節(jié)省人力，物力，財(cái)力和時(shí)間成本。
XRExplore平臺(tái)結(jié)合5G與邊緣計(jì)算功能后，可以充分發(fā)揮大帶寬低時(shí)延特性，實(shí)時(shí)傳輸遠(yuǎn)程高清視頻。現(xiàn)場(chǎng)人員佩戴AR眼鏡后，可以實(shí)時(shí)回傳現(xiàn)場(chǎng)結(jié)合AR信息的高清視頻，后方專家端可以對(duì)回傳信息進(jìn)行凍屏、標(biāo)注并結(jié)合語(yǔ)音信息流完成對(duì)現(xiàn)場(chǎng)的實(shí)時(shí)指導(dǎo)，指導(dǎo)效果如身臨其境，大大提升了工業(yè)領(lǐng)域運(yùn)維、裝配等工作的工作效率。
三、下一步實(shí)施計(jì)劃
當(dāng)前階段主要完成多人協(xié)同應(yīng)用在列車產(chǎn)品質(zhì)量分析方面的落地，后續(xù)將重點(diǎn)推動(dòng)多人協(xié)同應(yīng)用場(chǎng)景在列車市場(chǎng)推廣、售后維護(hù)等環(huán)節(jié)的落地應(yīng)用。
四、項(xiàng)目創(chuàng)新點(diǎn)和實(shí)施效果
1. 項(xiàng)目先進(jìn)性及創(chuàng)新點(diǎn)
1） 端、邊、云架構(gòu)：基于在5G技術(shù)方面的雄厚積累，推出了以VR和AR眼鏡客戶端、邊緣云XR渲染平臺(tái)和中心云管理平臺(tái)為主體的三級(jí)系統(tǒng)架構(gòu)設(shè)計(jì)。系統(tǒng)具備故障弱化能力，在中心管理平臺(tái)不可用的情況下，保證現(xiàn)有的虛擬課堂服務(wù)不中斷。無需接入頭盔線纜連接，利用邊緣云XR渲染平臺(tái)計(jì)算能力，釋放終端壓力，保證XR順暢運(yùn)行改善體驗(yàn)。
2） 良好的終端兼容性：與核心芯片廠家包括高通，三星，Intel，瑞芯微，全志，炬力等深度合作，支持上百家VR/AR設(shè)備廠家，同時(shí)可以通過提供SDK接入其它未驗(yàn)證對(duì)接過的VR和AR終端。邊端渲染與系統(tǒng)底層深度優(yōu)化，與邊端渲染配合終端APP都是基于OpenGL編程，效率高，功耗低，使用穩(wěn)定。
3） 良好的應(yīng)用兼容性：既支持SteamVR、HTC平臺(tái)VR應(yīng)用，也支持基于自有SDK開發(fā)的VR應(yīng)用，并同時(shí)支持AR應(yīng)用。
4） 完善的云平臺(tái)管理：中心云提供學(xué)校管理，用戶管理，產(chǎn)品管理，終端管理，內(nèi)容管理等功能。邊緣云提供虛擬課堂教學(xué)資源動(dòng)態(tài)管理、終端統(tǒng)一接入和狀態(tài)管理等功能。具有豐富的電信級(jí)BOSS系統(tǒng)對(duì)接運(yùn)營(yíng)經(jīng)驗(yàn)。
5） 云XR渲染：云渲染平臺(tái)支持虛擬化部署，物理資源由虛擬化平臺(tái)進(jìn)行動(dòng)態(tài)調(diào)度和統(tǒng)一管理。支持一路虛機(jī)多路渲染，滿足大規(guī)模并發(fā)和物理資源的充分利用。多種關(guān)鍵技術(shù)保障效果穩(wěn)定，低時(shí)延體驗(yàn)。包括STP姿態(tài)預(yù)測(cè), DTR異步時(shí)間扭曲和SLAM技術(shù)等。
6） 云XR識(shí)別：云XR平臺(tái)支持內(nèi)容邊端識(shí)別，在現(xiàn)實(shí)場(chǎng)景下疊加3D模型或者視頻進(jìn)行虛實(shí)融合。滿足AR景點(diǎn)秀、博物館文物識(shí)別等識(shí)別類應(yīng)用的需求。
7） 云編輯和編排：支持中心云和邊緣云XR內(nèi)容的在線編輯、離線編輯和內(nèi)容場(chǎng)景化編排，極大地增強(qiáng)了教學(xué)互動(dòng)體驗(yàn)。
8） 支持音視頻一體化會(huì)議：老師和學(xué)生可通過內(nèi)置會(huì)議系統(tǒng)進(jìn)行教學(xué)討論和課堂互動(dòng)，解決了佩戴頭盔對(duì)環(huán)境聲音不敏感的問題。
9） 靈活的教學(xué)培訓(xùn)模式：實(shí)現(xiàn)了同時(shí)支持云VR和云AR的一人互動(dòng)操作3D模型多人觀看，多人獨(dú)立操作3D模型，多人協(xié)作針對(duì)同一3D模型的操作。即完美契合了集中教學(xué)的教師給學(xué)生上課演示的典型場(chǎng)景，也滿足了獨(dú)立操作及多人協(xié)作的靈活教學(xué)培訓(xùn)場(chǎng)景。
10） 豐富的內(nèi)容資源：中興通訊聯(lián)合數(shù)十家業(yè)內(nèi)領(lǐng)先的XR內(nèi)容提供商提供數(shù)千個(gè)優(yōu)質(zhì)的XR內(nèi)容，支持34種3D模型格式（OBJ，F(xiàn)BX等），視頻，動(dòng)畫和圖片等各種內(nèi)容類型。
2. 實(shí)施效果
本項(xiàng)目階段性成果
1）在2019年10月17日舉行的世界智能制造大會(huì)上，江蘇中車數(shù)字科技有限公司聯(lián)合中興通訊展示數(shù)字孿生技術(shù)在機(jī)車核心部件上的應(yīng)用。
2）XR應(yīng)用場(chǎng)景：
實(shí)現(xiàn)產(chǎn)品質(zhì)量分析多人協(xié)同評(píng)審和工業(yè)現(xiàn)場(chǎng)巡檢指導(dǎo)的應(yīng)用。
3）5G云XR與傳統(tǒng)對(duì)比方案對(duì)比 ：
? 5G大帶寬低時(shí)延，確保視頻質(zhì)量和視頻交互的上傳和分發(fā)時(shí)延。
? 云XR邊緣渲染平臺(tái)，實(shí)現(xiàn)計(jì)算上移，可滿足滿足模型的渲染和呈現(xiàn)，降低對(duì)終端能力的要求。
? 不同地域、不同專業(yè)多人協(xié)同分析評(píng)審，提升工作效率。
? 5G+云XR打通了PHM等平臺(tái)和人機(jī)可視化交互之間的數(shù)據(jù)通道。