【產(chǎn)通社，5月16日訊】北京大學(xué)（Peking University）官網(wǎng)消息，電子學(xué)院程翔教授團隊成果“面向網(wǎng)聯(lián)具身智能體的機器聯(lián)覺系統(tǒng)”近期被美國國家儀器有限公司（NI）2025年度全球用戶案例手冊收錄。該案例手冊在全球范圍內(nèi)精選了來自北美、歐洲、亞太地區(qū)頂尖高校與科研院所的23項創(chuàng)新原型系統(tǒng)，涵蓋面向B5G/6G的通信感知融合、通信智能融合、毫米波/太赫茲無線通信等關(guān)鍵技術(shù)領(lǐng)域，代表未來無線通信網(wǎng)絡(luò)前沿研究方向。

未來，移動通信網(wǎng)絡(luò)支撐下的網(wǎng)聯(lián)具身智能體將深度融入經(jīng)濟社會，推動各行業(yè)與日常生活的革命性變革。然而，當(dāng)前網(wǎng)聯(lián)具身智能體上搭載的通信模塊與多模態(tài)感知模塊間仍相互分立、各自為政，極大程度限制了其通信交互與感知認(rèn)知能力。具體而言，網(wǎng)聯(lián)具身智能體上搭載的通信模塊僅提供數(shù)據(jù)傳輸?shù)耐ㄓ霉艿�，未面向多模態(tài)感知信息傳輸與感知任務(wù)執(zhí)行設(shè)計優(yōu)化；多模態(tài)感知模塊主要提供環(huán)境數(shù)據(jù)采集與智能感知功能，未用于增強網(wǎng)聯(lián)具身智能體的通信傳輸能力。因此，亟需研究通信與多模態(tài)感知間智能融合、互惠互利的機理與模式。然而，通信與多模態(tài)感知間在數(shù)據(jù)表現(xiàn)形式、采集頻段、面向應(yīng)用等方面的天然顯著差異導(dǎo)致通信與多模態(tài)感知融合研究極具挑戰(zhàn)。

受腦神經(jīng)網(wǎng)絡(luò)作用下一種感官自動喚醒另一種感官的人類聯(lián)覺現(xiàn)象啟發(fā)，程翔教授團隊在全球首次提出并系統(tǒng)論述了“機器聯(lián)覺（Synesthesia of Machines，SoM）”架構(gòu)和概念，即面向通用任務(wù)的AI原生通信與多模態(tài)感知智能融合，利用大模型/無線基座模型，突破多模態(tài)通感融合的核心技術(shù)，攻克多模態(tài)數(shù)據(jù)集構(gòu)建難、多模態(tài)通感智能融合難等挑戰(zhàn)，通過“機理-硬件-算法”創(chuàng)新，提供網(wǎng)聯(lián)智能發(fā)展新路徑。作為支撐機器聯(lián)覺研究與算法部署驗證的硬件基礎(chǔ)，團隊已搭建如圖2所示的面向網(wǎng)聯(lián)具身智能體的機器聯(lián)覺系統(tǒng)。該系統(tǒng)利用四驅(qū)全向自主移動機器人（Autonomous Mobile Robot，AMR）作為網(wǎng)聯(lián)具身智能體，搭載包括軟件定義無線電設(shè)備、相控陣天線、多線激光雷達(dá)、RGB-D相機、77GHz/24GHz毫米波雷達(dá)在內(nèi)的通信設(shè)備與多模態(tài)傳感器作為“機器感官”。該系統(tǒng)可實現(xiàn)時空一致的RGB圖、深度圖、激光雷達(dá)點云、毫米波雷達(dá)點云的同步采集，并利用大模型/無線基座模型賦能的機器聯(lián)覺算法，實現(xiàn)通信與多模態(tài)感知功能的相互融合增強。

未來，程翔教授團隊將面向海量、高質(zhì)量實測注入多模態(tài)通感數(shù)據(jù)采集和構(gòu)建系統(tǒng)，多頻段、大陣列高效抗擾通信和多模態(tài)感知智能融合多天線系統(tǒng)、核心融合算法和彈性網(wǎng)絡(luò)，以及輕量化、產(chǎn)業(yè)化軟硬件一體化模塊等方向進(jìn)一步拓展相關(guān)研究。所突破的通信與多模態(tài)感知互惠互利的新型關(guān)鍵技術(shù)，將顛覆人、機、物的深度協(xié)同方式，為網(wǎng)聯(lián)智能汽車、低空經(jīng)濟無人機、人形機器人等新興民生應(yīng)用領(lǐng)域提供技術(shù)支撐，在極端環(huán)境如礦洞探測、太空探索和極端施壓如自然災(zāi)害、作戰(zhàn)條件下的泛在連接也發(fā)揮著重要戰(zhàn)略意義。

程翔教授團隊相關(guān)成果已獲第五屆“科學(xué)探索獎”，以第一完成人獲中國通信學(xué)會科學(xué)技術(shù)獎（自然科學(xué)類）一等獎、中國自動化學(xué)會自然科學(xué)獎一等獎、中國通信學(xué)會車聯(lián)網(wǎng)領(lǐng)域創(chuàng)新成果、中國發(fā)明協(xié)會發(fā)明創(chuàng)業(yè)獎項目獎三等獎、全國發(fā)明展覽會銀獎，發(fā)表IEEE最高影響因子期刊論文（IF=34.4）、數(shù)據(jù)領(lǐng)域頂級期刊Scientific Data論文（Nature子刊）。

查詢進(jìn)一步信息，請訪問官方網(wǎng)站http://ele.pku.edu.cn/info/1012/3661.htm，以及http://pcni.pku.edu.cn。（Robin Zhang，產(chǎn)通數(shù)造）    （完）