【產(chǎn)通社，3月1日訊】中國科學(xué)院微電子研究所（Microelectronice of Chinese Academy of Sciences）官網(wǎng)消息，深度學(xué)習(xí)技術(shù)作為AI的重要引擎，近年來受到廣泛關(guān)注和飛速發(fā)展。圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network）是一種較新的深度學(xué)習(xí)技術(shù)，可用于處理更復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，廣泛應(yīng)用于社交網(wǎng)絡(luò)、電子購物、藥物預(yù)測、人機(jī)交互等應(yīng)用場景。隨著數(shù)據(jù)量的急速膨脹，傳統(tǒng)CMOS數(shù)字硬件系統(tǒng)中運(yùn)行圖神經(jīng)網(wǎng)絡(luò)的效率急待提升，圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程日趨復(fù)雜使得訓(xùn)練能耗居高不下�；谧枳儜涀杵鳎≧RAM）的存內(nèi)計算技術(shù)雖可顯著緩解傳統(tǒng)數(shù)字硬件系統(tǒng)中的馮·諾依曼瓶頸、進(jìn)一步提升計算效率，但仍受到高擦寫功耗、延時及一定的編程阻值隨機(jī)性等器件非理想特性的限制。 

針對上述問題，微電子所微電子器件與集成技術(shù)重點實驗室劉明院士團(tuán)隊尚大山研究員與香港大學(xué)電子工程系王中銳博士合作，開發(fā)了一種利用儲池計算（Reservoir Computing）技術(shù)實現(xiàn)圖結(jié)構(gòu)化數(shù)據(jù)分類的技術(shù)——回聲狀態(tài)圖網(wǎng)絡(luò)（ESGNN）。儲池計算是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種簡化形式，能夠?qū)r序輸入信號通過神經(jīng)元的非線性激活函數(shù)轉(zhuǎn)換到一個高維空間中，再通過一個簡單線性回歸方法有效地讀出。儲池計算中循環(huán)連接層的權(quán)重始終固定不變，只需訓(xùn)練輸出層權(quán)重，可最大限度降低訓(xùn)練復(fù)雜度和訓(xùn)練時間。在硬件方面，團(tuán)隊利用RRAM的本征隨機(jī)性構(gòu)建大規(guī)模隨機(jī)電阻陣列，將其作為儲池網(wǎng)絡(luò)的初始化權(quán)重，具有低成本、可擴(kuò)展優(yōu)勢。

在軟件方面，ESGNN巧妙運(yùn)用了隨機(jī)電阻陣列帶來的物理隨機(jī)投影，以存內(nèi)計算的方式完成圖嵌入過程，大大降低了圖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成本。團(tuán)隊還通過軟—硬協(xié)同優(yōu)化技術(shù)，在基于FPGA的板級測試平臺上實現(xiàn)了對MUTAG、COLLAB數(shù)據(jù)集的圖分類，進(jìn)行了更大規(guī)模CORA數(shù)據(jù)集的節(jié)點分類仿真。相比傳統(tǒng)數(shù)字硬件系統(tǒng)，能效分別提升了2.16、35.42和40.37倍。該工作展現(xiàn)了RRAM陣列在構(gòu)建邊緣圖學(xué)習(xí)系統(tǒng)方面的巨大潛力，也為利用自然界豐富的物理、化學(xué)性質(zhì)開發(fā)更高效的智能硬件系統(tǒng)提供了參考。 

該項目得到了科技部、國家自然科學(xué)基金委、中科院和香港大學(xué)的支持。成果近期發(fā)表在《自然·機(jī)器智能》期刊上（Nature Machine Intelligence, DOI: 10.1038/s42256-023-00609-5），并入選當(dāng)期封面文章。微電子所訪問學(xué)生、香港大學(xué)博士研究生王少聰、微電子所博士研究生李熠為文章的共同第一作者，香港大學(xué)王中銳博士、微電子所尚大山研究員為該文章的通訊作者。此外，參與本工作的主要研究人員還包括微電子所許曉欣研究員、復(fù)旦大學(xué)劉琦教授和張續(xù)猛博士、浙江大學(xué)林芃教授、意大利比薩大學(xué)Gallicchio博士和香港科技大學(xué)鄭光廷教授等。 

查詢進(jìn)一步信息，請訪問官方網(wǎng)站http://www.ime.cas.cn/zhxx/ttxw/202302/t20230227_6683348.html，以及http://www.nature.com/articles/s42256-023-00609-5。（張嘉汐，產(chǎn)通發(fā)布）    （完）