| 中科院微電子所等開發(fā)出基于語義記憶的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò) |
| 2024/9/3 22:25:40 |
|
|
|
|
| |
|
|
 【產(chǎn)通社,9月3日訊】中國科學(xué)院微電子研究所(Microelectronice of Chinese Academy of Sciences)官網(wǎng)消息,大腦神經(jīng)網(wǎng)絡(luò)具有復(fù)雜的語義記憶和動(dòng)態(tài)連接性,可將不斷變化的輸入與龐大記憶中的經(jīng)驗(yàn)聯(lián)系起來,高效執(zhí)行復(fù)雜多變的任務(wù)。目前,人工智能系統(tǒng)廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型多是靜態(tài)的。隨著數(shù)據(jù)量不斷增長,它在傳統(tǒng)數(shù)字計(jì)算系統(tǒng)中產(chǎn)生大量能耗和時(shí)間開銷,難以適應(yīng)外界環(huán)境的變化。 院微電子研究所微電子器件與集成技術(shù)研發(fā)中心劉明院士團(tuán)隊(duì)研究員尚大山,聯(lián)合香港大學(xué)博士王中銳、復(fù)旦大學(xué)博士張續(xù)猛,將人工神經(jīng)網(wǎng)絡(luò)與大腦的動(dòng)態(tài)可重構(gòu)性相結(jié)合,開發(fā)出基于語義記憶的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)將新信息與過去的經(jīng)驗(yàn)信息進(jìn)行關(guān)聯(lián),利用輸入樣本與語義記憶的相似性,為神經(jīng)網(wǎng)絡(luò)配備動(dòng)態(tài)連接,從而根據(jù)需求分配計(jì)算資源。與靜態(tài)網(wǎng)絡(luò)相比,語義記動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)能夠根據(jù)計(jì)算資源權(quán)衡識別準(zhǔn)確性和計(jì)算效率,可在資源受限設(shè)備或分布式計(jì)算環(huán)境中展現(xiàn)出色的性能。 進(jìn)一步,該團(tuán)隊(duì)基于TaN/TaOx/Ta/TiN阻變存儲(chǔ)器陣列,驗(yàn)證了動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)在ResNet和PointNet++網(wǎng)絡(luò)框架上的有效性。研究顯示,提取特征的神經(jīng)網(wǎng)絡(luò)和語義記憶分別在基于阻變存儲(chǔ)器的存內(nèi)計(jì)算和內(nèi)容尋址存儲(chǔ)的組合結(jié)構(gòu)上進(jìn)行物理實(shí)現(xiàn),緩解了馮·諾依曼(von Neumann)計(jì)算瓶頸。在對2D圖像數(shù)據(jù)集MNIST和3D點(diǎn)云數(shù)據(jù)集ModelNet的分類任務(wù)中,該設(shè)計(jì)實(shí)現(xiàn)了與軟件相當(dāng)?shù)臏?zhǔn)確率,相比于靜態(tài)神經(jīng)網(wǎng)絡(luò)減少了48.1%和15.9%的計(jì)算量,相比傳統(tǒng)數(shù)字硬件系統(tǒng)降低了計(jì)算能耗。軟硬件協(xié)同設(shè)計(jì)研究為開發(fā)與大腦的適應(yīng)性和效率相媲美的人工智能(AI)系統(tǒng)提供了參考。 近期,相關(guān)研究成果發(fā)表在《科學(xué)進(jìn)展》(Science Advances)上,研究工作得到國家自然科學(xué)基金委員會(huì)、科學(xué)技術(shù)部、中國科學(xué)院的支持。查詢進(jìn)一步信息,請?jiān)L問官方網(wǎng)站 http://www.cas.cn/syky/202408/t20240830_5030289.shtml,以及https://www.science.org/doi/10.1126/sciadv.ado1058。(Robin Zhang,產(chǎn)通數(shù)造) (完)
|
|
| → 『關(guān)閉窗口』 |
|
| |
|
|
|
|
|
|