|
 【產(chǎn)通社,10月16日訊】北京大學(Peking University)官網(wǎng)消息,集成電路學院、人工智能研究院,集成電路高精尖創(chuàng)新中心研究團隊在Nature Communication雜志上在線發(fā)表了題為“An emergent attractor network in a passive resistive switching circuit”的研究論文。該工作首次揭示了無源憶阻器電路為一個循環(huán)神經(jīng)網(wǎng)絡,是多個憶阻器件相互作用的涌現(xiàn)結(jié)果。研究團隊構(gòu)建了相應的吸引子網(wǎng)絡模型和能量函數(shù),并完成了實驗證明和聯(lián)想記憶應用的演示,通過理論和實驗兩個層面深入分析了憶阻器吸引子網(wǎng)絡相比經(jīng)典Hopfield網(wǎng)絡在存儲容量、硬件實現(xiàn)和性能等多方面的優(yōu)勢。 憶阻器(或稱電阻式存儲器件)具有豐富的動力學特性,利用它的阻變動力學或簡單的可編程電導屬性可實現(xiàn)狀態(tài)邏輯、時間信息處理和模擬矩陣計算等功能。得益于器件非易失性和交叉陣列架構(gòu),它常被用來加速許多算法中的矩陣向量乘法(MVM),特別是神經(jīng)網(wǎng)絡方面的研究最受關注。吸引子網(wǎng)絡是一種使用交互式反饋的遞歸神經(jīng)網(wǎng)絡(RNN)模型,其中Hopfield網(wǎng)絡是典型的代表,它與生物神經(jīng)回路和記憶機制有很強的聯(lián)系,并在聯(lián)想記憶和組合優(yōu)化中得到應用。 目前,已有一系列基于憶阻器陣列實現(xiàn)的Hopfield網(wǎng)絡硬件研究。在這些工作中,器件僅被用作靜態(tài)的可編程電阻,模仿高度簡化的突觸,神經(jīng)元則通常由傳統(tǒng)的放大器電路實現(xiàn),具有低的面積、時間和能量效率。此外,由于該架構(gòu)僅執(zhí)行MVM操作,算法迭代是離散進行的,這會導致額外的時延,特別是模擬計算的離散迭代需要模數(shù)轉(zhuǎn)換接口,進一步限制了計算效率。 研究團隊基于憶阻器自身的閾值、循環(huán)、非易失阻變特性,首次證明了由一列雙極性憶阻器組成的電路本質(zhì)上是一個吸引子網(wǎng)絡。其中,憶阻器是一種特殊的人工神經(jīng)元,它的非線性激活函數(shù)為雙向回滯型,不同于常見的非線性函數(shù),外部施加的電壓定義了一個反對稱權(quán)重矩陣,器件之間的相互作用實現(xiàn)網(wǎng)絡的遞歸。這樣的概念還可以擴展到其它器件種類,如單極性或閾值阻變器件,從而用于開發(fā)新的吸引子網(wǎng)絡模型和硬件解決方案。 研究團隊進行了相應的實驗驗證和聯(lián)想記憶應用的演示。在經(jīng)典Hopfield網(wǎng)絡模型中,吸引子的存儲容量非常有限,僅隨神經(jīng)元數(shù)量線性增加,因此網(wǎng)絡只能同時記憶少量的狀態(tài)。盡管可以通過使用不同的非線性激活函數(shù)或提供不同的權(quán)重配置來增加存儲容量,但它們僅在算法層次驗證,缺少硬件實現(xiàn)。相比之下,憶阻器是雙向的非易失性神經(jīng)元,它可以在電路中存儲更多的穩(wěn)定狀態(tài),大大提升了聯(lián)想記憶的存儲容量。最后,研究團隊分析了憶阻器網(wǎng)絡的概率模型。網(wǎng)絡能量依賴于憶阻器的阻變閾值電壓和高低電導態(tài)的電導值,它們固有的概率分布屬性,使得網(wǎng)絡能量和狀態(tài)同樣服從概率分布,形成類似于玻爾茲曼機的網(wǎng)絡。 論文的第一作者是北京大學集成電路學院、人工智能研究院2023級博士研究生李永祥,通訊作者是北京大學孫仲研究員,共同作者包括北京大學博士研究生王識清、楊可(已畢業(yè))和楊玉超教授。這項研究工作獲得國家重點研發(fā)計劃、國家自然科學基金、北京市自然科學基金、111計劃、集成電路高精尖創(chuàng)新中心等項目支持。 查詢進一步信息,請訪問官方網(wǎng)站 http://news.pku.edu.cn/jxky/index.htm。(Robin Zhang,產(chǎn)通數(shù)造) (完)
|