摘要: MIT的新技術(shù)大大降低了光學(xué)神經(jīng)網(wǎng)絡(luò)中的誤差，該網(wǎng)絡(luò)使用光而不是電信號(hào)來(lái)處理數(shù)據(jù)。通過(guò)他們的技術(shù)，光學(xué)神經(jīng)網(wǎng)絡(luò)變得越大，其計(jì)算中的誤差就越低。這將使他們能夠擴(kuò)大這些設(shè)備的規(guī)模，使它們大到足以用于商業(yè)用途。


隨著機(jī)器學(xué)習(xí)模型變得更大、更復(fù)雜，它們需要更快、更節(jié)能的硬件來(lái)執(zhí)行計(jì)算。傳統(tǒng)的數(shù)字計(jì)算機(jī)正在努力跟上。

模擬光學(xué)神經(jīng)網(wǎng)絡(luò)可以執(zhí)行與數(shù)字神經(jīng)網(wǎng)絡(luò)相同的任務(wù)，例如圖像分類(lèi)或語(yǔ)音識(shí)別，但由于計(jì)算是使用光而不是電信號(hào)進(jìn)行的，因此光學(xué)神經(jīng)網(wǎng)絡(luò)可以運(yùn)行速度快很多倍，同時(shí)消耗更少的能量。

然而，這些模擬設(shè)備容易出現(xiàn)硬件錯(cuò)誤，從而降低計(jì)算的準(zhǔn)確性。硬件組件中的微觀缺陷是造成這些錯(cuò)誤的原因之一。在具有許多連接組件的光學(xué)神經(jīng)網(wǎng)絡(luò)中，錯(cuò)誤會(huì)迅速累積。

即使使用糾錯(cuò)技術(shù)，由于構(gòu)成光學(xué)神經(jīng)網(wǎng)絡(luò)的設(shè)備的基本特性，一些錯(cuò)誤也是不可避免的。一個(gè)大到足以在現(xiàn)實(shí)世界中實(shí)施的網(wǎng)絡(luò)將過(guò)于不精確而無(wú)法發(fā)揮作用。

麻省理工學(xué)院的研究人員克服了這一障礙，找到了一種有效擴(kuò)展光學(xué)神經(jīng)網(wǎng)絡(luò)的方法。通過(guò)在構(gòu)成網(wǎng)絡(luò)架構(gòu)的光開(kāi)關(guān)中添加一個(gè)微型硬件組件，它們甚至可以減少設(shè)備中可能存在的不可糾正的錯(cuò)誤。

他們的工作可以實(shí)現(xiàn)超快速、節(jié)能的模擬神經(jīng)網(wǎng)絡(luò)，運(yùn)行精度與數(shù)字神經(jīng)網(wǎng)絡(luò)相同。隨著光路變大，使用這種技術(shù)的計(jì)算誤差量實(shí)際上會(huì)減少。

“這很了不起，因?yàn)樗c模擬系統(tǒng)的直覺(jué)相反，在模擬系統(tǒng)中，較大的電路應(yīng)該有較高的錯(cuò)誤，因此錯(cuò)誤會(huì)限制可擴(kuò)展性。本文使我們能夠解決這些系統(tǒng)的可擴(kuò)展性問(wèn)題明確的‘是’，”主要作者 Ryan Hamerly 說(shuō)，他是麻省理工學(xué)院電子研究實(shí)驗(yàn)室 (RLE) 和量子光子學(xué)實(shí)驗(yàn)室的訪問(wèn)科學(xué)家，也是 NTT Research 的資深科學(xué)家。

這篇論文讓我們能夠以明確的肯定回答來(lái)解決這些系統(tǒng)的可擴(kuò)展性問(wèn)題，”主要作者Ryan Hamerly說(shuō)，他是麻省理工學(xué)院電子研究實(shí)驗(yàn)室（RLE）和量子光子學(xué)實(shí)驗(yàn)室的訪問(wèn)科學(xué)家，也是NTT研究所的高級(jí)科學(xué)家。

Hamerly的合著者是研究生Saumil Bandyopadhyay和高級(jí)作者Dirk Englund，后者是麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系（EECS）的副教授，量子光子學(xué)實(shí)驗(yàn)室的領(lǐng)導(dǎo)者，也是RLE的成員。這項(xiàng)研究發(fā)表在《自然通訊》上。


與光相乘


光學(xué)神經(jīng)網(wǎng)絡(luò)由許多連接的組件組成，這些組件的功能類(lèi)似于可編程、可調(diào)的鏡子。這些可調(diào)反射鏡稱(chēng)為馬赫-曾德?tīng)柛缮鎯x (Mach-Zehnder Inferometers，MZI)。神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)被編碼成光，從激光射入光學(xué)神經(jīng)網(wǎng)絡(luò)。

典型的MZI包含兩個(gè)反射鏡和兩個(gè)分束器。光進(jìn)入MZI頂部，在那里被分成兩部分，在被第二個(gè)分束器重新組合之前相互干涉，然后從底部反射到陣列中的下一個(gè)MZI。研究人員可以利用這些光信號(hào)的干擾來(lái)執(zhí)行復(fù)雜的線性代數(shù)運(yùn)算，稱(chēng)為矩陣乘法，神經(jīng)網(wǎng)絡(luò)就是這樣處理數(shù)據(jù)的。

但是，隨著光從一臺(tái)設(shè)備移動(dòng)到另一臺(tái)設(shè)備，每個(gè)MZI中可能出現(xiàn)的錯(cuò)誤會(huì)迅速累積。人們可以通過(guò)提前識(shí)別錯(cuò)誤并調(diào)整MZI來(lái)避免一些錯(cuò)誤，這樣較早的錯(cuò)誤就會(huì)被陣列中較晚的設(shè)備抵消。

“如果你知道錯(cuò)誤是什么，這是一個(gè)非常簡(jiǎn)單的算法。但眾所周知，這些錯(cuò)誤很難確定，因?yàn)槟阒荒茉L問(wèn)芯片的輸入和輸出，”Hamerly說(shuō)�！斑@促使我們研究是否有可能創(chuàng)建免校準(zhǔn)糾錯(cuò)�！�

Hamerly和他的合作者之前展示了一種更有深度的數(shù)學(xué)技術(shù)。他們可以成功地推斷錯(cuò)誤并正確調(diào)整MZI，但即使這樣也沒(méi)有消除所有錯(cuò)誤。

由于MZI的基本性質(zhì)，在某些情況下無(wú)法調(diào)整設(shè)備，因此所有光都會(huì)從底部端口流出到下一個(gè)MZI。如果設(shè)備在每一步都損失了一小部分光并且陣列非常大，那么到最后只會(huì)剩下一點(diǎn)點(diǎn)能量。

“即使有糾錯(cuò)，芯片的好壞也有一個(gè)基本的限制。MZI在物理上無(wú)法實(shí)現(xiàn)它們需要配置的某些設(shè)置，”他說(shuō)。

因此，該團(tuán)隊(duì)開(kāi)發(fā)了一種新型MZI。研究人員在設(shè)備末端添加了一個(gè)額外分束器3-MZI，這就具有三個(gè)分束器而不是兩個(gè)。由于這個(gè)額外的分束器混合光線方式，MZI更容易達(dá)到它需要的設(shè)置，通過(guò)底部端口從外面發(fā)送所有光線。

重要的是，附加分束器的尺寸只有幾微米，并且是無(wú)源元件，因此不需要任何額外的布線。添加額外的分束器不會(huì)顯著改變芯片的尺寸。


芯片越大，錯(cuò)誤越少


當(dāng)研究人員進(jìn)行模擬測(cè)試這些架構(gòu)時(shí)，他們發(fā)現(xiàn)可以消除許多妨礙準(zhǔn)確性的不可糾正的錯(cuò)誤。隨著光學(xué)神經(jīng)網(wǎng)絡(luò)變得更大，設(shè)備中的誤差量實(shí)際上下降了——與標(biāo)準(zhǔn)MZI設(shè)備中發(fā)生的情況相反。

Hamerly說(shuō)，使用3-MZIs，他們有可能創(chuàng)造出一個(gè)足夠大的用于商業(yè)用途的設(shè)備，并且誤差可減少20倍。

研究人員還開(kāi)發(fā)了一種專(zhuān)門(mén)針對(duì)相關(guān)誤差的MZI設(shè)計(jì)變體。這些問(wèn)題是由于制造缺陷造成的——如果芯片的厚度稍有錯(cuò)誤，MZI可能都會(huì)偏移大約相同的量，因此誤差都差不多。他們找到了一種方法來(lái)更改MZI的配置，使其對(duì)這些類(lèi)型的錯(cuò)誤具有魯棒性。該技術(shù)還增加了光學(xué)神經(jīng)網(wǎng)絡(luò)的帶寬，使其運(yùn)行速度提高了三倍。

使用模擬技術(shù)，Hamerly和他的合作者已經(jīng)進(jìn)行了展示，并計(jì)劃在物理硬件上測(cè)試這些方法，將繼續(xù)朝著可以在現(xiàn)實(shí)世界中有效部署的光學(xué)神經(jīng)網(wǎng)絡(luò)前進(jìn)。查詢進(jìn)一步信息，請(qǐng)?jiān)L問(wèn)英文網(wǎng)站http://news.mit.edu/2022/scaling-analog-optical-computing-1129。（鐠元素）