【產(chǎn)通社，3月15日訊】美國(guó)AI超級(jí)計(jì)算機(jī)公司Cerebras表示，其下一代waferscale AI芯片的性能比上一代產(chǎn)品提高一倍，而消耗相同的功率。晶圓級(jí)引擎3（WSE-3）包含4萬(wàn)億個(gè)晶體管，由于使用了更新的芯片制造技術(shù)，比上一代產(chǎn)品增加了50%以上。該公司表示，將在新一代AI計(jì)算機(jī)中使用WSE-3，這些計(jì)算機(jī)目前安裝在達(dá)拉斯的一個(gè)數(shù)據(jù)中心，形成一臺(tái)能夠進(jìn)行8億次浮點(diǎn)運(yùn)算的超級(jí)計(jì)算機(jī)。

該公司表示，CS-3可以訓(xùn)練多達(dá)24萬(wàn)億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，是當(dāng)今最大LLMs的10倍以上。公司已經(jīng)與高通達(dá)成了一項(xiàng)聯(lián)合開發(fā)協(xié)議，旨在將AI推理的性價(jià)比提高10倍。

有了WSE-3，Cerebras可以繼續(xù)生產(chǎn)世界上最大的單芯片。該芯片呈正方形，邊長(zhǎng)215毫米，使用了幾乎整個(gè)300毫米的硅晶圓來(lái)制造一個(gè)芯片。芯片制造設(shè)備通常僅限于生產(chǎn)不超過約800平方毫米的硅片。芯片制造商已經(jīng)開始通過使用3D集成和其他先進(jìn)封裝技術(shù)來(lái)組合多個(gè)芯片，從而擺脫這一限制。但即使在這些系統(tǒng)中，晶體管數(shù)量也有數(shù)百億個(gè)。

像往常一樣，如此大的芯片伴隨著一些令人興奮的最高級(jí)。

你可以在WSE芯片的繼承中看到摩爾定律的影響。第一個(gè)于2019年首次亮相，使用臺(tái)積電的16納米技術(shù)制造。對(duì)于2021年抵達(dá)的WSE-2，Cerebras轉(zhuǎn)向了臺(tái)積電的7納米工藝。WSE-3是用這家晶圓巨頭的5納米技術(shù)制造的。

自第一個(gè)超大規(guī)模芯片問世以來(lái)，晶體管數(shù)量增加了兩倍多。同時(shí)，用途也發(fā)生了變化。例如，芯片上AI核心的數(shù)量明顯持平，內(nèi)存和內(nèi)部帶寬也是如此。盡管如此，每秒浮點(diǎn)運(yùn)算次數(shù)的性能提升超過了所有其他指標(biāo)。

圍繞新AI芯片CS-3構(gòu)建的計(jì)算機(jī)旨在訓(xùn)練新一代巨型大型語(yǔ)言模型，比OpenAI的GPT-4和谷歌的Gemini大10倍。該公司表示，CS-3可以訓(xùn)練多達(dá)24萬(wàn)億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)模型，是當(dāng)今最大LLMs的10倍以上，而無(wú)需其他計(jì)算機(jī)所需的一套軟件技巧。根據(jù)Cerebras的說(shuō)法，這意味著在CS-3上訓(xùn)練一個(gè)1萬(wàn)億參數(shù)模型所需的軟件與在GPU上訓(xùn)練一個(gè)10億參數(shù)模型一樣簡(jiǎn)單。

可以組合多達(dá)2048個(gè)系統(tǒng)，這種配置將在一天內(nèi)從頭開始訓(xùn)練流行的LLM Llama 70B。不過，該公司表示，目前還沒有那么大的項(xiàng)目。

Cerebras CEO Andrew Feldman表示，神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行是AI應(yīng)用的天花板。Cerebras估計(jì)，如果地球上每個(gè)人都使用ChatGPT，每年將花費(fèi)1萬(wàn)億美元——更不用說(shuō)大量的化石燃料能源了。

Cerebras和高通建立了合作伙伴關(guān)系，目標(biāo)是將推理成本降低10倍。他們的解決方案將涉及應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)，如權(quán)重?cái)?shù)據(jù)壓縮和稀疏性——?jiǎng)h除不必要的連接。這樣，經(jīng)過大腦訓(xùn)練的網(wǎng)絡(luò)將在高通的新推理芯片AI 100 Ultra上高效運(yùn)行。（來(lái)源：IEEE；編譯：鐠元素）