【產(chǎn)通社，1月22日訊】英偉達(dá)等公司在高端圖形處理單元（GPU）芯片方面的創(chuàng)新為AI訓(xùn)練提供了堅(jiān)固基石。在應(yīng)用過(guò)程中，經(jīng)過(guò)訓(xùn)練的ChatGPT等生成式AI工具會(huì)吸納新信息進(jìn)行推理并生成回應(yīng)，如撰寫文檔、生成圖像等。這類AI工具可應(yīng)用于醫(yī)療診斷、自動(dòng)駕駛、自然語(yǔ)言理解等領(lǐng)域。

隨著AI模型的廣泛應(yīng)用，需要進(jìn)行推理計(jì)算的硬件日益增多，對(duì)推理芯片的需求也將“水漲船高”。國(guó)際數(shù)據(jù)公司（IDC）的報(bào)告顯示，未來(lái)幾年，推理端的AI服務(wù)器占比將持續(xù)攀升。預(yù)計(jì)到2027年，用于推理的工作負(fù)載將占據(jù)七成以上。

Cerebras、Groq和d-Matrix等初創(chuàng)公司，以及老牌計(jì)算機(jī)芯片公司（AMD）和英特爾紛紛推出了AI推理芯片。這些公司敏銳捕捉到了AI推理芯片“大顯身手”的契機(jī)。

Cerebras公司晶圓芯片

Cerebras公司2024年8月28日推出的AI推理芯片在Llama 3.1-8B模型上實(shí)現(xiàn)了1800token/秒的推理速度；在Llama 3.1 70B上實(shí)現(xiàn)了450token/秒的推理速度，約是英偉達(dá)GPU推理速度的20倍。Token指AI處理文本的最小單元或基本元素，如一個(gè)單詞、一個(gè)字符等。

Cerebras公司擁有創(chuàng)新的AI芯片設(shè)計(jì)方案，其晶圓級(jí)引擎（WSE）宛如一座龐大的“計(jì)算工廠”，最大特點(diǎn)是尺寸驚人——單個(gè)芯片幾乎占據(jù)了一整塊晶圓的面積。在這個(gè)超大芯片上，計(jì)算單元和內(nèi)存單元高度集成，形成一個(gè)密集的網(wǎng)格結(jié)構(gòu)。這樣的設(shè)計(jì)，讓數(shù)據(jù)能在極短距離內(nèi)，于計(jì)算單元和存儲(chǔ)單元之間傳輸，從根本上降低了數(shù)據(jù)移動(dòng)成本，解決了GPU推理無(wú)法避免的內(nèi)存帶寬瓶頸。此類大芯片能更快處理信息，從而在更短時(shí)間內(nèi)給出答案。

GroqCloud速度比GPU快一個(gè)量級(jí)

2024年2月，Groq公司就發(fā)布了自己的AI推理芯片GroqCloud。它在Llama 3.1 70B模型上實(shí)現(xiàn)了250token/秒的推理服務(wù)，速度比GPU幾乎提升了一個(gè)量級(jí)。

d-Matrix聊天機(jī)器人芯片

2024年11月19日，硅谷初創(chuàng)公司d-Matrix首款A(yù)I推理芯片Corsair已開始出貨，旨在提供聊天機(jī)器人和視頻生成等服務(wù)。

Corsair在單服務(wù)器環(huán)境下，能讓Llama3 8B模型實(shí)現(xiàn)60000token/秒的處理能力，且每個(gè)token的延遲僅為1毫秒，充分彰顯了其在高速處理大規(guī)模數(shù)據(jù)方面的卓越性能。更值得一提的是，與GPU及其他方案相比，Corsair能在提供同等性能的同時(shí)，大幅降低能耗和成本。

AI推理芯片將目光瞄準(zhǔn)了更廣泛的客戶群體，旨在優(yōu)化推理計(jì)算的速度與效率，尤其擅長(zhǎng)智能建議、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。一旦推理速度提升至每秒數(shù)千token，AI模型將能在眨眼之間完成復(fù)雜問(wèn)題的思考與回答過(guò)程。這不僅能讓現(xiàn)有應(yīng)用的交互效率實(shí)現(xiàn)質(zhì)的飛躍，還將帶來(lái)一系列令人耳目一新的人機(jī)交互場(chǎng)景。例如，在語(yǔ)音對(duì)話領(lǐng)域，延時(shí)將被壓縮至毫秒級(jí)，能實(shí)現(xiàn)近乎自然的對(duì)話體驗(yàn)；在虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)領(lǐng)域，AI將能實(shí)時(shí)生成和調(diào)整虛擬環(huán)境、角色對(duì)話以及交互邏輯，給用戶帶來(lái)個(gè)性化、沉浸式體驗(yàn)。（鐠元素）