|
IBM開發(fā)的首款人工智能計算單元（AIU）片上系統(tǒng)可更快、更高效地訓(xùn)練和運行需要大規(guī)模并行計算的深度學習模型，打破了CPU、GPU這類傳統(tǒng)架構(gòu)芯片的AI算力瓶頸，以遠遠超過CPU能力的速度執(zhí)行數(shù)據(jù)分析。那么，IBM AIU究竟是如何實現(xiàn)針對深度學習優(yōu)化的呢？答案是“近似計算＋ 簡化AI工作流程”。
IBM發(fā)布的首款人工智能計算單元（Artificial Intelligent Unit，AIU）片上系統(tǒng)是一種專用集成電路（ASIC），可更快、更高效地訓(xùn)練和運行需要大規(guī)模并行計算的深度學習模型。
AIU：專為現(xiàn)代AI計算打造
多年來，業(yè)界主要利用CPU、GPU運行深度學習模型，隨著AI模型的數(shù)量呈指數(shù)級增長，深度學習模型也越來越龐大，有數(shù)十億甚至數(shù)萬億的參數(shù)，需要的算力也是越來越高，而CPU、GPU這類傳統(tǒng)架構(gòu)芯片的AI算力增長已經(jīng)遇到了瓶頸。
根據(jù)IBM的說法，深度學習模型傳統(tǒng)上依賴于CPU和GPU協(xié)處理器的組合來訓(xùn)練和運行模型。其中，CPU的靈活性和高精度非常適合通用軟件應(yīng)用程序，但是，在訓(xùn)練和運行需要大規(guī)模并行AI操作的深度學習模型時，CPU卻處于劣勢。GPU最初是為渲染圖形圖像而開發(fā)的，但后來該技術(shù)發(fā)現(xiàn)了在AI計算中使用的優(yōu)勢。
但是，CPU和GPU都是在深度學習革命之前設(shè)計的，現(xiàn)在他們的效率增長已經(jīng)落后于深度學習對于算力的指數(shù)級增長，業(yè)界真正需要的是針對矩陣和向量乘法運算類型進行優(yōu)化的通用芯片來進行深度學習�；诖耍琁BM Research AI Hardware Center在過去五年中一直專注于開發(fā)下一代芯片和AI系統(tǒng)，希望以每年將人工智能硬件效率提高2.5倍，并能夠在2029年以比2019年快1000倍的速度訓(xùn)練和運行AI模型。
最新AIU芯片則是IBM推出的首款針對現(xiàn)代AI統(tǒng)計數(shù)據(jù)定制的芯片。AIU是專為加速深度學習模型使用的矩陣和向量計算而設(shè)計和優(yōu)化，可以解決復(fù)雜的計算問題，并以遠遠超過 CPU能力的速度執(zhí)行數(shù)據(jù)分析。
那么，IBM AIU是如何實現(xiàn)針對深度學習優(yōu)化的呢？答案是“近似計算 ＋ 簡化AI工作流程”。
擁抱低精度，采用近似計算
從歷史上看，很多AI計算依賴于高精度64位和32位浮點運算。IBM認為AI計算并不總是需要這種精確度。有一個降低傳統(tǒng)計算精度的術(shù)語——“近似計算”，IBM在其博客中解釋了使用近似計算的基本原理：
“對于常見的深度學習任務(wù)，我們是否需要這種準確度？我們的大腦是否需要高分辨率圖像來識別家庭成員或貓？當我們輸入一個文本線程進行搜索時，我們是否需要第50,002個最有用的回復(fù)與第50,003個最有用的回復(fù)的相對排名的精度？答案是，包括這些示例在內(nèi)的許多任務(wù)都可以通過近似計算來完成�！�
基于此，IBM首創(chuàng)了的一種稱為近似計算的技術(shù)，可以從32位浮點運算下降到包含四分之一信息的混合8位浮點（HFP8）計算格式。這種簡化的格式極大地減少了訓(xùn)練和運行AI模型所需的數(shù)字運算量，并且不會犧牲準確性。
更精簡的位格式還減少了另一個對速度的拖累：只需將更少的數(shù)據(jù)移入和移出內(nèi)存，即運行AI模型對于內(nèi)存的占用更少了。
IBM在其新的AIU芯片的設(shè)計當中融入了近似計算技術(shù)，使得AIU芯片的精度需求大幅低于 CPU所需的精度。較低的精度對于在新的 AIU 硬件加速器中實現(xiàn)高計算密度至關(guān)重要。
AIU使用混合8位浮點（HFP8）計算，而不是通常用于AI訓(xùn)練的32位浮點或16位浮點運算。較低精度的計算使芯片的運行速度比FP16計算快2倍，同時提供類似的訓(xùn)練結(jié)果。
雖然低精度計算對于獲得更高的密度和更快的計算是必要的，但深度學習 （DL） 模型的精度必須與高精度計算保持一致。
簡化AI工作流程
由于大多數(shù)AI計算都涉及矩陣和向量乘法，因此IBM AIU芯片架構(gòu)具有比多用途CPU更簡單的布局。
IBM AIU還針對將數(shù)據(jù)直接從一個計算引擎發(fā)送到另一個計算引擎進行設(shè)計，從而節(jié)省大量能耗。
據(jù)IBM介紹，其AIU芯片是一個完整的片上系統(tǒng)，是基于IBM此前的Telum芯片（7nm工藝）中內(nèi)置的經(jīng)過驗證的AI加速器的擴展版本，并且采用了更先進的5nm制程工藝，具有32個處理內(nèi)核并包含230億個晶體管。
IBM AIU還被設(shè)計為像顯卡一樣易于使用。它可以插入任何帶有PCIe插槽的計算機或服務(wù)器。“部署AI對照片中的貓和狗進行分類是一項有趣的學術(shù)活動。但它不會解決我們今天面臨的緊迫問題。我們要讓AI解決現(xiàn)實世界的復(fù)雜性——比如預(yù)測下一個颶風伊恩，或者我們是否正在走向衰退——我們需要企業(yè)級的工業(yè)級硬件。我們的AIU讓這一愿景更近了一步。”
IBM AIU表現(xiàn)如何？
IBM并未在其官網(wǎng)公布更多關(guān)其AIU芯片的技術(shù)信息。不過，我們可以通過回顧IBM在2021年國際固態(tài)電路會議（ISSCC）上展示其早期7nm芯片設(shè)計的性能結(jié)果時的初始原型演示來對其性能有所了解。
IBM用于會議演示的原型不是32個內(nèi)核，而是一個實驗性的4核7nm AI芯片，支持FP16和混合FP8格式，用于訓(xùn)練和推理深度學習模型。
它還支持用于擴展推理的int4和int2格式。2021年Lindley Group通訊中包含了原型芯片性能的摘要，該通訊報道了IBM當年的演示：
在峰值速度下，使用HFP 8，該7nm芯片實現(xiàn)了每秒每瓦特 （TF/W） 1.9 teraflops。
使用INT4進行推理，該實驗芯片達到16.5 TOPS/W，優(yōu)于高通低功耗Cloud AI模組。
考慮到IBM AIU是該測試芯片的擴展版本，并且制程工藝也升級到了5nm，因此預(yù)計其整體能效將進一步提升，同時隨著核心數(shù)量由4核上升到32核，其整體的峰值算力有望提升超過8倍。
Forbes的分析師認為，由于缺乏信息，無法將IBM的AIU與目前被用于AI計算的GPU相比較，但是，預(yù)計該芯片的價格將會在1500-2000美元之間。查詢進一步信息，請訪問官方網(wǎng)站 http://research.ibm.com/blog/ibm-artificial-intelligence-unit-aiu。（Donna Zhang，張底剪報）
|
