近日的特斯拉AI日活動上,特斯拉公布了最新的AI訓練芯片“D1”,規(guī)模龐大,令人稱奇。
該芯片采用臺積電7nm工藝制造,核心面積達645平方毫米,僅次于NVIDIA Ampere架構(gòu)的超級計算核心A100(826平方毫米)、AMD CDNA2架構(gòu)的下代計算核心Arcturus(750平方毫米左右),集成了多達500億個晶體管,相當于Intel Ponte Vecchio計算芯片的一半。
其內(nèi)部走線,長度超過11英里,也就是大約18公里。
它集成了四個64位超標量CPU核心,擁有多達354個訓練節(jié)點,特別用于8×8乘法,支持FP32、BFP64、CFP8、INT16、INT8等各種數(shù)據(jù)指令格式,都是AI訓練相關的。
特斯拉稱,D1芯片的FP32單精度浮點計算性能達22.6TFlops(每秒22.6萬億次),BF16/CFP8計算性能則可達362TFlops(每秒362萬億次)。
為了支撐AI訓練的擴展性,它的互連帶寬非常驚人,最高可達10TB/s,由多達576個通道組成,每個通道的帶寬都有112Gbps。
而實現(xiàn)這一切,熱設計功耗僅為400W。
特斯拉D1芯片可通過DIP(Dojo接口處理器)進行互連,25顆組成一個訓練單元(Training Tile),而且多個訓練單元可以繼續(xù)互連,單個對外帶寬高達36TB/s,每個方向都是9TB/s。
如此龐然大物,耗電量和發(fā)熱都是相當可怕的,電流達18000A,覆蓋一個長方體散熱方案,散熱能力高達15kW。
最新資訊
Copyright (C) 1999-20120 www.tvvgv780.cn, All Rights Reserved
版權(quán)所有 環(huán)球快報網(wǎng) | 聯(lián)系我們:265 073 543 9@qq.com