當(dāng)?shù)貢r間周三芯片公司英特爾、ARM和英偉達(dá)共同發(fā)布了一項所謂人工智能通用交換格式的規(guī)范草案,目的是使機(jī)器處理人工智能的過程速度更快、更高效。
英特爾、ARM和英偉達(dá)在草案中推薦人工智能系統(tǒng)使用8位的FP8浮點處理格式。他們表示,F(xiàn)P8浮點處理格式有可能優(yōu)化硬件內(nèi)存使用率,從而加速人工智能的發(fā)展。這種格式同時適用于人工智能訓(xùn)練和推理,有助于開發(fā)速度更快、更高效的人工智能系統(tǒng)。
在開發(fā)人工智能系統(tǒng)時,數(shù)據(jù)科學(xué)家面臨的關(guān)鍵問題不僅是收集大量數(shù)據(jù)來訓(xùn)練系統(tǒng)。此外還需要選擇一種格式來表達(dá)系統(tǒng)權(quán)重,權(quán)重是人工智能從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到影響系統(tǒng)預(yù)測效果的重要因素。權(quán)重使得GPT-3這樣的人工智能系統(tǒng)能夠從一個長句子提示自動生成整個段落,還能讓DALL-E 2人工智能基于某個特定標(biāo)題生成逼真的肖像畫。
人工智能系統(tǒng)權(quán)重常用的格式有半精度浮點數(shù)FP16和單精度浮點數(shù)FP32,前者使用16位數(shù)據(jù)表示系統(tǒng)權(quán)重,后者則使用32位。半精度浮點數(shù)以及更低精度浮點數(shù)能減少了訓(xùn)練和運行人工智能系統(tǒng)所需的內(nèi)存空間,同時還加快計算速度,甚至減少占用的帶寬資源和耗電量。但因為位數(shù)較單精度浮點數(shù)更少,準(zhǔn)確性會有所降低。
然而,包括英特爾、ARM和英偉達(dá)在內(nèi)的許多行內(nèi)公司都將8位的FP8浮點處理格式作為最佳選擇。英偉達(dá)產(chǎn)品營銷總監(jiān)薩沙·納拉西姆漢(Shar Narasimhan)在一篇博客文章中指出,F(xiàn)P8浮點處理格式在計算機(jī)視覺和圖像生成系統(tǒng)等用例中的精度與半精度浮點數(shù)相當(dāng),同時有“明顯”加速。
英偉達(dá)、ARM和英特爾表示,他們將讓FP8浮點處理格式成為一種開放標(biāo)準(zhǔn),其他公司無需許可證即可使用。三家公司在一份白皮書對FP8進(jìn)行了詳細(xì)描述。納拉西姆漢表示,這些規(guī)范都將提交給技術(shù)標(biāo)準(zhǔn)化組織IEEE,看FP8格式能否成為人工智能行業(yè)的通用標(biāo)準(zhǔn)。
納拉西姆漢說:“我們相信,一個通用的交換格式將帶來硬件和軟件平臺的快速進(jìn)步,提高互操作性,從而推進(jìn)人工智能計算的進(jìn)步。”
當(dāng)然,三家公司之所以不遺余力推動FP8格式成為通用交換格式也是出于自身研究的考慮。英偉達(dá)的GH100 Hopper架構(gòu)已經(jīng)實現(xiàn)對FP8格式的支持,英特爾的Gaudi2人工智能訓(xùn)練芯片組也支持FP8格式。
但通用的FP8格式也會使SambaNova、AMD、Groq、IBM、Graphcore和Cerebras等競爭對手受益,這些公司都曾在開發(fā)人工智能系統(tǒng)時試驗或采用FP8格式。人工智能系統(tǒng)開發(fā)商Graphcore聯(lián)合創(chuàng)始人兼首席技術(shù)官西蒙·諾爾斯(Simon Knowles)在今年7月份的一篇博客文章中寫道,“8位浮點數(shù)的出現(xiàn)在處理性能和效率方面為人工智能計算帶來了巨大優(yōu)勢”。諾爾斯還稱,這是行業(yè)確定“單一開放標(biāo)準(zhǔn)”的“一個機(jī)會”,比采取多種格式相互競爭要好得多。(辰辰)
關(guān)鍵詞: 人工智能 人工智能規(guī)范草案發(fā)布 人工智能規(guī)范草案 英特爾ARM英偉達(dá)
凡注有"環(huán)球傳媒網(wǎng)"或電頭為"環(huán)球傳媒網(wǎng)"的稿件,均為環(huán)球傳媒網(wǎng)獨家版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載或鏡像;授權(quán)轉(zhuǎn)載必須注明來源為"環(huán)球傳媒網(wǎng)",并保留"環(huán)球傳媒網(wǎng)"的電頭。
- 咋回事?蘋果iOS16正式版出現(xiàn)微信閃退BUG
- 油車是下一個蒸汽機(jī)?馬斯克:汽油車的剩余價值比想象的低得多
- 542mAh蘋果史上最大!Apple Watch Ultra電池容量揭曉
- 提前激活罰款20萬/臺 iPhone 14 Pro零售版到貨
- Intel展示80Gbps的雷電新接口:追上USB4 2.0標(biāo)準(zhǔn)
- C盤僅占4.3GB?極限精簡Win10系統(tǒng)Tiny10升級
- Intel確認(rèn)13代酷睿性能提升41% 24核32線程、能上6GHz!
- iPhone 14 Pro新增全新配色暗紫色 張朝陽科普iPhone 14配色
- 知情人士透露:多數(shù)股東投票贊成將推特賣給馬斯克
- 從500億美元降至300億 英特爾下調(diào)Mobileye IPO估值
資訊
- 巴西禁售不帶充電器iPhone!蘋果回應(yīng):將上訴
- 馬斯克過于樂觀?稱要將汽車電池成本削減一半
- Meta10月11日舉行2022年度虛擬現(xiàn)實(VR)大會Connect
- 推特打擊虛假信息團(tuán)隊缺人缺工具!被迫經(jīng)常向外尋求幫助
- 速看1韋伯太空望遠(yuǎn)鏡拍下蜘蛛星云新圖像
- 納斯達(dá)克指數(shù)收于11544.91點跌幅0.74%
- 一季度營收4.17億元同比增37.6% Keep在港交所更新招股書
- 價值風(fēng)格領(lǐng)漲!銀行等與傳統(tǒng)經(jīng)濟(jì)修復(fù)更相關(guān)板塊漲跌幅排名靠前
- 把網(wǎng)友給看懵了!微信、支付寶同時上線新功能
- 上線兩個月后!廣電5G卡終于支持“行程碼”了
焦點
- 罰款降至41.2億美元 !谷歌上訴歐盟反壟斷裁決失敗
- 燃料成本繼續(xù)回落 美國生產(chǎn)者價格指數(shù)連續(xù)第二個月下跌
- 英國最大的集裝箱港口Felixstowe工業(yè)動蕩何時休?
- 瑞典電力危機(jī)進(jìn)一步惡化 關(guān)鍵核電廠機(jī)組再度推遲重啟
- 泰國延長燃油減稅政策期限 明年的通脹率可能會高于泰國央行的預(yù)期
- 印有伊麗莎白二世頭像的以英鎊計價的45億張紙鈔 替換將耗時兩年
- 耶倫:保持美國財政“穩(wěn)健基礎(chǔ)” 承諾瞄準(zhǔn)高收入美國人
- 英國新國王查爾斯將使用國王查理三世的頭銜
- 查爾斯將被稱為查爾斯三世 繼位成為英國國王
- 能源成本飆升的壓力下 歐洲鋁業(yè)巨頭宣布減產(chǎn)