（圖片來(lái)源：brookings.edu）
通用人工智能（AGI）領(lǐng)域又出一系列重磅消息。
3月29日上午，IEEE的頭版刊登臺積電董事長(cháng)劉德音聯(lián)合撰寫(xiě)題為《我們如何實(shí)現1萬(wàn)億個(gè)晶體管GPU》的文章。
劉德音在文中預測，半導體技術(shù)的突破給AI技術(shù)帶來(lái)重要貢獻。在未來(lái)10年，GPU集成的晶體管數將達到1萬(wàn)億。而且，GPU能效性能每2年提高3倍，未來(lái)15年（到2040年）內，每瓦GPU性能將提高1000倍。
同時(shí)，有消息稱(chēng)，華人團隊創(chuàng )立的 AI 龍頭Scale AI正在進(jìn)行新一輪融資，估值高達130億美元，比2021 年的73億美元估值提高近 80%。報道指，2023年，Scale AI產(chǎn)生超過(guò) 6.75 億美元的收入，同比增長(cháng)約 150%。
此外，馬斯克還發(fā)布了Grok 1.5，不僅支持長(cháng)文本，而且性能“遙遙領(lǐng)先”。
臺積電董事長(cháng)：未來(lái)15年，每瓦GPU性能將提高1000倍
在IEEE文章中，臺積電董事長(cháng)劉德音及臺積電首席科學(xué)家H.-S Philip Wong講述了臺積電是如何達成1萬(wàn)億晶體管芯片的目標。
文章指出，從1997年擊敗國際象棋人類(lèi)冠軍的IBM深藍超級計算機，到2023年爆火的ChatGPT，再過(guò)15年，人工智能（AI）將發(fā)展到可以“合成知識”（synthesize knowledge）的地步，可以創(chuàng )作詩(shī)歌、編寫(xiě)總結報告和計算機代碼，甚至可以設計集成電路。
GTC 2024大會(huì )上，黃仁勛祭出世界最強GPU——Blackwell B200 ，整整封裝了超2080億個(gè)晶體管。比起上一代H100（800億），B200晶體管數是其2倍多，AI推理性能直接飆升5倍，運行速度提升30倍。
所有這些奇妙的人工智能應用都歸功于三個(gè)因素：高效機器學(xué)習算法的創(chuàng )新、訓練神經(jīng)網(wǎng)絡(luò )的大量數據的可用性，以及通過(guò)半導體技術(shù)的進(jìn)步實(shí)現節能計算的進(jìn)步。
文章內容稱(chēng)，如果AI要以目前的速度發(fā)展下去，它將需要半導體產(chǎn)業(yè)做出更多貢獻。10年內，它將需要1個(gè)1萬(wàn)億晶體管的GPU，也就是說(shuō)，GPU的設備數量是當今典型設備數量的10倍。
文章稱(chēng)，CoWoS是臺積電的硅晶圓上芯片先進(jìn)封裝技術(shù)，目前已在產(chǎn)品中得到應用。示例包括英偉達Ampere和Hopper GPU。Ampere有540億個(gè)晶體管，Hopper有800億個(gè)。從7 nm技術(shù)到更密集的4nm技術(shù)的轉變使得在基本相同的面積上封裝的晶體管數量增加了50%。Ampere和Hopper是當今大型語(yǔ)言模型 ( LLM ) 訓練的主力，訓練ChatGPT需要數萬(wàn)個(gè)這樣的處理器。
HBM是對AI日益重要的另一項關(guān)鍵半導體技術(shù)的一個(gè)例子，通過(guò)將芯片堆疊在一起來(lái)整合系統的能力，臺積電稱(chēng)之為SoIC（system-on-integrated-chips）。
文章預測，10年內，多芯片GPU將擁有超過(guò)1萬(wàn)億個(gè)晶體管。
那么，所有這些創(chuàng )新的硬件技術(shù)如何提高系統的性能呢？
劉德音在文章中表示，GPU芯片需要節能性能的指標的穩步改進(jìn)，比如 EEP 芯片是系統能源效率和速度的綜合衡量標準。過(guò)去 15 年來(lái)，半導體行業(yè)的能效性能，每?jì)赡昃吞岣吡巳蹲笥摇?/span>
“我們相信這一趨勢將以歷史速度持續下去。它將受到多方面創(chuàng )新的推動(dòng)，包括新材料、器件和集成技術(shù)、極紫外（EUV）光刻、電路設計、系統架構設計以及所有這些技術(shù)元素的共同優(yōu)化等。特別是，EEP 的增加將通過(guò)我們在此討論的先進(jìn)封裝技術(shù)來(lái)實(shí)現。此外，系統技術(shù)協(xié)同優(yōu)化 (STCO)等概念將變得越來(lái)越重要，其中 GPU 的不同功能部分被分離到各自的小芯片上，并使用性能最佳和最經(jīng)濟的技術(shù)來(lái)構建每個(gè)部分?！?/span>
文章配圖中指出，2025年-2040年之間，每瓦GPU性能將從0.019（Energy-efficient 0.019892 performance，1/femtojoulespicoseconds），提升到126.337，未來(lái)15年每瓦GPU效能將提高1000倍。
文章結論認為，在智能時(shí)代，半導體技術(shù)是人工智能新能力和應用的關(guān)鍵推動(dòng)者。新的GPU不再受過(guò)去的標準尺寸和外形尺寸的限制。新的半導體技術(shù)不再局限于在二維平面上縮小下一代晶體管。整合人工智能系統可以由盡可能多的節能晶體管、用于專(zhuān)門(mén)計算工作負載的高效系統架構以及軟件和硬件之間的最佳化關(guān)系組成。
“過(guò)去 50 年來(lái)，半導體技術(shù)的發(fā)展就像走在隧道里一樣。前面的路很清晰，因為有一條明確的道路。每個(gè)人都知道需要做什么：縮小晶體管?，F在，我們已經(jīng)到達隧道的盡頭。從這里開(kāi)始，半導體技術(shù)將變得更加難以發(fā)展。然而，在隧道之外，還有更多的可能性。我們不再受過(guò)去的束縛?！眲⒌乱舯硎?。
Scale AI：估值高達130億美金，去年收入超 6.75 億美元
3月29日，據The information報道，總部位于舊金山的美國 AI 初創(chuàng )企業(yè)Scale AI 正在進(jìn)行新一輪數億美元的融資，風(fēng)險投資公司 Accel有望領(lǐng)投，投資估值達到約 130 億美元，比2021 年的73億美元估值提高近 80%。
報道還稱(chēng)，Scale AI公司2023年的營(yíng)收超過(guò)6.75億美元，比2022年增長(cháng)約150%。
報道稱(chēng)，本輪融資尚未最終敲定，條款可能會(huì )有變化。Accel 的發(fā)言人拒絕發(fā)表評論，Scale AI 的代表沒(méi)有回復置評請求。
Scale AI 首席執行官 Alexandr Wang（圖片來(lái)源：ZeeBiz WebDesk）
公開(kāi)資料顯示，Scale AI成立于2016年，主要為 AI 訓練提供數據服務(wù)，創(chuàng )始人為華裔青年Alexandr Wang。據報道，Alexandr Wang的父母均為物理學(xué)家。他從小就表現出了杰出的數理天賦與才能，曾被麻省理工大學(xué)錄取，但在出色地完成第一年學(xué)業(yè)后便選擇了輟學(xué)創(chuàng )業(yè)，與Lucy Guo共同創(chuàng )辦了Scale AI。
值得注意的是，Scale AI創(chuàng )業(yè)初期就得到了創(chuàng )業(yè)孵化公司Y Combinator的支持。彼時(shí)，Y Combinator的總裁為山姆·奧特曼，也即OpenAI的聯(lián)合創(chuàng )始人及現任首席執行官。
Scale AI主要從事的AI訓練數據標注，通俗理解，就是通過(guò)分類(lèi)、畫(huà)框、標注、注釋等對圖片、語(yǔ)音、文本、視頻等原始的數據進(jìn)行處理，標記對象的特征，以作為機器學(xué)習基礎素材。比如，如果要訓練AI識別出圖片中的狗，則需要采集大量有關(guān)于狗的圖片，將其中的關(guān)鍵信息標注出來(lái)，供AI識別，在多次識別的過(guò)程中讓AI形成識別各式各樣的狗的能力。
Scale AI從創(chuàng )立至今，融資過(guò)程可謂順風(fēng)順水，而且融資金額節節攀升。創(chuàng )辦伊始，Y Combinator向其提供了12萬(wàn)美元的投資；2017年，獲得了450萬(wàn)美元的A輪融資；2018年，成功完成1800萬(wàn)美元的B輪融資；2019年，再獲1億美元C輪融資；2021年1月，完成1.5億美元D輪融資；同年4月，順利完成3.25億美元E輪融資。至此，Scale AI用5年的時(shí)間將估值水平提升至73億美元的水平，成為AI數據標注領(lǐng)域的獨角獸。
Scale AI 通過(guò)向 OpenAI 和其他對話(huà)式人工智能初創(chuàng )公司銷(xiāo)售服務(wù)而獲得了發(fā)展。報道稱(chēng)，本輪融資將為公司未來(lái)幾年可能的IPO做準備。目前尚不清楚還有哪些投資者參與了本輪投資。
不過(guò)，目前，Scale AI公司估值依然低于OpenAI。本周二，Accel 的合伙人 Rich Wong 表示，該公司對 Scale AI 這樣的 "鋤頭和鏟子 "企業(yè)更感興趣。
“它是數據引擎，是許多基礎企業(yè)以及試圖為其垂直應用進(jìn)行調整的企業(yè)的模型背后的數據引。我們認為，將成為重要客戶(hù)的將遠不止五大模式?！盧ich Wong表示。
馬斯克發(fā)布Grok 1.5
在Grok 1開(kāi)源十天后，馬斯克創(chuàng )立的xAI宣布推出其大模型最新版本 Grok 1.5。
事實(shí)上，為了尋求替代微軟支持的 OpenAI 和 Google 大模型的解決方案，馬斯克去年創(chuàng )立了 AI 公司 xAI，以創(chuàng )建他所說(shuō)的“最大程度尋求真相的人工智能” 。2023年 12 月，xAI 為 X 的 Premium+ 訂閱者推出了 Grok。
如今，馬斯克更新到Grok 1.5模型。新一代模型實(shí)現了長(cháng)上下文理解和高級推理能力，計劃將在未來(lái)幾天內向早期測試人員和 X 平臺（前 Twitter）上的現有 Grok 用戶(hù)提供。
具體來(lái)說(shuō)，首先，Grok-1.5 最明顯的改進(jìn)之一是其在代碼和數學(xué)相關(guān)任務(wù)中的性能。在 xAI 的測試中，Grok-1.5 在 MATH 基準上取得了 50.6% 的成績(jì)，在 GSM8K 基準上取得了 90% 的成績(jì)，這兩個(gè)數學(xué)基準涵蓋了廣泛的小學(xué)到高中的競賽問(wèn)題。同時(shí)，它在評估代碼生成和解決問(wèn)題能力的 HumanEval 基準測試中得分為 74.1%。
其次，Grok-1.5 中的另一個(gè)重要升級是在其上下文窗口內可以處理多達 128K token 的長(cháng)上下文。這使得 Grok 的容量增加到之前上下文長(cháng)度的 16 倍，從而能夠利用更長(cháng)文檔中的信息。
再次，該模型還可以處理更長(cháng)、更復雜的提示（prompt），同時(shí)在上下文窗口擴展時(shí)仍然能保持其指令跟蹤能力。在大海撈針（NIAH）評估中，Grok-1.5 展示了強大的檢索能力，可以在長(cháng)度高達 128K token 的上下文中嵌入文本，實(shí)現完美的檢索結果。
最后，xAI 介紹了用于訓練模型的算力設施。Grok-1.5 構建在基于 JAX、Rust 和 Kubernetes 的自定義分布式訓練框架之上。該訓練堆棧允許開(kāi)發(fā)團隊能夠以最小的精力構建想法原型并大規模訓練新架構。而在大型計算集群上訓練 LLM 的主要挑戰是最大限度提高訓練作業(yè)的可靠性和正常運行時(shí)間。xAI 提出的自定義訓練協(xié)調器可確保自動(dòng)檢測到有問(wèn)題的節點(diǎn)，并將其從訓練作業(yè)中剔除。工程師還優(yōu)化了檢查點(diǎn)、數據加載和訓練作業(yè)重新啟動(dòng)等問(wèn)題，以最大限度地減少發(fā)生故障時(shí)的停機時(shí)間。
xAI 表示，Grok-1.5 很快就會(huì )向早期測試者開(kāi)放，其團隊將繼續改進(jìn) Grok。隨著(zhù)新版本推向公眾，在未來(lái)幾天 X 上的大模型將陸續推出一些新功能。
