芯片架構邁向多元化

　　ChatGPT的出現拓寬了AI芯片的市場空間，AI大模型訓練需求激增，因此高算力芯片成為半導體產業鏈本輪復蘇的主要驅動力。在AI浪潮中，英偉達2023年的數據中心業務憑借著A100、H100等GPU(圖形處理器)產品實現了217%的同比增長，截止2024年3月6日，其市值突破2.1億美元。

　　作為當前進行AI運算的主流處理器，GPU自身具備強大的并行計算能力，但在近幾年的市場驗證中，也暴露出成本較高、交付周期較長以及功耗偏高等問題。一方面，英偉達正在努力縮短交付周期;另一方面，各類企業正在創新芯片架構，以期對AI處理器的功耗和成本進行優化。

　　因此，ASIC這類適用于特定場景的芯片開始被谷歌、微軟等云服務廠商關注。

　　谷歌自2016年開始研發專用于機器學習的TPU(張量處理器)，并將其作為AlphaGo的算力底座。TPU采用低精度計算，在保證深度學習效果的同時降低功耗，并提升運算效率。谷歌于今年1月發布的TPU v5p版本在大模型訓練中的效率相較于v4提升了2.8倍。據悉，該系列芯片也將應用于谷歌Gemini AI大模型的訓練。

　　2月19日，由前谷歌TPU核心研發團隊的工程師組建的初創公司Groq也開放了自家產品LPU(語言處理器)的體驗入口。在架構方面，Groq的LPU使用了TSP(張量流處理器)來加速人工智能、機器學習和高性能計算中的復雜工作負載。Groq相關發言人稱，該處理器的推理能力是英偉達H100的10倍。

　　此外，在AI從云端向終端滲透的過程中，諸多廠商認為NPU(神經網絡處理單元)是更加適合AI運算的技術路線。高通的AI PC芯片X Elite和英特爾酷睿Ultra處理器中均集成了NPU以提升電腦端的AI性能。

高通AI引擎集成了CPU、GPU、NPU等多種處理器(圖片來源：高通)

　　架構的多點開花既體現出各大企業對于通用芯片和專用芯片的取舍，也意味著更多芯片品類的供應商及其上下游企業有機會分享AI時代的紅利。

　　“在過去幾年，GPU由于其完善的開發生態仍然是AI計算的主要選擇。然而，隨著模型參數不斷增大，芯片對于計算能效的要求相應提升，專用處理器在某些特定AI應用場景中的優勢將會十分明顯。綜合考慮應用場景、成本等多方面因素，未來AI計算的硬件芯片選擇將是多技術路線并存的?！北本┐髮W集成電路學院研究員賈天宇告訴《中國電子報》記者。

　　AI性能帶動先進封裝

　　在上游芯片設計企業迎來AI帶來“潑天的富貴”的同時，下游的封裝技術也獲得了增量空間。

　　“生成式AI模型需要數百萬或數億級別參數才能進行推理，對芯片的處理速度、容量、帶寬都提出了更高的要求，這將推動以Chiplet(芯粒)為代表的先進封裝技術進一步發展，帶來封裝行業的生態變化。”中電科電子裝備集團有限公司董事長景璀告訴《中國電子報》記者。

　　芯片的算力與晶體管數量呈正相關。由于摩爾定律的放緩，芯片的面積已經縮小到接近物理極限，即便臺積電、英特爾IFS、三星電子等制造廠商紛紛公布3nm及更先進制程，也面臨著提升成品良率的挑戰。因此，先進封裝技術以及SIP(系統級封裝)等新的封裝方式將會是延續摩爾定律的有效途徑。

英特爾IFS“四年五個制程節點”路線圖(圖片來源：英特爾)

　　其中，Chiplet技術可謂“掌上明珠”。

　　一方面，Chiplet頗受芯片設計企業青睞。憑借高靈活性，Chiplet既實現了對不同架構、不同工藝材料的堆疊，也省去了前道的復雜制造工藝，對設計企業而言更具性價比。有機構統計，有將近30%的高性能CPU和GPU采用了Chiplet設計，包括英偉達、AMD等算力芯片供應商。

　　另一方面，Chiplet的火熱也推動了制造和封測企業在技術上的不斷創新。英特爾聯合多個公司確立了UCIe(通用芯?；ミB通道)標準，用于芯片內部的計算區塊通信，并推出EMIB和Foveros等封裝技術，以便將芯粒無縫集成至封裝中。

　　臺積電此前與賽靈思合作開發CoWoS封裝技術?；贑hiplet，CoWoS通過互聯硅中介層互聯實現多芯片封裝、高密度互連并降低功耗。隨著GPU站上AI風口，臺積電CoWoS產能也迅速告急。在臺積電1月18日舉辦的財報會議上，總裁魏哲家表示AI芯片對先進封裝的需求十分強勁，目前產能仍無法應對客戶強勁需求，供不應求的狀況可能延續到2025年。

　　存儲原廠比拼產能與封裝技術

　　算力是訓練大模型的重要支撐，而存儲性能則與大模型的推理效率緊密相關。在大模型云集、AI應用逐漸落地的背景下，推理能力被越來越多的芯片和云服務廠商強調。因此，在GPU產品中會配置多塊HBM(高帶寬存儲)以削弱芯片在AI計算中的內存墻效應，進一步降低延遲。

　　HBM在2024年的競爭將會更加激烈。

　　美光CEO Sanjay Mehrotra在2023年底的財報會議上透露，AI芯片對HBM的需求旺盛，美光2024年的HBM產能預計已全部售罄——于2024年初量產的HBM3E有望為美光創造數億美元的營收。

　　無獨有偶，2月，SK海力士副總裁金基泰發文表示，雖然2024年才剛開始，但今年SK海力士旗下的HBM已經全部售罄。同時，公司為了保持HBM的市場領先地位，已開始為2025年做準備。三星電子緊隨其后，在2月27日正式推出12層堆疊HBM3E，比前代產品的帶寬提升50%，預計將于下半年投入量產。

三星電子的HBM3E 12H(圖片來源：三星電子)

　　普遍來講，存儲芯片的堆疊層數越高，其性能越強，但發熱和良率等問題也越明顯。因此，與算力芯片類似，先進封裝及其相關技術也成為了存儲芯片提升性能的重要手段。

　　除了HBM中常見的封裝技術TSV(硅通孔)之外，三星電子努力消除堆疊層之間NCF(非導電薄膜)材料的厚度。據悉，三星電子12層堆疊的HBM3E采用了熱壓非導電薄膜技術，將芯片間隙壓縮至最小7微米，使得12層與此前8層堆疊產品的高度保持一致。

　　SK海力士自研了MR-MUF(批量回流模制底部填充)技術，區別于在每層芯片上鋪薄膜材料，該技術在通過在堆疊的芯片之間注入保護材料，以提升工藝效率和散熱性。SK海力士副社長孫皓榮表示：“為了實現不同的人工智能應用，人工智能存儲器的特性也應該多元化。我們的目標是以各種先進封裝技術來應對這些變化?！?/p>

　　材料和架構創新助力低功耗

　　AI芯片除了通過調整架構和先進封裝技術提升算力和存力，還需考慮功耗因素。

　　一方面，在數據中心里，AI服務器的功耗逐漸增加將催生新的解決方案。據了解，英偉達H100的功耗達到了700W，而之后將推出的B100功耗還會再增加40%，這驅使現有的制冷技術進一步優化。英偉達CEO黃仁勛此前透露公司的下一代產品將會采用液冷方案，戴爾公司首席運營官JeffClarke也表示“工程團隊為(英偉達)這款新產品做好了準備，為GPU帶來高功耗所需的散熱解決方案”。

　　由于發展AI需要大量算力支撐，這也使得對電力的需求飆升，此時寬禁帶半導體和儲能也將發揮作用?！按笮陀嬎慊A設施的運行需要更高功率、更高能效的電力電子設備去支撐，這對碳化硅、氮化鎵等寬禁帶半導體市場將是一個新的增長點?！鄙钲诨景雽w有限公司總經理和巍巍告訴《中國電子報》記者，“另外，未來AI技術的發展將高度依賴于能源，特別是光伏和儲能技術的進步，這也與半導體行業息息相關?！?/p>

　　另一方面，AI正在經歷從云到端的滲透，端側更加重視低功耗的需求。存內計算將有可能成為在邊緣側進行AI計算的全新范式。

　　“相較于云端的大算力GPU，終端智能計算芯片在保障性能的同時更追求低功耗、低成本。存算一體類的新技術具有低功耗的優勢，未來有望在廣泛的邊緣智能計算中發揮作用。”賈天宇表示。

　　當前存內計算已經應用于視覺、健康等智能移動終端設備中，未來也有望在邊緣側、自動駕駛乃至數據中心得到應用。有機構報告顯示，2023年存內計算的市場規模有近177億美元，2030年將達到526億美元，年復合增長率16.8%。

存內計算市場規模預測(圖片來源：SNS Insider)

　　對于存內計算而言，市場前景與技術挑戰并存。知存科技創始人兼CEO王紹迪向《中國電子報》記者表示：“以手機端跑AI大模型為例，現在手機中16GB的LPDDR5已經超過70美金，70GB/s的帶寬(對比云端服務器帶寬近1TB/s)在短時間內也不易提升，同時帶寬的擴大必然會引發功耗升高。存內計算相比傳統架構AI芯片在成本、容量、帶寬和功耗各項能效上都具有很大優勢，雖然短時間內滿足邊緣側的模型算力需求并且達到很好的應用效果仍有很大挑戰，但這是一件非常值得去做的事。”

　　作者：王信豪　　來源：中國電子報、電子信息產業網