英偉達推出Groq晶片 殺入推理市場

大B哥

英偉達宣佈,Groq 3 LPX機架級系統正式進入全面量產階段,標誌著其去年斥資約200億美元收購Groq相關資產的重磅交易迎來商業化落地成果,這也是英偉達史上規模最大的收購專案。

該系統首批將部署於AI雲計算服務商NEBIUS的數據中心,今年晚些時候正式上線,並將與英偉達Vera中央處理器、Rubin圖形處理器搭配協同運行。隨著AI行業從模型訓練轉向大規模實際部署,低延遲AI推理已成為行業核心競爭賽道,尤其適配AI智能體、AI編程等對回應速度要求極高的場景。

SRAM加速

Groq 3 LPX系統具備差異化的技術與性能優勢。該晶片由三星代工,區別於英偉達傳統GPU的臺積電生產體系,其核心特色是內置500MB高速SRAM,有效規避傳統記憶體訪問的數據傳輸瓶頸,大幅提升推理回應速度。

硬體配置上,單臺LPX機架集成256顆Groq 3晶片,基準測試數據顯示,系統每秒可生成約3400個token,遠超OpenAI Ultrafast模式每秒750個token的算力表現,能夠幫助雲服務商承接高端低延遲AI推理訂單,推出高附加值服務。

推理專用

英偉達明確,Groq低延遲推理晶片並非為了取代傳統GPU,而是形成算力互補的細分架構體系。其中,通用GPU依舊是AI計算基礎設施的核心,兼顧模型訓練與通用推理任務,適配各類模型與技術架構;而Groq晶片專注優化AI推理的解碼環節,聚焦低延遲、高即時性的細分工作負載。依託Vera CPU、Rubin GPU覆蓋通用AI計算,搭配Groq晶片專攻高敏感低延遲推理場景,英偉達已搭建起分層、精細化的AI算力架構矩陣。

英偉達CEO黃仁勳曾透露,未來AI編程專用數據中心將預留四分之一空間部署Groq晶片,凸顯其對該賽道的戰略佈局。

小結

AMD已率先聯動Cerebras晶片佈局同類賽道,爭搶即時AI應用算力市場。而英偉達Vera Rubin系統已進入量產階段,黃仁勳預估,從現有Blackwell晶片到新一代Vera Rubin系統,2027年前累計銷售額有望達1萬億美元。隨著AI智能體、即時生成式AI、AI編程應用快速普及,推理速度成為行業核心競爭力,Groq 3 LPX的量產落地,也推動英偉達從單一GPU晶片供應商,轉型為全場景、可細分適配的AI計算架構服務商。

免責聲明 / Disclaimer

本文章僅代表作者個人觀點及分析,不構成任何投資建議、要約或招攬。本平台及作者均不就任何人因使用或參考本文章所作出的任何投資決定而引致的任何損失或損害承擔任何責任。投資涉及風險,投資者應審慎考慮自身情況並諮詢獨立專業意見。本文章不應被視為證券及期貨事務監察委員會(SFC)認可的投資建議或分析。

This article represents solely the personal views of the author and does not constitute investment advice. Neither this platform nor the author shall be liable for any loss arising from investment decisions based on this article. Investment involves risks; seek independent professional advice. This article should not be regarded as investment advice or analysis endorsed by the Securities and Futures Commission (SFC).