AI初創公司推出自研晶片 推理成本大降

多倫多AI初創公司Taalas，憑藉自研AI晶片震動行業，對英偉達的AI推理市場構成巨大挑戰，Taalas走出了與英偉達GPU截然不同的路線，主要針對推理。

其核心創新是將AI模型及權重直接蝕刻到單塊矽晶片上，無需高速記憶體交換數據，實現效能躍階提升。推理延遲低於1毫秒，每用戶每秒吞吐超1.7萬token，每百萬token成本僅0.0075美元（為雲API的1/2000），推理成本降20倍、能效升10倍，速度遠超英偉達B200及Groq、Cerebras等對手。

Taalas的優勢還在於低成本與快速研發，從軟體開發到晶片定制僅需60天，摒棄HBM、先進封裝等複雜技術，單晶片集成所有功能；首款HC1晶片內置Llama 3.1 8B模型，僅需24位工程師和3000萬美元成本，可通過https://chatjimmy.ai試用，回應速度極快。

針對模型固化的靈活性局限，Taalas支持LoRa高效微調技術，用戶可基於此調整模型參數。這種晶片適配邊緣計算場景，能嵌入機器人、汽車等設備，降低對雲端模型的依賴，尤其適合對延遲敏感的領域。

與英偉達B200對比，雖同等功耗下HC1晶片數量更多，但生成相同token的速度遠超B200，實際電費更低。其製造成本僅300-400美元，採用臺積電6納米工藝，無需複雜組件，風冷即可滿足散熱需求。

Taalas讓模型適配計算本身，徹底擺脫對通用GPU和HBM的依賴，而AI算力70%用於推理，若該路線可行，將衝擊英偉達、博通等企業的商業基礎。據悉，其更強推理晶片將於今年春季、冬季陸續發佈。