︿
Top

較少AI晶片運行LLM的趨勢,正燒向產業界,谷歌和Cohere紛紛提出解決方案

瀏覽次數:828| 歡迎推文: facebook twitter wechat Linked

科技產業資訊室(iKnow) - 友子 發表於 2025年3月25日
facebook twitter wechat twitter

圖、較少AI晶片運行LLM的趨勢,正燒向產業界,谷歌和Cohere紛紛提出解決方案
 
近兩個月前,中國新創公司DeepSeek在AI模型取得了巨大的成功,並引發了產業對科技公司在AI系統開發上投入多少的反思,一些領先的AI公司正在採取「少即是多(less-is-more)」的做法。

谷歌於2025年3月12日宣布其最新開源大型語言模型Gemma 3,僅以預計運算能力的一小部分就接近達到DeepSeek的R1的準確率。不過,谷歌聲稱要到R1分數,需要32顆輝達「H100」GPU 晶片,而 Gemma 3 只使用了一顆H100 GPU晶片。

3月13日總部位於多倫多的Cohere將發布一款名為Command A的新模型,該模型僅靠兩顆輝達專注於AI的A100或H100晶片就能執行複雜的業務任務。這比一些大型模型所需的晶片數量要少得多,也比DeepSeek系統所需的晶片數量要少。

無論是微軟、谷歌或者是亞馬遜在數據中心、晶片和人才方面投入正不斷增加,其也努力開發最前沿的模型並期望AI應用能夠獲得廣泛採用。但最近的許多公司的發布也暗示著,整個AI產業都在努力製造能夠盡可能高效率運作的AI軟體。雖然其中一些專案(包括:Cohere的新模型)在DeepSeek最新發布之前就已啟動,但圍繞DeepSeek的狂熱可能只會加速「少即是多(less-is-more)」的努力。

一些AI公司的高層認為,DeepSeek受到的巨大關注對該產業來說是一件好事,表明推出先進的AI系統可能不需要花費更多資金的投入,且就能達到預期效果,這一成本的降低將有助於普及AI。

Cohere表示,DeepSeek所做的服務是讓市場意識到,許多參與AI的公司其效率多麼低下,這為了晶片成本和低耗電帶來了希望。Command A與資源密集型模型形成鮮明對比,標誌著整個產業界朝著更易於存取和可擴展的 AI 解決方案邁出了重要一步。

商業客戶通常受到運算資源有限的限制,但需要更少晶片的AI系統將為他們帶來巨大益處。一般商業用戶沒有數十顆,更不用說數百顆GPU來部署以解決問題的AI。簡單來說,對於運算能力有限的商業客戶來說,在更少的晶片上運行AI模型是非常重要的一步。

如今除了谷歌之外,估值已經達到55億美元的新創公司Cohere宣布的最新模式突顯了資源高效的AI開發對於滿足商業消費者實際需求的重要性日益增加。這將形成下一個AI趨勢,也將有愈來愈多公司將往這一趨勢前進,讓AI普及將變得更加容易啊!(980字;圖1)


參考資料:
AI Companies Embrace Efficient Models That Run on Fewer Chips. Bloomberg. 2025/03/13.
Cohere releases a low-cost AI model that requires only two GPUs. siliconANGLE. 2025/03/13.
Google claims Gemma 3 reaches 98% of DeepSeek's accuracy - using only one GPU. ZDNet. 2025/03/12.

 

 
歡迎來粉絲團按讚!
--------------------------------------------------------------------------------------------------------------------------------------------
【聲明】
1.科技產業資訊室刊載此文不代表同意其說法或描述,僅為提供更多訊息,也不構成任何投資建議。
2.著作權所有,非經本網站書面授權同意不得將本文以任何形式修改、複製、儲存、傳播或轉載,本中心保留一切法律追訴權利。