AI 競爭焦點從模型規模轉向具成本效益的路由系統

AI 公司正將競爭重心從模型規模轉向具成本效益的路由系統,因為企業正從測試階段邁向部署到正式生產環境。Perplexity 執行長 Aravind Srinivas 告訴 CNBC,僅靠模型本身已不再是產品,重點在於編排系統:將模型與能用於特定任務的工具搭配。這種轉變反映出美國企業界正收緊 AI 支出,企業希望用適合任務的模型,而不是永遠採用最昂貴的選項。

Perplexity 預覽使用中國開放模型的系統

本週,Perplexity 預覽了其電腦使用產品的一套新系統,該系統以 GLM 5.2 為核心,GLM 5.2 是中國 Z.ai 的開放模型。該系統旨在讓較便宜的模型承擔更多工作,並且只在需要時才呼叫更強的模型。

「光有模型已不再是產品」,Srinivas 告訴 CNBC。「它是承載架構,是編排系統:把模型放進一個非常有能力的承載架構中,並讓模型與許多工具配對。」

AI 產品正變成能夠決定要使用哪個模型、何時使用,以及是否需要外部工具或公司的資料來源的系統。客服任務未必需要最昂貴的模型,而複雜的程式碼問題可能需要。例行的內部工作流程可以用較便宜的開放模型運行,而更艱難的步驟則升級到更強的模型。

基準合作夥伴預測開放權重代幣主導

可下載、可由公司自行微調並自行運行的開放權重模型,正變得比大型 AI 實驗室推出的高階專有模型更有能力、也更便宜。

Benchmark(一般合夥人)Peter Fenton 告訴 CNBC,他的預期是,未來 18 到 24 個月內,甚至可能在今年底之前,由開放權重模型產出的代幣將佔到 90% 以上。代幣是 AI 模型用來處理與生成資料的單位。

「由前緣模型公司所產生的推理利潤率,我認為在你能在不需要他們加價的情況下運行這些模型時,就會受到壓力,因為你從開放權重中能取得足夠好的模型」,Fenton 說。

Fenton 表示,轉向開放模型不僅是為了省錢。有些情況下,針對特定任務調校的小型模型可能會比大型通用模型更快、更好表現。

Ollama 報告 Fortune 500 採用率

Benchmark 投資了 Ollama,一家讓開發者與企業更容易下載、運行並管理開放模型的公司。

Ollama 執行長 Jeff Morgan 表示,該公司已被超過 85% 的《財富》500 強企業採用,包含航空、保險與醫療保健等受監管產業的公司。

「有一件事是模型來自哪裡、以及它是如何被建立與訓練的」,Morgan 說。「但我們所面向的這些企業,最重要的則是它在哪裡運行、以及它如何運行。」

Morgan 表示,許多公司會先從更靠近自身資料的較小模型開始,等到更習慣之後,再擴展到更大型的開放模型。

中國實驗室在開放模型上創造策略性競爭

開放模型的興起,對美國形成了策略性挑戰。當前最具競爭力的多數開放權重模型,正來自中國實驗室,包括 Z.ai 和 DeepSeek。這使得開源 AI 成為一項商業問題、一項政策問題,以及一項國家競爭力問題。

Srinivas 表示,美國應該支持開放模型,因為它們能讓 AI 更便宜、更容易取得。

「如果你希望 AI 的效益能夠廣泛分配給美國的小型企業以及美國的盟友國家,那你就真的需要讓 AI 更加便宜易得」,Srinivas 說。「而開源就是唯一的方法。」

這種轉變也可能影響目前科技產業正加速興建的龐大資料中心規模。當前的 AI 熱潮假設需求會持續流向充滿高階晶片的大型雲端資料中心。Srinivas 表示,某些 AI 工作未來可能會改由本地運行,使用由消費者或企業擁有的裝置。

這不會消除對資料中心的需求,但可能會形成更混合的 AI 系統:例行任務在本地運行,而最困難的工作則送往雲端中更強大的模型。

常見問題

Perplexity 本週針對 AI 模型預覽了什麼?

本週,Perplexity 預覽了其電腦使用產品的一套新系統,該系統以 GLM 5.2 為核心,GLM 5.2 是中國 Z.ai 的開放模型。該系統旨在讓較便宜的模型承擔更多工作,並且只在需要時才呼叫更強的模型。

為什麼公司正從使用最大型的 AI 模型轉向路由系統?

當公司從測試 AI,走向在真正的產品與工作流程中使用它們時,他們需要能在正確成本下,最適合特定工作任務的模型,而不是總是使用最昂貴的模型。美國企業界也在收緊 AI 支出,使成本效率成為優先考量。

有多少家《財富》500 強企業採用了 Ollama?

Ollama 執行長 Jeff Morgan 表示,該公司已被超過 85% 的《財富》500 強企業採用,包含航空、保險與醫療保健等受監管產業的公司。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆