日韩三级片免费观看|AV在线观看地址|av极品盛宴久久|97超碰成人毛片|99re久久激情无码国产|亚洲图中文字幕|国产精品偷窥自拍|五月天婷婷天堂一区女人豆豆欧美女人|亚洲成人免费动漫|亚洲无码一二区日韩国产精品久久

谷歌論文提前揭示o1模型原理:AI大模型競爭或轉

2024-09-19 09:14| 發(fā)布者: | 查看: |

OpenAI最強模型o1的護城河已經(jīng)沒有了?

  僅在OpenAI發(fā)布最新推理模型o1幾日之后,海外社交平臺 Reddit 上有網(wǎng)友發(fā)帖稱骨谷歌Deepmind在 8 月發(fā)表的一篇論文內容與o1模型原理幾乎一致,OpenAI的護城河不復存在。

  谷歌DeepMind團隊于今年8月6日發(fā)布上述論文,題為《優(yōu)化 LLM 測試時計算比擴大模型參數(shù)規(guī)模更高效》(Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters)。

  谷歌DeepMind團隊于今年8月6日發(fā)布的論文

  在這篇論文中,研究團隊探討了大模型(LLM)在面對復雜問題時,是否可以通過增加測試時的計算量來提高決策質量。這項研究表明,增加測試時(test-time compute)計算比擴展模型參數(shù)更有效?;谡撐奶岢龅挠嬎阕顑?yōu)(compute-optimal)測試時計算擴展策略,規(guī)模較小的基礎模型在一些任務上可以超越一個14倍大的模型。

  無獨有偶,另一篇由谷歌和斯坦福大學研究人員于今年1月發(fā)表的論文《思維鏈賦能 Transformer 解決本質上的串行問題》(Chain of Thought Empowers Transformers to Solve Inherently Serial Problems)也提出了類似的觀點。該論文探討了“思維鏈”(Chain of Thought,簡稱 CoT)技術,旨在突破 Transformer 模型在串行推理方面的限制。

  傳統(tǒng)的Transformer模型擅長并行計算,但在處理需要邏輯推理的復雜問題時表現(xiàn)欠佳。CoT的核心思想是讓模型模擬人類的思考方式,通過生成一系列中間推理步驟,來解決復雜問題。

  OpenAI 近期發(fā)布的o1 模型,或正是上述理念的實踐。o1模型在給出答案之前,會生成一系列中間推理步驟,不斷完善自己的思維過程,嘗試不同的策略,并能識別自身錯誤。隨著更多的強化學習和思考時間,o1的性能持續(xù)提升。

  有網(wǎng)友表示,“所有的秘密突破和算法最終都會隨著頂尖開發(fā)者在行業(yè)內的流動而傳播到其他公司和開源社區(qū)。”谷歌也表示沒有人擁有護城河,這也促使OpenAI將o1-mini的速度提高7倍,每天都能使用50條;o1-preview則提高每周50條。

  有網(wǎng)友評論道:“唯一可能形成護城河的是硬件,至少在可預見的未來是這樣。”也有人認為,如果AI大模型公司無法解決對顯存的依賴,英偉達可能會直接掌控誰能夠獲得計算能力。而如果微軟或谷歌開發(fā)出在自研芯片上運行速度快10倍的模型,情況也會變化。

  目前,英偉達在AI大模型算力的分配上占據(jù)主導地位。值得注意的是,OpenAI近期也被曝出其首款芯片計劃,采用臺積電最先進的A16級工藝,專為Sora視頻應用打造。這些跡象表明,大模型的競爭已不僅局限于模型本身,硬件能力也成為關鍵因素。在AI領域,誰能擁有更強大的算力,誰就可能在下一階段的競爭中占據(jù)優(yōu)勢。

<
>
?
QQ在線咨詢
售前咨詢熱線
0312-2397237
售后服務熱線
85917613
返回頂部