亚洲愉拍一区二区三区_中文字幕一卡二卡三卡_做暖暖视频在线看片免费_337P日本欧洲亚洲大胆精品555588_AV区无码字幕中文色_成人特黄A级毛片免费视频_国产AV午夜精品一区二区三区_国产第一页浮力影院草草影视_国产精品美脚玉足脚交欧美_国产免费一区二区三区不卡,H无码里番肉片在线观看的,天堂天堂资源最新版,最近最新中文字幕大全在线欧美VA免费高清在线观看

2025年第一個(gè)月，國(guó)產(chǎn)o1類模型開始密集更新,，發(fā)布者包括“六小虎”中的月之暗面,、階躍星辰，以及獨(dú)立于創(chuàng)業(yè)公司格局外的DeepSeek,。

1月20日，DeepSeek正式發(fā)布性能對(duì)齊OpenAI-o1正式版的DeepSeek-R1,，并同步開源模型權(quán)重。

根據(jù)DeepSeek披露的測(cè)試結(jié)果,，它在數(shù)學(xué),、代碼、自然語(yǔ)言推理等任務(wù)上與OpenAI-o1-1217基本持平,，尤其在AIME 2024（美國(guó)數(shù)學(xué)邀請(qǐng)賽）,、MATH-500,、SWE-Bench Verified（軟件開發(fā)領(lǐng)域測(cè)試集）三項(xiàng)測(cè)試集上以微弱優(yōu)勢(shì)取勝。

作為對(duì)R1能力的一種驗(yàn)證,，由660B版本R1蒸餾得到的多個(gè)小尺寸模型中,，32B和70B兩款模型在多項(xiàng)能力上能夠與OpenAI o1-mini對(duì)標(biāo)。并且,，這些蒸餾模型分屬Q(mào)wen系列和Llama系列,，其中,，14B Qwen系列蒸餾模型,，其各項(xiàng)推理類測(cè)試集表現(xiàn)已經(jīng)明顯好于QwQ-32B-Preview,。

需要指出的是,，DeepSeek還同步開源了DeepSeek-R1-Zero,，這是一個(gè)僅在預(yù)訓(xùn)練基礎(chǔ)上加入了RL（強(qiáng)化學(xué)習(xí)）而沒有經(jīng)過SFT（監(jiān)督微調(diào)）的成果,。

由于沒有人類監(jiān)督數(shù)據(jù)介入,，R1-Zero在生成上可能存在可讀性較差,、語(yǔ)言混雜的現(xiàn)象，但該模型仍然足以對(duì)標(biāo)OpenAI-o1-0912,。此外,，它更重要的意義是側(cè)重于探索僅通過強(qiáng)化學(xué)習(xí)訓(xùn)練大語(yǔ)言模型以獲得推理能力的技術(shù)可能性，為相關(guān)后續(xù)研究提供了重要基礎(chǔ),。

定價(jià)方面，DeepSeek延續(xù)了“AI大模型界拼多多”的身份標(biāo)簽,。DeepSeek-R1 API服務(wù)定價(jià)為每百萬輸入tokens 1元（緩存命中）/ 4元（緩存未命中），每百萬輸出tokens為16元,。這番價(jià)格中，其緩存命中的輸入token價(jià)格不足OpenAI o1的2%,，緩存未命中的輸入價(jià)格及輸出價(jià)格也僅為o1的3.6%,。

另一個(gè)與DeepSeek-R1顯得針鋒相對(duì)的推理類模型，是月之暗面于同一天發(fā)布的K1.5,。

從去年11月開始,，月之暗面已經(jīng)更新了k0-math數(shù)學(xué)模型、k1視覺思考模型等加入了強(qiáng)化學(xué)習(xí)的k系列模型,。k1.5按照模態(tài)思路推進(jìn)，是一個(gè)多模態(tài)思考模型,。

月之暗面給k1.5的定位是“多模態(tài)o1”。簡(jiǎn)單而言,，k1.5同時(shí)包含多模態(tài)的通用能力和推理能力,。

據(jù)官方數(shù)據(jù)，其Short-CoT（可理解為短思考）模式下的數(shù)學(xué)、代碼,、視覺多模態(tài)和通用能力,，對(duì)標(biāo)GPT-4o和Claude 3.5 Sonnet；Long-CoT（可理解為長(zhǎng)思考）模式下的數(shù)學(xué),、代碼,、多模態(tài)推理能力，則達(dá)到了OpenAI o1正式版水平,。

就R1和k1.5的訓(xùn)練方式而言,，二者都采用了強(qiáng)化學(xué)習(xí)、多階段訓(xùn)練,、思維鏈以及獎(jiǎng)勵(lì)模型,。從公開信息看來，其不同環(huán)節(jié)存在各自的技術(shù)策略,。

DeepSeek利用了數(shù)千條長(zhǎng)CoT冷啟動(dòng)數(shù)據(jù),，先是對(duì)DeepSeek-V3-Base這一基礎(chǔ)模型進(jìn)行微調(diào)。隨后進(jìn)行面向推理的大規(guī)模RL訓(xùn)練,，并引入語(yǔ)言一致性獎(jiǎng)勵(lì)克服語(yǔ)言混雜問題,。經(jīng)歷監(jiān)督微調(diào)（SFT）之后，又進(jìn)行適用于所有場(chǎng)景的強(qiáng)化學(xué)習(xí),，對(duì)推理數(shù)據(jù)和一般數(shù)據(jù)采用不同的獎(jiǎng)勵(lì)規(guī)則,。

另外，R1在強(qiáng)化學(xué)習(xí)中加入了組相對(duì)策略優(yōu)化算法（Group Relative Policy Optimization,，GRPO）,，從效果上來說，它能夠優(yōu)化策略,、提高樣本效率和增強(qiáng)算法穩(wěn)定性等,。

k1.5一方面將強(qiáng)化學(xué)習(xí)的上下文窗口擴(kuò)展到128k，另一方面采用在線鏡像下降的變體進(jìn)行穩(wěn)健的策略優(yōu)化,，兩者相結(jié)合讓k1.5能夠建立一個(gè)相對(duì)簡(jiǎn)潔的強(qiáng)化學(xué)習(xí)框架,，在不加入蒙特卡洛樹搜索,、價(jià)值函數(shù)和過程獎(jiǎng)勵(lì)模型等更復(fù)雜技術(shù)的情況下，也能夠保證性能,。

需要指出的是,，k1.5在強(qiáng)化學(xué)習(xí)中還加入了“長(zhǎng)度懲罰”來抑制響應(yīng)長(zhǎng)度,，即確立一個(gè)公式，根據(jù)響應(yīng)長(zhǎng)度和確定性來分配獎(jiǎng)勵(lì)值。此外它還采用了“最短拒絕采用方法”（選擇最短的正確響應(yīng)進(jìn)行監(jiān)督微調(diào)）等方法來抑制響應(yīng)長(zhǎng)度。

k1.5的另一個(gè)特點(diǎn)是對(duì)文本和視覺數(shù)據(jù)進(jìn)行了聯(lián)合訓(xùn)練,，這使其具備多模態(tài)能力。不過Kimi也承認(rèn),，由于部分輸入主要支持文本格式，其面對(duì)部分幾何圖題的圖形理解能力還不夠強(qiáng)大,。

在此之前,，階躍星辰也于1月16日上線了Step Reasoner mini（下稱“Step R-mini”）實(shí)驗(yàn)版。這也是一款具備超長(zhǎng)推理能力的推理模型,。

但它還未完全準(zhǔn)備好的是,，目前在測(cè)試集中主要對(duì)標(biāo)OpenAI o1-preview和o1-mini,，而非o1完整版，當(dāng)然這應(yīng)該也與模型大小和訓(xùn)練方式有關(guān),。在國(guó)內(nèi)對(duì)標(biāo)模型上,，其表現(xiàn)與QwQ-32B-Preview相近,。

不過,，階躍星辰強(qiáng)調(diào)其“文理兼顧”，使用了On-Policy（同策略）強(qiáng)化學(xué)習(xí)算法,，在保證數(shù)學(xué),、代碼、邏輯推理能力的同時(shí)，也能夠完成文學(xué)內(nèi)容創(chuàng)作和日常聊天的任務(wù),。

至此,，從去年9月OpenAI以o1模型變革模型訓(xùn)練范式之后，各家大模型公司開始兌現(xiàn)當(dāng)時(shí)的行業(yè)預(yù)期,，形成了一定規(guī)模的國(guó)產(chǎn)o1類模型跟進(jìn)潮,。

但在所有玩家密切跟進(jìn)o1的同時(shí)，OpenAI又在去年12月的發(fā)布季上讓o3和o3-mini一同亮相,。盡管還沒有正式上線,，但從OpenAI披露的數(shù)據(jù)來看，o3的性能相比o1又猛長(zhǎng)了一大截,。

例如，在SWE-Bench Verified這一軟件開發(fā)測(cè)試集中,，o3得分71.7%,，而o1僅有48.9%；在AIME2024測(cè)試集中,，o3準(zhǔn)確率96.7%,，而o1為83.3%。o3的一些表現(xiàn),，已經(jīng)開始展現(xiàn)AGI（通用人工智能）的初步特征,。

當(dāng)然，o3也存在自己的問題,。一方面,，o系列模型普遍更擅長(zhǎng)邊界清晰、定義明確的任務(wù),，對(duì)部分現(xiàn)實(shí)世界的工程任務(wù)處理還存在欠缺,。另一方面，近期,，o3在FrontierMath這項(xiàng)數(shù)學(xué)基準(zhǔn)測(cè)試中,，也因OpenAI資助過相關(guān)機(jī)構(gòu)而面臨提前獲取真題的真實(shí)能力水平質(zhì)疑。

但擺在國(guó)內(nèi)大模型公司面前的共同問題仍然是明確的,。從技術(shù)上來說,，無論是DeepSeek-R1還是k1.5，都還沒有成功加入過程獎(jiǎng)勵(lì)模型和蒙特卡洛樹搜索等更復(fù)雜技術(shù),，而這是否是模型進(jìn)一步提高推理能力的關(guān)鍵方法,，我們還無從得知,。

另外，從o1到o3,，OpenAI公布的間隔時(shí)間僅有三個(gè)月,，這意味著強(qiáng)化學(xué)習(xí)帶來的推理階段scaling up的技術(shù)范式，顯然比GPT系列模型以年為單位的預(yù)訓(xùn)練范式的節(jié)奏要快,。

這是國(guó)內(nèi)大模型公司共同要面對(duì)的競(jìng)爭(zhēng)壓力,。OpenAI不僅找到了更明確的技術(shù)路徑，并且有足夠的資源快速驗(yàn)證并推進(jìn),。當(dāng)下,，國(guó)內(nèi)大模型行業(yè)將比過去更需要加速提效的突破式創(chuàng)新,。