證券時(shí)報(bào)網(wǎng)
劉茜
2025-04-30 21:44
小米進(jìn)軍大模型,，最擅長“以小博大”,。
4月30日，小米宣布開源首個(gè)為推理而生的大模型Xiaomi MiMo,。值得注意的是,，其經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練形成的MiMo-7B-RL模型，用僅僅70億的參數(shù),，在多項(xiàng)權(quán)威基準(zhǔn)測試中得分超過了OpenAI的閉源推理模型o1-mini 和阿里通義千問320億參數(shù)的QwQ-32B-Preview,，實(shí)現(xiàn)了“以小博大”。
受此消息影響,，今日小米股價(jià)漲5.37%,，金山云和金山軟件更是分別大漲14.20%和7.07%。業(yè)內(nèi)人士認(rèn)為,，小米作為國產(chǎn)頭部的手機(jī)品牌廠商,，此次開源的小參數(shù)規(guī)模模型展現(xiàn)了較強(qiáng)的性能，為AI在手機(jī)端側(cè)的應(yīng)用和運(yùn)行提供了更堅(jiān)實(shí)的模型基礎(chǔ),。
小米開源MiMo推理大模型
4月30日,，小米宣布開源首個(gè)為推理而生的大模型Xiaomi MiMo。據(jù)介紹,，在數(shù)學(xué)推理（AIME 24-25）和代碼競賽（LiveCodeBench v5）公開測評集上,，MiMo僅用7B的參數(shù)規(guī)模，超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規(guī)模的開源推理模型 QwQ-32B-Preview,。
以70億的小規(guī)模參數(shù),，實(shí)現(xiàn)了卓越的性能，MiMo展現(xiàn)了小米“以小博大”的能力,。據(jù)悉,，這一成績的取得，主要源于團(tuán)隊(duì)在預(yù)訓(xùn)練和后訓(xùn)練的數(shù)據(jù)和算法方面進(jìn)行了多層組合創(chuàng)新努力,。預(yù)訓(xùn)練是讓模型領(lǐng)略更多的推理模型，而后訓(xùn)練則是打磨高效穩(wěn)定的強(qiáng)化學(xué)習(xí)算法及框架,。
具體來看,，MiMo背后包含了許多技術(shù)細(xì)節(jié)，包括使用改進(jìn)的組相對策略優(yōu)化（GRPO）算法進(jìn)行訓(xùn)練,，移除KL（Kullback-Leibler散度）損失,、動態(tài)采樣和增加上界裁剪等策略；提出測試難度驅(qū)動的獎勵(lì)機(jī)制,，將測試用例按難度分組,，并根據(jù)難度分配獎勵(lì)；采用易數(shù)據(jù)過濾和重采樣策略,，提高采樣效率并穩(wěn)定策略更新等等,。
小米大模型團(tuán)隊(duì)也已公開了MiMo的技術(shù)報(bào)告,，展現(xiàn)了相關(guān)的技術(shù)細(xì)節(jié)。此外,，MiMo-7B全系列已開源,，包括預(yù)訓(xùn)練模型MiMo-7B-Base，監(jiān)督微調(diào)模型MiMo-7B-SFT以及強(qiáng)化學(xué)習(xí)模型MiMo-7B-RL和MiMo-7B-RL-Zero,。
小米大模型團(tuán)隊(duì)表示,，MiMo來自于全新成立不久的“小米大模型Core團(tuán)隊(duì)”的初步嘗試。業(yè)內(nèi)人士普遍認(rèn)為,，MiMo的開源標(biāo)志著AI發(fā)展從盲目追求參數(shù)規(guī)模轉(zhuǎn)向注重算法效率和能力密度的理性發(fā)展期,，通過技術(shù)創(chuàng)新，小模型同樣可以實(shí)現(xiàn)高效率,、大智慧,，帶來“性價(jià)比革命”。
小米全面發(fā)力AI大模型
隨著MiMo模型的開源,，小米剛剛成立不久的小米大模型Core團(tuán)隊(duì)也終于浮出水面,。小米創(chuàng)始人雷軍曾在2023年表示，自2016年組建AI團(tuán)隊(duì)以來,，到2023年4月第一時(shí)間成立專職大模型團(tuán)隊(duì),，經(jīng)過多次擴(kuò)展，小米AI團(tuán)隊(duì)相關(guān)人員規(guī)模已達(dá)3000多人,，逐步建立了視覺,、語音、聲學(xué),、知識圖譜,、NLP、機(jī)器學(xué)習(xí),、多模態(tài)等AI技術(shù)能力,。
小米大力“押寶”大模型早在去年底便已有消息傳出。DeepSeek-V3爆火之后,，背后的AI“天才少女”羅福莉引發(fā)了大眾的關(guān)注,，彼時(shí)就有媒體報(bào)道稱，雷軍以千萬年薪招攬DeepSeek開源大模型DeepSeek-V2的關(guān)鍵開發(fā)者之一羅福莉,，領(lǐng)導(dǎo)小米AI大模型團(tuán)隊(duì),。
此外，小米也搭建了自己的GPU萬卡集群,，并持續(xù)提升算力儲備,，為大模型研發(fā)提供更充分的算力供給。今年3月,，小米發(fā)布2024年報(bào),，明確2025年將投入70億元以上資金用于AI研發(fā),，約占總研發(fā)經(jīng)費(fèi)的1/4，重點(diǎn)聚焦AI基礎(chǔ)設(shè)施,、大模型開發(fā)及應(yīng)用場景搭建,。
從招兵買馬到“補(bǔ)充彈藥”，小米全面發(fā)力AI大模型,，將AI視為下一個(gè)“新戰(zhàn)場”,。值得注意的是，與其他大模型廠商追求高性能,、大參數(shù)不同,，小米大模型主攻輕量化、本地部署,，也是業(yè)界第一個(gè)在手機(jī)芯片上跑通十億參數(shù)規(guī)模大語言模型,，驗(yàn)證了端側(cè)小模型在部分目標(biāo)場景可以取得媲美云端大模型效果。
雷軍曾表示,，“小米擁有品類眾多的設(shè)備,，是全球規(guī)模領(lǐng)先的消費(fèi)級物聯(lián)網(wǎng)平臺。設(shè)備多樣,，使用場景也各不相同,，一個(gè)大模型難以兼顧。如果把一部分大模型能力下放到端側(cè),，不僅能更好地保護(hù)用戶隱私,、而且有機(jī)會在本地實(shí)現(xiàn)千人千面的個(gè)性化定制?！币虼?，在訓(xùn)練策略上，小米一直致力于減少參數(shù)的浪費(fèi),，達(dá)到效率和效果的最佳均衡,。
同時(shí)，小米發(fā)力AI,，致力于將大模型與自身業(yè)務(wù)深度協(xié)同,，圍繞硬件生態(tài)做深場景，讓AI真正服務(wù)于產(chǎn)品,。目前,，小米的AI技術(shù)能力已逐步接入手機(jī),、汽車,、AIoT、機(jī)器人等業(yè)務(wù)板塊,，端側(cè)賦能加速,。業(yè)內(nèi)人士認(rèn)為,，小米作為國產(chǎn)頭部的手機(jī)品牌廠商，此次開源的小參數(shù)規(guī)模模型展現(xiàn)了較強(qiáng)的性能,，為AI在手機(jī)端側(cè)的應(yīng)用和運(yùn)行提供了更堅(jiān)實(shí)的模型基礎(chǔ),。
中信建投研報(bào)表示，大模型能力不斷迭代增長,，但模型之間差異在縮小,。這些技術(shù)需要在終端設(shè)備上應(yīng)用落地，最終通過這些應(yīng)用/終端實(shí)現(xiàn)商業(yè)價(jià)值的轉(zhuǎn)化,，從而形成一個(gè)從投資到變現(xiàn)的完整閉環(huán),。目前，Meta,、字節(jié),、小米等巨頭已經(jīng)開始大力布局端側(cè)AI，搶奪AI Agent入口,。除了手機(jī),、PC、眼鏡,、耳機(jī)外,，潛在的端側(cè)AI基數(shù)巨大，家電,、機(jī)器人,、智能車、教育辦公設(shè)備,、玩具等都受益于端側(cè)AI的趨勢,，AI嵌入將帶來廣泛的硬件升級。重點(diǎn)關(guān)注算力,、存儲,、連接、電力等硬件環(huán)節(jié),。
責(zé)編：萬健祎
校對：廖勝超
中央網(wǎng)信辦違法和不良信息舉報(bào)中心|證券時(shí)報(bào)網(wǎng)舉報(bào)中心