這項由香港中文大學(xué)（深圳）的唐正陽、葉子涵等研究團隊領(lǐng)導(dǎo)的研究，聯(lián)合上海財經(jīng)大學(xué)、南方科技大學(xué)以及阿里巴巴Qwen團隊，發(fā)表于2025年1月的預(yù)印本論文中。有興趣深入了解的讀者可以通過論文編號arXiv:2510.04204v1查詢完整論文。這項研究解決了一個困擾人工智能領(lǐng)域的重要問題：如何讓小型AI模型在復(fù)雜的優(yōu)化建模任務(wù)上達到大型模型的表現(xiàn)水平。

優(yōu)化建模就像為企業(yè)制定最佳決策方案。比如一家物流公司需要決定在哪里建倉庫、派多少卡車送貨，才能以最低成本滿足所有客戶需求。傳統(tǒng)上，這需要資深專家花費大量時間分析問題、建立數(shù)學(xué)模型，然后編寫復(fù)雜的程序來求解。隨著AI技術(shù)的發(fā)展，研究者們希望讓AI自動完成這個過程，但面臨一個棘手的現(xiàn)實：要獲得好效果，通常需要使用參數(shù)量達到數(shù)千億的超大型模型，這不僅成本高昂，普通研究機構(gòu)和公司也難以負擔。

研究團隊發(fā)現(xiàn)了一個關(guān)鍵問題?，F(xiàn)有的訓(xùn)練方法就像強迫一個天生善于思考的學(xué)生死記硬背標準答案，結(jié)果反而削弱了他的思考能力。大型推理模型天生具備多步驟思考和自我修正的能力，但傳統(tǒng)的訓(xùn)練方法卻試圖讓它們像早期簡單模型那樣，看到問題直接給出答案，完全忽略了它們的推理優(yōu)勢。

為了解決這個矛盾，研究團隊開發(fā)了名為CALM（輕量化修正適應(yīng)）的訓(xùn)練框架。這個方法的核心思想是保護和增強模型的原生推理能力，而不是破壞它。CALM采用了"推理者-干預(yù)者"協(xié)作模式，就像一個有經(jīng)驗的老師在旁邊觀察學(xué)生解題，當發(fā)現(xiàn)學(xué)生走錯方向時，及時給出簡短的提示，引導(dǎo)學(xué)生回到正確軌道。

在CALM框架中，推理模型像一個正在學(xué)習的學(xué)生，按照自己的思維方式解決優(yōu)化問題。同時，一個專家級的干預(yù)模型充當老師的角色，實時監(jiān)控推理過程。當發(fā)現(xiàn)推理出現(xiàn)偏差時，干預(yù)者會注入精準的提示信息。關(guān)鍵在于這些干預(yù)非常輕量化，只修改不到2.6%的生成內(nèi)容，但卻能產(chǎn)生高質(zhì)量的訓(xùn)練數(shù)據(jù)。

研究團隊通過深入分析發(fā)現(xiàn)，大型推理模型在優(yōu)化建模中主要存在兩類錯誤。第一類是"代碼利用不信任"，即模型傾向于用自然語言手工計算，而不是相信和使用強大的求解器工具。這就像一個學(xué)生明明有計算器，卻堅持心算復(fù)雜的數(shù)學(xué)題。第二類是"運籌學(xué)專業(yè)知識缺乏"，即對優(yōu)化建模的專業(yè)概念和約束條件理解不夠深入。

針對這些問題，CALM設(shè)計了相應(yīng)的干預(yù)策略。對于代碼利用不信任問題，當模型試圖手工求解時，干預(yù)者會提示"等等，我可以使用求解庫讓計算器找到最優(yōu)解"。對于專業(yè)知識缺乏問題，比如模型忽略了整數(shù)約束，干預(yù)者會提示"汽車數(shù)量的小數(shù)值是不現(xiàn)實的，這提示我遺漏了整數(shù)約束"。

CALM的工作流程分為三個階段。首先是問題診斷階段，系統(tǒng)分析模型在不同難度問題上的錯誤模式。研究發(fā)現(xiàn)，在簡單問題上，代碼利用不信任是主要瓶頸；在復(fù)雜問題上，專業(yè)知識缺乏成為主要障礙。接著是輕量化提示階段，通過迭代提示循環(huán)逐步修正錯誤軌跡。最后是高質(zhì)量軌跡篩選階段，只保留既正確又被干預(yù)者認為完美的推理過程作為訓(xùn)練數(shù)據(jù)。

基于CALM框架，研究團隊開發(fā)了兩階段訓(xùn)練流程。第一階段是監(jiān)督微調(diào)，讓模型在高質(zhì)量軌跡上學(xué)習正確的推理習慣，這個階段主要起到行為校準的作用。第二階段是強化學(xué)習，讓模型通過與求解器環(huán)境的交互，自主掌握優(yōu)化建模技能。最終得到的模型被命名為STORM（智能思考優(yōu)化推理模型）。

研究結(jié)果令人矚目。僅有40億參數(shù)的STORM模型在五個主流優(yōu)化建?；鶞蕼y試上取得了68.9%的平均準確率，這個成績與擁有6710億參數(shù)的大型模型相當。這意味著STORM用不到大型模型1%的參數(shù)量，就達到了相同的性能水平。這種巨大的參數(shù)效率提升為優(yōu)化建模的普及應(yīng)用開辟了新的可能性。

更深入的分析揭示了STORM成功的機制。通過對比實驗發(fā)現(xiàn)，使用CALM訓(xùn)練的模型在強化學(xué)習階段表現(xiàn)出更陡峭穩(wěn)定的學(xué)習曲線，能夠在相同計算預(yù)算內(nèi)達到更高的性能上限。行為分析顯示，STORM逐漸增加代碼塊的使用頻率，同時減少冗長的自然語言計算，形成了計算驅(qū)動的推理模式。這種轉(zhuǎn)變反映了從新手到專家的能力進化過程。

研究團隊還觀察到了有趣的"兩階段治愈過程"。監(jiān)督微調(diào)階段主要減少運籌學(xué)專業(yè)知識缺乏的錯誤，而強化學(xué)習階段更有效地解決代碼利用不信任問題。這兩個階段相互補充，協(xié)同提升模型的整體能力。

這項研究的意義遠超技術(shù)層面。它證明了通過精心設(shè)計的訓(xùn)練方法，小型模型可以在特定領(lǐng)域達到大型模型的性能。這不僅大幅降低了優(yōu)化建模AI應(yīng)用的門檻，也為其他專業(yè)領(lǐng)域的AI模型訓(xùn)練提供了新思路。更重要的是，CALM框架強調(diào)保護和增強模型原生能力，而非強行改造，這種理念可能會影響未來AI訓(xùn)練方法的發(fā)展方向。

對于實際應(yīng)用而言，這項成果意味著更多企業(yè)和研究機構(gòu)將能夠負擔得起高質(zhì)量的優(yōu)化建模AI助手。從供應(yīng)鏈優(yōu)化到資源分配，從生產(chǎn)調(diào)度到投資組合管理，STORM及類似技術(shù)有望大幅提升各行業(yè)的決策效率和質(zhì)量。同時，由于模型規(guī)模的大幅縮減，部署和維護成本也將顯著降低，為優(yōu)化建模技術(shù)的廣泛普及鋪平了道路。

Q&A

Q1：CALM框架是什么？它如何提升小模型性能？

A：CALM是一種輕量化修正適應(yīng)訓(xùn)練框架，采用"推理者-干預(yù)者"協(xié)作模式。當AI模型在解決優(yōu)化問題時出現(xiàn)錯誤，專家系統(tǒng)會給出精準提示，引導(dǎo)模型回到正確軌道。這種方法只修改不到2.6%的內(nèi)容，卻能生成高質(zhì)量訓(xùn)練數(shù)據(jù)，最終讓40億參數(shù)的小模型達到6710億參數(shù)大模型的性能水平。

Q2：STORM模型在優(yōu)化建模方面有什么突破？

A：STORM是基于CALM框架訓(xùn)練的優(yōu)化推理模型，在五個主流基準測試上平均準確率達到68.9%，與大型模型性能相當?shù)珔?shù)量僅為其1%。它能夠自動將自然語言描述的優(yōu)化問題轉(zhuǎn)換為數(shù)學(xué)模型和可執(zhí)行代碼，大幅降低了專業(yè)優(yōu)化建模的技術(shù)門檻。

Q3：這項研究對實際應(yīng)用有什么價值？

A：這項研究顯著降低了AI優(yōu)化建模的應(yīng)用成本，讓更多企業(yè)和機構(gòu)能夠負擔高質(zhì)量的優(yōu)化決策助手。在供應(yīng)鏈管理、資源分配、生產(chǎn)調(diào)度等領(lǐng)域，STORM技術(shù)可以幫助自動制定最優(yōu)方案，提升決策效率和質(zhì)量，同時因為模型規(guī)模小，部署維護成本也大幅降低。