在大模型快速發(fā)展的今天，越來越多的模型開始具備“深度思考能力”。比如，DeepSeek-R1系列模型通過引入特別的提示詞結(jié)構(gòu)：先<think>，再<answer>，使得模型在回答問題之前先進行“深度思考”，生成一整段包含反復(fù)自我反思、自我驗證的推理過程，然后再給出答案。這一過程顯著提升了模型解決復(fù)雜問題的能力，但也同時帶來了“過度思考”的問題，即模型在解決簡單任務(wù)時也會生成冗余的推理語句。例如提問 “2+3等于幾”，模型卻要從自然數(shù)定義講起，列出加法交換律，甚至反復(fù)試錯，最后才輸出答案是5。這種不必要的“過度思考”現(xiàn)象在推理模型中廣泛存在。

針對這一問題，中國科學(xué)院自動化研究所聯(lián)合鵬城實驗室提出了一種高效的推理策略AutoThink，賦予推理大模型根據(jù)題目難度自主切換思考模式的能力：通過所設(shè)計的提示詞和多階段強化學(xué)習(xí)，引導(dǎo)大模型自主決定是否進行深度思考。

具體而言，AutoThink提出了一個簡單而有效的方案，它涉及兩個核心技術(shù)點：

（1）最小提示干預(yù)，通過一個添加省略號的Ellipsis?Prompt，激活模型隨機切換思考模式的能力；

（2）多階段強化學(xué)習(xí)，通過三階段強化學(xué)習(xí)，模型學(xué)會自主根據(jù)問題難度切換思考模式。第一階段讓模型穩(wěn)定地出現(xiàn)快慢兩種思考模式，其中“快思考”用于解決簡單問題，而對于復(fù)雜問題則使用“慢思考”；第二階段對快慢思考行為進行優(yōu)化，提高兩種模式下正確回答的能力；第三階段對快慢思考的思維鏈輸出進行精煉。經(jīng)過這個階段的訓(xùn)練后，模型不再隨機地決定是否深入思考，而是根據(jù)問題難度自主選擇思考模式。

通過這兩者的結(jié)合，模型具備了類似人類的快慢思考能力：簡單問題直截了當(dāng)，復(fù)雜問題深度推理，真正做到“按需思考”。如圖所示，相比之下，傳統(tǒng)方法要么手動控制思考模式，要么不區(qū)分題目難度，一味地采用簡潔推理方法壓縮推理過程。

AutoThink與手動控制和簡潔推理方法的核心差異：根據(jù)難度自主切換思考模式

研究團隊在多個數(shù)學(xué)Benchmark和基礎(chǔ)模型（R1-Style）上驗證了AutoThink。實驗結(jié)果顯示：AutoThink不僅能提升R1蒸餾基模的性能，同時可減少約40%的推理Token消耗，如下表所示。相比之下，大部分開源模型性能增強的代價是推理長度（思考過程）的成倍增長；而簡潔思考的模型性能相比于基礎(chǔ)模型幾乎無提升甚至下降。特別地，即使在已經(jīng)過大量強化學(xué)習(xí)后訓(xùn)練的DeepScaleR上，AutoThink依然能額外節(jié)省10%的Token消耗。

不同模型和Benchmark上的準確度和推理長度對比

AutoThink提供了一種簡單而有效的推理新范式，即通過省略號提示配合三階段強化學(xué)習(xí)，引導(dǎo)模型不再“逢題必思”，而是根據(jù)問題難度自主決定是否思考、思考多少。在多個數(shù)學(xué)數(shù)據(jù)集上，AutoThink實現(xiàn)了優(yōu)異的準確率–效率平衡，既提升性能，又節(jié)省算力，展示出很強的適應(yīng)性和實用性。

AutoThink已集成于一站式智能科研平臺ScienceOne，并將用于訓(xùn)練ScienceOne的基座大模型S1-Base。研發(fā)團隊表示，讓大模型“更聰明地思考、更簡潔地表達”，是未來科學(xué)基礎(chǔ)大模型演進的重要方向。

論文鏈接

代碼鏈接

模型鏈接

來源：中國科學(xué)院自動化研究所