
【化】 local optimum
part
【計】 L; LOC
【醫】 mero-; topo-
【化】 optimal value; optimum
【經】 optimal value
在數學優化領域,"局部最優值"(local optimum)指目标函數在某個鄰域範圍内取得的最大值或最小值。該概念由德國數學家卡爾·魏爾施特拉斯于19世紀首次系統描述,現為運籌學、人工智能算法設計的核心術語之一。《牛津數學詞典》将其定義為:"函數在定義域某個子集上的極值點,該點的函數值不小于(或不大于)其鄰域内所有其他點的函數值"。
根據IEEE《控制系統技術彙刊》的界定,局部最優解包含兩個基本特征:(1) 存在ε>0使得該解在其ε鄰域内最優;(2) 該解未必是整個定義域的全局最優解。這種現象在梯度下降算法、模拟退火算法等疊代優化過程中尤為常見,美國數學學會将其歸類為"非凸優化問題的典型特征"。
斯坦福大學《凸優化》教材指出,局部最優與全局最優的關系取決于函數凸性:凸函數的局部最優即全局最優,而非凸函數可能存在多個局部最優值。這一性質深刻影響着機器學習模型的訓練過程,如深度神經網絡常因陷入局部最優而導緻模型性能受限。
局部最優值是數學優化和機器學習中的核心概念,具體含義及關鍵點如下:
一、定義 局部最優值指函數在某個有限區域内取得的最小值(局部最小值)或最大值(局部最大值)。數學上,若存在鄰域$varepsilon$,使得對于所有滿足$|x - x_0| < varepsilon$的$x$,都有$f(x) geq f(x_0)$,則$x_0$稱為局部最小值;若$f(x) leq f(x_0)$則為局部最大值。
二、直觀示例 考慮函數$f(x) = x - 3x + 2$,其圖像在$x≈0$和$x≈2.25$處各有一個低谷。當優化算法從$x=1.5$開始搜索時,可能收斂到$x≈2.25$的局部最小值,而忽略更小的全局最小值(可能存在于其他區域)。
三、與全局最優的關系
四、機器學習中的挑戰 在神經網絡訓練時,損失函數常呈現高維非凸形态。梯度下降法可能被困在局部最優附近的鞍點,導緻模型參數無法達到最佳性能。例如自然語言處理中,局部最優可能使詞向量無法充分捕捉語義關聯。
五、突破方法
實際應用中,深度學習的成功表明高維空間中的局部最優常具有可接受的性能,這颠覆了傳統認知。但理解這一概念仍對算法選擇和超參數調優具有指導意義。
倍增器光電管鼻中隔骨部程式控制時鐘純鏡煤電抗頻率倍增器對話子系統分期償還貸款氟化氡伏雷登氏征副粘蛋白複制酶管線内熱解氣相色譜法桂利嗪黃舌交變電流酒氧化酶口頭允諾連署臨時商販執照爐殼密封源普雷茨氏試驗曲柄螺絲攻舌骨下諸肌舌下神經腹外側核縮微卡片停止裁決的動議體溫恒定瞳孔不等脫位