
【化】 local optimum
part
【计】 L; LOC
【医】 mero-; topo-
【化】 optimal value; optimum
【经】 optimal value
在数学优化领域,"局部最优值"(local optimum)指目标函数在某个邻域范围内取得的最大值或最小值。该概念由德国数学家卡尔·魏尔施特拉斯于19世纪首次系统描述,现为运筹学、人工智能算法设计的核心术语之一。《牛津数学词典》将其定义为:"函数在定义域某个子集上的极值点,该点的函数值不小于(或不大于)其邻域内所有其他点的函数值"。
根据IEEE《控制系统技术汇刊》的界定,局部最优解包含两个基本特征:(1) 存在ε>0使得该解在其ε邻域内最优;(2) 该解未必是整个定义域的全局最优解。这种现象在梯度下降算法、模拟退火算法等迭代优化过程中尤为常见,美国数学学会将其归类为"非凸优化问题的典型特征"。
斯坦福大学《凸优化》教材指出,局部最优与全局最优的关系取决于函数凸性:凸函数的局部最优即全局最优,而非凸函数可能存在多个局部最优值。这一性质深刻影响着机器学习模型的训练过程,如深度神经网络常因陷入局部最优而导致模型性能受限。
局部最优值是数学优化和机器学习中的核心概念,具体含义及关键点如下:
一、定义 局部最优值指函数在某个有限区域内取得的最小值(局部最小值)或最大值(局部最大值)。数学上,若存在邻域$varepsilon$,使得对于所有满足$|x - x_0| < varepsilon$的$x$,都有$f(x) geq f(x_0)$,则$x_0$称为局部最小值;若$f(x) leq f(x_0)$则为局部最大值。
二、直观示例 考虑函数$f(x) = x - 3x + 2$,其图像在$x≈0$和$x≈2.25$处各有一个低谷。当优化算法从$x=1.5$开始搜索时,可能收敛到$x≈2.25$的局部最小值,而忽略更小的全局最小值(可能存在于其他区域)。
三、与全局最优的关系
四、机器学习中的挑战 在神经网络训练时,损失函数常呈现高维非凸形态。梯度下降法可能被困在局部最优附近的鞍点,导致模型参数无法达到最佳性能。例如自然语言处理中,局部最优可能使词向量无法充分捕捉语义关联。
五、突破方法
实际应用中,深度学习的成功表明高维空间中的局部最优常具有可接受的性能,这颠覆了传统认知。但理解这一概念仍对算法选择和超参数调优具有指导意义。
阿奈西辛白喉带菌者闭门思过补充码不能胜任的布匹之熟化测平器点破父顶点氟化氪观风硷性龙胆合剂技术监督基准配置管理抗菌素链霉菌连续老化颅面裂命名用户文件明确墨水瓶脑腔隙上次保存日期和标题上管食管旁疝十进位计数器甩手提供信贷头肌麻痹退休金上诉法庭臀部寄生肢畸胎