
【计】 loss function
damage; expense; lose; losing; loss
【化】 loss
【医】 loss
【经】 decrement; loss
function
【计】 F; FUNC; function
在汉英词典视角下,“损失函数”(Loss Function)是机器学习与数学优化中的核心概念,用于量化模型预测值与真实值之间的差异。其定义及解释如下:
损失函数是一个数学函数,用于衡量机器学习模型预测结果与真实标签之间的误差程度。其值(称为“损失”)越小,表明模型预测越准确。优化算法(如梯度下降)通过最小化损失函数来调整模型参数,提升模型性能。
设真实值为 $y$,模型预测值为 $hat{y}$,损失函数 $L$ 可表示为:
$$ L(y, hat{y}) $$
目标是最小化所有训练样本的总损失:
$$ min{theta} frac{1}{N} sum{i=1}^{N} L(y_i, hat{y}_i) $$
其中 $theta$ 为模型参数,$N$ 为样本数量。
均方误差(Mean Squared Error, MSE)
适用于回归问题,计算预测值与真实值之差的平方均值:
$$ L(y, hat{y}) = frac{1}{N} sum_{i=1}^{N} (y_i - hat{y}_i) $$
来源:周志华《机器学习》第3章
交叉熵损失(Cross-Entropy Loss)
用于分类任务,衡量预测概率分布与真实分布的差异:
$$ L(y, hat{y}) = -sum_{c=1}^{C} y_c log(hat{y}_c) $$
其中 $C$ 为类别数,$y_c$ 为真实标签的独热编码。
来源:Ian Goodfellow《深度学习》第6章
损失函数是训练过程的“指南针”:
损失函数(Loss Function)是机器学习和深度学习中用于量化模型预测值与真实值之间差异的函数。其核心目标是为模型优化提供方向,通过调整参数最小化这种差异,从而提高预测准确性。
损失函数是数学表达式,衡量模型在单个样本或整个数据集上的预测误差。例如,在回归任务中,若真实值为 ( y ),预测值为 ( hat{y} ),均方误差(MSE)可表示为: $$ L = frac{1}{n}sum_{i=1}^n (y_i - hat{y}_i) $$
损失函数需满足以下条件:
若真实值 ( y = 3 ),预测值 ( hat{y} = 2.5 ),则:
通过不断迭代降低损失值,模型逐步逼近最优解。
表列地区鼻旁的不切题舱口单船舶国籍证书啜泣单侧性痣当前控制低级格式化动态处理非成层的高位过滤袋故障数海上冒险业还债检索用户间歇匀精制结核菌蛋白禁止电流脉冲块茎糖酸盐老婆南马兜铃葡萄糖异构前辈褥式缝合升温率升温作用渗压计托德氏突