
【計】 loss function
damage; expense; lose; losing; loss
【化】 loss
【醫】 loss
【經】 decrement; loss
function
【計】 F; FUNC; function
在漢英詞典視角下,“損失函數”(Loss Function)是機器學習與數學優化中的核心概念,用于量化模型預測值與真實值之間的差異。其定義及解釋如下:
損失函數是一個數學函數,用于衡量機器學習模型預測結果與真實标籤之間的誤差程度。其值(稱為“損失”)越小,表明模型預測越準确。優化算法(如梯度下降)通過最小化損失函數來調整模型參數,提升模型性能。
設真實值為 $y$,模型預測值為 $hat{y}$,損失函數 $L$ 可表示為:
$$ L(y, hat{y}) $$
目标是最小化所有訓練樣本的總損失:
$$ min{theta} frac{1}{N} sum{i=1}^{N} L(y_i, hat{y}_i) $$
其中 $theta$ 為模型參數,$N$ 為樣本數量。
均方誤差(Mean Squared Error, MSE)
適用于回歸問題,計算預測值與真實值之差的平方均值:
$$ L(y, hat{y}) = frac{1}{N} sum_{i=1}^{N} (y_i - hat{y}_i) $$
來源:周志華《機器學習》第3章
交叉熵損失(Cross-Entropy Loss)
用于分類任務,衡量預測概率分布與真實分布的差異:
$$ L(y, hat{y}) = -sum_{c=1}^{C} y_c log(hat{y}_c) $$
其中 $C$ 為類别數,$y_c$ 為真實标籤的獨熱編碼。
來源:Ian Goodfellow《深度學習》第6章
損失函數是訓練過程的“指南針”:
損失函數(Loss Function)是機器學習和深度學習中用于量化模型預測值與真實值之間差異的函數。其核心目标是為模型優化提供方向,通過調整參數最小化這種差異,從而提高預測準确性。
損失函數是數學表達式,衡量模型在單個樣本或整個數據集上的預測誤差。例如,在回歸任務中,若真實值為 ( y ),預測值為 ( hat{y} ),均方誤差(MSE)可表示為: $$ L = frac{1}{n}sum_{i=1}^n (y_i - hat{y}_i) $$
損失函數需滿足以下條件:
若真實值 ( y = 3 ),預測值 ( hat{y} = 2.5 ),則:
通過不斷疊代降低損失值,模型逐步逼近最優解。
鞍橋吡丙烯菌素比較運算材料收入報告腸沙稱為磁屏蔽單邊帶發射機單元測試打字機輸出程式斷點操作對流溫度國際法律秩序虹膜異色惠特莫爾氏杆菌接收方式絕處逢生可能發生的事庫存管理強迫對流冷卻輕磅紙燃料酒精軟皮輪飼草架松針樹穗花木蘭氨酸筒同意者委恩氏位移定律未通知