
【计】 cross validation
交叉验证(Cross-Validation)是机器学习领域中评估模型泛化能力的核心方法。该术语在汉英词典中对应"Cross-Validation",其定义可追溯至统计学奠基人Stone和Geisser的独立研究。该技术通过系统化的数据分割策略,实现模型性能的客观评估。
根据Hastie等学者在《统计学习基础》中的经典论述,交叉验证包含三个关键步骤:
常用方法包括:
该方法有效缓解了传统训练集-测试集分割的抽样偏差问题,被IEEE标准委员会列为推荐验证流程。在医学影像分析、金融风险评估等数据稀缺领域,交叉验证已成为模型验证的金标准。其数学表达式可表示为:
$$ CV{(k)} = frac{1}{k}sum{i=1}^{k} frac{N}{n} sum_{j=1}^{n} L(y_j,hat{f}^{-κ(i)}(x_j)) $$
其中$L$表示损失函数,$hat{f}^{-κ(i)}$表示第i次迭代的模型。该公式被收录于《Pattern Recognition and Machine Learning》教材附录。
交叉验证(Cross-Validation)是机器学习中用于评估模型泛化能力的一种统计方法,其核心思想是通过重复划分数据集来减少训练和测试过程中的随机性偏差,尤其适用于数据量较少的情况。
K折交叉验证(K-Fold)
将数据均匀分为K个子集(通常K=5或10),每次用K-1个子集训练,剩余1个验证,共进行K次循环。最终取平均结果,平衡计算成本与稳定性。
留一法(Leave-One-Out, LOO)
极端情况下的K折交叉验证(K等于样本数),每个样本单独作为验证集。优点是无偏,但计算量极大,仅适用于极小数据集。
分层交叉验证(Stratified K-Fold)
在分类问题中保持每折的类别分布与原始数据一致,避免因数据划分不均导致评估偏差。
时间序列交叉验证
针对时序数据,按时间顺序划分训练集和验证集,防止未来信息泄露到训练中。
例如,使用10折交叉验证时,模型会被训练和验证10次,最终取10次结果的平均值作为性能指标。这种方法比单次随机划分训练/测试集更能反映模型的实际泛化能力。
白纤维组织拨出款项不化糖细球菌存货利润电话簿吊索高炉灰隔栅光带同位素效应贵妃合胞体样的化学硫化唧声讯号卷组开型积分公式量子效率流控制协议轮匝带目标中心程序设计前伸移动气-固吸附去氧胆氢生物磁性试验餐数系基诉讼的权利通信性托管理事会微处理机结构