模型选择的方法

正则化和交叉验证

正则化 在经验风险上加一个正则化项或者罚项,回忆下经验风险是 模型关于一个训练集的平均损失.

交叉验证验证随机的将数据集分为训练集,验证集和测试集,分类

简单交叉验证

一部分作为训练集,一部分作为测试集,

S折交叉验证

将数据集随机拆分为数量相同的S个数据集,然后利用S-1个子集的数据做为训练集,剩余的子集作为测试集,然后重复执行这S种选择,最后选出S次测评中平均误差最小的模型。

留一交叉验证

是S折交叉验证的特殊情况,S=N

你可能感兴趣的:(模型选择的方法)