Task 01 第一章习题

1.1 说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。

回忆知识点：

统计学习方法三要素为：模型+策略+算法

模型：在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。

策略：统计学习要考虑按照什么样的准则选择最优模型；损失函数包括0-1损失，平方损失，绝对损失，对数损失；风险函数即期望损失为损失函数的期望，但由于不知道联合分布函数，无法直接得到，经验风险损失则是模型关于训练样本的平均损失，可以用来估计风险函数，包括经验风险以及结构化风险，结构化风险加入了一个惩罚项，当模型越简单，越小 。   

经验风险损失:

 结构化风险 ：