【简析】极大似然估计与最小二乘

极大似然估计：

在已知样本和给定概率分布模型的基础上，估计概率分布模型的参数，并使得在该参数下，生成这个已知样本的可能性最大的方法。
最大似然估计就是去 找参数估计值， 使得已经观察到的 样本值发生概率最大。
找到那个参数估计值，使得前面 已经实现的样本值发生概率最大。
求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程，得到最大似然估计值。

最小二乘：最小方差

通过最小化误差的平方和 寻找数据的最佳函数匹配。
简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
找到一个估计值，使得实际值与估计值的距离最小。
误差渐进服从正态之后的最优表现。

最小二乘法是基于最大似然估计推导出来的

误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。