《模式识别与机器学习》第一章
C1
符号含义
x \bold x x：向量，曲线拟合问题中的x坐标数值序列。元素个数为N。
t \bold t t：向量，曲线拟合问题中的y坐标(target)数值序列。
w \bold w w：向量，曲线拟合问题中的待估计的参数，即M阶多项式的各阶系数。
β \beta β： 标量，协方差的倒数，表示样本的精度。
α \alpha α：标量，同上，曲线拟合例子中的先验的精度。
多项式曲线拟合
E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 E(w) = \frac{1}{2}\sum_{n=1}^N{\{y(x_n,w)-t_n}\}^2 E(w)=21n=1∑N{y(xn,w)−tn}2
RMS
E R M S = 2 E ( w ) N E_{RMS}=\sqrt {\frac{2E(w)}{N}} ERMS=N2E(w)
观测数据的多少，影响曲线拟合情况：同样的模型，如较少的数据会导致严重过拟合，较多的数据会使得拟合更接近理想模型。多项式的阶数影响拟合的结果。
控制过拟合现象的一种方法，
E ( w ) = 1 2 ∑ n = 1 N { y ( x n , w ) − t n } 2 + λ 2 ∥ w ∥ 2 E(w) = \frac{1}{2}\sum_{n=1}^N\{{y(x_n,w)-t_n}\}^2+\frac{\lambda}{2}\|w\|^2 E(w)=21n=1∑N{y(xn,w)−tn}2+2λ∥w∥2
λ \lambda λ的数值也影响模型估计的结果。
Polynomial curve fitting is Least Square Minimization.
从概率方法的角度去看问题
对模型的输出变量做概率分布，Gaussian conditional distribution
p ( t ∣ x , w , β ) = N ( t ∣ y ( x , w ) , β − 1 ) p(t|x,\bold w,\beta) = \mathcal{N}(t|y(x,\bold w), \beta^{-1}) p(t∣x,w,β)=N(t∣y(x,w),β−1)
β \beta β未知，称为精度参数。
使用训练数据拟合曲线参数 w w w， β \beta β，似然函数
p ( t ∣ x , w , β ) = ∏ n = i N N ( t n ∣ y ( x n , w ) , β − 1 ) p(\bold t|\bold x,\bold w,\beta) = \prod_{n=i}^N {\mathcal{N}(t_n|y(x_n,\bold w), \beta^{-1})} p(t∣x,w,β)=n=i∏NN(tn∣y(xn,w),β−1)
曲线拟合参数的maximum likely solution，直译最可能的解，“最大似然解”，与曲线拟合的误差最小二乘解等价。
P29式(1.63)？
贝叶斯后验概率同先验概率与似然概率的乘积呈正比
最大化后验，MAP，等价于最小化sum-of-squares regularized error function
贝叶斯的曲线估计
模型选择
从一系列模型中选择最佳模型。联想到Neural Architecture Search，
训练集用以迭代模型，验证集用于验证并迭代，最后用测试集检查过拟合问题。
有限训练数据，一交叉验证方法，S-fold cross-validation：数据分成S份，每次S-1份训练，余下1份验证，S种组合训练与验证。
交叉验证是自动化的验证方法。
?Akaike Information Criterion
l n p ( D ∣ w M L ) − M ln\ p(D|\bold w_{ML}) - M ln p(D∣wML)−M
M指估计参数的个数。
维度诅咒
石油成分估计例，高维度的输入导致简单的思路无法解决实际问题。
解决高维度难题：1. 数据可以被confine到有效的低维度区域空间 2. 实际数据表现出（局部的）连续性，输入变量的局部小变化引起目标量的小变化。
决策理论
预测加决策
预测问题的分类：分类与回归。
分类例：依据X光片子诊断病人是否有肿瘤。
设计一个模型，输入X光图像，输出判断及其概率。
最小化推理错误概率即最大化后验概率，观测为x，分类为 C ∗ C_* C∗
p ( m i s t a k e ) = p ( x ∈ R 1 , C 2 ) + p ( x ∈ R 2 , C 1 ) = ∫ R 1 p ( x , C 2 ) d x + ∫ R 2 p ( x , C 1 ) d x p ( x , C ∗ ) = p ( x ) ∗ p ( C ∗ ∣ x ) p(mistake)=p(x\in R_1,C_2)+p(x\in R_2,C_1)\\=\int_{R_1}p(x,C_2)dx+\int_{R_2}p(x,C_1)dx\\p(x,C_*)=p(x)*p(C_*|x) p(mistake)=p(x∈R1,C2)+p(x∈R2,C1)=∫R1p(x,C2)dx+∫R2p(x,C1)dxp(x,C∗)=p(x)∗p(C∗∣x)
p ( c o r r e c t ) = ∑ k = 1 K ∫ R k p ( C k , x ) d x p(correct)=\sum^K_{k=1}\int_{R_k}p(C_k,x)dx p(correct)=k=1∑K∫Rkp(Ck,x)dx
loss matrix
[ 0 1000 1 0 ] \left[\begin{array}{}0&1000\\1&0\end{array}\right] [0110000]
回归例：曲线拟合
估计一个函数y(x)，拟合目标t，对各个输入x而言
E ( L ) = ∫ ∫ L ( y ( x ) , t ) p ( x , t ) d x d t E(L)=\int \int L(y(x),t)p(x,t)dxdt E(L)=∫∫L(y(x),t)p(x,t)dxdt
一般， L ( y ( x ) , t ) = { y ( x ) − t } 2 L(y(x),t)=\{y(x)-t\}^2 L(y(x),t)={y(x)−t}2
信息论
信息量概念：事件，随机变量的degree of surprise，惊喜度
两个规律：
- 越罕见的事件，概率越小，其信息量越大
- 独立事件的发生概率满足乘法运算，事件的信息量满足加法运算；
概率的负对数作信息量满足上述要求。
h ( x ) = − l o g 2 p ( x ) h(x)=-log_2p(x) h(x)=−log2p(x)
h(x)单位为bit
一个随机变量的信息量的期望称为熵。
H ( x ) = − ∑ p ( x ) l o g 2 p ( x ) H(x)=-\sum {p(x)log_2p(x)} H(x)=−∑p(x)log2p(x)
熵的范围非负；概率分布越集中突出，其熵越小，最小为零，即某一个事件发生概率为1，其他事件发生概率为零。
从log2到自然对数，熵的单位从bits到nats。bits=ln2*nats
连续变量的熵：
H ( x ) = ∫ p ( x ) l n p ( x ) d x H(x)=\int p(x)lnp(x)dx H(x)=∫p(x)lnp(x)dx
用变量表示事件，离散变量的熵的最大值为lnM，M为离散变量的取值的个数。连续变量的熵发散，未找到最大值。
相对熵：用分布q近似未知分布p，发送信息编码时所谓最优编码方法，则为使得信息无失真，需要额外的信息量，称为相对熵。即互信息。
− ∫ q ( x ) l n p ( x ) d x − ( − ∫ p ( x ) l n p ( x ) d x ) = − ∫ q ( x ) l n p ( x ) q ( x ) d x -\int q(x)lnp(x)dx -(-\int p(x)lnp(x)dx) \\ =-\int q(x)ln\frac{p(x)}{q(x)}dx −∫q(x)lnp(x)dx−(−∫p(x)lnp(x)dx)=−∫q(x)lnq(x)p(x)dx
− l n < ∗ > -ln<*> −ln<∗>是凸函数。凸函数f(x)有如下性质，q(x)任意， ∫ q ( x ) d x = 1 \int q(x)dx=1 ∫q(x)dx=1.
∫ q ( x ) f ( x ) d x ≥ f ( ∫ q ( x ) x d x ) \int q(x)f(x)dx \ge f(\int q(x)xdx) ∫q(x)f(x)dx≥f(∫q(x)xdx)