pytorch框架学习---损失函数

损失函数是什么？
损失函数衡量模型输出与真实标签的差异

损失函数、代价函数、目标函数的关系？
损失函数：计算目标是单个样本
代价函数：计算目标是整个样本，计算每个样本的损失函数求和再取均值。
目标函数：在代价函数的基础上加上正则化项，目的是为了防止过拟合，造成代价函数小但泛化能力差。

下面介绍Pytorch中的十四种损失函数

损失函数	功能	注意事项	主要参数	使用场景	计算公式
nn.CrossEntropyLoss	nn.LogSoftMax()与nn.NLLLoss()结合，进行交叉熵计算	-	weight：各类别的loss设置取值 ignoe_index：忽略某个类别 reduction：计算模式，可为none/sum/mean	常用于分类任务	$H(P,Q)=-{\sum }_{i=1}^{N}P(x_i)logQ(x_i)$
nn.NLLLoss	实现负对数似然函数中的负号功能	-	weight：各类别的loss设置取值 ignoe_index：忽略某个类别 reduction：计算模式，可为none/sum/mean	常用于分类任务	$l(x,y)=L=\{l_1,...,l_N{\}}^l,l_n=-w_{y_n}{x}_{n,y_n}$
n.BCELoss	二分类交叉熵	-	weight：各类别的loss设置取值 ignoe_index：忽略某个类别 reduction：计算模式，可为none/sum/mean	常用于分类任务	$l_n=-w_n[y_n\cdot log{x}_n+(1-y_n)\cdot log(1-x_n)]$
nn.BCEWithLogitsLoss	结合Sigmoid与二分类交叉熵	网络最后不加sigmoid函数	pos：正样本的权值 weight：各类别的loss设置取值 ignoe_index：忽略某个类别 reduction：计算模式，可为none/sum/mean	常用于分类任务	$l_n=-w_n[y_n\cdot log\sigma (x_n)+(1-y_n)\cdot log(1-\sigma (x_n))]$
nn.L1Loss	计算inputs与target之差的绝对值	-	reduction：计算模式，可为none/sum/mean	常用于回归任务	$l_n=abs(x_n,y_n)$
nn.MSELoss	计算inputs与target之差的平方	-	reduction：计算模式，可为none/sum/mean	常用于回归任务	$l_n=(x_n-y_n{)}^2$
nn.SmoothL1Loss	对L1Loss进行平滑	-	reduction：计算模式，可为none/sum/mean	常用于回归任务	$z_i=\{\begin{array}{l}0.5(x_i-y_i{)}^2,ifabs(x_i,y_i)<1\\ abs(x_i,y_i)-0.5,otherwise\end{array}$
nn.PoissonNLLLoss	泊松分布的负对数似然损失函数	-	log_input ：输入是否为对数形式，决定计算公式 full ：计算所有loss，默认为False eps ：修正项，避免log（input）为nan	常用于回归任务	log_input = True loss(input, target) = exp(input) - target *input log_input = False loss(input, target) = input - target * log(input+eps)
nn.KLDivLoss	计算KLD（divergence），KL散度，相对熵	需提前将输入计算 log-probabilities，如通过nn.logsoftmax()	reduction ：none/sum/mean/batchmean batchmean- batchsize维度求平均值	用于连续分布的的距离度量，并且对离散采用的连续输出空间进行回归很有用	$$\begin{gathered} D_{KL}(P\Vert Q)=E_{xp[logP(x)-logQ(X)]} \\ ={\sum }_{i=1}^{N}P(x_i)(logP(x_i)-logQ(x_i)) \end{gathered}$$ $l_n=y_n\cdot (log{y}_n-x_n)$
nn.MarginRankingLoss	计算两个向量之间的相似度 y = 1时， 希望x1比x2大，当x1>x2时，不产生loss y = -1时，希望x2比x1大，当x2>x1时，不产生loss	该方法计算两组数据之间的差异，返回一个n*n的 loss 矩阵	margin ：边界值，x1与x2之间的差异值 reduction ：计算模式，可为none/sum/mean	常用于排序任务	$loss(x,y)=max(0,-y\ast (x_1-x_2)+margin)$
nn.MultiLabelMarginLoss	-	-	-	常用于图像的多分类任务，	-
nn.SoftMarginLoss	计算二分类的logistic损失	-	reduction ：计算模式，可为none/sum/mean	常用于分类任务	$loss(x,y)={\sum }_i\frac{log(1+exp(-y[i]\ast x[i]))}{x.nelement()}$
nn.MultiLabelSoftMarginLoss	SoftMarginLoss多标签版本	-	weight：各类别的loss设置权值 reduction ：计算模式，可为none/sum/mean	常用于图像的多分类任务	$loss(x,y)=-\frac{1}{C}\ast {\sum }_{i}y[i]\ast log(1+exp(-x[i[){)}^{-1})+(1-y[i])\ast log(\frac{exp(-x[i])}{1+exp(-x[i]))})$
nn.MultiMarginLoss	计算多分类的折页损失	-	p ：可选1或2 weight：各类别的loss设置权值 margin ：边界值 reduction ：计算模式，可为none/sum/mean	常用于分类任务	$loss(x,y)=\frac{{\sum }_{i}max(0,margin-x[y]+x[i]){)}^p}{x.size(0)}$
nn.TripletMarginLoss	计算三元组损失	-	p ：可选1或2 margin ：边界值 reduction ：计算模式，可为none/sum/mean	常用于人脸识别任务	$L(a,p,n)=max\{d(a_i,p_i)-d(a_i,p_i)+margin,0\}$ $d(x_i,p_i)=\Vert x_i-y_i{\Vert }_p$
nn.HingeEmbeddingLoss	计算两个输入的相似性	输入x应为两个输入之差的绝对值	margin ：边界值 reduction ：计算模式，可为none/sum/mean	常用于非线性embedding和半监督学习	$l_n=\{\begin{array}{l}{x}_n,if{y}_n=1\\ max\{0,\Delta -x_n\},if{y}_n=-1\end{array}$
nn.CosineEmbeddingLoss	采用余弦相似度计算两个输入的相似性	-	margin ：可取值[-1, 1] , 推荐为[0, 0.5] reduction ：计算模式，可为none/sum/mean	常用于非线性embedding和半监督学习	$l_n=\{\begin{array}{l}1-cos(x_1,x_2),if{y}_n=1\\ max\{0,cos(x_1,x_2)-margin\},if{y}_n=-1\end{array}$
nn.CTCLoss	计算CTC损失	-	blank ：blank label zero_infinity ：无穷大的值或梯度置0 reduction ：计算模式，可为none/sum/mean	解决时序类数据的分类	-