20221124【深度学习】学习笔记

今日学习

一、pytorch编程和DL基础知识

1.torch.meshgrid()函数

torch.meshgrid（）函数解析
功能：根据输入的两个类型相同的一维张量，生成两个二维张量，可以理解为生成坐标。

2.torch.linspace()函数

torch.linspace()用法
功能：根据传入的参数start end steps dtype生成一个张量，这个张量有从start到end等距的steps个点

3.凸函数与凹函数

凸函数与凹函数
看前半部分定义即可，其余性质什么的在李沐动手学深度学习笔记中已记录。

4.Hessian矩阵、正定矩阵

Hessian矩阵
黑塞矩阵可以用于判断局部最小值、局部最大值和鞍点。

二、西瓜书

2.1 经验误差与过拟合

1.error rate错误率、accuracy精度、error误差、training error训练误差(empirical error经验误差)、generalization error泛化误差
2.
over-fitting过拟合：学习能力过于强大
under-fitting欠拟合：学习能力低下
过拟合是无法避免的，只能缓解

2.2 （模型）评估方法

1. 本节主要介绍如何划分评估模型用的训练集和测试集。
2. 泛化误差难以计算，用testing error测试误差作为泛化误差的接近。
3. 通常假设测试样本从样本真实分布中独立同分布采样，且测试集应尽可能与训练集互斥

2.2.1 留出法 hold-out

1.定义
D：总数据集
S：训练集
T：测试集
D=S∪T，S∩T=∅
2.为避免数据划分过程引入额外偏差对最终结果产生影响，借助分层采样（stratified sampling）
3.使用留出法往往不单独使用，一般会重复试验取平均

2.2.2 交叉验证法 cross validation

特例：留一法 Leave-One-Out,LOO
留一法虽然结果准确，但数据集较大时开销也会很大

2.2.3 自助法 bootstrapping（也叫可重复采样、有放回采样）

缺点会扰乱数据原有的分布

2.2.4 调参与最终模型

调参和算法选择是不同的，学习算法的很多参数是在实数范围内取值，这样选定的参数值往往不是最佳值，这是在计算开销和性能估计之间进行折中的结果。

2.3 性能度量

1. 本节主要介绍了模型的性能度量指标有哪些
2. 不同的性能度量方式会导致对模型选择不同的评判结果
3. 模型的好坏是相对的，不仅取决于算法和数据，也决定于任务需求

2.3.1 错误率和精度

分类任务中最常用的两种性能度量

2.3.2 查准率、查全率、F1

可用于信息检索、web搜索等领域
真正例TP、假正例FP、真反例TN、假反例FN、混淆矩阵
查准率P、查全率R计算公式
P-R曲线
综合考虑查准率和查全率的度量指标：平衡点、F1度量
当有n个混淆矩阵如何计算P和R？

2.3.3 ROC与AUC

1. 排序+截断点
2. ROC的横坐标轴TPR真正例率，纵坐标轴FPR假正例率
3. 如何绘制ROC？
4. 如何根据ROC比较学习器性能？——》包住 or AUC（area under ROC curve）

2.3.4 代价敏感错误率与代价曲线

1. 在这里，开始关注不同错误对结果造成的影响也是不同的
2. 为了权衡不同错误的损失，引入“非均等代价unequal cost”
3. 引入代价敏感后的错误率计算公式
4. 代价曲线cost curve
   横轴：[0,1]之间取值的正例概率代价
   纵轴：[0.1]之间取值的归一化代价。计算会用到FNR假反例率、FPR假正例率
   5.cost curve如何绘制？围成的面积是所有条件下学习器的期望总体代价。

三、MAML阅读

还没看完，烦死&&&，希望一天有9999个小时，希望我永远不会眼睛疼、想睡觉。