深度学习入门：基于 Python 的理论与实现笔记

深度学习入门：基于 Python 的理论与实现笔记

在 VS Code 中运行代码

• 替换库搜索路径

# sys.path.append(os.pardir)  # 为了导入父目录而进行的设定
sys.path.append(os.getcwd())

• 替换文件路径

# with open("sample_weight.pkl", 'rb') as f:
with open(os.getcwd()+"/ch03/sample_weight.pkl", 'rb') as f: # 注意需要带上子项目路径 ch03

一些数学知识

• 张量 tensor

  • 0维 标量
  • 1维 向量，如果是 2 个点，就是个坐标，可以从原点画个箭头到这个坐标，就是个方向
  • 2维 矩阵
  • 3维及以上 张量 tensor

• 线性空间：由直线分割而成的空间

• 非线性空间：曲线分割而成的空间

• 线性函数：一条直线，或一个面，满足如下特性：
  $$\begin{array}{rl}f(x)& =kx+b\\ f(x_1+x_2)& =f(x_1)+f(x_2)\\ f(kx)& =kf(x)\end{array}\text{\hspace{1em}(线性函数)(特性1)(特性2)}$$

• 收敛：最终会趋近某个数值

• 线性回归：利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一

• 拟合：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来

• 导数：表示函数的增长率，曲线的斜率(切线)，某个瞬间的变化量

  • d = differential 微分
  • df(x)/dx = dy/dx：无穷小量函数与无穷小量自变量之比,亦即微商(导数)
    $$\frac{df(x)}{dx}=\underset{h\to 0}{\lim }\frac{f(x+h)-f(x)}{h}\text{\hspace{1em}(4.4)}$$

• 离散：输入不是连续的点

• 非离散：定义域是连续集合的函数称为非离散函数。其函数图像是连续的曲线或曲面

• 阶跃函数：指一旦输入超过阈值，就切换输出的函数，它的图形值呈阶梯式变化

  • 导数在绝大多数地方(除了0以外的地方)均为0，会抹去微小参数的变化

• sigmoid 函数（如下公式 3.6）：e 是纳皮尔常数 2.7182 …

  • 导数在任何地方都不为 0
    $$h(x)=$$