机器学习—逻辑回归

本内容是博主自学机器学习总结的。由于博主水平有限，内容可能有些许错误。如有错误，请发在评论区。

1、基础概念

1.1、什么是逻辑回归

逻辑回归（Logistic Regression）是一种用于分类问题的统计模型。它通过建立一个逻辑函数模型来预测某个事件属于某一类的概率，通常用于二元分类问题。逻辑回归输出的是概率值，值域介于0到1之间。模型最终通过设定一个阈值（如0.5），将连续的概率值转换为离散的分类标签（如0或1）。

逻辑回归的核心在于使用Sigmoid函数（逻辑函数）来将线性组合的结果映射为一个概率值。其公式如下：

​ $P(y=1|X)=\frac{1}{1+e^{-({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n)}}$

1.2、逻辑回归与线性回归的区别

尽管逻辑回归与线性回归都属于回归模型，但它们在用途和方法上有显著区别：

1. 输出类型不同：

   • 线性回归：用于连续变量预测，其输出是一个连续值（例如房价预测）。
   • 逻辑回归：用于分类问题，其输出是一个概率值，通常用于二分类（例如预测邮件是否为垃圾邮件）。

2. 目标函数不同：

   • 线性回归：目标是最小化残差平方和（Ordinary Least Squares, OLS）。
   • 逻辑回归：目标是最小化对数似然函数，通过最大化似然函数估计模型参数。

3. 模型输出的范围：

   • 线性回归的预测结果可以为负数或超出常规范围。
   • 逻辑回归通过Sigmoid函数将结果限制在0到1之间，作为概率值。

4. 适用场景：

   • 线性回归适用于预测连续变量（如销量、温度等）。
   • 逻辑回归适用于二分类或多分类问题（如疾病诊断、信用卡欺诈检测）。

1.3应用场景

逻辑回归广泛应用于需要分类的领域，尤其是二分类问题。以下是常见应用场景：

1. 医学领域：用于预测患者是否患某种疾病（如预测心脏病发作的风险）。
2. 金融领域：用于信用评分、贷款违约预测、欺诈检测等场景。
3. 市场营销：用于客户分类（如预测用户是否会购买产品）、客户流失分析等。
4. 社交媒体：用于垃圾邮件分类、用户行为预测等。
5. 风险管理：评估企业或个人在未来发生风险事件的可能性。

逻辑回归在这些领域因其解释性强、计算效率高、且易于实现，被广泛采用。

2、逻辑回归模型

2.1、模型定义

逻辑回归是一种用于二分类问题的统计模型，旨在预测某个事件发生的概率。模型假设因变量 $y$ 是二元的（即$y\in \{0,1\}$），并通过输入变量（特征）$x$的线性组合来估计事件属于某一类别的概率。模型的形式为：

​ $P(y=1|x)=\frac{1}{1+e^{-({\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n)}}$

用更简洁的符号表示为：

​ $P(y=1|x)=\sigma ({\theta }^{T}x)$

其中：

• $P(y=1|x)$是事件$y=1$的概率。
• ${\theta }_0,{\theta }_1,\dots ,{\theta }_n$ 是需要估计的模型参数。
• $x_1,x_2,\dots ,x_n$是输入特征。
• 逻辑回归通过极大似然估计来估计模型参数。

2.2、Sigmoid函数

Sigmoid函数（也称为逻辑函数）是逻辑回归的核心，用来将线性回归模型的输出映射为一个0到1之间的概率。其数学表达式为：

​ $\sigma (z)=\frac{1}{1+e^{-z}}$

其中，$z={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$是输入变量的线性组合。

Sigmoid函数的输出在0到1之间，表示事件发生的概率。它具有以下特性：

• 当 $z$非常大时，$\sigma (z)$接近1；
• 当$z$非常小时，$\sigma (z)$接近0；
• 当 $z=0$时，$\sigma (z)=0.5$。

这种性质使得Sigmoid函数非常适合用于二分类问题中的概率预测。

2.3、决策边界

决策边界是逻辑回归模型用于划分类别的阈值，通常为0.5。根据Sigmoid函数的性质，逻辑回归模型通过设定一个阈值来判断输入数据属于哪一类。

$h_{\theta }(x)$ 是逻辑回归模型的预测函数，它基于输入特征$ x $ 和模型参数$ \theta $ 来预测样本属于正类（例如，标签为1）的概率。在逻辑回归中，这个预测函数通常采用Sigmoid函数，其数学表达式如下：

​ $h_{\theta }(x)=\sigma ({\mathbf{\theta }}^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

这里，${\mathbf{\theta }}^{T}x$ 表示参数向量 $\mathbf{\theta }$ 和特征向量 $x$ 的点积，即：

​ ${\mathbf{\theta }}^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_n{x}_n$

其中，${\theta }_0$ 是偏置项（bias term），$x_1,x_2,\dots ,x_n$是样本的特征值。注意：特征是$x$，特征值是$x_i$。

Sigmoid函数将任意实数值映射到(0, 1)区间内，这使得$h_{\theta }(x)$的输出可以被解释为样本属于正类的概率。在二分类问题中，我们通常将这个概率与一个阈值（如0.5）进行比较，以决定最终的分类结果：

• 如果 $h_{\theta }(x)>0.5$，则预测样本属于正类（标签为1）。
• 如果$h_{\theta }(x)\le 0.5$，则预测样本属于负类（标签为0）。

这种基于概率的预测方法不仅提供了分类结果，还给出了分类的置信度，这在许多应用场景中是非常有用的。例如，在医学诊断中，我们可能更关心测试结果的置信度，而不仅仅是一个简单的是或否的答案。

2.4、概率解释

逻辑回归的输出是事件发生的概率，而不是直接的分类标签。输出概率可以解释为某个事件属于类1的可能性。例如：

• 若$P(y=1|x)=0.8$，表示在给定输入特征 $x$ 的情况下，事件 $y=1$发生的概率为80%。
• 若 $P(y=1|x)=0.2$，则表示事件 $y=1$发生的概率为20%。

这一概率解释是逻辑回归的一个重要特点，它不仅给出一个分类结果，还提供了分类的置信度，从而能够在决策过程中提供更多信息。例如，在某些应用中，可以根据应用场景调整决策阈值，而不仅仅依赖默认的0.5阈值。

3、模型训练

3.1、损失函数

在逻辑回归中，模型通过最大化训练数据的似然函数来估计参数。由于直接最大化似然函数在数学上不方便处理，通常会最小化负的对数似然函数，也称为交叉熵损失。

对于逻辑回归，似然函数定义为给定输入特征$x$ 和对应标签$y$，模型预测所有样本的概率的乘积。假设有$n$个样本，定义如下：

​ $L(\theta )={\prod }_{i=1}^{n}P(y^i|x^i)$

其中：$P(y^i|x^i)$是第 $i$ 个样本的预测概率。

为了便于优化，我们通常采用负对数似然作为损失函数，公式为：

​ $J(\theta )=-{\sum }_{i=1}^n\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]公式(1)$

其中，$h_{\theta }(x)$是样本$x^i$属于正类的概率。

解释：

• 对于每个样本，损失函数根据预测结果与实际标签之间的差距计算“损失”。如果模型预测得越接近实际标签，损失越小，反之则损失越大。
• 优化目标是找到参数$\theta$使损失函数$J(\theta )$ 最小。

公式推导：

• 公式(1)：

  对于二项分布公式，可以得出：$P(y^i|x^i)=h_{\theta }(x^i{)}^{y^i}(1-h_{\theta }(x^i){)}^{1-y^i}$

  所以：

  ​ $L(\theta )={\prod }_{i=1}^{n}P(y^i|x^i)={\prod }_{i=1}^n{h}_{\theta }(x^i{)}^{y^i}(1-h_{\theta }(x^i){)}^{1-y^i}$

  对它求对数，得到对数似然函数：

  ​ $l(\theta )=log(L(\theta ))={\sum }_{i=1}^n{y}^{i}log(h_{\theta }(x^i))+{\sum }_{i=1}^n(1-y^i)log(1-h_{\theta }(x^i))$

  $l(\theta )$可以作为逻辑回归的损失函数，但当损失函数是一个凸函数时，具备最小值。所以设定$J(\theta )=-l(\theta )$，即

  ​ $J(\theta )=-{\sum }_{i=1}^n\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]$

  注：

  • $L(\theta )$ 还可以写成$L(\theta |X;Y)、L(\theta |X,Y)$，$l(\theta )、J(\theta )$与它相同
  • $P(y^i|x^i)$ 还可以写成$P(y^i|\theta ;x^i)、P(y^i|\theta ,x^i)$

3.2、梯度下降法

梯度下降法（Gradient Descent）是逻辑回归模型中常用的优化算法之一，用于最小化损失函数，找到能够最小化损失函数的参数值$\beta$。其基本思想是沿着损失函数的负梯度方向更新模型参数，逐步接近最优解。

梯度下降法的参数更新公式为：

​ ${\theta }_j={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$

其中：

• ${\theta }_j$是模型的第$j$ 个参数。
• $\alpha$ 是学习率（步长），控制每次更新的幅度。
• $\frac{\partial J(\theta )}{\partial {\theta }_j}$ 是损失函数关于参数 ${\theta }_j$的偏导数，称为梯度。

每次迭代时，模型的参数根据损失函数的梯度进行调整，直到损失函数收敛到最小值。

优化过程：

1. 计算梯度：

   计算损失函数关于所有参数的梯度：

   ​ $\nabla J(\theta )=\frac{\partial J(\theta )}{\partial \theta }={\sum }_{i=1}^m(h_{\theta }(x^i)-y^i)x^i$

   将其转换成向量的形式：

   ​ ∇ J ( θ ) = ∑ i = 1 m ( h θ ( x i ) − y i ) x i = [ x 1 x 2 . . . x n ] [ ( h θ ( x 1 ) − y 1 ( h θ ( x 2 ) − y 2 . . . ( h θ ( x m ) − y m ] = X T ( h θ ( X ) − Y ) \nabla J(\theta) = \sum_{i=1}^m (h_\theta(x^i)-y^i)x^i=\begin{bmatrix}x_1 &x_2&...&x_n \end{bmatrix}\begin{bmatrix}(h_\theta(x^1)-y^1 \\(h_\theta(x^2)-y^2 \\ ...\\(h_\theta(x^m)-y^m \end{bmatrix}=X^T (h_\theta(X) - Y) ∇J(θ)=∑i=1m​(hθ​(xi)−yi)xi=[x1​​x2​​...​xn​​] ​(hθ​(x1)−y1(hθ​(x2)−y2...(hθ​(xm)−ym​ ​=XT(hθ​(X)−Y)

   其中：

   $X$ 是包含所有样本特征的矩阵，$\mathbf{\theta }$ 是参数向量，$h_{\theta }(X)$是所有样本的预测概率向量，$Y$是所有样本的实际标签向量

   因为$\mathbf{\theta }$ 和$x$ 维度相同，所以当$x$ 有$m$维的时候，$\mathbf{\theta }$同样有$m$维，此时$J(\theta )$的求导也变成了对$\mathbf{\theta }$的每一个维度求导：

   ​ $\frac{\partial J(\theta )}{\partial {\theta }_j}={\sum }_{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i$

2. 更新参数：

   接下来，我们根据梯度和学习率 $$\alpha$$ 来更新每个参数。学习率是一个超参数，它控制了每次更新参数时步长的大小。参数更新的公式为：

   ​ ${\theta }_j={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$

3. 重复迭代：

   我们重复步骤1和2，直到满足某个停止条件。停止条件可以是：

   • 梯度足够小，即 $\Vert \nabla J(\theta )\Vert$小于一个预设的阈值。
   • 达到最大迭代次数。
   • 损失函数的值不再显著下降。

伪代码：

# 初始化参数 
theta = np.array([0.0, 0.0, 0.0]) # 包括偏置项theta_0 

# 设置学习率和迭代次数 
alpha = 0.01 
iterations = 1000 

# 特征矩阵X和标签向量Y 
X = np.array([[1, 1, 2], [1, 2, 3], [1, 3, 4], [1, 4, 5]]) # 添加偏置项 
Y = np.array([0, 1, 1, 0]) 

# 梯度下降 
for i in range(iterations):    
	# 预测    
	predictions = 1 / (1 + np.exp(-np.dot(X, theta)))       
	#np.dot(X, theta)计算了特征矩阵X和参数向量theta的点积，得到每个样本的线性组合。然后，对这个线性组合取负值，通过np.exp计算其指数，得到一个接近0或正无穷的值。
    
    # 计算梯度    
	gradient = np.dot(X.T, (predictions - y)) / len(y)        
	#(predictions - y)计算了预测概率和实际标签之间的差异。然后，np.dot(X.T, ...)将这个差异与特征矩阵X的转置相乘，得到梯度向量
    
    # 更新参数    
	theta -= alpha * gradient 
    
# 输出最终的参数 
print(theta) 

3.3、牛顿法

梯度下降法实现相对简单，但其收敛速度较慢。在较小值附近，梯度下降法会以一种曲折的慢速方式来逼近最小点，此时可以考虑采用牛顿法和拟牛顿法。

1. 牛顿法：
牛顿法通过使用二阶导数（即 Hessian 矩阵）来找到损失函数的最小值。更新公式为：

​ ${\theta }_{k+1}={\theta }_k-H({\theta }_k{)}^{-1}\nabla f({\theta }_k)$

其中：

• $H$是 Hessian 矩阵，表示损失函数的二阶导数。
• $\nabla f({\theta }_k)$是损失函数的梯度。
• ${\theta }_k$ 表示第$k$ 次迭代时的参数向量

牛顿法通常收敛速度更快，因为它利用了二阶信息，可以更精确地找到损失函数的最优解。然而，计算 Hessian 矩阵在高维数据上代价较高，因此牛顿法更适用于中小型数据集。

公式推导：

在泰勒展开式中，对于函数$f(x)$，当$x$在$x_0$附近时可以使用如下展开式来逼近$f(x)$：

​ $f(x)=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\frac{f^{\prime \prime \prime }(a)}{3!}(x-a{)}^3+\cdots +\frac{f^{(n)}(a)}{n!}(x-a{)}^n+R_n(x)$

在牛顿法中，我们使用逐步逼近的方法来求解参数$\theta$。这里我们用下标$k$标识在第$k$步的诸标量值。例如，用${\theta }_k$表示第$k$步的$\theta$值。在第$k$步，我们有当前估计${\theta }_k$，就可以将$f(\theta )$(损失函数)用在其在${\theta }_k$处的二阶泰勒展开式来近似：

​ $f(\theta )\approx f({\theta }_k)+\nabla f({\theta }_k{)}^T(\theta -{\theta }_k)+\frac{1}{2}(\theta -{\theta }_k{)}^{T}H({\theta }_k)(\theta -{\theta }_k)$

这里：

• $f({\theta }_k)$ 是一个标量，表示函数在${\theta }_k$ 处的值。
• $\nabla f({\theta }_k)$ 是 $f$ 在${\theta }_k$ 处的梯度，是一个 $n$ 维向量。
  • 它由函数 $f$ 在点${\theta }_k$ 处的偏导数构成。
  • 具体来说，如果 ${\theta }_k=({\theta }_{k1},{\theta }_{k2},\dots ,{\theta }_{kn}{)}^T$) 是一个 $n$ 维向量，那么梯度$\nabla f({\theta }_k)$就是函数 $f$ 对每个变量 ${\theta }_{ki}$的偏导数组成的向量。
  • 梯度向量的每个分量定义如下： ∇ f ( θ k ) = [ ∂ f ∂ θ 1 ( θ k ) ∂ f ∂ θ 2 ( θ k ) ⋮ ∂ f ∂ θ n ( θ k ) ] \nabla f(\theta_k) = \begin{bmatrix} \frac{\partial f}{\partial \theta_1}(\theta_k) \\ \frac{\partial f}{\partial \theta_2}(\theta_k) \\ \vdots \\ \frac{\partial f}{\partial \theta_n}(\theta_k) \end{bmatrix} ∇f(θk​)= ​∂θ1​∂f​(θk​)∂θ2​∂f​(θk​)⋮∂θn​∂f​(θk​)​ ​ 这里，每个分量 $\frac{\partial f}{\partial {\theta }_i}({\theta }_k)$ 表示函数 $f$ 在点 ${\theta }_k$ 处对第 $i$ 个变量 ${\theta }_i$ 的偏导数。
• $H({\theta }_k)$是$f$ 在${\theta }_k$处的黑塞矩阵，是一个$n\times n$ 矩阵。
  • 它的构成基于函数 $f$ 在点 ${\theta }_k$ 处的二阶偏导数。
  • 具体来说，如果 $f$ 是一个 $n$ 变量的函数，那么黑塞矩阵 $H({\theta }_k)$中第 $i$行第$j$ 列的元素是 $f$ 对第$i$ 个变量和第 $j$ 个变量的二阶偏导数，即：$H({\theta }_k{)}_{ij}=\frac{{\partial }^{2}f}{\partial {\theta }_i\partial {\theta }_j}({\theta }_k)$这意味着黑塞矩阵的主对角线上的元素是函数对每个变量的二阶偏导数，而非对角线元素则是混合偏导数。由于混合偏导数的等价性（克莱罗定理），黑塞矩阵是对称的，即$H({\theta }_k{)}_{ij}=H({\theta }_k{)}_{ji}$。
• $\theta$ 是我们要求解的向量。
• ${\theta }_k$ 是当前的估计向量。
• $\theta -{\theta }_k$ 是向量$\theta$ 和 ${\theta }_k$ 之间的差，也是一个$n$ 维向量。

在牛顿法中，我们希望找到下一个点${\theta }_{k+1}$，使得 $f({\theta }_{k+1})$尽可能小。所以对$f(\theta )$进行求导，并将导数置为0：

$\frac{\partial f(\theta )}{\partial \theta }=\frac{f({\theta }_k)+\nabla f({\theta }_k{)}^T(\theta -{\theta }_k)+\frac{1}{2}(\theta -{\theta }_k{)}^{T}H({\theta }_k)(\theta -{\theta }_k)}{\partial \theta }=\nabla f({\theta }_k{)}^T+(\theta -{\theta }_k)H({\theta }_k)=0$

解上述方程得到：

​ $(\theta -{\theta }_k{)}^{T}H({\theta }_k)=-\nabla f({\theta }_k{)}^T$

由于$H({\theta }_k)$是一个方阵，我们可以将两边乘以 $H({\theta }_k)$ 的逆矩阵：

​ $\theta -{\theta }_k=-H({\theta }_k{)}^{-1}\nabla f({\theta }_k)$

因此：

​ $\theta ={\theta }_k-H({\theta }_k{)}^{-1}\nabla f({\theta }_k)$

将 $\theta$更新为${\theta }_{k+1}$：

​ ${\theta }_{k+1}={\theta }_k-H({\theta }_k{)}^{-1}\nabla f({\theta }_k)$

2. 逻辑回归的牛顿法求解

​ ${\theta }_{k+1}={\theta }_k-H({\theta }_k{)}^{-1}\nabla J({\theta }_k)$

梯度：

​ $\nabla J(\theta )=X^T(h_{\theta }(X)-Y)$

海森矩阵：

​ $H(\theta )=X^{T}SX$

其中：$S$ 为对角矩阵，其第$i$个对角元素为$h_{\theta }(x_i)(1-h_{\theta }(x_i))$。对于一个包含$m$ 个样本的数据集，$S$ 的矩阵形式是：

​ S = [ h θ ( x 1 ) ( 1 − h θ ( x 1 ) ) 0 ⋯ 0 0 h θ ( x 2 ) ( 1 − h θ ( x 2 ) ) ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ h θ ( x m ) ( 1 − h θ ( x m ) ) ] S = \begin{bmatrix} h_\theta(x_1)(1 - h_\theta(x_1)) & 0 & \cdots & 0 \\ 0 & h_\theta(x_2)(1 - h_\theta(x_2)) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & h_\theta(x_m)(1 - h_\theta(x_m)) \end{bmatrix} S= ​hθ​(x1​)(1−hθ​(x1​))0⋮0​0hθ​(x2​)(1−hθ​(x2​))⋮0​⋯⋯⋱⋯​00⋮hθ​(xm​)(1−hθ​(xm​))​ ​

牛顿法的迭代步骤

1. 初始化参数：选择初始参数${\theta }_0$，通常设为 0 向量。

2. 计算预测概率：根据当前参数 $\theta$，计算预测的概率 $h_{\theta }(x)=\sigma ({\theta }^{T}x)$。

3. 计算梯度和 Hessian：

   • 计算梯度 $g(\theta )=X^T(h_{\theta }(x)-Y)$。

   • 计算 Hessian 矩阵 $H(\theta )=X^{T}SX$，其中 $S$ 为对角矩阵。

4. 更新参数：根据牛顿法的公式更新参数：

​ ${\theta }_{k+1}={\theta }_{k+1}-H(\theta {)}^{-1}g(\theta )$

5. 检查收敛：判断参数更新后的变化量 $\Vert {\theta }_{k+1}-{\theta }_k\Vert$ 是否小于设定的阈值 $ϵ$，如果是，则停止迭代，否则返回步骤 2 继续迭代。

6. 输出结果：当满足收敛条件时，输出最优的参数 $\theta$。

在实践中，由于黑塞矩阵 $H(\theta )$是正定的，它的逆可以保证存在，并且这个更新公式可以有效地用于求解逻辑回归问题。然而，计算黑塞矩阵及其逆在计算上可能很昂贵，特别是对于大型数据集。因此，通常使用更高效的优化算法，如梯度下降法或拟牛顿法。

3.4、拟牛顿法

由于牛顿法需要计算海森矩阵的逆，因此计算量较大。随着未知数维度$D$的增大，海森矩阵（$D\times D$）也会增大，需要的存储空间增多，计算量增大，有时候甚至会大到不可计算。

拟牛顿法（Quasi-Newton Methods）是一类用于求解无约束优化问题的迭代方法，它是对经典牛顿法的改进。与牛顿法不同，**拟牛顿法不需要直接计算 Hessian 矩阵的逆，而是通过逐步构造近似 Hessian 矩阵的方式来进行优化。**这使得拟牛顿法在高维问题中更加高效，且减少了计算成本。

**BFGS（Broyden-Fletcher-Goldfarb-Shanno）**方法是拟牛顿法中的一种常用算法，用于解决无约束优化问题。它通过迭代逐步逼近目标函数的Hessian矩阵，避免了直接计算Hessian矩阵的复杂性，并保持较高的收敛效率。以下是BFGS方法的关键原理和步骤。

1.基本思想

BFGS方法的核心在于利用迭代过程中得到的梯度信息，逐步更新近似的Hessian矩阵 $B_k$（或它的逆矩阵$D_k=B_k^{-1}$），而不是显式计算目标函数的Hessian矩阵。每次迭代时，更新的近似矩阵能够反映目标函数的局部曲率，从而加速收敛。

2.BFGS算法步骤

2.1 初始条件

• 初始点 ${\theta }_0$。注：这里的${\theta }_0$不是值，是$\theta$初始化时的向量
• 初始Hessian矩阵的逆矩阵 $D_0$（通常选择为单位矩阵）
• 设定收敛容差$ϵ$

2.2 迭代步骤

1. 计算搜索方向：
   在每次迭代中，计算当前迭代点的搜索方向 $ p_k $：
   $p_k=-D_k\nabla f({\theta }_k)$
   其中： $\nabla f({\theta }_k)$是在点 ${\theta }_k$处目标函数的梯度，$D_k$ 是近似的Hessian矩阵的逆矩阵。该搜索方向通常是下降方向。

2. 线搜索：

   进行线搜索的目的是寻找合适的步长 ${\alpha }_k$，以确保在每次迭代中沿着当前的搜索方向$p_k$ 进行更新时，目标函数$f(\theta )$ 取得充分的下降。

   ​ ${\theta }_{k+1}={\theta }_k+{\alpha }_k{p}_k$

   其中：步长${\alpha }_k$不能随意选取，通常通过满足Wolfe条件或Armijo条件来确定。

3. 更新参数：
   计算两个向量：

   • 梯度变化量 $y_k$：
     $y_k=\nabla f({\theta }_{k+1})-\nabla f({\theta }_k)$
     • 位置变化量 $s_k$：
       $s_k={\theta }_{k+1}-{\theta }_k$

4. 更新近似的Hessian矩阵的逆矩阵$D_k$：
   根据以下更新公式更新 $D_k $：

   ​ $D_{k+1}=\left(I-\frac{s_k{y}_k^T}{y_k^T{s}_k}\right)D_k\left(I-\frac{y_k{s}_k^T}{y_k^T{s}_k}\right)+\frac{s_k{s}_k^T}{y_k^T{s}_k}$

   该公式能保持 $D_{k+1}$的正定性和对称性，同时逐步逼近真实的Hessian矩阵。

5. 判断收敛：
   若梯度的范数 $\Vert \nabla f({\theta }_{k+1})\Vert$ 小于设定的收敛容差 $ϵ$，则迭代终止；否则继续进行下一次迭代。

3.L-BFGS：BFGS的改进版本

在处理大规模问题时，BFGS方法由于需要存储和更新完整的Hessian矩阵，可能会消耗过多内存。为此，引入了L-BFGS（Limited-memory BFGS）方法，它只存储少量的历史信息，用于更新Hessian矩阵的近似，显著减少了内存需求，适用于大规模优化问题。

3.4、正则化

正则化是一种防止模型过拟合的技术。过拟合是指模型在训练数据上表现良好，但在新数据上表现较差。通过在损失函数中加入正则项，可以对模型参数施加约束，避免过拟合。

1. L1正则化（Lasso）：
   L1正则化通过在损失函数中加入模型参数的绝对值之和来约束参数。L1正则化的损失函数为：

   ​ $J(\theta )=-{\sum }_{i=1}^n\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]+\lambda {\sum }_{j=1}^m|{\theta }_i|$

   其中，$\lambda$是正则化系数，控制正则化的强度。

   效果：L1正则化会将一些不重要的参数缩小到零，从而进行特征选择，使模型稀疏化。

2. L2正则化（Ridge）：
   L2正则化通过在损失函数中加入参数平方之和来约束参数。L2正则化的损失函数为：

   ​ $J\theta )=-{\sum }_{i=1}^n\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]+\lambda {\sum }_{j=1}^m{\theta }_j^2$

   效果：L2正则化将较大的参数缩小，但不会将参数缩小到零，因此它有助于防止模型过度复杂化，而不会完全消除某些特征。

3. Elastic Net：
   Elastic Net 是 L1 和 L2 正则化的组合，它结合了两者的优点，既能实现稀疏化，又能防止过拟合。其损失函数为：

   ​ $J(\theta )=-{\sum }_{i=1}^n\left[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))\right]+{\lambda }_1{\sum }_{j=1}^m|{\theta }_j|+{\lambda }_2{\sum }_{j=1}^m{\theta }_j^2$

   其中，${\lambda }_1$ 和 ${\lambda }_2$ 控制 L1 和 L2 正则化的强度。

3.5、总结

• 对数似然损失 是逻辑回归的核心损失函数，它通过最大化数据的似然来估计模型参数。
• 梯度下降法 是常用的优化方法，适用于大规模数据集。
• 牛顿法 和 拟牛顿法 提供了更快的收敛速度，适用于较小规模的数据集。
• 正则化 技术（L1、L2）可以防止过拟合，并帮助模型提高泛化能力。

4、多分类问题

在多分类问题中，常见的分类策略包括“一对多（One-vs-All）”、“一对一（One-vs-One）”以及多标签分类。以下是对这些策略的详细解释：

4.1、一对多（One-vs-All）

一对多策略又称为“一个对所有（One-vs-Rest）”，其基本思路是为每个类别训练一个二分类器。对于每个类别 $k$：

• 将该类别视为正类，其他所有类别视为负类。
• 训练$K$个二分类器（其中 $K$ 是类别数量），每个分类器的输出是对其对应类别的概率。

在预测时，对于输入样本，计算所有$K$ 个分类器的输出概率，选择概率最高的分类器作为最终的预测结果。这种方法的优点是实现简单且容易扩展到多个类别，但可能在类别不平衡时表现不佳。

4.2、 一对一（One-vs-One）

一对一策略的基本思路是为每一对类别训练一个分类器。对于 $K$ 个类别，训练 $\frac{K(K-1)}{2}$ 个分类器。每个分类器只区分两个类别。例如，假设有三个类别 A、B 和 C：

• 训练分类器 1：区分 A 和 B
• 训练分类器 2：区分 A 和 C
• 训练分类器 3：区分 B 和 C

在预测时，所有分类器进行投票，每个分类器将其预测结果投给所区分的类别，选择获得最多投票的类别作为最终结果。这种方法通常可以提高分类的准确性，但随着类别数量的增加，分类器的数量会迅速增加，计算成本较高。

4.3、多标签分类

多标签分类问题与多分类问题不同，在多标签分类中，每个样本可以同时属于多个类别。常见的应用场景包括文本分类（例如一篇文章可以同时被标记为“科技”和“健康”）、图像标注（例如一张图片可能同时标注为“海洋”、“沙滩”、“日落”等）。

在多标签分类中，通常有以下几种处理方式：

• 二进制标记：为每个类别训练一个二分类器，输出每个类别的概率（类似于一对多策略）。
• 多标签损失函数：使用如二元交叉熵损失函数等来处理多个标签的情况，确保在训练时能够同时考虑所有标签。

5、数学基础

5.1、概率论基础

概率论是研究随机事件发生规律的数学分支。它的核心概念是“事件发生的可能性”，用概率来衡量某个事件的发生。概率的基本性质包括：

1. 概率值的范围：对于任何事件$A$，其概率 $P(A)$ 满足 $0\le P(A)\le 1$，即概率介于0和1之间。
2. 互斥事件：如果事件 $A$ 和$B$互斥（即它们不能同时发生），则 $P(A\cup B)=P(A)+P(B)$。
3. 全概率：对于所有可能的事件，所有事件的概率和为1，即 $P(\Omega )=1$，其中 $\Omega$是样本空间。

5.2、条件概率

条件概率表示在事件$B$已经发生的前提下，事件$A$ 发生的概率，记作$P(A|B)$。条件概率的公式为：

​ $P(A|B)=\frac{P(A\cap B)}{P(B)}$

条件概率刻画了两个事件之间的关联性，是理解许多概率概念的基础。它也用于逻辑回归中的似然估计，帮助我们在已知条件下评估某一事件的概率。

5.3、贝叶斯定理

贝叶斯定理是条件概率的一个重要结果，提供了如何通过逆向思维来计算事件的概率。其公式为：

​ $P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$

这里：

• $P(A|B)$ 是给定$B$发生的条件下，事件$A$ 发生的概率（后验概率）。
• $P(B|A)$ 是事件$A$ 发生时，事件发$B$生的概率（似然）。
• $P(A)$是事件 $A$ 的先验概率。
• $P(B)$是事件$B$的全概率。

贝叶斯定理的重要性在于它通过已有数据和先验信息，帮助我们更新对某事件的预测。它在逻辑回归模型的解释中也常用到，特别是当我们处理具有先验概率的信息时。

5.4、概率分布

概率分布描述了随机变量取不同值的概率。对于逻辑回归，常用的分布是二项分布，它用于表示只有两个可能结果的随机事件。

二项分布描述了在$n$次独立的伯努利试验（即每次试验只有两个可能结果，如“成功”或“失败”）中，成功发生$k$次的概率。其概率质量函数为：

​ $P(X=k)=\left(\genfrac{}{}{0ex}{}{n}{k}\right)p^k(1-p{)}^{n-k}$

其中：

• $X$ 是成功次数。
• $n$ 是试验的总次数。
• $p$是单次试验成功的概率。
• $\left(\genfrac{}{}{0ex}{}{n}{k}\right)$ 是组合数，表示从 $n$次试验中选择$k$ 次成功的方式数。

在逻辑回归中，目标变量通常是二元的（如0或1），因此其结果常被认为是来自二项分布。在模型拟合过程中，逻辑回归通过最大化二项分布的似然函数来找到最佳参数估计值。