Slender2001

机器学习周记（第二十四周：文献阅读-DSTGN续）2024.1.1~2024.1.7

摘要

ABSTRACT

1 动态图矩阵估计（Dynamic Graph Matrix Estimation，DGME）

2 自适应导引传播（Adaptive Guided Propagation，AGP）

2.1 引导矩阵估计器（Guide Matrix Estimator）

2.2 自适应传播（Adaptively Propagation）

3 时间卷积模块（Temporal Convolution Module）

4 优化目标（Optimization Objective）

摘要

本周继续阅读了上周的论文，明白了论文模型DSTGN中的各个模块。DSTGN主要包括动态图矩阵估计、自适应导引传播、时间卷积模块三大模块。其中动态图矩阵估计又包括节点级信息融合、动态依赖推断、图矩阵级信息融合、图损失四个模块；自适应导引传播包括引导矩阵估计器、自适应传播两个模块。动态图矩阵估计能够基于动态语义信息和静态拓扑信息有效捕获节点间的动态依赖关系，自适应导引传播能够根据网络不同层的参数和学习到的图自动改变邻居之间的权重。

ABSTRACT

This week, We continued reading the paper from last week and gained a comprehensive understanding of the various modules in the DSTGN model. DSTGN primarily consists of three major modules: dynamic graph matrix estimation, adaptive guided propagation, and time convolution module. The dynamic graph matrix estimation module further includes four sub-modules: node-level information fusion, dynamic dependency inference, graph matrix-level information fusion, and graph loss. The adaptive guided propagation module comprises two sub-modules: guiding matrix estimator and adaptive propagation. The dynamic graph matrix estimation effectively captures dynamic dependencies among nodes based on dynamic semantic information and static topological information. Meanwhile, adaptive guided propagation automatically adjusts the weights between neighbors based on the parameters of different layers in the network and the learned graph.

1 动态图矩阵估计（Dynamic Graph Matrix Estimation，DGME）

为了基于动态语义信息（节点级输入）和静态拓扑信息有效捕获节点间的动态依赖关系，设计了动态图矩阵估计，包括节点级信息融合（Node-level Information Fusion）、动态依赖推断（Dynamic Dependencies Inference）、图矩阵级信息融合（Graph Matrix-level Information Fusion）和图损失（Graph Loss）。首先给出了这两类信息的形式化定义，然后详细描述了所提出的图估计方法。

语义信息（Semantic Information）：节点上随时间变化的观测值就是语义信息，这是节点间影响力扩散的结果。模型使用CNN来每个节点的时间特征，即 $X^{c}_{T}=Conv(X_{T})$ ，使用大小为 $1 \times T_{h}$ 的个卷积核。由此，给定时间序列 $X_{T} \in \mathbb{R}^{N \times T_{h}}$ （其中特征维度是1），可以得到每个节点的语义信息 $X^{c}_{T} \in \mathbb{R}^{N \times d}$ 。

拓扑信息（Topology Information）：在本文中，采用节点嵌入来推断结构信息，即 $\widetilde{U}=E\cdot E^{T}$ ，其中 $\widetilde{U} \in \mathbb{R}^{N \times N}$ 和 $E \in \mathbb{R}^{N \times d}$ 是可训练的节点嵌入。与之前的方法不同的地方在于，论文没有使用ReLU和Sigmoid函数来去除负值以及归一化，主要原因是作者没有将 $\widetilde{U}$ 视为邻接矩阵，而是将其视为固定的结构信息。

节点级信息融合（Node-level Information Fusion）：为了捕获隐藏在节点级输入中的动态关联模式，同时确保图学习良好收敛，在节点上融合语义信息和结构信息。受信息融合结构的启发，论文使用门控机制自适应地融合节点上的两类信息。类似于门控机制中长短期信息的融合，将静态结构信息（节点嵌入）作为长期信息，将动态语义信息（节点级输入）作为短期信息。公式定义如下：

$r_{T}=\delta (W_{r_{e}}\cdot E+W_{r_{u}}\cdot X^{c}_{T})$ （1）

$z_{T}=\delta (W_{z_{e}}\cdot M_{s}+W_{z_{u}}\cdot X^{c}_{T})$ （2）

$\widetilde{h}_{T}=\tanh (W_{h_{e}}\cdot (r_{T}\bigodot E)+W_{h_{u}}\cdot X^{c}_{T})$ （3）

$h_{T}=(1-z_{T})\bigodot E+z_{T}\odot \widetilde{h}_{T}$ （4）

其中·表示矩阵乘法， $\bigodot$ 表示哈达玛积，表示门控机制的可训练参数， $h_{T} \in \mathbb{R}^{N \times d}$ 表示节点在时间窗口的融合结果。

动态依赖推断（Dynamic Dependencies Inference）：例如GAT，我们可以很自然地推断节点与节点级特征之间的联系，即： $e(h_{i},h_{j})=LeakyReLU(a^{T},[Wh_{i}||Wh_{j}])$ ，其中 $h_{i}$ ， $h_{j}$ 分别表示第个节点和第个节点的特征，和 $a^{T}$ 表示共享的可训练参数，表示连接操作， $e(h_{i},h_{j})$ 表示第个节点和第个节点的边权重。然而，GAT计算的注意力非常有限，其中权重分数的排名是不以query节点为条件的。因此，在论文的工作中，作者设计了一个包含多头关系推理和前馈网络的动态依赖推理。与GAT类似，因为余弦相似度具有良好的计算特性和强大的学习能力，论文使用余弦相似度来推断节点之间的关联，提出了一个多头版本，从多子空间中学习节点之间的边权重。具体过程如下：

$S^{K}_{v_{i},v_{j}}=Dropout(\frac{\left \langle f^{k}_{s,1}(LN(h^{i}_{T})),f^{k}_{s,2}(LN(h^{j}_{T})) \right \rangle}{\sqrt{D}})$ （5）

其中是稳定训练过程的LayerNorm。 $f^{k}_{s,1}$ ， $f^{k}_{s,2}$ 表示第头的两个不同的非线性映射。 $\left \langle \cdot , \cdot \right \rangle$ 表示内积运算。是每个头的维度。 $h^{i}_{T}$ 和 $h^{j}_{T}$ 表示第个节点和第个节点的融合结果。 $S^{k}_{v_{i},v_{j}}$ 表示顶点 $v_{i}$ 和 $v_{j}$ 之间的第个子空间的边权重。本文添加了dropout，以迫使模型学习更一般化的变化模式，并防止过拟合问题。最后，论文使用 $f^{k}_{s,3}(\cdot )$ 对 $S^{k}_{v_{i},v_{j}}$ 的非线性映射，并使用残差连接来简化训练过程，如下面的等式所示：

$\widetilde{S}^{k}_{v_{i},v_{j}}=f^{k}_{s,3}(S^{K}_{v_{i},v_{j}})+S^{K}_{v_{i},v_{j}}$ （6）

为避免推断出的图矩阵双指数收敛到秩1矩阵，论文对多子空间捕获的关联进行求和，并添加跳跃连接，如公式(7)所示，其中 $f^{k}_{s,4}$ 表示共享的可训练权重。注意，这里的跳跃连接和非线性映射 $f(\cdot )$ 的作用不同于公式(6)，前者是通过引入由初始节点特征 $h_{T}$ 计算的相似性度量来防止推断图矩阵的坍缩，后者是增加依赖推断的非线性能力。

$\widehat{S}_{v_{i},v_{j}}=\sum_{i}^{h} \widetilde{S}_{v_{i},v_{j}} + LN(f_{s,4}(h^{i}_{T}),f_{s,4}(h^{j}_{T}))$ （7）

最后，受transformer结构的启发，使用一个两层的前馈网络来获得第和第个节点之间的最终关联 $S_{v_{i},v_{j}}$ ，即 $S_{v_{i},v_{j}}=f_{s,6}(ReLU(f_{s,5}(\widehat{S}_{v_{i},v_{j}})))+\widehat{S}_{v_{i},v_{j}}$ 。

图矩阵级信息融合（Graph Matrix-level information fusion）：为了使图学习方法更快地收敛，通过将学习到的关联关系 $S_{v_{i},v_{j}}$ 和从结构信息 $\widetilde{U}$ 推断出的关联关系进行矩阵级的信息融合。因此，在矩阵级融合中，将静态结构信息推断出的相关性作为先验偏差，以确保动态图更好地收敛。同样，为了更快地训练并防止过拟合问题，我们使用LayerNorm和Dropout，即 $\ddot{S}_{v_{i},v_{j}}=Dropout(LN(S_{v_{i},v_{j}}))+ \widetilde{U}$ 。最后，我们使用ReLU消除相关性中的负值，并使用SoftMax进行归一化。公式如式(8)，其中 $\widetilde{A}_{v_{i},v_{j}}$ 表示节点和在时间窗口的最终推断关系。

$\widetilde{A}_{v_{i},v_{j}}=SoftMax(ReLU(LN(\overset{\cdot \cdot }{S}_{v_{i},v_{j}})))$ （8）

图损失（Graph Loss）：在实际应用中，评估学习到的图结构的质量是很重要的，如平滑性和连通性。先前的工作已经证明了图卷积实际上是拉普拉斯平滑的一种特殊形式，这是GCNs工作的关键原因。学习到的图结构自然要符合拉普拉斯平滑，因此引入拉普拉斯平滑作为图的评估。此外还需要控制图的稀疏性。因此，论文将第二项作为学习到的图的额外约束，其中 $||\cdot ||^{2}_{F}$ 表示矩阵的弗罗贝尼乌斯范数（Frobenius Norm）。最终的图损失公式如式(9)所示。

$\pounds _{A}=\sum_{i,j=1}^{N}\left \| x^{i}_{T}-x^{j}_{T} \right \|^{2}_{2}\widetilde{A}_{v_{i},v_{j}}+\gamma \left \| \widetilde{A} \right \|^{2}_{F}$ （9）

其中 $x_{T}^{i}$ ， $x_{T}^{j}$ 表示节点和的输入信号， $\gamma$ 表示超参数。第一项惩罚不连通图的形成，第二项通过惩罚第一项造成的大度数来控制稀疏性。

2 自适应导引传播（Adaptive Guided Propagation，AGP）

图卷积操作可以看作是基于图矩阵的信息传播过程。目前的时空图神经网络一般采用堆叠的时间卷积和图卷积交互捕捉数据中的时空信息，并假设每层中的信息传播过程是相同的，即共享相同的图结构。然而，神经网络有效的原因是它在每一层捕获不同的信息。基于这种直觉，提出了一种自适应引导传播算法，它包括引导矩阵估计器（Guide Matrix Estimator）和自适应传播（Adaptively Propagation），其核心是在网络的不同层自适应地学习传播过程。因此，将可学习引导矩阵纳入图卷积框架。请注意，引导图矩阵不是从头开始学习的，而是对学习到的图的调整。具体来说，根据网络不同层的参数和学习到的图自动改变邻居之间的权重。

2.1 引导矩阵估计器（Guide Matrix Estimator）

引导矩阵的目的是反映模型不同层的个性化传播需求，因此该矩阵既考虑了从不同层提取的特征，又考虑了学习到的图结构。从属性空间的角度，应用一个独立于图的多层感知器（MLP）从每个节点的时间特征中提取信息，即 $Z^{l}=x^{l}W$ ，其中是MLP的可训练权重， $x^{l}$ 表示从第层时间卷积中提取的时间特征， $Z^{l}_{i} \in \mathbb{R} ^{N \times d}$ 表示节点 $v_{i}$ 从第层提取的特征。受前面研究的启发，可以从每个节点的特征空间中获得结果，这可以增强其局部影响力。因此，我们可以利用每层得到的特征来推断每个节点的预测结果，以增强每层提取的特征的重要性，公式如式(10)(11)所示。

$\hat{b}^{mlp}=Conv(ReLU(Conv(\sum_{l=1}^{L}Z^{l})))$ （10）

$\Theta ^{*}_{m}=\underset{\Theta _{m}}{argmin}\pounds _{mlp}=\underset{\Theta _{m}}{argmin}\frac{1}{\left | V \right |}\sum_{V_{i}\in V}^{} \Im (\hat{b}_{i}^{mlp},y_{i})$ （11）

其中 $\Im$ 是平均绝对误差， $y_{i} \in \mathbb{R} ^{F \times T_{p}}$ 是第个节点的预测标签， $\Theta _{m}$ 表示所有的可训练参数。如等式(10)(11)所示，我们首先将 $Z^{l}$ 连接到由两个卷积模块组成的输出模块，以推断预测结果。然后，对于每一层，我们可以通过最小化损失 $\Theta ^{*}_{m}$ 来训练特征矩阵 $Z^{l}$ 。现在，基于每一层节点的特征空间 $Z^{l}$ ，我们可以从特征空间中开发每一层的引导矩阵，即节点特征空间的内积。同时，由于引导矩阵是图结构的自适应，作者引入了学习矩阵，公式如式(12)所示。

$\ddot{A}^{l}=\frac{\left \langle Z^{l},Z^{l^{\top }} \right \rangle}{\sqrt{d}}+\ddot{S}$ （12）

选择矩阵信息 $\ddot{S}$ 的原因是这里需要的是完整的结构信息，而不是节点的连接。为了增强引导矩阵的学习能力，作者增加了两层MLP以增加非线性拟合能力，并跳过连接以更容易优化，公式如式(13)所示。

$\widehat{A}^{l}=LN(f_{2}(LeakReLU(f_{1}(\ddot{A}^{l}))))+\ddot{A}^{l}$ （13）

其中 $f_{1}(\cdot )$ 和 $f_{2}(\cdot )$ 表示可训练的MLP， $\widehat{A}^{l} \in \mathbb{R}^{N \times N}$ 是第层引导矩阵。它基于从各层时间卷积中提取的特征进行发展，能够反映各层的个性化传播需求。

2.2 自适应传播（Adaptively Propagation）

图卷积操作融合节点及其邻居的特征以派生新的节点特征，该方法的核心之一是网络不同层之间的自适应学习传播过程。因此，将可学习引导矩阵纳入到图卷积框架中，并自动改变邻域间的传播权重。设 $X \in \mathbb{R} ^{N \times D}$ 表示输入信号， $W \in \mathbb{R} ^{D \times M}$ 表示可学习的权重。所提方法在第层的传播过程如下：

$H^{l}=SoftMax(\widehat{A}^{l}\bigodot \widetilde{A})XW$ （14）

其中 $\bigodot$ 是元素点积运算， $H^{L} \in \mathbb{R}^{N \times M}$ 表示第个图卷积层的输出。注意， $\widehat{A} \in \mathbb{R}^{N \times N}$ 与相关，即不同层的不同引导矩阵，同时 $\widetilde{A} \in \mathbb{R}^{N \times N}$ 由所有层共享（等式(8)）。上述卷积操作遵循GCN，但图信号在时空数据中的传播类似于扩散过程。因此，本文最终的图卷积操作如公式(15)所示。

$H^{l} = \sum_{i=0}^{k}P^{i}XW_{i}$ （15）

其中 $P=SoftMax(\widehat{A}^{l}\bigodot \widetilde{A})$ 为转移矩阵，k为幂级数。在截断k步信息传播的图卷积的第层中，我们通过引导矩阵 $\widehat{A}^{l}$ 改变图矩阵 $\widetilde{A}$ 的邻域权重。参数矩阵 $W_{i}$ 作为特征选择器。在不存在空间依赖关系的极端情况下，聚合邻域信息只会给每个节点增加无用的噪声。因此，引入信息选择步骤( $W_{i}$ )，过滤掉每一跳产生的重要信息。当给定的图结构不包含空间依赖关系时，式(15)仍然能够通过将所有的 $W_{i}$ 调整为0来保留原始的节点自信息。

3 时间卷积模块（Temporal Convolution Module）

论文中的时间卷积模块采用基于CNN的方法，采用门控机制控制信息流。为了有效处理长时间数据和多尺度时间依赖，我们使用堆叠膨胀卷积和inception。门控机制可以有效地控制网络各层的信息流，其中只包含一个输出门。给定输入 $X \in \mathbb{R}^{N \times F \times T_{h}}$ ，公式如式(16)所示。

$\widehat{X}=\tanh (\Theta _{1} * X + b_{1})\bigodot sigmoid(\Theta _{2}*X+b_{2})$ （16）

Dilated Inception Convolutions：为了捕获不同范围的时间模式并处理长序列，在一个感知层中同时采用多个卷积核，即1 × 2，1 × 3，1 × 6，1 × 7，可以覆盖时间信号的固有周期。给定输入和由 $f_{1 \times 2} \in \mathbb{R} ^{2}$ ， $f_{1 \times 3} \in \mathbb{R} ^{3}$ ， $f_{1 \times 6} \in \mathbb{R} ^{6}$ ， $f_{1 \times 7} \in \mathbb{R} ^{7}$ 组成的filters，膨胀inception层采用等式(17)的形式。

$\Theta *X=concat(X*f_{1\times 2},X*f_{1\times 3},X*f_{1\times 6},X*f_{1\times 7})$ （17）

其中，四个滤波器的输出根据最大滤波器截断到相同的长度，并跨通道维度进行级联，膨胀卷积由 $X*f_{1\times r}$ 表示定义为 $X*f_{1\times r}(t)=\sum_{s=0}^{r-1}f_{1\times r}(s)X(t-d\times s)$ ，其中是膨胀因子。通过将具有膨胀因子的膨胀卷积层按递增顺序堆叠，模型的感受野呈指数级增长。它使膨胀卷积网络能够用更少的层捕获更长的序列，从而节省了计算资源。

4 优化目标（Optimization Objective）

算法1

整个框架由动态图矩阵估计、自适应引导图传播、时间卷积和输出模块组成。在堆叠网络中，我们将每个时间卷积层的结果连接到输出模块。输出模块由两个卷积组成，DSTGN的最终预测如公式(18)(19)所示。

$\hat{b}^{out}=Conv(ReLU(Conv(\sum_{l=1}^{L}O^{l})))$ （18）

$\Theta ^{*}_{p}=\underset{\Theta _{p}}{argmin}\pounds _{out}=\underset{\Theta _{p}}{argmin}\frac{1}{\left | V \right |}\sum_{V_{a}\in V}^{} \Im (\hat{b}_{a}^{out},y_{a})$ （19）

其中 $O^{l} \in \mathbb{R}^{N\times C}$ 是通过跳跃连接来自第层的时间卷积（等式(16)）， $\Im$ 表示平均绝对误差， $\Theta _{p}$ 表示等式(19)中的可训练参数。跳跃连接本质上是 $1 \times L_{i}$ 标准卷积，其中 $L_{i}$ 是输入的序列长度。它对跳转到输出模块的信息进行标准化，使其具有相同的序列长度1。然后根据最终输出 $\hat{b}^{out}\in \mathbb{R}^{N \times F \times T_{p}}$ 得到最优 $\Theta ^{*}_{p}$ 。

在这个模型中，动态图由动态图估计模块学习，该模块使用图损失（等式(9)）来控制动态图的质量，并进一步用于图卷积操作。为满足模型不同层的个性化传播需求，提出自适应引导传播，根据不同层的节点特征自动改变邻居间的权值。通过堆叠的时空卷积提取时空特征，并通过跳跃连接连接到输出模块得到预测结果。即动态图估计、自适应传播和模型参数学习三者相互增强。因此，我们将这些目标结合起来，以端到端的方式训练整个过程，即等式(20)，其中 $\alpha$ 和 $\beta$ 是平衡超参数。

$\Theta ^{*}_{p},\Theta ^{*}_{A},\Theta ^{*}_{m}=\underset{\Theta _{g}}{argmin\pounds _{out}}+\alpha \pounds _{A}+\beta \pounds _{mlp}$ （20）

整个算法流程如算法1所示。可以看到，我们的模型根据可训练的节点嵌入和动态节点级输入（等式(8)）推断动态关系矩阵，同时使用图损失来确保学习到的邻接矩阵的属性（等式(9)）。在堆叠的L层网络中，我们首先使用时间卷积模块独立提取每个节点的时间特征（等式(16)），然后根据捕获的特征估计层的引导矩阵（等式(13)）。基于引导矩阵和动态图，在每一层执行信息自适应引导传播过程。最后，我们根据混合损失（等式(20)）联合优化模型的参数。

【Python】一文详细介绍 py格式文件高斯小哥 Python基础【高质量合集】python 新手入门学习
【Python】一文详细介绍py格式文件个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文章目录一、py格式文件简介二、如何创建和编辑py格式文件三、如何运行py
数据结构奇妙旅程之深入解析快速排序山间漫步人生路数据结构排序算法算法
快速排序（QuickSort）是一种高效的排序算法，它使用了分治法的策略来将一个数组排序。其基本思想是选择一个基准元素，通过一趟排序将待排序的数据分割成独立的两部分，其中一部分的所有数据都比基准元素小，另一部分的所有数据都比基准元素大，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。工作原理选择基准：从待排序的序列中选一个元素作为基准（pivo
php 把一个数组分成有n个元素的二维数组的算法风清扬-独孤九剑 php php 算法
一、第一种解法0){$columns_map[$position]++;//这个地方格外注意,$position与$columns比较$position=($position<$columns-1)?++$position:0;$array_length--;}foreach($columns_mapas$val){$newarray[]=array_splice($array,0,$val);}
【算法分析与设计】去除重复字母五敷有你算法分析与设计 java javascript 开发语言算法数据结构
个人主页：五敷有你系列专栏：算法分析与设计⛺️稳中求进，晒太阳题目给你一个字符串s，请你去除字符串中重复的字母，使得每个字母只出现一次。需保证返回结果的字典序最小（要求不能打乱其他字符的相对位置）。示例示例1：输入：s="bcabc"输出："abc"示例2：输入：s="cbacdcbc"输出："acdb"思路贪心+单调栈实现【字符串删除一个字符使其字典序最小的贪心策略】：对于两个长度相同的字符串，
yarn的安装和使用全网最详细教程 zxj19880502 yarn npm
一、yarn的简介：Yarn是facebook发布的一款取代npm的包管理工具。二、yarn的特点：速度超快。Yarn缓存了每个下载过的包，所以再次使用时无需重复下载。同时利用并行下载以最大化资源利用率，因此安装速度更快。超级安全。在执行代码之前，Yarn会通过算法校验每个安装包的完整性。超级可靠。使用详细、简洁的锁文件格式和明确的安装算法，Yarn能够保证在不同系统上无差异的工作。三、yarn的
图论记录之最短路迪杰斯特拉 Just right 算法图论 java 开发语言
简述思想这个思想能用一句话来概括，精简到的极致:每次找到一个最短距离的点并更新起点到各个点的最短距离如果要可视化的话，B站搜索Dijksra算法，有视频讲解伪代码写到这里，其实是想整一个动画的，这样效果更好点，但由于种种原因所以就拖一下intdijkstr(){dist[1]=0;其余的点的距离全部初始化为真无穷，不要写成int的最大值迭代n次将不在s中的，且距离最近的点给tsj即先到t，再加上t
大创项目推荐深度学习 opencv python 公式识别(图像识别机器视觉) laafeer python
文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题
ES-LTR粗排模块 poins jenkins 运维
ES-LTR粗排模块官方资源：https://github.com/HeiBoWang/elasticsearch-learning-to-rankElasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！这个插件有什么功能此插件：允许您在Elasticsearch中存储特征（Elasticsearch查询模板）记录特征得分（
Ai插件脚本合集安装包，免费教程视频网盘分享全网优惠分享君
随着人工智能技术的不断发展，越来越多的插件脚本涌现出来，为我们的生活和工作带来了便利。然而，如何快速、方便地获取和使用这些插件脚本呢？今天，我将为大家分享一个非常实用的资源——AI插件脚本合集安装包，以及免费教程视频网盘分享。首先，让我们来了解一下这个AI插件脚本合集安装包。它是一个集合了众多AI插件脚本的资源包，涵盖了各种领域，如数据分析、自动化办公、智能客服等等。通过这个安装包，用户可以轻松地
“姜子牙”回归神位，告别老艺术家蓝天野喵十一呀
根据央视新闻报道，今天下午，2022年6月8日，著名的人民艺术家，“七一勋章”获得者蓝天野，因病在北京离世，享年95岁。蓝老先生，原名王润森，出生于河北省。从上个世纪四十年代就投身于话剧事业，曾在经典话剧《北京人》《茶馆》《蔡文姬》中扮演重要角色。对于我们父母那一辈人来说，这段记忆比较深刻。而对于七八零后的朋友来说，蓝老先生最让人熟悉的角色便是《封神榜》中的姜子牙。在那个年代，剧组人员硬是用五毛钱
过去一年，这16本好书不容错过 m0_54050778 perl
编者按：2023年在动荡与希望中收尾，2023年注定会被载入史册。疫情寒冬结束，ChatGPT横空出世，带动了人工智能技术的飞速发展；淄博烧烤、天津大爷、尔滨之旅等充满感动与幸福。但与此同时，2023年又是动荡与不安的一年，俄乌冲突的延宕，新一轮的巴以冲突，极端天气频发。在这个大环境下，有一些经典的书籍著作诞生。本文将分享2023年最值得一读的16本书籍，文章来自翻译，希望对你有所启示。关于202
排序算法太多？常用排序都在这了，一篇文章总结和实现所有面试会考的排序算法（基于Python实现）宇宙之一粟不归路之Python #IT面试题收集与总结数据结构与算法算法数据结构排序算法 python java
文章目录排序算法1.常见的排序算法1.1选择排序1.1.1思想1.1.2实现**1.1.3选择排序分析**1.2冒泡排序**1.2.1思想****1.2.2实现****1.2.3冒泡排序分析**1.3插入排序**1.3.1思想****1.3.2实现****1.3.3插入排序分析**1.4归并排序☆☆★**1.4.1思想****1.4.2实现****1.4.3归并排序分析**1.5快速排序☆★★**
【数据结构】实验一实现顺序表各种基本运算的算法张鱼·小丸子数据结构实验 c++数据结构
题目：实现顺序表各种基本运算的算法要求：1、建立一个顺序表，输入n个元素并输出；2、查找线性表中的最大元素并输出；3、在线性表的第i个元素前插入一个正整数x；4、删除线性表中的第j个元素；5、将线性表中的元素按升序排列；6、将线性表中的元素就地逆序（只允许用一个暂存单元）；#include#defineSIZE1000usingnamespacestd;typedefstruct{int*a;//
python清华大学出版社答案_Python机器学习及实践 weixin_39805119 python清华大学出版社答案
第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
UNDERSTANDING HTML WITH LARGE LANGUAGE MODELS liferecords LLM 语言模型人工智能自然语言处理
UNDERSTANDINGHTMLWITHLARGELANGUAGEMODELS相关链接：arXiv关键字：大型语言模型、HTML理解、Web自动化、自然语言处理、机器学习摘要大型语言模型（LLMs）在各种自然语言任务上表现出色。然而，它们在HTML理解方面的能力——即解析网页的原始HTML，对于自动化基于Web的任务、爬取和浏览器辅助检索等应用——尚未被充分探索。我们为HTML理解模型（经过微调
2021-11-07 Mango_Mili_88
平时努力打拼，到了周末不妨卸下肩上的重担，泡一杯清茶，读一本好书，做做喜欢的运动，听听舒缓的音乐，让心情回归轻松平静，让身体重新积蓄能量。劳逸结合，张弛有度，才能更加游刃有余。周日，早安！开心就好(✪✪加油(ง•̀_•́)ง
Java回溯知识点（含面试大厂题和源码）一成码农 java 面试开发语言
回溯算法是一种通过遍历所有可能的候选解来寻找所有解的算法，如果候选解被确认不是一个解（或至少不是最后一个解），回溯算法会通过在上一步进行一些变化来丢弃这个解，即“回溯”并尝试另一个候选解。回溯法通常用递归方法来实现，在解决排列、组合、选择问题时非常有效。回溯算法的核心要点：路径：也就是已经做出的选择。选择列表：也就是你当前可以做的选择。结束条件：也就是到达决策树底层，无法再做出选择的条件。回溯算法
深度学习项目-基于深度学习的股票价格预测研究雅致教育计算机毕业设计深度学习人工智能
概要随着经济的发展，中国股票市场的规模持续扩大，早已成为金融投资的重要部分，掌握股票市场的变化规律无论是对监管者还是投资者都具有极其重要的意义。正因如此，人们不断探索着股票市场的变化规律，其中使用深度学习预测股价是当前国内国际研究与应用的热点。本文首先从有效市场假说和分形市场假说两个角度讨论了中国股票市场的有效性，说明股票市场具有复杂的非线性特征。其次，结合股票市场特征对比了当前的预测方法
PaperWeekly sapienst Papers PaperwithCode General ML
1.Python软件包解决DL在未见过的数据分布下性能差的问题：（1）神经网络和损失分离的模块化设计（2）强大便捷的基准测试能力（3）易于使用但难以修改（4）github:https://github.com/marrlab/domainlabTrainer和Models之间是什么关系Trainer和Models是DomainLab中的两个核心概念。Trainer是一个用于指导数据流向模型并计算S
第七章索引及执行计划，存储引擎执笔为剑 #MySQL运维篇编辑器 mysql
第七章索引及执行计划，存储引擎1，索引及执行计划1，作用：提供类似书目录的作用，目的是优化查询2，所用的种类（根据算法）B树索引Hash索引R树FulltextGIS3，B树基于不同的查找算法分类介绍B-tree：在范围查询方面提供了更好的性能（>showengines;#存储引擎作用在表上，不同的表可能有不同的存储引擎mysql>select@@default_storage_engine;#查
Java面试题：解释JVM的内存结构，并描述堆、栈、方法区在内存结构中的角色和作用，Java中的多线程是如何实现的，Java垃圾回收机制的基本原理，并讨论常见的垃圾回收算法杰哥在此 Java系列 java jvm 算法面试
Java内存模型与多线程的深入探讨在Java的世界里，内存模型和多线程是开发者必须掌握的核心知识点。它们不仅关系到程序的性能和稳定性，还直接影响到系统的可扩展性和可靠性。下面，我将通过三个面试题，带领大家深入理解Java内存模型、多线程以及并发编程的相关原理和实践。面试题一：请解释JVM的内存结构，并描述堆、栈、方法区在内存结构中的角色和作用。关注点：JVM内存结构的基本组成堆、栈、方法区的功能和
ChatGPT技巧大揭秘：AI写代码新境界 2401_83550420 chatgpt4.0 chatgpt chatgpt 人工智能 AI写作
ChatGPT无限次数:点击直达ChatGPT技巧大揭秘：AI写代码新境界随着人工智能技术的不断进步，开发人员现在有了更多有趣的工具来提高他们的工作效率。其中，ChatGPT作为一种基于深度学习的自然语言处理模型，已经成为许多开发者的新宠。在本文中，我们将揭秘使用ChatGPT来帮助编写代码的技巧，探索AI在编程领域的新境界。ChatGPT简介ChatGPT是一种基于大型神经网络的对话生成模型，它
ChatGPT：AI合作伙伴助你成为论文写作高手 2401_83550420 chatgpt chatgpt 人工智能 AI写作
ChatGPT无限次数:点击直达摘要：本文将介绍ChatGPT3.5Turbo（以下简称ChatGPT），一款强大的AI合作伙伴，能够助你成为一名论文写作高手。我们将深入探讨ChatGPT的特点、优势，并提供多个示例，展示ChatGPT在论文写作中的应用。无论是开展研究、撰写论文、还是与ChatGPT进行互动交流，都能够帮助你提升写作效率和质量。引言：随着人工智能的发展，聊天型语言模型在各个领域都
优化选址问题 | 基于和声搜索算法求解基站选址问题含Matlab源码天天酷科研优化选址问题（LP）matlab 和声搜索算法基站选址问题
目录问题代码问题和声搜索算法（HarmonySearch,HS）是一种模拟音乐创作过程中乐师们凭借自己的记忆，通过反复调整各乐器的音调，直至达到最美和声状态为启发，通过反复调整解向量的各分量来寻求全局最优解的智能优化算法。下面是一个基于和声搜索算法求解基站选址问题的Matlab伪代码框架。请注意，这个框架是一个基本的实现，你可能需要根据你的具体问题和约束条件进行调整和优化。代码%和声搜索算法求解基
AI大模型学习：开启智能时代的新篇章游向大厂的咸鱼人工智能学习
随着人工智能技术的不断发展，AI大模型已经成为当今领先的技术之一，引领着智能时代的发展。这些大型神经网络模型，如OpenAI的GPT系列、Google的BERT等，在自然语言处理、图像识别、智能推荐等领域展现出了令人瞩目的能力。然而，这些模型的背后是一系列复杂的学习过程，深度学习技术的不断演进推动了AI大模型学习的发展。首先，AI大模型学习的基础是深度学习技术。深度学习是一种模仿人类大脑结构的机器
【Python】成功解决ModuleNotFoundError: No module named ‘torchinfo‘ 高斯小哥 BUG解决方案合集 python pytorch 新手入门学习 debug
【Python】成功解决ModuleNotFoundError:Nomodulenamed‘torchinfo’个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文
OpenCV（一个C++人工智能领域重要开源基础库）简介愚梦者 OpenCV 人工智能人工智能 opencv c++图像处理计算机视觉开源
返回：OpenCV系列文章目录（持续更新中......）上一篇：OpenCV4.9.0配置选项参考下一篇：OpenCV4.9.0开源计算机视觉库安装概述引言：OpenCV（全称OpenSourceComputerVisionLibrary）是一个基于开放源代码发行的跨平台计算机视觉库，可以用来进行图像处理、计算机视觉和机器学习等领域的开发。该库由英特尔公司于1999年开始开发，最初是为了加速处理器
情感如果没有在澎湃中消亡，都终将回归平淡。那么，怎么才能维持情感保鲜呢？ Life研究生
爱情的本质，简要来说，就是陪伴…大部分的人都向往着轰轰烈烈的爱情，希望从爱情中不断获得惊喜，满足。然而爱情不论怎么波涛汹涌，除非在澎湃中消亡。否则…都将归于平淡…跟大家分享一下在情感中增加新鲜感的方法。1：幼稚。人会随着年龄的增长，渐渐失去童真。为了去适应这个世界，而变得成熟。幼稚，则是为了找回童真…因为在童真的年代，是最开心快乐。对方在向你展示幼稚的时候，你切不可以直接怒斥，或者严肃点明。“都多
【循环神经网络rnn】一篇文章讲透 CX330的烟花 rnn 人工智能深度学习算法 python 机器学习数据结构
目录引言二、RNN的基本原理代码事例三、RNN的优化方法1长短期记忆网络（LSTM）2门控循环单元（GRU）四、更多优化方法1选择合适的RNN结构2使用并行化技术3优化超参数4使用梯度裁剪5使用混合精度训练6利用分布式训练7使用预训练模型五、RNN的应用场景1自然语言处理2语音识别3时间序列预测六、RNN的未来发展七、结论引言众所周知，CNN与循环神经网络（RNN）或生成对抗网络（GAN）等算法结
零基础机器学习(5)之线性回归模型的性能评估一只特立独行猪机器学习机器学习线性回归人工智能
文章目录线性回归模型的性能评估1.举例1-单一特征2.举例2-多特征线性回归模型的性能评估评估线性回归模型时，首先要建立评估的测试数据集（测试集不能与训练集相同），然后选择合适的评估方法，实现对线性回归模型的评估。回归任务中最常用的评估方法有均方误差、均方根误差和预测准确率（确定系数）。1.举例1-单一特征分别对两个模型进行评估，输入的测试集如表所示。面积/（m2）售价/（万元）面积/（m2）售价
ASM系列六利用TreeApi 添加和移除类成员 lijingyao8206 jvm 动态代理 ASM 字节码技术 TreeAPI
同生成的做法一样，添加和移除类成员只要去修改fields和methods中的元素即可。这里我们拿一个简单的类做例子，下面这个Task类，我们来移除isNeedRemove方法，并且添加一个int 类型的addedField属性。 package asm.core; /** * Created by yunshen.ljy on 2015/6/
Springmvc-权限设计 bee1314 spring Web jsp
万丈高楼平地起。权限管理对于管理系统而言已经是标配中的标配了吧，对于我等俗人更是不能免俗。同时就目前的项目状况而言，我们还不需要那么高大上的开源的解决方案，如Spring Security，Shiro。小伙伴一致决定我们还是从基本的功能迭代起来吧。目标： 1.实现权限的管理（CRUD） 2.实现部门管理（CRUD) 3.实现人员的管理（CRUD） 4.实现部门和权限
算法竞赛入门经典（第二版）第2章习题 CrazyMizzz c 算法
2.4.1 输出技巧 #include <stdio.h> int main() { int i, n; scanf("%d", &n); for (i = 1; i <= n; i++) printf("%d\n", i); return 0; } 习题2-2 水仙花数(daffodil
struts2中jsp自动跳转到Action 麦田的设计者 jsp webxml struts2 自动跳转
1、在struts2的开发中，经常需要用户点击网页后就直接跳转到一个Action，执行Action里面的方法，利用mvc分层思想执行相应操作在界面上得到动态数据。毕竟用户不可能在地址栏里输入一个Action（不是专业人士） 2、＜jsp:forward page="xxx.action" /＞，这个标签可以实现跳转，page的路径是相对地址,不同与jsp和j
php 操作webservice实例 IT独行者 PHP webservice
首先大家要简单了解了何谓webservice，接下来就做两个非常简单的例子，webservice还是逃不开server端与client端。我测试的环境为：apache2.2.11 php5.2.10做这个测试之前，要确认你的php配置文件中已经将soap扩展打开，即extension=php_soap.dll; OK 现在我们来体验webservice //server端 serve
Windows下使用Vagrant安装linux系统 _wy_ windows vagrant
准备工作：下载安装 VirtualBox ：https://www.virtualbox.org/ 下载安装 Vagrant ：http://www.vagrantup.com/ 下载需要使用的 box ：官方提供的范例：http://files.vagrantup.com/precise32.box 还可以在 http://www.vagrantbox.es/
更改linux的文件拥有者及用户组(chown和chgrp) 无量 c linux chgrp chown
本文（转） http://blog.163.com/yanenshun@126/blog/static/128388169201203011157308/ http://ydlmlh.iteye.com/blog/1435157 一、基本使用：使用chown命令可以修改文件或目录所属的用户：命令
linux下抓包工具矮蛋蛋 linux
原文地址： http://blog.chinaunix.net/uid-23670869-id-2610683.html tcpdump -nn -vv -X udp port 8888 上面命令是抓取udp包、端口为8888 netstat -tln 命令是用来查看linux的端口使用情况 13 . 列出所有的网络连接 lsof -i 14. 列出所有tcp 网络连接信息 l
我觉得mybatis是垃圾！：“每一个用mybatis的男纸，你伤不起” alafqq mybatis
最近看了每一个用mybatis的男纸，你伤不起原文地址：http://www.iteye.com/topic/1073938 发表一下个人看法。欢迎大神拍砖；个人一直使用的是Ibatis框架，公司对其进行过小小的改良；最近换了公司，要使用新的框架。听说mybatis不错；就对其进行了部分的研究；发现多了一个mapper层；个人感觉就是个dao；
解决java数据交换之谜百合不是茶数据交换
交换两个数字的方法有以下三种，其中第一种最常用 /* 输出最小的一个数 */ public class jiaohuan1 { public static void main(String[] args) { int a =4; int b = 3; if(a<b){ // 第一种交换方式 int tmep =
渐变显示 bijian1013 JavaScript
<style type="text/css"> #wxf { FILTER: progid:DXImageTransform.Microsoft.Gradient(GradientType=0, StartColorStr=#ffffff, EndColorStr=#97FF98); height: 25px; } </style>
探索JUnit4扩展：断言语法assertThat bijian1013 java 单元测试 assertThat
一.概述 JUnit 设计的目的就是有效地抓住编程人员写代码的意图，然后快速检查他们的代码是否与他们的意图相匹配。 JUnit 发展至今，版本不停的翻新，但是所有版本都一致致力于解决一个问题，那就是如何发现编程人员的代码意图，并且如何使得编程人员更加容易地表达他们的代码意图。JUnit 4.4 也是为了如何能够
【Gson三】Gson解析{"data":{"IM":["MSN","QQ","Gtalk"]}} bit1129 gson
如何把如下简单的JSON字符串反序列化为Java的POJO对象? {"data":{"IM":["MSN","QQ","Gtalk"]}} 下面的POJO类Model无法完成正确的解析： import com.google.gson.Gson;
【Kafka九】Kafka High Level API vs. Low Level API bit1129 kafka
1. Kafka提供了两种Consumer API High Level Consumer API Low Level Consumer API(Kafka诡异的称之为Simple Consumer API，实际上非常复杂) 在选用哪种Consumer API时，首先要弄清楚这两种API的工作原理，能做什么不能做什么，能做的话怎么做的以及用的时候，有哪些可能的问题
在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua
Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
java-归并排序 bylijinnan java
import java.util.Arrays; public class MergeSort { public static void main(String[] args) { int[] a={20,1,3,8,5,9,4,25}; mergeSort(a,0,a.length-1); System.out.println(Arrays.to
Netty源码学习-CompositeChannelBuffer bylijinnan java netty
CompositeChannelBuffer体现了Netty的“Transparent Zero Copy” 查看API（ http://docs.jboss.org/netty/3.2/api/org/jboss/netty/buffer/package-summary.html#package_description）可以看到，所谓“Transparent Zero Copy”是通
Android中给Activity添加返回键 hotsunshine Activity
// this need android:minSdkVersion="11" getActionBar().setDisplayHomeAsUpEnabled(true); @Override public boolean onOptionsItemSelected(MenuItem item) {
静态页面传参 ctrain 静态
$(document).ready(function () { var request = { QueryString : function (val) { var uri = window.location.search; var re = new RegExp("" + val + "=([^&?]*)", &
Windows中查找某个目录下的所有文件中包含某个字符串的命令 daizj windows 查找某个目录下的所有文件包含某个字符串
findstr可以完成这个工作。 [html] view plain copy >findstr /s /i "string" *.* 上面的命令表示，当前目录以及当前目录的所有子目录下的所有文件中查找"string&qu
改善程序代码质量的一些技巧 dcj3sjt126com 编程 PHP 重构
有很多理由都能说明为什么我们应该写出清晰、可读性好的程序。最重要的一点，程序你只写一次，但以后会无数次的阅读。当你第二天回头来看你的代码时，你就要开始阅读它了。当你把代码拿给其他人看时，他必须阅读你的代码。因此，在编写时多花一点时间，你会在阅读它时节省大量的时间。让我们看一些基本的编程技巧：尽量保持方法简短尽管很多人都遵
SharedPreferences对数据的存储 dcj3sjt126com
SharedPreferences简介： &nbs
linux复习笔记之bash shell (2) bash基础 eksliang bash bash shell
转载请出自出处： http://eksliang.iteye.com/blog/2104329 1.影响显示结果的语系变量（locale） 1.1locale这个命令就是查看当前系统支持多少种语系，命令使用如下： [root@localhost shell]# locale LANG=en_US.UTF-8 LC_CTYPE="en_US.UTF-8"
Android零碎知识总结 gqdy365 android
1、CopyOnWriteArrayList add(E) 和remove(int index)都是对新的数组进行修改和新增。所以在多线程操作时不会出现java.util.ConcurrentModificationException错误。所以最后得出结论：CopyOnWriteArrayList适合使用在读操作远远大于写操作的场景里，比如缓存。发生修改时候做copy，新老版本分离，保证读的高
HoverTree.Model.ArticleSelect类的作用 hvt Web .net C#hovertree asp.net
ArticleSelect类在命名空间HoverTree.Model中可以认为是文章查询条件类，用于存放查询文章时的条件，例如HvtId就是文章的id。HvtIsShow就是文章的显示属性，当为-1是，该条件不产生作用，当为0时，查询不公开显示的文章，当为1时查询公开显示的文章。HvtIsHome则为是否在首页显示。HoverTree系统源码完全开放，开发环境为Visual Studio 2013
PHP 判断是否使用代理 PHP Proxy Detector 天梯梦 proxy
1. php 类 I found this class looking for something else actually but I remembered I needed some while ago something similar and I never found one. I'm sure it will help a lot of developers who try to
apache的math库中的回归——regression（翻译） lvdccyb Math apache
这个Math库，虽然不向weka那样专业的ML库，但是用户友好，易用。多元线性回归，协方差和相关性（皮尔逊和斯皮尔曼），分布测试（假设检验，t，卡方，G），统计。数学库中还包含，Cholesky，LU，SVD，QR，特征根分解，真不错。基本覆盖了：线代，统计，矩阵，最优化理论曲线拟合常微分方程遗传算法（GA），还有3维的运算。。。
基础数据结构和算法十三：Undirected Graphs (2) sunwinner Algorithm
Design pattern for graph processing. Since we consider a large number of graph-processing algorithms, our initial design goal is to decouple our implementations from the graph representation
云计算平台最重要的五项技术 sumapp 云计算云平台智城云
云计算平台最重要的五项技术 1、云服务器云服务器提供简单高效，处理能力可弹性伸缩的计算服务，支持国内领先的云计算技术和大规模分布存储技术，使您的系统更稳定、数据更安全、传输更快速、部署更灵活。特性机型丰富通过高性能服务器虚拟化为云服务器，提供丰富配置类型虚拟机，极大简化数据存储、数据库搭建、web服务器搭建等工作；仅需要几分钟，根据CP
《京东技术解密》有奖试读获奖名单公布 ITeye管理员活动
ITeye携手博文视点举办的12月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 12月试读活动回顾： http://webmaster.iteye.com/blog/2164754 本次技术图书试读活动获奖名单及相应作品如下：一等奖（两名） Microhardest：http://microhardest.ite

机器学习周记（第二十四周：文献阅读-DSTGN续）2024.1.1~2024.1.7

摘要

ABSTRACT

1 动态图矩阵估计（Dynamic Graph Matrix Estimation，DGME）

2 自适应导引传播（Adaptive Guided Propagation，AGP）

2.1 引导矩阵估计器（Guide Matrix Estimator）

2.2 自适应传播（Adaptively Propagation）

3 时间卷积模块（Temporal Convolution Module）

4 优化目标（Optimization Objective）

你可能感兴趣的:(机器学习,人工智能,算法,深度学习,神经网络,回归,图论)