文献阅读（七）ICLR2019-DyREP：Learing Representations over Dynamic Graphs

本文是对《DyREP：Learing Representations over Dynamic Graphs》一文的浅显翻译与理解，原文章已上传至个人资源，如有侵权即刻删除。
更多网络表示学习相关文章，请移步：文献阅读总结：网络表示学习

前言

本文提出了动态图上的的表示学习算法 DyREP，当前大部分算法都是直推式学习，即针对特定的网络环境所学习出的网络表示，一旦网络结构发生改变，直推式学习就需要进行重新训练。而本文提出的是归纳式学习的算法，不再学习节点的固定表示，而是学习节点的表示方法，这样即便结构改变，也能很容易得到新的节点表示。

学习节点的表示方法，即学习节点信息如何通过其邻居节点聚合而来的，学习到了相关的聚合函数，本身又知道节点的特征和邻居关系，就可以很容易得到新节点的表示。

该算法将网络中的演变视为两种情况，一种是关联演变(association)，即拓扑结构发生变化；另一种是社交演变(communication)，即节点发生交互行为。该算法认为一个节点的表示由三个部分组成：
一是 Localized Embedding Propagaion，局部嵌入传播，即节点邻居的信息通过节点聚合后传播给其它节点，这一聚合的过程会对节点表示的形成产生影响；
二是 Self-Propagation，自传播，即节点在其所参与的两个事件发生的时间间隔中，可能会受之前表示的影响发生新的改变；
三是 Exogenous Drive，外因驱动，节点可能会受到全局的影响发生改变。

通过训练对应的参数，就能够得到相关节点表示，且这种表示是可以动态变化的。算法引入了注意力机制来不断更新节点邻居所占的权重比例，从而形成了不断更新的局部嵌入传播部分的嵌入，这是最为重要的一部分。因此，模型训练完成后，不仅可以根据时间的变化动态更新节点的表示，还可以对新的节点进行预测。

---

Title

《DyREP：Learing Representations over Dynamic Graphs》
——ICLR: International Conference on Learning Representations
Author: Rakshit Trivedi, Mehrdad Farajtabar, Prasenjeet Biswal & Hongyuan Zha
Corresponding: Rakshit Trivedi, Mehrdad Farajtabar, Hongyuan Zha

---

Main Body

动态图描述

其中{u,v}代表参与事件的两个基点，t 代表时刻，p 是时间窗口 t 中排序好的 p 个观察到的事件集合，k 是一个尺度，k=0 代表拓扑结构演变(association)，k=1 代表交互行为(communication)。

节点表征

Localized Embedding Propagaion，局部嵌入传播，事件涉及的两个节点形成一条临时或永久路径，使得信息从一个节点的邻居传播到另一个节点。邻居节点并不参与交互，其信息由节点汇合后传播给另一个节点。
Self-Propagation，自传播，节点的演变受过去位置的影响，而非随机过程。
Exogenous Drive，外因驱动，如在涉及节点的两次全局事件之间会有外因的影响。

h_struct^u，是输出的表示向量，含有注意力机制作用，来自u邻居的聚集函数。
z^v(-t_pv)是节点v先前表示的周期性状态。
t_p 是当前时间点，-t_p 是事件前时间点，-t_p^v 是 v 的前一个事件时间点。

对 max 操作，取每个特征的最大值，向量放在一起，每一维取最大的。
h^i(-t)为邻居节点的传播信息，有：

W^h 和 b^h 是控制信息传播的参数，z^i(-t)为节点i的最近嵌入。
q_ui(t) 为注意力权重，有：

S 是根据基础注意力系数 b，及事件发生概率 λ 计算的系数矩阵。
对 u 和 v 在时间 t 有：

其中 A 为邻接矩阵，更新 A 和 S 的算法如下：

具体来说，A 只根据关联事件（k=0,结构改变）更新值，S 的值只在两种情况下更新：
（1）当前事件是已建立结构边(A=1,K=1)的节点间交互；
（2）当前事件是一个关联交互(k=0)。
b 是每条边的背景（基础）注意力，是基于邻域大小的统一注意力：
对情况（1），使用事件的强度更新相应 S 项的注意力值；
对情况（2），依然按照（1）的办法执行，只不过由于加入新边，原先节点的权重值就会减少，需要更新，减去(b-b’)值，它们分别对应事件发生后和发生前的基础注意力。

λ 即条件强度函数，其通用定义为：

在文中的定义为：

[;]表示连接操作，Wk 作为学习时间尺度特定兼容性的模型参数。
对fk(x)，使用 softplus 的修改版本如下：

φk>0 是在训练部分学习到的标量时间尺度参数，对应从相关过程中产生事件的比率。

参数与损失函数

对包含 p 个事件的集合 O，最小化负对数似然有损失函数如下：

其中后一项表示总的残存概率（事件不发生）。

由章节2.2得，f(t)=λ(t)S(t)，则有：

以上即为损失函数的推导公式。