2023 [VLDB] 重新审视路网的行程时间估计：异构性、邻近性、周期性和动态性

本文首发于“时空数据学习”公众号:

好文分享 |【VLDB 2023】路径行程时间估计：异质性、邻近性、周期性、动态性

论文标题：Route Travel Time Estimation on A Road Network Revisited: Heterogeneity, Proximity, Periodicity and Dynamicity

作者：袁海涛，李国良，鲍芝峰

机构：清华大学，皇家墨尔本理工大学（RMIT）

论文发表：49th International Conference on Very Large Data Bases（VLDB 2023）

引用格式：Yuan H, Li G, Bao Z. Route Travel Time Estimation on A Road Network Revisited: Heterogeneity, Proximity, Periodicity and Dynamicity[J]. Proceedings of the VLDB Endowment, 2022, 16(3): 393-405.

论文链接：https://www.vldb.org/pvldb/vol16/p393-yuan.pdf

代码：https://github.com/yuanhaitao/STHR_CODE

0. 论文概述

本文从异质性（heterogeneity）、邻近性（proximity）、周期性（periodicity）和动态性（dynamicty）四个方面对路网中的路线行程时间估计问题进行了研究，旨在通过捕获和利用时空特征来提高其准确性。

1. 问题动机

1 .空间异质性：至少表现在两个方面。首先，路网中不同路段之间的转弯方式是异构的，这使得同一路段的行程时间是不同的(在本文中,把两个路段之间的转弯/等待时间转化为前一路段的行程时间)。以图1 ( b )中的路线$R_1$和$R_2$为例，$R_1$在经过路段$l_3$后保持直行，而$R_2$在经过路段$l_3$后左转，因此这两条路线的$l_3$行程时间完全不同。其次，不同的路段包含异质属性(例如,不同路段的限速不同)，因此内在地对应着不同的行程时间。

2.空间邻近性和时间周期性：首先，相邻路段受到路网的拓扑约束，体现了空间邻近性的影响。例如，图1 ( d )中的上图显示了四个相邻路段$(l_{10},l_{12},l_{13},l_3)$的行程时间，可以发现它们具有相似的模式。其次，如图1 ( d )中的下图所示，每条路段的行程时间呈现出一周的周期性振荡特征，这是由于时间背景(例如,高峰时间)的周期性造成的。总结：行程时间应该包括一个静态部分，它是基于路网中的空间邻近性和时间周期性推导出来的。

3.动态交通路况：它们是指一个路网的交通状态，其中平均旅行速度是一个自然指标。如图1 ( c )所示，道路网络上的交通状态随时间而变化，这反映了所谓的动态上下文的影响。因此，通过对过去时间的交通状态序列进行编码来捕获交通状态的变化趋势是非常重要的

现有方法不足**：统计方法**忽视了动态交通状态。基于学习的方法在编码相关特征时忽略了空间异质性。更糟糕的是，它们不能区分静态特征(例如,静态邻近性和周期性)和动态特征(例如,动态交通状态)的影响。

设计一个通用的学习框架来整合上述所有关键方面仍然是一个开放的问题，原因有三：

1. 空间异质性和邻近性在估计任务中起到相反的作用，这使得学习不同路段的特征变得困难。
2. 静态特征和动态特征对行程时间的影响既有联系又有区别，因此对其进行区分是非常有必要的。
3. 设计有效的模型来捕捉复杂的时空相关性仍然是一个关键的挑战。

为解决上述挑战，作者做了如下设计：

1. 异质图——路段-连接图（link-connection graph，LCG）。用于描述路网中路段之间的相关性。为了捕捉空间异质性和邻近性，在LCG上利用一个可以考虑所有空间上下文的异质图注意力模型来学习每个路段的表示。
2. 行程速度直方图用来表示行程速度/时间的分布，基于此可以将每个行程时间/速度值分为静态部分和动态部分。相应地，将相关的时空特征分为两部分，即样本共性和样本特性，基于这两部分可以区分不同的时空特征对行程时间的影响。
3. 设计基于注意力机制的编码器-解码器框架，将模型的静态和动态部分在空间域和时间域上进行融合。捕获不同的时空相关性。编码器为时间编码器( Temporal Encoder )，利用序列自注意力机制对动态时序特征(例如,与路线相关的交通状态和时间背景信息)进行编码，得到动态表示。解码器为空间解码器（Spatial Decoder）首先从静态时空特征(例如,路段和时间步（time slot）表示)生成静态表示(即静态行程速度直方图)，然后从空间角度将静态和动态表示与编码-解码注意力进行融合，从而解码得到估计时间。

2. 本文贡献

1. 解释了精确路线旅行时间估计的四个关键但尚未探索的方面，即空间异质性（heterogeneity）、空间邻近性（proximity）、时间周期性（periodicity）和动态（dynamicity）交通状态，并对相关特征进行了全面分析。
2. 设计了一个综合的神经网络模型STHR，可以充分挖掘不同的时空特征，从而实现准确的路线行程时间估计
3. 利用自注意力机制来编码过去每个时间步（time slot）的动态交通状态和时间背景信息，从而生成行程时间的动态部分。
4. 在两个真实世界的数据集上进行了全面的评估，发现STHR在准确性和稳健性方面显著优于现有技术。

3. 问题定义

3.1 基础概念

路网：有向图$<V,L>$。$V$为顶点集，$L$是边集，每个路段$l_i\in L$表示一个连接2个顶点的路段。

路线：$R=<l_1,l_2,...,l_m>$

路段连接图（Link-Connection Graph，LCG）：是异质图，右上图所示，LCG构建在路网上，同时构建一个有向图$G=<L,E>$,一条边$e=<l_i,l_j>$表示，有4种边：左转，右转，调头，直行）

路线邻居图（route neighboring graph，RNG）：给定一个行驶路线，它所经过的路段为路线路段；把与这些路线路段相邻的路段称为路线邻居路段。记作$G(R)=<L(R),E(R)>$。

$L(R)\subseteq L,E(R)\subseteq E$，因此RNG是LCG的子图

行程时间和行程速度直方图( Histogram )：给定路段$l$，假设其行程时间为$t_l$，则相应的行程速度为$v=\frac{|l|}{|t_l|}$，其中$|l|$表示路段l的长度.使用行程速度的原因是每个路段的速度对应一个范围，而行程时间的范围难以确定。考虑到速度范围(例如: 0 ~ 60km / h)，将其拆分成$k$个互不相交的部分(记为$p_1,\cdot \cdot \cdot ,p_k$)来近似速度分布$hist=[{\alpha }_1,\cdot \cdot \cdot ,{\alpha }_k]$，其中$0\le {\alpha }_i\le 1$且${\sum }_{i=1}^k={\alpha }_i=1$。例如，给定5个速度值(即5，2，12，15，20)和2个部分$p_1=[0,10)$和$p_2=[10,20]$，对应的直方图为$hist=[\frac{2}{5},\frac{3}{5}]$。此外，每个速度值$v$可以通过速度直方图$hist=[{\alpha }_1,\cdot \cdot \cdot ,{\alpha }_k]$和偏差序列$\Delta =[{\delta }_1,...,{\delta }_k](0\le {\delta }_i\le 1)$
$$v=\sum _{i=1}^k{\alpha }_i(p_i^{◃}+{\delta }_i{d}_i)$$
$p_i^{◃}$和$p_i^{▹}$分别表示左值和右值，值域为$d_i=p_i^{▹}-p_i^{◃}$

请求和行程时间估计（TTE）：$req=(R,s)$,表示$s$时刻出发，路线是$R$，TTE是估计时刻$S$路线$R$的行程时间。

3.2 主要特征

历史交通状态（时空特征）：过去时间步路段中行驶速度的最大值、最小值、平均值、中位数记作（$\grave{v},\acute{v},\bar{v},v$）。时间步表示$\Delta t$，默认为5min，过去时间步数设置数表示为$p$，默认为12。每个路线$R$，考虑局部路况，对应RNG $(G(R)=<L(R),E(R)>)$，特征表示为$C=\{（{\grave{v}}_l^j,{\acute{v}}_l^j,{\bar{v}}_l^j,v_l^j）{\}}_{l\in L(R)}^{j\in [s-p:s-1]}$。

路网（空间特征）：使用包含异构关系的LCG来表示道路网的图结构：$G=<L,E>$。路段属性$f_l$:长度，宽度，车道数，类型和限速。特征集合：$F=\{f_l{\}}_{l\in L}$.路线$R$的RNG，特征集合：$F(R)=\{f_l{\}}_{l\in L(R)}$

时间背景（时间特征）：时间背景信息（如高峰时间，工作日和其它时间相关信息）作为特征。时间步$j$的信息记为$x^j$。每个样本中存在$p+1$个时间步（过去$p$步和出发时刻$s$所在时间步）。时间背景信息：$X=\{x^j{\}}^{j\in [s-p:s]}$。为捕获时间周期性，考虑一周的全部时间步，将出发时刻$s$的时间步信息投影到一周内每一个时间步。所有时间步：$T=\{T^j{\}}^{[1,|T|]}$，投影时间步：$T^s$。

总结：

• 时空特征：$C=\{（{\grave{v}}_l^j,{\acute{v}}_l^j,{\bar{v}}_l^j,v_l^j）{\}}_{l\in L(R)}^{j\in [s-p:s-1]}$
• 空间特征：$F=\{f_l{\}}_{l\in L},G=<L,E>,G(R)=<L(R),E(R)>$
• 时间特征：$(X=\{x^j{\}}^{j\in [s-p:s]},T,T^s)$

进一步划分为2类，样本共性（sample-wise-general）和样本特性（sample-wise-special）。

( 1 )由于$F，G和T$是独立于样本的，所以称它们是样本共性

( 2 )其他依赖于样本的特征被称为样本特性

3.3 路线行程时间估计流水线

问题定义：请求$req=<R,s>$，共性：$(F,G,T)$,特性：$(C,F(R),G(R),X,T^s)$

TTE任务：路线$R$利用特征通过模型$M$估计行程时间$y$。
$$y=\mathcal{M}(C,F(R),G(R),X,T^s;F,G,T)$$

流水线：
$$\begin{array}{rl}req& \stackrel{①}{⟶}C,F(R),G(R),X,T^s,F,G,T\stackrel{\text{ ② }}{⟶}{h}_{ist}{l}_{l_1}^s\cdots {\text{ hist }}_{l_m}^s,{\Delta }_{l_1}^s\cdots {\Delta }_{l_m}^s\\ & \stackrel{③}{⟶}{\hat{t}}_{l_1}\cdots {\hat{t}}_{l_m}\stackrel{\text{ ④ }}{⟶}{\hat{t}}_R=\sum _{i=1}^m{\hat{t}}_{l_i}.\end{array}$$
首先估计每天经过路段的速度直方图${hist}_{l_i}^s$和偏差序列${\Delta }_{l_i}^s$，然后推导出时间${\hat{t}}_{l_i}$,具体的${hist}_{l_i}^s$分为两部分，静态直方图${\overline{hist}}_{l_i}^s$和动态矩阵$P_{l_i}^s$.其中${hist}_{l_i}^s\in {\mathbb{R}}^k$独立于样本$P_{l_i}^s\in {\mathbb{R}}^{k\times k}$依赖于样本。
$$his{t}_{l_i}^s={\overline{hist}}_{l_i}^s\times softmax(P_{l_i}^s)$$
如下图流水线：

第1步**：静态生成**，共性生成全局静态直方图$\{his{t}_{l_i}^j{\}}_{l\in L}^{\hat{j}\in [1,|T|]}$

第2步：路线$R$和出发时间步$T^s$，从全局静态直方图（global）提取局部静态直方图（） $\{{\overline{hist}}_{l_i}^s{\}}_{l_i\in R}$。

第3步**：动态生成**，特性特征和局部静态直方图生成动态矩阵$P_{l_i}^s$和偏差序列$\{{\Delta }_{l_i}^s{\}}_{l_i\in R}$

最终（第4步）：行程时间生成：利用局部静态直方图，动态矩阵和偏差序列来推断行程时间

4. 模型架构

4.1 模型概述

STHR本质上是一个序列编码器-解码器框架。在序列编码部分，将所有的时空特征看作一个时间序列，其长度为历史时间步数，因此编码部分称为时间编码器（temporal encoder）。对于序列解码部分，目标是生成给定路线中每条路段的速度/时间。因此，将路线看作是一个路段序列，序列长度为路段中的路段数，因此将解码部分称为空间解码器（spatial decoder）。

共性：$(F,G,T)$,特性：$(C,F(R),G(R),X,T^s)$

1. 准备数据：给定请求$req=<R,s>$。共性特征$(F,G,T)$从路网和路段属性中提取。根据请求生成特性特征：$(C,F(R),G(R),X,T^s)$，$C$从历史轨迹中提取，$X$是从事件背景信息中提取。

2. 编码历史交通状态包含三个阶段

   阶段1：$C$从 RNG中获得。设计交通状态融合将$C^j=\{({\grave{v}}_l^j,{\acute{v}}_l^j,{\bar{v}}_l^j,v_l^j){\}}_{l\in L(R)}$转换为隐藏表示${\bar{h}}_c^j=<{\bar{h}}_c^{s-p},...,{\bar{h}}_c^{s-1}>$
   阶段2：捕获时间相关性，时间自注意力机制。${\hat{h}}_c^j$转换为￥${\hat{h}}_c^j$。得到${\hat{h}}_C=<{\hat{h}}_c^{s-p},...,{\hat{h}}_c^{s-1}>$
   阶段3：不同历史时间步的交通状态会对当前时间步产生不同影响。设置*时间步注意力聚会模块（Time-Slot-Attention Fusion）*进一步融合${\hat{h}}_c$和$X$，得到$h_c=<h_C^{s-p},...,h_c^{s-1}>$。

3. 生成局部静态直方图。对应**”静态生成“和”fetch“**。目的是生成给定出发时间步下给定路线的每一个路段的静态直方图。分为2阶段

   阶段1：全局静态直方图生成器实现静态生成。全局静态直方图：$\overline{hist}=\{his{t}_{l_i}^j{\}}_{l\in L}^{\hat{j}\in [1,|T|]}$。大小为$|L|\times |T|$

   阶段2：通过路线$R=<l_1,...,l_m>$和出发时间步$T^s$从全局寻找局部，将${\overline{hist}}_R^s$作为空间解码器的输入。

4. 解码动态矩阵和偏差序列。对应**”动态生成“**。通过空间序列${\overline{hist}}_R^s$和时间编码序列$h_C$生成$P_{li}^s$和${\Delta }_{l_i}^s$。分为2阶段

   阶段1：时空注意力(Spatio-Temporal Attention)聚合时空序列，${\overline{hist}}_{l_i}^s$利用注意力转换为$h_{l_i}^s$,并聚合$h_C$，得到包含全部时空特征的最终序列$h_R^s=<h_{l_i}^s,...,h_{l_m}^s>$。

   阶段2：*动态速度生成器（Dynamic-Speed Generator）*基于$h_{l_i}^s$生成$P_{l_i}^s$和${\Delta }_{l_i}^s$

5. 推理行程时间：对应图中“行程时间生成”。估计每个路段行程时间${\hat{t}}_{l_i}$。通过得到的直方图$his{t}_{l_i}^s$和速度${\hat{v}}_{l_i}$。计算${\hat{t}}_{l_i}=\frac{|l_i|}{{\hat{v}}_{l_i}}$。

6. 计算损失：一方面，衡量每个路段行程时间的损失，记为Link-wise Loss。另一方面，对整个路线的行程时间进行了损失度量，记为Route Loss。

4.2 时间编码器

时间编码器的三个关键组成部分：交通状态融合（Traffic Condition Fusion）；时间自注意（Temporal Self-Attention）；时间步注意力融合（ime-SlotAttention Fusion）。首先，解释了如何结合RNG即$G(R)$及其路段特征$F(R)$来编码每个历史时间步$j$的交通状态$C_j$。这里对每个时间步的所有路段的交通状态进行融合，得到融合结果${\bar{h}}_C={\bar{h}}_c^{s-p},...,{\bar{h}}_c^{s-1}$。其次，为了捕获时间相关性，解释了如何利用自注意力机制将${\bar{h}}_C$进一步编码为${\hat{h}}_C$最后，说明如何通过融合时间信息包含了历史时间步对当前时间步的不同影响的$X$来进一步编码得到$h_C$。

4.1.1 RNG 交通状态融合

从历史交通信息$C=\{C^{s-p},...,C^{s-1}\}$，中生成${\bar{h}}_c^j=<{\bar{h}}_c^{s-p},...,{\bar{h}}_c^{s-1}>$。包含2个步骤：编码RNG中每个路段的交通状态和聚合路段表示。

编码交通状态：捕获异质图$G(R)=⟨L(R),E(R)⟩$的邻近性。使用2层图注意力（GAT）。对于每个时间步$j（s-q\le j\le s-1)$的，每个路段$l_i(1\le i\le |L(R)|)$。生成对应的表示${\bar{h}}_c^j[l_i]$
h g 1 j [ i ] = W g 1 ⋅ [ v ~ l i j , v ^ l i j , v ~ l i j , v ˉ l i j ] e g 1 I ( i 1 , 2 ) [ i 1 , i 2 ] = W e 1 I ( i 1 , 2 ) ⋅ [ F ( l i 1 ) , F ( l i 2 ) ] , ⟨ l i 1 , l i 2 ⟩ ∈ E ( R ) α g 1 j [ i 1 , i 2 ] = exp ⁡ ( e g 1 I ( i 1 , 2 ) [ i 1 , i 2 ] ⋅ [ h g 1 j [ i 1 ] , h g 1 j [ i 2 ] ] ) ∑ i 3 ∈ N ( i 2 ) exp ⁡ ( e g 1 I ( i 3 , 2 ) [ i 3 , i 2 ] ⋅ [ h g 1 j [ i 3 ] , h g 1 j [ i 2 ] ] ) , ⟨ l i 1 , l i 2 ⟩ ∈ E ( R ) α g 1 j [ i 1 , i 2 ] = exp ⁡ ( e g 1 I ( i 1 , 2 ) [ i 1 , i 2 ] ⋅ [ h g 1 j [ i 1 ] , h g 1 j [ i 2 ] ] ) ∑ i 3 ∈ N ( i 2 ) exp ⁡ ( e g 1 I ( i 3 , 2 ) [ i 3 , i 2 ] ⋅ [ h g 1 j [ i 3 ] , h g 1 j [ i 2 ] ] ) , ⟨ l i 1 , l i 2 ⟩ ∈ E ( R ) h g 2 j [ i ] = W g 2 ( h g 1 j [ i ] + ∑ i 1 ∈ N ( i ) α g 1 [ i 1 , i ] h g 1 j [ i 1 ] ) e g 2 I ( i 1 , 2 ) [ i 1 , i 2 ] = W e 2 I ( i 1 , 2 ) ⋅ [ F ( l i 1 ) , F ( l i 2 ) ] , ⟨ l i 1 , l i 2 ⟩ ∈ E ( R ) α g 2 j [ i 1 , i 2 ] = exp ⁡ ( e g 2 I ( i 1 , 2 ) [ i 1 , i 2 ] ⋅ [ h g 2 j [ i 1 ] , h g 2 j [ i 2 ] ] ) ∑ i 3 ∈ N ( i 2 ) exp ⁡ ( e g 2 I ( i 3 , 2 ) [ i 3 , i 2 ] ⋅ [ h g 2 j [ i 3 ] , h g 2 j [ i 2 ] ] ) ⟨ l i 1 , l i 2 ⟩ ∈ E ( R ) h ˉ c j [ l i ] = h g 2 j [ i ] + ∑ i 1 ∈ N ( i ) α g 2 j [ i 1 , i ] h g 2 j [ i 1 ] \begin{aligned} h_{g_{1}}^{j}[i] & =W_{g_{1}} \cdot\left[\tilde{v}_{l_{i}}^{j}, \hat{v}_{l_{i}}^{j}, \tilde{v}_{l_{i}}^{j}, \bar{v}_{l_{i}}^{j}\right] \\ e_{g_{1}}^{I\left(i_{1,2}\right)}\left[i_{1}, i_{2}\right]&=W_{e_{1}}^{I\left(i_{1,2}\right)} \cdot\left[F\left(l_{i_{1}}\right), F\left(l_{i_{2}}\right)\right], \quad\left\langle l_{i_{1}}, l_{i_{2}}\right\rangle \in E(R) \\ \alpha_{g_{1}}^{j}\left[i_{1}, i_{2}\right] & =\frac{\exp \left(e_{g_{1}}^{I\left(i_{1,2}\right)}\left[i_{1}, i_{2}\right] \cdot\left[h_{g_{1}}^{j}\left[i_{1}\right], h_{g_{1}}^{j}\left[i_{2}\right]\right]\right)}{\sum_{i_{3} \in \mathcal{N}\left(i_{2}\right)} \exp \left(e_{g_{1}}^{I\left(i_{3,2}\right)}\left[i_{3}, i_{2}\right] \cdot\left[h_{g_{1}}^{j}\left[i_{3}\right], h_{g_{1}}^{j}\left[i_{2}\right]\right]\right)},\\ \left\langle l_{i_{1}}, l_{i_{2}}\right\rangle &\in E(R) \\ \alpha_{g_{1}}^{j}\left[i_{1}, i_{2}\right] & =\frac{\exp \left(e_{g_{1}}^{I\left(i_{1,2}\right)}\left[i_{1}, i_{2}\right] \cdot\left[h_{g_{1}}^{j}\left[i_{1}\right], h_{g_{1}}^{j}\left[i_{2}\right]\right]\right)}{\sum_{i_{3} \in \mathcal{N}\left(i_{2}\right)} \exp \left(e_{g_{1}}^{I\left(i_{3,2}\right)}\left[i_{3}, i_{2}\right] \cdot\left[h_{g_{1}}^{j}\left[i_{3}\right], h_{g_{1}}^{j}\left[i_{2}\right]\right]\right)},\\ \left\langle l_{i_{1}}, l_{i_{2}}\right\rangle &\in E(R) \\ h_{g_{2}}^{j}[i]&=W_{g_{2}}\left(h_{g_{1}}^{j}[i]+\sum_{i_{1} \in \mathcal{N}(i)} \alpha_{g_{1}}\left[i_{1}, i\right] h_{g_{1}}^{j}\left[i_{1}\right]\right) \\ e_{g_{2}}^{I\left(i_{1,2}\right)}\left[i_{1}, i_{2}\right]&=W_{e_{2}}^{I\left(i_{1,2}\right)} \cdot\left[F\left(l_{i_{1}}\right), F\left(l_{i_{2}}\right)\right],\left\langle l_{i_{1}}, l_{i_{2}}\right\rangle \in E(R) \\ \alpha_{g_{2}}^{j}\left[i_{1}, i_{2}\right]&=\frac{\exp \left(e_{g_{2}}^{I\left(i_{1,2}\right)}\left[i_{1}, i_{2}\right] \cdot\left[h_{g_{2}}^{j}\left[i_{1}\right], h_{g_{2}}^{j}\left[i_{2}\right]\right]\right)}{\sum_{i_{3} \in \mathcal{N}\left(i_{2}\right)} \exp \left(e_{g_{2}}^{I\left(i_{3,2}\right)}\left[i_{3}, i_{2}\right] \cdot\left[h_{g_{2}}^{j}\left[i_{3}\right], h_{g_{2}}^{j}\left[i_{2}\right]\right]\right)} \\ \left\langle l_{i_{1}}, l_{i_{2}}\right\rangle &\in E(R) \\ \bar{h}_{c}^{j}\left[l_{i}\right]&=h_{g_{2}}^{j}[i]+\sum_{i_{1} \in \mathcal{N}(i)} \alpha_{g_{2}}^{j}\left[i_{1}, i\right] h_{g_{2}}^{j}\left[i_{1}\right] \\ \end{aligned} hg1​j​[i]eg1​I(i1,2​)​[i1​,i2​]αg1​j​[i1​,i2​]⟨li1​​,li2​​⟩αg1​j​[i1​,i2​]⟨li1​​,li2​​⟩hg2​j​[i]eg2​I(i1,2​)​[i1​,i2​]αg2​j​[i1​,i2​]⟨li1​​,li2​​⟩hˉcj​[li​]​=Wg1​​⋅[v~li​j​,v^li​j​,v~li​j​,vˉli​j​]=We1​I(i1,2​)​⋅[F(li1​​),F(li2​​)],⟨li1​​,li2​​⟩∈E(R)=∑i3​∈N(i2​)​exp(eg1​I(i3,2​)​[i3​,i2​]⋅[hg1​j​[i3​],hg1​j​[i2​]])exp(eg1​I(i1,2​)​[i1​,i2​]⋅[hg1​j​[i1​],hg1​j​[i2​]])​,∈E(R)=∑i3​∈N(i2​)​exp(eg1​I(i3,2​)​[i3​,i2​]⋅[hg1​j​[i3​],hg1​j​[i2​]])exp(eg1​I(i1,2​)​[i1​,i2​]⋅[hg1​j​[i1​],hg1​j​[i2​]])​,∈E(R)=Wg2​​ ​hg1​j​[i]+i1​∈N(i)∑​αg1​​[i1​,i]hg1​j​[i1​] ​=We2​I(i1,2​)​⋅[F(li1​​),F(li2​​)],⟨li1​​,li2​​⟩∈E(R)=∑i3​∈N(i2​)​exp(eg2​I(i3,2​)​[i3​,i2​]⋅[hg2​j​[i3​],hg2​j​[i2​]])exp(eg2​I(i1,2​)​[i1​,i2​]⋅[hg2​j​[i1​],hg2​j​[i2​]])​∈E(R)=hg2​j​[i]+i1​∈N(i)∑​αg2​j​[i1​,i]hg2​j​[i1​]​
其中，$W_{g_1}\in {\mathbb{R}}^{d_{g_1}\times 4}$和$W_{e_1}\in {\mathbb{R}}^{2d_{g_1}\times 2|F(\cdot )|},I(\cdot )\in \{1，2，3，4\}$为边类型指示符。$W_{g_2}\in {\mathbb{R}}^{d_{g_2}\times d_{g_1}}$和$W_{e_1}\in {\mathbb{R}}^{2d_{g_2}\times 2|F|}$。$|F|$表示路段特征维数。考虑边与边之间的约束$⟨l_{i_1},l_{i_2}⟩\in E(R)$。$i_3\in \mathcal{N}(i_2)$表示$l_{i_3}$和$l_{i_2}$相邻且$<l_{i_2},l_{i_3}>$在边集$E(R)$中，$I(\cdot )$来准确区分注意力权重。最终得到路段表示${\bar{h}}_c^j[l_i]\in {\mathbb{R}}^{d_{g_2}}$。上述公式可以简化为：
$${\bar{h}}_c^j[l_i]=GAT(l_i,G(R),F(R)|W_{g_1},W_{e_1},W_{g_2},W_{e_2})$$
聚合路段：每个时间步$j$得到对于RNG即$G(R)$编码集合${\bar{h}}_c^j[G(R)]=[{\bar{h}}_c^j[l_1],...]$,需要将${\bar{h}}_c^j$设置到固定长度。直观思路是用平均池化。但是不同路段在$G(R)$中有着不同的影响。直观上，影响自然依赖于路段特征$F(R)$，因而衡量路段的余弦相似度$cos(f_{l_i},f_{l_{i^{\prime }}})$。然后通过平均每个路段与其他路段的相似度来衡量每个路段的影响力得分：
$$score(l_i)=avg(\sum _{l_{i^{\prime }\in L(R)}}cos(f_{l_i},f_{l_{i^{\prime }}}))$$
最后利用$Softmax$函数归一化每个路段的影响力得分$\overline{score}(l_i)=\frac{score(l_i)}{\sum score(l_{i^{\prime }})}$，接着通过加权求和得到聚合后固定长度的向量${\bar{h}}_c^j={\sum }_{l_i\in L(R)}\overline{score}(l_i){\bar{h}}_c^j[l_i]$

4.1.2 时间自注意力

加入位置编码$h_o^j\in {\mathbb{R}}^{d_{g_2}}$，${\bar{h}}_c^j={\bar{h}}_c^j\oplus h_o^j$。接下来用B个自注意力块来将${\bar{h}}_c^j$转换为${\hat{h}}_c^j$。
$$h_o^j[2d]=sin(\frac{j}{1000^{\frac{2d}{d_{g_2}}}}),h_o^j[2d+1]=cos(\frac{j}{1000^{\frac{2d}{d_{g_2}}}})$$
每个块包含如下步骤：

1. 自注意力(self-attention)：$query(Q_c^j=W_q{\bar{h}}_c^j),key(K_c^j=W_k{\bar{h}}_c^j),value(V_c^j=W_v{\bar{h}}_c^j)$ $score(j,j^{\prime })=softrmax(\frac{Q_c^j{K}_c^{j^{\prime }}}{{\sqrt{d}}_{g_2}})$，每个编码转换为新的表示$z_a^j={\sum }_{j^{\prime }}score(j,j^{\prime })V_c^{j’}$
2. 加法&归一化(Add&Normalize)：残差连接和层归一化${\bar{h}}_c^j=LN({\bar{h}}_c^j\oplus z_a^j)$。
3. 前向传播(Feed Forward)：$z_j^i=ReLU(W_f{\bar{h}}_c^j+b_f)$。
4. 加法&归一化(Add&Normalize)：${\bar{h}}_c^j=LN({\bar{h}}_c^j\oplus z_a^j)$

简化上述4步，第$i$个块表示为函数$SA{B}_i(\cdot )$，输入$h_{sa{b}_{i-1}}$输出$h_{sa{b}_i}$。则有$h_{sa{b}_0}={\bar{h}}_C$,$h_{sa{b}_B}={\hat{h}}_C$，即${\hat{h}}_C=SA{B}_B(SA{B}_{B-1}(...SA{B}_1({\bar{h}}_C)...))$

4.1.3 时间步注意力聚合

到目前为止，已经对交通状态进行了编码，并捕获了它们在历史时间步的时空相关性。然而，不同的历史时间步对应着对出发时间步的不同影响。一种理想的方法是衡量出发时刻与其他时刻的交通状态之间的相关性，但不能立即统计出发时刻的交通状态。为了解决这个问题，利用时间背景信息$X$。判断不同时间步之间的相似性，从而可以间接测量历史时间步对出发时间步的影响。因此，如时间编码器所示，计算出发时间步$s$的时间背景信息$x^s$和每个历史时间步的时间背景信息$x^j$的余弦相似度$w_x^j=cos(x^s,x^j)$。根据相似度来计算每个历史时间步的影响得到$h_c^j=\frac{(w_x^j{\hat{h}}_c^j)\oplus {\hat{h}}_c^j}{2}$。$w_x^j\in [-1,1]$来重塑不同历史时间步对出发时间步的影响。最终得到$h_C=[h_c^{s-p},...,h_c^{s-1}]$

4.3 空间解码器

空间解码器三个组成模块：全局静态直方图生成器，局部静态直方图提取器和时空注意力。

先通过LCG $G=<L,E>$，路段特征$F$和时间步$T$来生成全局静态直方图$\overline{hist}$。维度大小为$|L|\times |T|\times 4$。

进一步从全局中查询局部静态直方图。通过路线$R=<l_1,...l_m>$和出发时间$s$所在时间步$T^s$，提取静态直方图为$\overline{his}{t}_{l_1}^s,...,{\overline{hist}}_{l_m}^s$。

利用时空注意力模型来聚合时间编码$h_C=[h_c^{s-p},...,h_c^{s-1}]$，从而得到考虑路线和出发时间的时空表示序列$h_R^s=[h_{l_1}^s,...,h_{l_m}^s]$。

4.3.1 生成静态直方图

利用共性特征$(G,F,T)$去生成全局静态直方图，再通过请求的相关信息从中获取局部静态直方图。

1. 生成全局静态直方图：全局指的是路网中的全部路段。一个直接的方法是设计一个函数，将每个路段特征转化为一个隐藏表示；然而，它无法捕捉不同路段之间的相关性。这里仍然利用GAT，来解决相关性建模的问题。$h_L^{\prime }[l_i]=GAT(l_i,G,F|W_{g_1^{\prime }},W_{e_1^{\prime }},W_{g_2^{\prime }},W_{e_2^{\prime }})$

   时间上，“全局”指的是一周内所有时间段。将时间步拆分为两部分，“周中天”$h_W\in {\mathbb{R}}^{7\times d_w}$和“天中时”$h_D\in {\mathbb{R}}^{|h_D|}\times d_s$，$|h_D|=\frac{24\times 60}{\Delta t}$。

   通过笛卡尔积将空间编码${\bar{h}}_L^{\prime }$和两个时间编码$h_W$和$h_D$结合得到时空嵌入$h_{ST}{\in }^{(|L|\times 7\times |h_D|)\times (d_{g^{\prime }}+d_d+d_w)}$。进一步得到直方图$\overline{hist}[i]=Softmax(W_{st}{h}_{ST}[i]+b_{st})$，其中$W_{st}\in {\mathbb{R}}^{k\times (d_{g^{\prime }}+d_d+d_w)}$

2. 局部静态直方图获取：给定路线$R=<l_1,...l_m>$和出发时间$s$(投影到时间步$T^s$)。从中提取路线中每个路段的静态特征${\overline{hist}}_{l_i}^s$，其中${\overline{hist}}_{l_i}^s$再$\overline{hist}$中的顺序由$(L(l_i)-1)\times (7\times |h_D|)+T^s[W]\times [h_D]+T^s[D]$,$L(l_i)$表示$L$中$l_i$的顺序，$T^s[W]$和$T^s[D]$表示$T^s$在“周中天”和“天中时”的顺序。最终得到局部静态直方图${\overline{hist}}_R^s=[{\overline{hist}}_{l_1}^s,...,{\overline{hist}}_{l_m}^s]$。

4.3.2 时空注意力

${\hat{h}}_{l_i}^s=ReLU(W_{hr}\overline{hist})$,加入位置编码更新${\bar{h}}_{l_i}^s={\bar{h}}_{l_i}^s\oplus h_o^i$,得到更新后的所有序列${\bar{h}}_R^s$。为了捕获时间编码器的影响。通过注意力机制聚合$h_C$和${\bar{h}}_R^s$。设计了$B$个时空注意力块，每个块包含两个子块：空间自注意力子块和编码器-解码器注意力子块。

1. 空间自注意力：同时间自注意力，$Self-attention\to Add\&Normalize\to FeedForward\to Add\&Normalize$(自注意力→加法&归一化→前向传播→加法&归一化)。第$i$个块表示为${\bar{h}}_R^s=SA{B}_i^{\prime }({\hat{h}}_R^s)$
2. 编码器-解码器注意力:$Query:{\bar{h}}_R^{s}key/value:h_C$。目的：捕获$h_C$对${\bar{h}}_R^s$每个元素的影响。$Enocoder-decoderattention\to Add\&Normalize\to FeedForward\to Add\&Normalize$(编码器-解码器注意力→加法&归一化→前向传播→加法&归一化)。第$i$个块表示为${\hat{h}}_R^s=ED{A}_i^{\prime }({\bar{h}}_R^s,h_C)$。

总结：第$i$个时空块中的过程可以表示${\hat{h}}_R^s=ED{A}_i^{\prime }(SA{B}_i^{\prime }({\hat{h}}_R^s),h_C)$。第$B$个块的输出对应于最终的时空序列$h_R^s$。

4.4 行程时间估计

解释了如何基于时空序列$h_R^s$和局部静态直方图${\overline{hist}}_R^s$生成行程时间，然后描述了训练过程。

4.4.1 推理行程时间

设计动态速度生成器和行程时间生成器，通过$h_R^s$和图${\overline{hist}}_R^s$生成行程时间。动态速度生成器生成速度动态因素（即动态矩阵$\{P_{l_i}^s{\}}_{i\in [1,m]}$和偏差序列$\{{\Delta }_{l_i}^s{\}}_{i\in [1,m]}$）。行程时间生成器首先利用静态直方图${\overline{hist}}_{l_i}^s$为每个路段$l_i$生成速度和速度动态因素（$P_{l_i}^s$和${\Delta }_{l_i}^s$））然后根据生成的行程速度和行程距离推理其行程时间。

1. 动态速度生成器：两个前向传播网络

$$\begin{array}{rl}{P}_{l_i}^s& =\mathrm{Reshape}\left(W_P{h}_{l_i}^s+b_P,k\times k\right)\\ {\Delta }_{l_i}^s& =\mathrm{Sigmoid}\left(W_{\Delta }{h}_{l_i}^s+b_{\Delta }\right)\end{array}$$

其中$Reshape(A,k\times k)$将$A\in {\mathbb{R}}^{k^2}$转换为$k\times k$的矩阵。$Sigmoid(z=\frac{1}{1+e^{-z}})$保证${\Delta }_{l_i}^s$约束在$0\le {\delta }_{l_i}^s\le 1$

2. 生成行程时间：根据$his{t}_{l_i}^s={\overline{hist}}_{l_i}^s\times softmax(P_{l_i}^s)$，每个路段$l_i$，在静态直方图和动态矩阵的基础上生成动态直方图$his{t}_{l_i}^s$。接下来，$v={\sum }_{i=1}^k{\alpha }_i(p_i^{◃}+{\delta }_i{d}_i)$计算速度${\hat{v}}_{l_i}$。计算每个路段的行驶时间${\hat{t}}_{l_i}=\frac{|l_i|}{{\hat{v}}_{l_i}}$。求和得到时间${\hat{t}}_R={\sum }_{i=1}^m{\hat{t}}_{l_i}$

4.4.2 模型学习

离线训练：算法1概述了训练过程。首先，提取全局时空特征$(G、F、T)$。具体来说，$G$和$F$是从整个道路网络中提取的，而$T$是根据给定时间步大小$\Delta t$计算的。接下来，用正态分布(第1 ~ 3行)初始化整个模型的所有参数${\theta }_{enc},{\theta }_{dec}和{\theta }_{est}$。然后用给定的epoch (第4 ~ 5行)对整个模型进行迭代训练。

ModelTrain解释了每个epoch的训练过程。首先根据给定的批次大小$b_s$计算训练迭代次数$TI$，然后对所有训练数据$Z，Y$进行打乱(第1行)。在每次迭代中，从$Z，Y$中提取$b_s$训练数据。$Z$的每个元素由请求(路线$R$和出发时间$s$)、历史交通状况$C$和时间背景信息$X$组成。构建了局部图RNG$ ( G ( R ) )$，并基于全局信息$G,F,T$和每个元素的$R$和$s$ (第2 ~ 5行)提取局部路段特征$(F(R))$和当前时间步$(T^s)$。特别地，首先使用$M_{enc}$生成编码$h_C$来表示空间编码结果，然后使用$M_{dec}$ 对表示$h_R^s$进行解码。然后使用$M_{est}$生成每个路段行程时间估计，然后计算给定路线(第6 ~ 8行)的整体行程时间。最后，设计了如下的损失函数：
$$loss=\sum (\lambda \frac{{\sum }_j|{\hat{t}}_j-y[j]|}{m}+(1-\lambda )|{\hat{t}}_R-\sum _{j}y[j]|)$$
它由两类平均绝对误差(MAE)损失组成：路段损失和路线损失。前者可以帮助模型以细粒度的方式进行学习。利用Adam Optimizer 通过最小化总损失(第9 ~ 10行)来优化所有参数。

5. 实验

5.1 实验设置

1. 数据集：成都（CRN），西安（XRN），南京（NRN）

请求和交通状态：收集的成都( CD )和西安 ( XA )的出租车订单提取请求。每个订单对应一条轨迹，可以提取它的请求和离开时�