论文阅读---《Snippet Policy Network for Multi-classVaried-length ECG Early Classification》

题目

片段策略网络用于多类别不定长心电图早期分类 

摘要

        心电图心律失常检测是心血管疾病预防和诊断中的重要研究课题。目前的研究将心电图心律失常检测定式为时间序列分类问题。与此同时，心律失常的早期检测在早期预防和诊断方面呈现出真实世界的需求。在本文中，我们解决了心血管疾病早期分类问题，该问题也是一个不定长和长时序的早期分类问题。为了解决这个问题，我们提出了一种基于深度强化学习的框架，即片段策略网络（SPN），由四个模块组成：片段生成器、主干网络、控制代理和鉴别器。与现有方法相比，所提出的框架具有灵活的输入长度，解决了早期性和准确性目标的双重优化问题。实验结果表明，SPN在准确性方面表现出超过80%的优异性能。与现有最先进的方法相比，所提出的SPN在不同指标（包括精确度、召回率、F1分数和调和平均值）上至少改善了7%。据我们所知，这是首个以不定长心电图数据为基础解决心血管早期分类问题的研究。基于SPN的这些优秀特性，它为解决各种不定长时间序列早期分类问题提供了良好的示范。

引言

        近年来，心血管疾病（CVDs）的发病率急剧增加，由于高死亡率，已成为人类生命的重大威胁。提前对患者进行CVDs的持续监测已被证明是挽救生命的有效措施。心电图（ECG）[1]是一种常见的非侵入性测量方法，反映了心脏的生理状态，也是当前时代最重要的诊断工具之一。近年来，随着智能可穿戴设备的发展，患者可以普遍获取ECG设备进行个人健康监测。尽管ECG信号易于收集，但医疗专业人员和心脏病专家仍然面临分析如此多样化数据的挑战。因此，自动ECG分类建模已成为研究界的重要课题。

        时间序列是一种常见的数据格式，用于表示心电图信号，它是按时间戳顺序排列的信号强度值的集合。心电图分类或心血管疾病检测问题可以被定义为时间序列分类问题。这是一个将预定义类别之一分配给时间序列的问题，例如将心电图运动信号分类为正常或即将发生的心房颤动[2]，或将来自不同患者的信号分类为患有慢性阻塞性肺疾病与否[3] [4]。传统的时间序列分类方法适用于给定的固定长度时间序列，并假定在做出决策时可以访问整个输入时间序列。然而，在许多情况下，它无法满足实际需求。例如，在重症监护室（ICU）中，由于不同患者在不同时间和时长进行监测，这导致生成不定长时间序列数据。在时间敏感的应用中，尽早做出决策对于提高实用性至关重要。例如，早期诊断可以为患者提供及时有效的治疗，这对于许多心脏疾病来说是至关重要的，因为它们在短时间内可能致命。因此，对心电图信号进行早期时间序列分类是一个重要的研究问题。在这项研究中，我们专注于解决早期时间序列分类问题，旨在通过尽量少地查看数据来尽早对时间序列进行有信心的分类。

        早期时间序列分类（eTSC）具有两个明显的目标：早期且准确地对给定的时间序列进行分类。然而，时间序列需要尽早分类，就会提供较少的数据点用于这个任务，这通常会导致较低的准确性。相反，如果希望达到更高的分类准确性，则需要更多的测量数据，并且决策将在较晚的时间做出。显然，这两个目标在本质上是相互矛盾的。在早期时间序列分类中，高度具有挑战性的问题是确定何时能够正确地对传入的时间序列进行最早的分类。以患者护理为例；收集更多要分析的患者的生理信号自然会导致更准确的诊断，但可能会错过为挽救生命而准备紧急计划的宝贵时间。

        大多数现有的eTSC方法，比如[5]、[6]、[7]、[8]，假设所有被分类的时间序列都有一个定义好的起始时间。因此，这些方法假设特征模式在所有时间序列中大致以相同的偏移出现，并试图找到训练集中每个时间序列的固定部分。在这种设置下，早期性的阈值取决于分类的平均准确率，这意味着它并没有设计为找到最优解决方案。例如，监测传感器在不同患者的时间序列中以任意时间点开始观察，而特征模式会在时间序列的任意时间点出现。直观地说，现有方法被期望在观察设备同时启动并且特征模式同时出现时分析时间序列；而在心血管疾病监测应用中，心电图信号可能会在任意时间收集。在这种情况下，使用现有方法来解决心电图早期分类问题是次优的。        

        在本文中，为了解决上述问题，我们提出了一个片段策略网络（SPN），如图1所示，它采用深度强化神经网络模型，从不定长的心电图信号中学习多变量信息。所提出的框架包括四个模块：片段生成器、主干网络、控制代理和鉴别器。为了很好地对心电图信号进行建模，以体现其周期性，我们使用片段生成器将原始时间序列分割成片段序列。然后，为了捕捉片段内部的空间依赖性和片段之间的时间依赖性，我们构建了一个将卷积网络和循环网络结合起来的主干网络，用于学习隐藏表示。为了找到适当的预测时间点，一个代理控制主干网络的整个过程并通知鉴别器。最后，鉴别器接收控制代理的通知，并根据主干网络中的隐藏表示产生预测结果。

本文的贡献如下：

1. 我们解决了基于不定长心电图信号尽早进行心血管疾病分类的问题，这在研究界尚未得到充分探索。

2. 为了解决心电图早期分类问题，我们提出了一个新颖的深度强化学习框架，由片段生成器、主干网络、控制代理和鉴别器四个模块组成。

3. 控制代理解决了早期性和准确性目标之间存在冲突的双目标优化问题的解决方案。它使模型能够既准确地分类心血管疾病，又能够找到更早的时间点进行预测。

4. 所提出的模型在一个公开的心血管疾病分类数据集上进行了评估，并展示了在分类不同心血管疾病方面的性能。实验结果表明，所提出的框架胜过了现有的最先进方法。

        本文的其余部分组织如下：第2节简要概述了现有的相关工作。第3节介绍了所提出的SPN框架的架构，而实验评估结果则在第4节中描述。本文的结论总结在第5节中。

相关工作

        在过去的十年中，早期时间序列分类问题已经引起了数据挖掘和机器学习社区的研究人员的关注。根据现有的eTSC方法所使用的策略，它们可以大致分为两个不同的分支，即基于特征的方法和基于序列的方法。基于特征的方法提取有意义的模式，并利用这些模式构建早期分类器。另一方面，基于序列的方法直接使用原始时间序列来学习分类模型。

基于特征的方法

        在2011年，Xing等人开发了一种称为“早期独特形状分类（EDSC）”的方法，用于提取eTSC问题中的有意义的模式。他们提出了一种可解释的特征，称为局部形状模式，本质上是时间序列的子序列。时间序列的子序列直观地呈现了物理含义，可以有效地捕捉时间序列之间的局部相似性，因此具有很高的可解释性。Ghalwash等人将局部形状模式的定义推广到多变量背景，并相应地提出了一种用于多变量时间序列早期分类的方法。所提出的方法，称为多变量形状模式检测（MSD），从时间序列的所有维度中提取模式，即多变量形状模式。多变量形状模式由多个片段组成，每个片段从一个维度中提取。为了从多变量时间序列数据中提取可解释的模式，Ghalwash等人提出了一种基于优化的方法，用于构建多变量时间序列的预测模型，并挖掘与早期分类相关的时间解释性模式（IPED）。IPED方法通过解决一个凸凹优化问题，从二进制矩阵中提取每个类别的全维形状模式。分类中的不平衡类别数据集是数据挖掘领域中的经典问题，在早期时间序列分类问题中仍然是一个挑战。2019年，He等人提出了一种自适应集成框架，用于在不平衡的多变量时间序列数据上学习早期分类模型。所提出的集成框架基于多种欠采样方法、动态子空间生成方法、基于簇的形状模式选择方法和关联模式挖掘方法的组合，以解决类间和类内不平衡的隐含问题。这些方法通过提取特征构建了eTSC模型，从而增加了计算复杂性。此外，在面对长时间序列数据时，它们的性能表现不佳。我们提出的方法采用了片段概念和自适应神经架构来解决上述问题，可以有效高效地处理长时间序列早期分类问题。

基于序列的方法

        Xing等人于[7]年发表了首篇从基于序列方法介绍eTSC问题的工作。作者基于1最近邻（1-NN）方法和最小预测长度（MPL）概念开发了ECTS模型。在本文中，首先对具有相同1-NN的时间序列进行聚类。通过分析1-NN决策在不断增加的时间点上的稳定性，计算每个聚类的最佳前缀长度。然后，采用1-NN方法在聚类之间进行搜索，并为每个时间序列标记类别。在2013年，Parrish等人[12]基于二次判别分析（QDA）提出了一种名为RelClass的方法。可靠性分数被定义为截断时间序列和完整时间序列的预测类别相同的概率。对于给定时间序列的每个时间戳，RelClass检查可靠性是否高于用户定义的阈值。Mori等人[13]提出了一个名为SR2-CF2的早期分类框架，该框架基于一组概率分类器和停止规则的组合，通过最小化早期成本和准确性成本来设计。该方法在概念上很简单，不需要复杂的参数设置。这些先驱工作开启了早期时间序列分类的趋势，但还有一些研究问题需要进一步解决，例如多变量时间序列和不定长时间序列的早期分类问题。Mori等人[6]在特定时间戳训练分类器，即在完整时间序列长度的百分比处。它学习一个安全时间戳作为时间序列的一部分，表示模型的最佳预测时机。此外，通过两个最高类别概率之间的差异来学习可靠性阈值。只有在安全时间戳之后通过此阈值的预测才会被选择。Schafer和Leser [14]指出，在许多实际场景中，时间序列长度是非固定的。为了应对这一挑战，他们提出了一个名为Two-tier Early and Accurate Series classifiER（TEASER）的集成框架，用于解决eTSC。TEASER的预测决策被视为一个分类问题，其中主分类器不断分析概率输出，而从分类器则决定是否应该信任其结果。

        在2016年，王等人[5]提出了第一个基于深度学习的早期时间序列分类框架，该框架利用了不同尺度的信息，并在非常早期阶段捕捉了可解释的特征。为了处理多变量时间序列早期分类问题，黄等人[15]设计了一个基于卷积神经网络和长短时记忆的深度学习框架，学习了时间滞后的扩展序列中的特征表示和关系嵌入。此外，Martinez等人[16]采用了一种基于强化学习的新方法来解决早期时间序列分类任务。作者引入了一个早期分类器代理，即可以有效执行早期分类的端到端强化学习模型。为了提高基于深度学习的eTSC模型的可解释性，徐等人[17]采用了注意机制来识别与模型性能相关的关键段落，为更好地理解模型提供了基础。上述工作，包括我们发表的相关工作，使用固定长度的时间序列或子时间序列解决了早期分类问题。在实际场景下，心电图信号的长度是不定的，并且它们在不同的时间点收集。在这种情况下，现有方法无法满足早期时间序列分类的实际需求。2019年，Hartvigsen等人[18]提出了一个强化学习框架，名为EARLIEST，用于解决早期分类问题并提供早期终止点功能。Russwurm等人[19]提出了一个用于早期时间序列分类的通用端到端可训练框架（ETEeTSC）。该框架嵌入了一种可学习的决策机制，用于一些现有模型中，如卷积神经网络（CNN）和循环神经网络（RNN）。许多新兴方法，包括基于深度学习和强化学习的模型，已被提出来解决不同的eTSC问题，但是当应用于实际应用，如心血管疾病的早期分类问题时，仍然存在不足之处。由于一些关键问题仍然需要得到令人满意的解决，例如长时间序列和不定长时间序列，因此我们在本文中提出了一个基于深度学习架构的新型框架，以解决上述问题。

方法论

问题表述

        心电图早期分类是多变量早期时间序列分类问题的实际应用。多变量时间序列，比如多导联心电图信号，反映了特定个体的生理状态。在这个问题中，模型被要求尽早从不定长的心电图记录中预测正确的类别。给定一组带有标签的多变量时间序列（心电图信号），表示为 D = (X, y)，其中包含 N 个时间序列实例，X(i)，i = 1, . . . , N，以及相应的标签，y(i)，i = 1, . . . , N。对于每个样本 X(i)，每一个i中包含在时间戳 l 记录的 M 个变量，L 表示给定时间序列的长度。eTSC 的目标是学习一个模型 fθ，其中参数为 θ，它可以从时间序列 X 中生成一个标签 yˆ，使得 l < L。

模型架构

        所提出的模型名为"Snippet Policy Network"（SPN），由三个功能部分构成。首先，用于生成给定心电图信号的片段；其次，用于对心电图片段进行分类建模；第三，选择一个终止片段以进行任务相关的适当预测。具体而言，片段策略网络是一个深度神经网络，由四个子模块组成：（1）片段生成器，将多变量时间序列分割为子序列，即片段；（2）主干网络，基于片段生成器的输出连续地对多变量片段进行建模，生成隐藏表示；（3）控制代理，在每个片段上控制整个过程，决定是否中断主干网络并输出最终结果；（4）鉴别器，在控制代理决定激活它时，为给定片段输出最终预测结果。我们提出的架构概览如图2所示。

片段生成器 

        心电图信号是一种具有周期性特征的特殊多变量时间序列，因为它反映了心脏的生理活动。为了很好地分析这种类型的数据，我们提出了片段生成器，它根据周期性将原始时间序列分割成单独的子序列段。对于心电图数据，片段可以生成为基于心跳的子时间序列，这意味着每个片段代表一个单独的心跳。片段生成器的输入是一个时间序列样本X(i)，输出是片段集合B(i)。每个b(i) ∈ B(i)都继承自X(i)，并且共享相同的标签y(i)。在本文中，我们的重点不在心跳检测上，而是采用了[20]中提出的现有方法。参考[20]中的QRS检测方法，从每个心电图信号中提取心跳，然后按时间顺序排序。

主干网络

        主干网络旨在对每个片段的局部空间依赖性以及跨片段的全局时间依赖性进行建模，以生成有价值的隐藏表示。在主干网络中采用了多层卷积网络，以学习输入片段的每个变量之间的关联关系，并捕捉隐藏的空间状态。随着心电图问题的不同尺度出现，卷积网络的深度和设计将根据具体的目标而变化。值得注意的是，我们提出的模型被设计成与各种卷积神经网络兼容。此外，为了在不同的片段之间传播信息，还设计了一个循环网络（LSTM），以利用卷积网络生成的隐藏空间状态并生成时空隐藏状态。

卷积神经网络块

        CNN块旨在学习内部片段的空间依赖性，并输出片段的空间隐藏状态St。主要由卷积层和池化层组成，负责自动从心电图信号的片段中提取有效的隐藏状态。卷积层可以被视为模糊滤波器，捕捉输入心电图信号的每个片段的局部空间依赖性并减少噪声。池化层旨在减小特征映射的维度并总结卷积层生成的关键特征。具体的网络结构和参数在第4节中详细说明。简而言之，来自心电图信号X的输入片段bt被馈送到CNN块，然后转换为低维的隐藏状态St。CNN块的输出可以表示为：

长短时记忆块

        在CNN块之后，一个使用长短时记忆（LSTM）[21]单元扩展的递归网络传播片段信息，将在每个片段生成的空间隐藏状态映射到一个代表时间状态信息的隐藏向量表示。递归网络学习将每个片段的隐藏空间状态编码为隐藏时间表示，作为状态向量。隐藏状态向量Ht通过组合当前片段的空间隐藏状态St和先前的隐藏状态H(t−1)来计算，因此具有循环性质。LSTM块传递H(t−1)的信息并记录St的信息。因此，Ht是综合内部片段空间依赖性和片段间时间依赖性的空间-时间隐藏向量状态。然后，空间-时间隐藏状态Ht传递给下一个模块，称为控制代理，以操纵输出决策，以及鉴别器以输出预测结果。具体来说，隐藏状态向量Ht可以如下获得：

        其中，St是由卷积神经网络块产生的隐藏空间状态，Ht−1表示LSTM单元内在时间t - 1的输出和状态。 

控制智能体

        控制代理是控制工作流程的关键组件，决定是让主干网络继续工作还是激活鉴别器生成预测结果。为了实现这个目标，我们采用强化学习技术[22]，解决部分可观察的马尔科夫决策过程（POMDP）[23]。输入心电图信号的每个片段的空间-时间隐藏状态可以看作是一个独立的状态；通过使用经过良好学习的策略选择每个状态的动作，并根据所选动作的质量获得奖励。控制代理通过梯度基于策略的学习进行训练，其目标是根据鉴别器的性能优化长期奖励。给定强化学习框架的关键组件如下所述。

状态

        在强化学习中，状态是任务当前环境的表示，描述了当前的情况。在我们的情况下，代理的状态是当前感知的片段集合，即O1、O2、...、Ot，实质上是主干网络的输出。在这里，将编码空间和时间信息的空间-时间隐藏状态Ht作为观察值。这是决定根据学习策略选择动作的核心信息。

决策

        策略是控制代理根据当前状态确定下一步动作的策略。减少状态数量的一种好方法是使用基于神经网络的策略[24]，其中输入是状态，输出是动作。在这里，策略通过当前状态Ht选择一个动作，即at = πθ(Ht)。如前面的部分介绍，Ht是编码内部和相互依赖性的低维隐藏状态，用于表示心电图信号片段。在这项工作中，我们采用全连接神经网络来近似这个策略函数。这里的策略是一个将当前状态Ht映射到一组动作的参数化分布的函数。

动作

        动作是控制代理在每个状态下可以执行的操作。在以下情况下，动作控制主干网络和鉴别器之间的整个过程：如果at = 0，代理会前进到下一个观察值，继续将片段输入主干网络，然后获取相应片段的空间-时间隐藏状态。另一方面，如果at = 1，代理选择中断主干网络，然后通知鉴别器通过馈送隐藏向量状态Ht来预测标签。然后，近似概率πt适合伯努利分布，以根据P(p = 1) = πt对动作进行采样。一旦根据伯努利分布的输出，当代理选择中断主干网络或者观察系列结束（t = T）时，t被视为中断时间点τ。

奖励

        奖励是量化当前策略参数的度量方式。为了增强代理和鉴别器之间的协作，代理必须观察鉴别器的反馈，并衡量鉴别器的成功程度。因此，当鉴别器给出正确的标签时，当前策略的奖励为rt = 1；否则，奖励被称为惩罚，表示为rt = -1。在本文中，我们考虑了提出的SPN中的长期奖励。例如，如果控制代理在某个时间点停止（t = 5），并且输出了正确的答案，奖励将为5。在这种情况下，如果控制代理产生了错误的答案，奖励将为-5。总体而言，该代理的目标是最大化总奖励。

鉴别器

        鉴别器是我们提出的框架的最终模块，其目标是通过使用全连接网络将隐藏状态Ht映射到一个较低维度的空间，从而预测给定时间序列的标签yˆ。然后，得到的低维向量通过softmax函数归一化为标签概率。方程如下所示：

实验评估 

        在本节中，我们使用一个公开的真实世界的12导联心电图数据集进行一系列实验，以评估所提出的模型的性能。

实验设置

环境

        所提出的模型和最先进的方法在一台配备Xeon Gold CPU、128GB内存和Nvidia V100 GPU显卡的服务器上进行训练和测试。该服务器运行Ubuntu 18.04系统，模型是基于PyTorch [25] 0.4.1实现的。

数据来源

        本研究中使用的心电图数据来自于第一届中国生理信号挑战赛[26]。该数据集包含来自6秒到60秒的6877个12导联心电图记录。在这些记录中，总共有8种心律失常类型（即房颤、Ⅰ度房室传导阻滞、左束支传导阻滞、右束支传导阻滞、房性早搏、室性早搏、ST段抬高、ST段压低）以及正常窦性心律需要进行分类。这些记录来自11家医院，采样频率为500赫兹。我们在该数据集上进行了10折交叉验证，以比较不同方法的性能。

性能指标

        在这项研究中，我们使用了典型的分类指标，包括准确率、预测提前度、精确率、召回率和F1得分，来比较我们提出的模型与最先进的方法。此外，我们还使用了谐波平均来综合评估竞争方法在平衡准确率和预测提前度方面的性能。

        准确率：准确率是一种性能评估指标，表示正确预测数量与总预测数量的比例，形式上定义为：

        其中，m是测试集中总样本实例的数量；yi和yˆi分别是第i个样本的真实类别和预测类别。模型的准确率被计算为测试样本中正确预测的百分比。此外， 

 

        其中，s是由给定的早期时间序列分类（eTSC）模型进行预测的时间点，L是时间序列的长度。

        正如在引言部分中指出的，因此早期时间序列分类（eTSC）具有两个天然的相互矛盾的优化目标。因此，eTSC可以在不同的方向上进行评估，通过保持提前度恒定来比较准确性，或者通过保持准确性恒定来比较提前度。为了同时评估这两个目标，一个在先前研究中出现过的常见选择是提前度和准确性的谐波均值。谐波均值（HM）是用于衡量双目标优化问题的指标。在我们的情况下，我们综合地衡量提前度和准确性，如下所定义：

        此外，平均精确率、召回率和F1得分被用来衡量多类别分类的性能。具体细节如下所示：

        在多类别分类问题中，对于特定类别，TP（真正例）表示正确分类的样本数，FN（假负例）是被错误分类为其他类别的样本数，而FP（假正例）是被其他类别错误分类为该类别的样本数。

对比方法

        我们将我们的模型与以下一些先进的方法进行比较。为了进行这些方法的实验，我们要么使用作者的公共代码库，要么根据他们的原始论文来实现，以最大限度地发挥我们的知识。

        SR2-CF2 [13]：这是一个基于特征的早期时间序列分类模型，其中特征是根据给定的距离函数生成的。基于遗传算法，它输出一个有信心的分类时间点。

        EARLIEST [18]：这是一种基于强化学习的方法。它通过一个经过训练的策略网络输出分类结果。

        TEASER [14]：基于一系列针对每个时间点的子分类器，TEASER被提出来处理不同长度的时间序列早期分类问题。

        MDDNN [15]：这是一个基于深度学习的模型，将CNN和LSTM相结合来解决早期时间序列分类问题。

        ETEeTSC [19]：这是另一个基于深度学习的早期时间序列分类模型。基于一种新的损失函数，该模型可以同时优化准确性和及时性。

        请注意，我们并没有将我们的方法与经典的作品，如ECTS [7]和EDSC [8]进行比较。原因是这些方法似乎已经过时，并且它们在性能上被上述模型，即SR2-CF2、TEASER和ETEeTSC所超越。

参数设置

        在所提出的框架的骨干卷积神经网络中，使用了13个卷积层，分为五个块，用于学习片段的空间依赖关系。对于每个卷积层，采用了批量归一化层（Batchnorm）[27]和修正线性单元（ReLU）函数[28]。所有卷积层的核大小为3，边界填充为1，步幅为1。此外，具有核大小3和步幅大小3的池化层用于控制每个块的输出大小。因此，在每个块的卷积中保持输入长度，仅通过池化层进行调整。在长短时记忆块中，使用了一个具有256个单元的单个LSTM层，用于学习片段的时间依赖关系。在训练阶段，我们使用Adam优化器[29]在每个小批次中进行训练并更新参数。学习率设置为10^-3，在每20个epoch时除以五，最终在100个epoch时终止。所有训练数据被分成小批次进行网络训练，小批次大小设置为32。

实验结果

性能比较

        表格I显示了针对12导联心电图数据集的心血管疾病分类性能，包括了我们提出的方法和竞争模型的比较结果。从表格I中可以看出，我们提出的模型在心血管疾病分类任务中取得了最佳表现，因为它能够同时学习内部空间依赖性和跨时间依赖性。在考虑基于特征的模型SR2-CF2和TEASER时，结果显示这些方法无法令人满意地解决心电图早期分类问题。原因是这些方法在短时序数据集上设计和评估，无法在处理长时序数据时获得良好的结果。另一方面，基于深度学习的方法，如MDDNN和ETEeTSC，在分类任务的准确性方面表现可接受，但这些方法的早期度量指标并不理想。EARLIEST是第一个基于强化学习的早期时间序列分类模型。它展现了较好的早期度量性能，但由于其过于简化的架构，导致其分类性能较差，很大程度上是因为其过早的决策。总体而言，我们提出的方法呈现出最佳结果。值得注意的是，与现有技术相比，我们提出的方法在精度、召回率、准确性和F1分数方面获得了约7%的分类性能提升。

        正如在相关工作部分讨论的那样，由于SR2-CF2是一种基于特征的模型，其分类器的特征是基于给定的距离函数提取的。一般而言，它无法在长时序和变长时序的分类问题上表现良好。EARLIEST和TEASER的实验中也出现了同样的问题。这些模型在早期时间分类问题中解决了准确性和早期性之间的权衡，但这些方法的设计并没有考虑到长时序数据。对于处理长时序数据，这些模型的准确性和早期性之间的权重参数设置不当，因为时间的惩罚要比准确性的惩罚大得多。对于MDDNN和ETEeTSC，它们的性能优于其他方法，因为它们利用了深度神经网络架构，而ETEeTSC具有自动输出预测时间点的独特能力。相比之下，SPN很好地解决了具有长时序和变长时序特性的心电图早期分类问题，其结果引人注目，满足了所有现实世界应用的标准。

结论

        本文针对基于变长多导联心电图的心血管疾病早期分类问题进行了研究。这是一个重要的实际应用问题，在研究界尚未得到充分研究。为了解决这个问题，提出了一种新颖的深度强化学习框架，即Snippet Policy Network，由四个模块组成，包括片段生成器、骨干网络、控制代理和判别器。骨干网络被提出来学习内部片段的空间相关性和片段之间的时间相关性，通过结合卷积和循环网络架构。控制代理采用增强学习架构，解决了双目标优化中的早期性和准确性冲突的问题。这种代理使模型能够准确分类心血管疾病并寻找更早的预测时间点。判别器提出通过映射骨干网络生成的特征来进行分类结果预测。通过一系列实验，结果表明我们提出的模型在精确率、召回率、准确度、F1分数和谐波均值方面至少比现有方法提高了7%。此外，我们的模型在多种疾病分类中实现了超过80%的高准确率结果，填补了研究界与医疗实践之间的差距。总之，Snippet Policy Network为基于变长多导联心电图的心血管疾病早期分类问题提供了有效的解决方案。
        在未来的工作中，我们的目标是改进代理机制并探索Snippet Policy Network的数据可解释性。我们相信数据可解释性可以帮助医疗专业人员更好地理解心血管疾病分类的原理。