人体动动识别论文(骨骼信息，CNN)

1、论文题目：Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation(HCN)

时间：2018年

主要创新：这项任务最关键的因素在于两个方面：关节共现的帧内表示和骨架时间演化的帧间表示。本文提出了一种端到端卷积共现特征学习框架。共现特征采用分层方法学习，其中不同层次的上下文信息逐渐聚合。首先对每个关节的点级信息进行独立编码。然后将它们组合成时空域的语义表示。具体而言，我们引入了一种全局空间聚合方案，该方案能够学习优于局部聚合的联合共现特征。此外，原始骨架坐标及其时间差与双流范式相结合。

具体工作：

我们建议使用CNN模型从骨架数据中学习全局共现，该模型优于局部共现

•我们设计了一种新型的端到端分层特征学习网络，其中特征从点级特征逐渐聚合到全局共现特征

•我们全面利用多人特征融合策略，使我们的网络能够很好地扩展到可变人数

•提议的框架在动作识别和检测任务的基准上优于所有现有的最先进方法

 

他这里是把原生的骨架序列和骨架运动序列分别送入两个相同网络中去，然后在Conv4以后进行融合，在经过两个卷积层和展平并分类。

 

代码：GitHub - huguyuehuhu/HCN-pytorch: A pytorch reproduction of { Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation }.

识别率：cs:86.5

               cv:91.1

2.论文题目：SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition

时间:2019

论文主要创新：将骨骼信息在多个时间尺度上建模显式的运动信息(即幅度和方向)，主要是数据集预处理方面的创新，训练了一个只有三个卷积层和两个完全连接层的小型CNN架构，训练速度极快。缺点：识别率较低。

数据集：NTU RGB+D 120
代码https://github.com/carloscaetano/skeleton-images

识别率：cs:76.5

               cv:84.7

3.论文题目：View Adaptive Neural Networks for High Performance Skeleton-based Human Action Recognition

时间：2019

论文主要创新：

 创新点：

我们提出了一种自我调节的视图自适应方案，该方案自适应地重新定位观察视点，以便于更好地从骨架数据中识别动作。这释放了人们在设计复杂的预处理标准以处理各种情况上所花费的精力

我们设计了两种视图自适应神经网络，即V ARNN和V A-CNN。对于V A-RNN，我们将基于RNN的视图自适应模块集成到LSTM分类网络中，用于端到端学习。对于VA-CNN，我们将基于CNN的视图自适应模块集成到CNN分类网络中，用于端到端学习。在每个流中，视图自适应模块在识别期间自动确定“最佳”观察视点。

我们进行了广泛的消融研究。大量实验证明了视图自适应子网的有效性。分析了各参数的影响。此外，我们证明了增益是由我们的视图自适应模块带来的，而不是简单的增加层。

为了增强视图适应子网的“能力”，通过在训练期间随机旋转骨架来通过数据增强来丰富视图。实验结果表明，数据增强提高了视图自适应模型的鲁棒性。

代码

识别率：cs：89.4

              cv:95.0

4、论文题目：Topology-aware Convolutional Neural Network for Efficient Skeleton-based
Action Recognition

时间：2021

 主要工作：

我们的贡献可以总结如下：

•我们提出了一种新的基于纯CNN的骨架动作识别框架。配备CAG和VAG模块后，拓扑功能得到了有效增强，无需大量网络

•我们是第一个从理论上分析和揭示图卷积和正态卷积之间密切关系的人，这可能会指导基于CNN的模型的设计

•发明了一种新的SkeletonMix策略，用于增强骨架数据，从而实现稳健的学习和更好的性能

•提出的方法优于所有基于CNN的方法，并在显著减少参数和GFLOP的情况下，与基于GCNB的方法取得了相当的性能。

 CAG和V AG的详细架构。粉红色、绿色和金色的块分别表示特征映射、通道注意和分组操作。分组运算实现为CAG（a）的双坐标方向卷积和V AG（b）的双部分方向卷积。

代码链接：Topology-aware Convolutional Neural Network for Efficient Skeleton-based Action Recognition | Papers With Code