关节点时空信息融合降维的人体动作识别方法

基于二维卷积神经网络(2DCNN)和三维卷积神经网络(3DCNN)的人体动作识别方法都存在运算量较大的问题,提出了关节点时空信息融合降维的人体动作识别方法(Joint-trajectory).首先,采用高分辨率网络(Higher-HRnet)提取视频每帧图像中人体各个关节点的空间坐标信息,构建单帧图像中人体关节点空间信息行向量;其次,在时间维度上对整段视频的所有关节点空间信息行向量进行纵向拼接,获得该视频的关节点时空信息融合矩阵;最后,使用残差网络对关节点时空信息融合矩阵进行学习和分类.在KTH数据集上的实验结果表明,该方法在有效的降低人体动作识别复杂度的同时,能够获得更高的识别率,且具有较强的鲁棒性.