从零构建ST-GCN:用Python实现人体动作识别的图卷积网络
在计算机视觉领域,人体动作识别一直是个充满挑战的课题。传统方法往往将人体视为一系列独立的关键点,而忽略了骨骼节点之间天然的空间关系。这正是时空图卷积网络(ST-GCN)的突破点——它将人体骨架建模为图结构,通过图卷积捕捉关节间的动态交互。本文将带你用PyTorch从零实现一个精简版ST-GCN,重点解析邻接矩阵的构建与正则化、特征传播机制等核心环节。不同于单纯的理论讲解,我们将通过可运行的代码模块,让你真正理解图卷积如何"看见"人体动作。
1. 图卷积基础与ST-GCN架构设计
1.1 图卷积的本质特征
传统卷积在规则网格上滑动滤波器,而图卷积需要处理非欧几里得空间的不规则连接。其核心思想是:节点的特征应该由其自身和邻居的特征共同决定。数学上,这可以表示为:
python复制# 简化的图卷积公式
H^{(l+1)} = σ(A H^{(l)} W^{(l)})
其中A是邻接矩阵,H是节点特征,W是可训练权重,σ是非线性激活函数。
ST-GCN的创新在于:
- 空间维度:将人体骨架建模为图,关节是节点,骨骼是边
- 时间维度:通过时序卷积捕捉动作的动态演变
- 分区策略:根据节点空间关系设计多子集邻接矩阵
1.2 人体骨架的图表示
以NTU-RGB+D数据集为例,人体被表示为25个关节点组成的拓扑图:
python复制joint_topology = [
(1,2), (2,21), (3,21), (4,3), (5,21),
(6,5), (7,6), (8,7), (9,21), (10,9),
(11,10), (12,11), (13,1), (14,13), (15,14),
(16,15), (17,1), (18,17), (19,18), (20,19),
(22,23), (23,8), (24,25), (25,12)
]
提示:脊柱节点(21)作为中心枢纽,连接头部、四肢等主要部位。这种生物学启发的结构设计能有效捕捉人体运动模式。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 邻接矩阵的构建与正则化
2.1 距离分区策略实现
ST-GCN采用距离
