人体关键点识别常用网络结构有HRNet和SimpleBaseline;前者保持高分辨率特征流并多分支融合,后者基于ResNet加反卷积,均兼顾精度与部署性。

人体关键点识别常用网络结构有哪些
人体关键点识别(Pose Estimation)主流方案分两类:自顶向下(Top-down)和自底向上(Bottom-up)。前者先检测人,再对每个人做关键点回归;后者先检测所有关键点和关联关系,再聚类成个体。实际训练中,HRNet(High-Resolution Network)和SimpleBaseline(基于ResNet的反卷积结构)最常用,兼顾精度与部署友好性。
HRNet为什么适合关键点任务
传统CNN在下采样过程中不断降低分辨率,丢失空间细节,而关键点定位极度依赖像素级位置精度。HRNet从始至终保持高分辨率特征流,并通过并行多分支+反复交换信息的方式,让高分辨率特征持续获得语义丰富的上下文支持。
- 主干由多个stage组成,每个stage包含若干重复的“高→低→高”分辨率子网
- 分支间用conv+bn+relu做跨分辨率融合,不是简单上采样相加,而是学习性融合
- 最终输出是单一高分辨率热图(如64×48),每个通道对应一个关键点的置信度分布
训练时输入输出怎么设计
输入一般是固定尺寸图像(如256×192或384×288),经归一化后送入网络。输出不是坐标值,而是热图(Heatmap)——每个关键点对应一张二维高斯分布图,中心为真实关节点位置,标准差按关键点尺度自适应设置。
- 热图尺寸通常是输入的1/4(如输入384×288 → 输出96×72),平衡计算量与定位精度
- 损失函数常用MSE Loss,对预测热图与GT热图逐像素计算均方误差
- 推理时取每张热图的最大响应点,再用亚像素偏移(如quarter offset)微调坐标
实际训练要注意的关键细节
数据增强和标签生成比网络结构本身影响更大。关键点任务对几何变换敏感,需针对性处理:
立即学习“Python免费学习笔记(深入)”;
- 随机缩放、旋转(±45°以内)、裁剪要同步作用于图像和关节点坐标,坐标需按仿射变换矩阵重算
- 翻转增强必须同时左右交换关键点顺序(如left_shoulder ↔ right_shoulder),并水平翻转热图通道
- 关键点遮挡模拟(Random Occlusion)能提升鲁棒性,但遮挡区域对应热图应设为0,避免监督信号污染
- 使用COCO或MPII数据集时,注意不同数据集关键点定义不一致(COCO有17点,MPII有16点),加载时需映射对齐
基本上就这些。结构选HRNet或SimpleBaseline起步足够,重点把数据流、热图生成、增强逻辑理清楚,模型就能稳定收敛。










