>科技>>正文

开源|2017 CVPR(Oral Paper):多目标实时体态估测 项目开源

原标题:开源|2017 CVPR(Oral Paper):多目标实时体态估测 项目开源

全球人工智能

来源:arxiv 编辑: 王健

本目录下的代码赢得了2016年MSCOCO关键点挑战赛以及2016年ECCV最佳演示奖,并发表在2017年CVPR的口头论文(Oral Paper)中。

演示视频:

在论文中,我们提出了一种自下而上的方法进行多人姿态估计,这种方法不需要任何行人检测的算法。

论文地址:https://arxiv.org/abs/1611.08050

实验结果

测试C ++(实时版本,用于演示)

  • 按照说明,使用我们改动后的Caffe。

改动后caffe地址:https://github.com/CMU-Perceptual-Computing-Lab/caffe_rtpose

  • 三种输入选项:图像,视频,网络摄像机

Matlab(较慢,用于COCO评估)

·兼容一般的Caffe,但需要编译matcaffe。

·运行

cd testing

get_model.sh

从我们的Web服务器检索最新的MSCOCO模型。

  • 更改config.m中的caffe 地址并运行demo.m例程。

Pythoncd testing / python

ipython notebook

  • 打开demo.ipynb 并执行代码

训练网络结构

训练步骤

  • 运行

cd training

bash getData.sh

得到 dataset/COCO/images/ 文件夹下的数据集COCO,关键点信息在 dataset/COCO / annotations / 文件夹中,COCO官方工具箱在文件夹 dataset/ COCO / coco / 下。

·在 matlab 中运行 getANNO.m,在dataset/COCO/mat/将标注格式从 json 转换为 mat。

·在 matlab 中运行 genCOCOMask.m,得到无标签人的掩码图像。并且,在 matlab 中可以使用'parfor'(并行计算)来加速代码。

·运行genJSON('COCO'),在 dataset/COCO/json/中生成一个 json 文件。 json 文件包含训练所需的原始信息。

·运行python genLMDB.py 生成 COCO 数据库的 LMDB 文件,也可以运行如下代码:

bashget_lmdb.sh

得到已经生成好的LMDB文件

·下载改动后的caffe,编译 pycaffe。他将与 caffe_rtpose(用于测试)合并。

·运行

pythonsetLayers.py —exp 1

生成用于训练的prototxt和脚本文件。

  • 下载VGG-19模型。利用此模型初始化前10层网络参数。

模型地址: https://gist.github.com/ksimonyan/3785162f95cd2d5fee77

  • 运行

bash train_pose.sh 0,1

由setLayers.py生成,开始使用两个GPU进行训练。

相关论文:https://github.com/shihenw/convolutional-pose-machines-release

点击阅读原文跳转Github资源

热门文章推荐

重磅|IBM和万达签订战略合作协议 助推Watson在华落地

招聘|京东JData算法大赛:用50W奖金打造史上最任性的招聘

重磅|Google发布新开源图像算法工具Guetzli:压缩35%的图片大小仍保证高质量

重磅|3.15曝光的“人脸识别”技术真的那么脆弱吗?!重磅|谷歌DeepMind将“记忆”植入机器学习,从而提高机器持续的自适应学习!

资源|28本必读的经典机器学习/数据挖掘书籍(免费下载)

活动|12位AI大佬齐聚ACM TURC 2017-中国(已开始报名)

恐怖|50 亿条用户隐私信息泄露,嫌犯竟是互联网名企工程

干货|周志华揭开机器学习本质的57张PPT

重磅|百度PaddlePaddle发布最新API 从三大方面优化了性能

责任编辑:

声明:本文由入驻搜狐号的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。
阅读 ()
投诉
免费获取