>科技>>正文

Facebook的AI能让你把视频中的人变成3D交互对象

原标题:Facebook的AI能让你把视频中的人变成3D交互对象

4月19日消息,Facebook最新在Arxiv发布了一片名为“Vid2Game: Controllable Characters Extracted from Real-World Videos”-将实拍视频中但各角色变为可交互对象的论文。该论文由Facebook AI研究院提交,描述了一个将视频中虚拟角色变为可交互对象的方法。

Vid2Game: Controllable Characters Extracted from Real-World Videos

论文的作者表示:该方案可从一个不受控制的视频中提取一个角色,然后我们还能够控制他的动作。该模型特点是生成了这个角色的新图像序列,可应用在任意视频背景中,同时有效的捕捉到人的动态和外观。

据悉,该方案依托于两个神经网络,或者以生物神经元为模型的数学函数层Pose2Pose和Pose2Frame。

  • Pose2Pose:将当前姿态和控制信号映射到下一个框架。
  • Pose2Frame:将当前姿态和下一个输出姿态合成。

然后我们就可以以简单的动作(例如键盘左右)来控制该合成的对象。

据悉,为了训练该AI系统,研究人员通过三个5-8分钟的视频进行分析,一段户外网球运动员视频、一段室内舞剑的视频、一个人走路的视频。

据了解,这套系统因为可生成逼真的动态虚拟对象,可在游戏领域、VR、AR中有广泛的应用前景。

Photo Wake-Up

实际上,在Facebook之前也有类似的AI模型,例如此前和华盛顿大学合作研发的Photo Wake-Up项目。此外,其它公司也有类似场景,例如Promethean AI就通过AI帮助艺术家为游戏进行艺术创作,NVIDIA展示过生成虚拟环境的模型。

参考:VentureBeat、Arxiv返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
阅读 ()
投诉
免费获取
今日搜狐热点
今日推荐