图像智能摄制

发布时间:2016-11-27 打印[ ]

图像智能摄制(AI-Shooting/Generating)是以人为中心的计算摄影关键技术,主要研究:知识与数据双轮驱动的摄制,人体动作捕捉,人体动作质量评估和增强,以及基于动作评估的AI生成内容等。

image.png

实验室的图像智能摄制(AI-Shooting/Generating)研究内容包括:

1、AI-Shooting:知识与数据双轮驱动的摄影(Shooting);

2、AI-Generating:AIGC(AI Generated Content)动作、图像、语音等。

(1)AIGC动作捕捉:

传统的视频动作捕捉采用逐帧人体姿态检测,本质上属于“照虎画猫”技术路线;但由于深度信息缺失、相机参数未知、预测误差不可控等因素,除非满足类似多摄像机光学动捕的苛刻条件,单目视频的捕捉动作很难达到商用级别。实验室尝试研究高精度基于AIGC的internet video动作捕捉、单目实时视频动作捕捉、human scene contact (interaction)等。基于AIGC的动作捕捉是实验室正在研发的“高光动作摄制系统”、“人像摄影与数字内容生产平台”等中可广泛应用的共性技术,动作质量对标商业级应用。

ezgif-1-cef9080232.gifezgif-1-5e91def877.gif

(2)动作质量评估和增强;

(3)AIGC语音:AI创建新音色、声音的情感控制等。