微信公众号

首页 > 影视>视觉·特效> 精确到血液流量的3D制作,如何还原《I have a dream》的名场面

精确到血液流量的3D制作,如何还原《I have a dream》的名场面

来源: CG世界 | CG世界 2020-04-03 15:43:28
  • 评论:
  • |
  • |
  • 我要分享
    扫描二维码分享内容给微信好友和朋友圈
1963年8月28日,美国黑人民权运动的领袖马丁·路德·金在华盛顿林肯纪念堂发表了《I have a dream》(《我有一个梦想》)的演讲,这篇关于黑人民族平等的著名演讲,后来对美国甚至整个世界产生了极大的影响。如今,通过技术手段,人们得以重现这一历史时刻。
 

 

今年2月,《时代周刊》(后文简称TIME)在芝加哥的美国第一家独立非裔美国人历史博物馆DuSable进行了名为“The March”的VR体验展。这是TIME和Digital Domain联手展开的一个极富意义的项目。作为体验展的一部分,该项目组对马丁·路德·金进行了3D重建,参观者们可以通过VR技术置身于3D重建的华盛顿广场,聆听人群的真实声音,实现与马丁·路德·金“本人”仅5英尺(约1.5米)的近距离接触,现场感受《我有一个梦想》的激情演讲,在“时光倒流中”见证美国历史上最重要的时刻之一。

 

 

为了以VR方式重现1963年的“华盛顿工作与自由游行”,TIME团队用时三年完成数字版本马丁·路德·金的创建以及其标志性演讲。在项目启动1年之后Digital Domain加入其中,耗时10个月完成了属于他们的制作任务。

 

面部重建

 

数字版马丁·路德·金利用Digital Domain的Masquerade系统创建而成的,结合了高端表演捕捉、机器学习和专用软件生成3D基础模型,面部捕捉和身体的动作捕捉同时进行。艺术家们使用Maya和Houdini创建身体和面部,然后将模型添加到利用UE4精确创建的华盛顿广场中。

 

 

面部表演捕捉

 

Digital Domain请来了一位身高&体型与1963年马丁·路德·金极为相似的表演者,对他的身体动作进行重建;

 

 

还请来了一位10年来一直公开重新演说《我有一个梦想》的演说家,以匹配表演者的身形特征,为演讲提供现实手势参考并进行动作捕捉。

 

 

首先利用Masquerade系统(用于跟踪对象身体和面部微小细节的运动捕捉系统)录制演说家的表演,并用结合了机器学习的Facial scans对另一位表演者进行扫描,在基础模型中创建毛孔级别的细节程度。通过这些扫描,将眼睛的位置、颅骨形状、颧骨、鼻梁、肤色和血流与当前创建的数字版本进行匹配和对比,再由Digital Domain团队人员在已经完成50%的模型上添加马丁·路德·金独特的视觉特征。

 


 

 

为了能够准确还原某一特定日期内马丁·路德·金的样貌,制作团队从演讲和63年游行的资料中搜集了大量图片和视频,除了不同角度之外,还尽可能地找到了一些彩色照片,毕竟VR体验是全色彩的,与黑白两色的古老资料比起来还是有大不相同。

 

表演

 


 

 

项目初期,替身演员在南加利福尼亚大学多媒体实验楼的Light Stage中进行扫描,这个过程提供了有关一系列光照条件下类似皮肤外观和详细面部毛孔、以及偏振光数据等更为详尽的信息,制作团队根据这些信息创建了血流图。尽管没有具有连续性的4D或基于时间的样本,但表达式快照会根据每个关键表达式对血红蛋白进行重新分配,这样Digital Domain团队就可以将获取马丁·路德·金的面部血液流量了。

 

 

Digital Domain还使用Dimensional Imaging (DI4D)来捕捉到的演说家演讲时的动作数据,这些数据是基于时间的,通过这些数据跟踪演说家在讲出某些单词时的面部和眼睛移动情况,为了让动作更明显,演说家专门背诵了一些标准句子,以此张开嘴巴并激活所有的面部肌肉。

 

DI4D部分结束之后,要对演说家进行表演捕捉,也就是咱们非常熟悉的在脸上画标记点,佩戴头显摄像机(HMC)的那个过程。DD特定的面部标记点大约有190个,HMC以60fps运行。

 

 

在动捕过程中,演说家身穿动捕服,完整背诵《我有一个梦想》的演讲,还要参考视频资料中马丁·路德·金的肢体动作和嗓音。DD将捕捉到的面部表情同步并映射到数字版本,由动画团队进行调整。深度学习软件为动画团队提供了一个强大的起点,他们只需要把时间和精力放在调整细微差别上就可以了。之后FX团队会根据现有数据在布料和面部添加其他次级动画,从而为最终版本提供一些程序上的动作。

 

 

正是凭借DI4D基于时间的数据和实际表演捕捉到的数据,才能驱动根据Light Stage数据创建的Dr.King面部。把演说家在动捕和DI4D阶段的数据导入到DD机器学习团队编写的软件中,就可以将2D视频数据和高精度3D模型数据快速关联到一起。

 

环境

 

Digital Domain的整合&环境团队在华盛顿国家广场呆了一周时间,收集了宪法大道、反思池以及通往林肯纪念堂所有道路的现场测量数据,通过激光雷达和高分辨率纹理扫描,重建了非常详细的关键地理位置。1963年的老照片和地图等资料为艺术家们创建其他环境模型提供了非常大的帮助。

 


 
 

VR体验的技术规格

 

这项VR体验利用的是VIVE Focus Plus头盔,Focus Plus每只眼睛是1440 x 1600像素,合起来就是2880 x 1600像素,像素密度为615 PPI,具有110°视野。10分半钟的VF体验在Unreal Engine 4的自定义版本上播放,与7个高保真环境场景结合在一起,以6个自由度75HZ的速度运行。

 

制作团队早期曾希望用到多GPU渲染,但当他们发现多GPU渲染无法在VR中实现时,就借鉴了DD Digital Human团队在Siggraph大会中创建 VR Digital Doug的经验。

 

Digital Doug

 

DD团队结合了Digital Human的研发知识,以此为基础达到了创建VR版马丁·路德·金所需的性能要求。数字版马丁·路德·金实际几何数据与 Digital Human用于预渲染的几何数据非常相似,而且马丁·路德·金的头发很短,省下了一部分在创建数字人类角色时实时渲染的时间。DD团队还利用面部工作流程对面部表情、衣服抖动等方面进行了预模拟。

 

 

由于这个项目只在博物馆的Focus Plus硬件上运行,而不是在种类复杂的其他硬件上运行,制作团队还对项目特定实时目标硬件进行了优化。

 

在一般情况下的VR体验需要把参观者与PC或VR backpack连接起来,但是制作团队认为,这样不仅会阻碍参观者的活动,而且可能会令恐惧VR的朋友望而却步。为了解决这个问题,Digital Domain创建了自定义工具,使VR体验可以在单个GPU上无线运行,这样一来参与者就可以在最高分辨率下观看。此外他们还开发了基于不同体验位置的实时工具,保证每个观众都可以使用单个设备看到最真实的马丁·路德·金。尽管图像质量才是王道,但体验过程还得保证不能出现明显的延迟、卡顿或是让参观者有眩晕感觉的情况。

 

 

点击视频了解更多

 

除了通过上述一系列技术360度立体展现的马丁·路德·金之外,《时代周刊》杂志封面上用V-Ray渲染完成的马丁·路德·金看上去也非常真实。其创建数据和建模流程不变,需要说明的是,V-Ray的UDIM纹理数为50,Unreal Engine4.23实时版本则下降到4,是实时优化的一部分。

 

 

最后,相信大家虽然不能亲临现场感受历史,也还是感受到了技术的先进和强大吧。

 

技术信息来源:

https://www.fxguide.com/fxfeatured/accurately-recreating-dr-martin-luther-king-jr/

 

 
文创资讯版权及免责声明:
1、凡本网注明“来源:文创资讯”的所有作品,版权均属于文创资讯,未经本网授权,任何单位及个人不得转载、摘编或以其他方式使用上述作品。
  已经本网授权使用作品的,应在授权范围内使用,并注明“来源:文创资讯”。违反上述声明者,本网将追究其相关法律责任。
2、凡本网注明 “来源:XXX(非文创资讯)” 的作品,均转载自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其他问题需要同本网联系的,请在30日内进行。

※ 网站总机:400-928-7979,邮箱:wenchuangzixun@sina.com

last update:2020-04-03 15:58