揭秘:光影盛宴背后的视觉计算技术
文/记者 李晶 编辑/吉菁菁
科技感十足的“北京8分钟”震撼人心,演出者与智能机器人之间、光影与滑动位置之间配合都如此默契,“北京8分钟”是如何做到的?北京科技报记者带您走进北京理工大学虚拟仿真团队,为您揭秘“幕后天机”。
数字指挥表演,计算视觉效果
张艺谋导演希望在这次的“北京8分钟”的表演中强调高科技的融入,人工智能的参与。当24名轮滑少年,与24个携带“冰屏”的智能机器人,一同在舞台上留下绚丽滑行轨迹时,背后离不开的是“视觉计算技术”的成功运用。
由于导演组的创意设计参演要素多、创意过程复杂、排练关联度高,整体排练程度十分复杂。2017年6月,北京冬奥组委委托北京理工大学软件学院院长丁刚毅组建了虚拟仿真团队,为“北京8分钟”表演提供创意编排和仿真技术保障。
按照导演组的创意设计,“北京8分钟”将展现麻花、中国结、龙、凤、橄榄枝、冬和2022等美轮美奂的地面投影,且需要轮滑表演者恰到其时的动作配合,每一条光影都要由他们的轮滑动作牵引而出。
以线条延伸体现众多元素,线条该如何描绘?演员移动如何跟上线条?每个演员的滑行路线、速度和时间点如何准确定位?整体演出中,灯光、音响、演出内容如何配合?十余个工种如何准确对接?等等,这些问题都需要解决。
丁刚毅团队以表演创意数据化、模型化、系统化为核心设计理念,创新研发文艺表演预演系统和训练彩排与数字验证系统,在整个排练过程中充当了导演和编导组的“眼睛”和“指挥棒”。
▲2022年北京冬奥会举办期间正值中国春节,在春节期间编织中国结,是中国的传统习俗, 象征着团结、友爱和吉祥。图为文艺表演预演仿真 系统计算出的“中国结”滑行轨迹。
超越虚拟影像,仿真定制排练手册
丁刚毅告诉记者,最初拿到的导演团队的构思,是一段maya软件制作的动画文件。这组动画勾勒出导演及主创团队力图呈现的整体效果,以及设想中每位表演者的运动轨迹。但动画文件与实际能够呈现的艺术效果还有很大的距离。
“动画设计和仿真表演的最大区别在于,前者无需考虑可操作性,怎么流畅漂亮就怎么呈现。仿真表演系统内运行的都是真实的、可实施的数据,它的作用是不断寻找演员能力与导演构思的平衡点”,北京理工大学软件学院教师李鹏介绍说。
Maya动画中没有任何场地参考标志、人员定位、音乐节点等细节内容,仿真表演团队要把轮滑队员分组,利用数据把滑行速度及方向,滑行位置与音乐节点等计算出来。如人的极限速度,转弯必要的减速过程等,仿真系统要在人可能达到的运动界限,和导演及主创团队想要的表演效果中做出平衡。经过评估队员有能力做到这些动作时,再将系统内的数据形成排练方案、排练手册。
▲北京理工大学丁刚毅团队现场采集运动数据
“我们在编导的组织下与表演团队的带队老师配合,先让表演者带着传感器测试出体能、柔韧、转弯、滑行和全能各项数值的极限值,并将其导入系统中。根据导演的要求,为每个表演者规划排练路线、方位和时间节点。”李鹏告诉记者,“每个人有一个自己的路径规划图,通过标注位置、速度、音乐时点等先做单人训练,然后单组训练,最后实现整体合练,提高了排练的效率;同时,在编排出现修改时,也能及时计算出相应的调整方案,整个八分钟文艺表演是在导演创意思想指导下由很多工种团队共同配合所完成的,我们在其中主要是配合编导排练,在编导与演员之间用数字仿真技术建立起沟通交流的桥梁。”
李鹏还透露,这个仿真系统还具备比对评估功能。通过对比可以找到差距,训练完以后,给予表演者反馈,哪些习惯性错误可以进一步避免,提高排练的精准度。
▲张艺谋导演使用北京理工大学丁刚毅团队研制的 “2018 年平昌冬奥会北京文艺表演预 演仿真系统”,从不同摄像头的角度展现表演效果。
33个机位模拟线上彩排
在训练彩排与数字验证系统基础上,丁刚毅团队又为导演组制作了“文艺表演预演系统”。利用定位系统,加入演员真实排练数据,融入灯光、音乐、道具、视频、场景等,对演出全要素进行了同比例的建模,实现了效果逼真的可视化线上“彩排”。
该系统精确模拟了平昌表演场地的全部33个机位,设定焦距变化参数,帮助导演准确把控、决策和完善表演方案,并在演出前帮助电视台进行现场转播镜头的分配,商定转播具体方案。
丁刚毅表示,这支团队最大的工作特色就是在导演的创意和现场的实施间,弥补中间的鸿沟。而李鹏则指出,团队利用仿真理念,采用专用仿真引擎进行实时渲染,在效率、交互性上有极大优势。
正是这两套系统,以可视化的界面和图纸、视频等多种形式展现出演员的运动轨迹、位置信息、队形变化、运动速度等,帮助导演把控、决策及完善表演方案。既具有实际操作性,也实现了导演满意的效果。
▲参与平昌“北京8分钟”的北京理工大学丁刚毅(右五)团队的“全家福”
台上八分钟,台下十年功
丁刚毅告诉记者,2008年北京奥运会时,北京理工大学就曾参与开、闭幕式创意技术的研制,还由此向北京市教委申请设立了“数字表演与仿真技术”的交叉学科。
此次“北京8分钟”对于这支团队来说,完成难度并不大,主要难度在于要在极短时间内配合编导不断变化的创意思路。丁刚毅介绍说,目前应用的数字表演体系架构已经开发十年,其中包括表演的基础艺术技术,也有社会的特征。其中最重要的当属仿真建模。系统中灯光、音响都是按照仿真方法建立的几何模型,可以重复使用,也可以按需更改。除了空间建模和实体建模外,行为建模是相对特殊的,技术成本也较高,因而越是人多的场景,使用成本相对会越低。
事实上,目前这套系统已经可以实现实时交互。当前的演出,包括“北京8分钟”仍然是音乐、灯光、舞台、投影等各要素按照时间轴硬耦合在一起,并非由计算机算出的真正的数字表演内容。实时交互则是一种软耦合的状态,可以设定由音乐或动作,甚至是现场内容对演出的触动。如给表演者安装定位装置,通过计算机设定追光定位,无论表演者到达任何位置,追光都会与他相随。简单说,就是实时发生,实时表演。
实时交互的数字表演不再需要大规模刻板的训练,但其对于外部设备,如网络、卫星定位等的支持要求却更高。因而,远赴韩国平昌的“北京8分钟”选择的是相对稳妥的表演方案。
精彩的“北京8分钟”已经将冬奥会正式带入了北京时间。丁刚毅表示:感谢“北京8分钟”主创团队给了我们这次用专业知识为国家贡献力量的机会。数字表演团队已经时刻做好了准备,为2022年北京冬奥会开、闭幕式奉献又一次震撼表演。■