戏曲数字艺术创作与文化辨识度构建
杜衣杭 迟雪峰
摘要：
中华戏曲是融合了歌、舞、乐的综合艺术形态，而虚拟现实、增强现实与交互装置为戏曲表演提供了新技术和新媒介。数字媒介能够更好地体现戏曲的功法程式、唱腔的品质和音乐的物理学参数，它基于影像的拼叠、并置、挪用和混合形成基本表意单元，构成叙事或非叙事的语法范式，改写着传统视听文本的互文性指涉和非美学构想。以媒介考古学为基础确立戏曲数字艺术表意图式，通过景域互动、角色互动和视点互动展开戏曲数字艺术创作的互动语汇研究，以空间造型、角色造型和声音造型组成戏曲数字艺术的造型语言研究，形成从本体论到方法论的戏曲数字艺术理论体系，有助于认识虚拟现实、互动影像装置和数字表演系统艺术形态本质，建立戏曲数字艺术创作的方法论，为中华优秀传统文化在数字时代的创造性转化和创新性发展提供理论与创作的桥梁。
关键词：戏曲数字艺术 数字媒介 表意图式 互动语汇 造型语言
戏曲是融合了身段表演、剧本形式、角色行当、音乐唱腔和服装化妆等各方面元素的艺术综合体。戏曲的程式化表演、东方美学特质和舞台表现手法在广大人民群众中形成了具有广泛认可度的语符体系；戏曲通过对社会生活的拓展与升华，在精神层面构建了具有东方文化辨识度的审美意境[1] 。戏曲在历代表演艺术家的不断丰富与创新中被赋予了强大的时代创新活力。
数字化媒介主要依赖于虚拟影像和数字交互装置等技术支撑，逐渐发展出的混合现实、增强现实、空间增强现实、实体混合现实等多种新媒体形态，通过新型显示及人机交互技术为观众创建超脱现实的可交互数字空间，被广泛应用于大型文艺汇演、交互影像和城市空间新媒体等文化传播媒介中[2] 。数字化媒介颠覆了传统艺术表现手法（如以二维平面景框为起点的构图、景别和蒙太奇等），转而通过视觉、听觉、触觉等多感官信息为用户营造超现实的沉浸感（Immersion）——观众可以通过对视线、声音、动作的控制自主地进行多模态信息的连接和捕捉完成动态场景构建[3] 。戏曲艺术与数字媒介的结合是观众审美心理结构和形成这种结构的社会必然性，唱念作打等视听形态在与数字媒体的结合中必须遵循中华优秀传统文化的辨识度构建法则，在媒材使用的拓展中还原对文化母体的认同。
戏曲的拟态化和象征性表演受到表演者技法执行能力的制约，表演者的机体供能能力、运动素质和近身空间感知等运动生物学特征支持了其技法的审美转化。准确把握戏曲形体的运动规律和均衡的形式美法则，是构建数字媒介中具有文化辨识度的符号语言体系基础。研究戏曲程式表演在计算机生成的虚拟系统中的表达方法，建立具有文化辨识度的数字媒介语料库，探寻传统艺术的再媒介化修辞，有助于为戏曲数字预演、数字艺术表演和沉浸式戏曲教学系统的开发提供理论和技术基础。
一、戏曲数字艺术的表意图式
构建戏曲数字艺术的文化辨识度，其关键在于探明表意图式的潜在性作用。表意图式是对数字媒介本体的研究，是将媒介与语言、文化、主体状态相结合展开的哲学探讨，是关于媒介研究的形而上学。虚拟现实、增强现实等数字媒体颠覆了传统媒介的信息传输方式和影像表意时空——在赛博空间中观众可以通过控制视线、声音和动作，自主进行视听语言的动态重构和多模态信息的捕捉，为戏曲表演提供多感官整合的跨通道系统，在媒体互动中完成超现实体验的动态形构[4] 。视听信息的交互传输极大的丰富了身段表演、舞台空间和板式声腔等戏曲程式在新媒介中的表现张力，以超链接的表意形态突破了传统剧场的限定，调用了观众积极的想象力配合和浏览的主体性作用。
影像的储存、调用、更新作为一种思维结构和操作逻辑，构成了数字媒介的修辞属性、形式语言和文化观念。数字媒介以高度的交互性和开放性显著区别于传统媒介（如图一所示）[5] 。时空自由的叙事体故事是戏曲数字艺术构成的影像来源，数字界面中信息的传输途径、交互与导航方式、观众的心理参与程度需要遵从戏曲的艺术表现规律，构建数字文本内外的运载渠道，形成虚拟性和大写意的审美转化。
戏曲从远古文明走来，从原始戏剧、初级戏剧逐渐发展为中华传统文化的凝聚体，从拟态化和象征性的行为方式，逐渐演变为程式固定、行当明确、结构完整的舞台艺术，形成具有东方美学特质的文化形态。媒介是信息传导的介质，从骨甲、纸张到数字化、虚拟化的影音系统，视觉艺术经历了模仿、复制与生成三个阶段，与戏曲艺术形态的更迭在知识考古中形成了关联（ “知识考古学” （l'archéologie du savoir）是法国哲学家福柯的基本术语。即，戏曲艺术的发展和视觉艺术的发展，具有类似的历史进程）。基于数字化、信息化软硬件系统为基础的人机交互界面为表意介质，观众通过数据输入和系统反馈行为参与信息流动，从传统的单向度交流模式衍生为双向结构的叙事/表意模式，生成模式被观众的言语和行为所重构。数字媒介能够帮助戏曲影像在表意空间中实现迁移、编纂、拼贴、堆叠等蒙太奇策略，将戏曲传统舞台的线性进程提升至非线性的数字时空。图像化、立体化、动态化的媒介逐渐丰富了艺术文本的再现，使观众获得审美、学习和娱乐的综合性体验。数字媒介为戏曲艺术生成了超链接、超文本和交互性的技术载体，也为戏曲的数字化表达提供了美学质料。
数字媒介脱胎于电影艺术，后者自诞生之初便采用图像完成其叙事功能，而相比于图像，声音则受到历史语境和物质技术共同的限制而缺席。直到 "沉默的哑巴开始说话” ，观众才从静默中被解脱。声音作为辅助性符号赋予媒介
视听美学的含义，初民进行信息表意的原始形态得以还原（电影之前是默片，只有影像没有声音，直到有声电影诞生，声音就成为了能够辅助电影叙事的材料，并且具有了美学的含义，人类通过视觉和听觉感知世界的天然属性得以还原）。虚拟现实媒体交互任务中的声音序列，将板式声腔、曲牌联套赋予符号与对象的映射关系，在超越相似性的约定法则后重塑听觉文本的审美意象。声音作为实况者身体的拓展被带入媒介场域，以观众代表的身份参与两个世界的沟通，与影像同构而异质的具身空时性，声音景观在数字媒介的表意中获得注释。
数字媒介内部块茎交联、动态交错的复杂时空结构为观众提供了互动体验，从而提高了观众的参与度。戏曲是视听整合的艺术，虚拟现实等数字媒介中，观众的参与度取决于个体的注意力水平。视听选择性注意行为是自下而上（Bottom-up，BU）和自上而下（Top-down，TD）两方面因素耦合作用的结果。视觉和听觉在人的感知系统中相互独立却又相互影响，传统影像中听觉通道的信息传达常常作为视觉信号输入的补偿，而数字媒介却能够独立依赖听觉通道建立读者在空间和时间维度的立体想象，最大似然地使观众主动捕获视听整合的表意信息（最大似然maximum likelihood，最大可能地使观众能够捕捉到来自视觉和听觉的各种信息）。依托于导航场景、注意调节和信号处理等方面认知机制，数字媒介建立多维度视听整合的时空规则，为观众营造高度参与的体验。
二、戏曲数字艺术的互动语汇
数字媒介的技术结构（速度阈值、景域范围、时间自由度和传感器灵敏度）为戏曲文本内外的多重交互关联提供互动交流的可能，观众能够在媒介场域中自主阐释、发展、回应程式化的身体图式（body schema），通过作为交流中介的人机界面拓展和阐释互涉的文化信息。基于智能化可交互要素对话机制创建多元映射关系，特别是在现场驱动的自适应体验模块中，观众的特征参数透视了系统的自由度和支配力，隐性的蒙太奇在观众意图和观念操控下缝合像素化的视听素材（在观众视点的操控下，虚拟影像片段被连接成完整意义的故事），景域互动、角色互动和视点互动在沉浸式交互环境中建立大写意的戏曲美学。
景域互动依赖于内部预设的多重可导航空间——观众通过索引方式穿越可视化的信息界面，当叙事的物理空间与现实世界发生重合时，受制于二维景框的传统视觉媒介边界获得突破，观众的视野与景域边界在多维空间发生层级延展，唤醒虚拟空间与实体空间的关联（在VR媒体中，作者预设了多重的且可以相互连接的空间，所有的界面都是可视化的，观众可以通过当前界面超链接到下一个空间中，能给用户带来进入了现实物理空间的幻觉，与传统电影相比，二维界面的边框被突破了）。虚拟戏曲博物馆（如图二所示，高钰婷，2022）的空间构造取材于中国戏曲学院校徽中 “曲” 字的造型意象，在头戴式显示器（Head mounted display，HMD）的支持下，调用视、听、触等多感官知觉参与信息传输，突破了传统展陈空间、展示内容和参观方式的约束。从交感巫术、原始傩仪、秦汉百戏到明清成熟的戏曲艺术形态，加之破损文物经过数字化修复后的展陈，数字展品作为 “物质” 具有了生命价值，在上述的数字空间中被浏览，让观众能够沉浸式的体验戏曲发展史。不适用于静态展陈的戏曲表演，可以通过注意力机制搜索的交互漫游，采集三维眼动数据用于展陈内容实时的自适应呈现。与电影那种已经预先设计好的情节相比，VR中的影像选择是用户主观
选择的。
角色互动以全体感交互形式实现人与虚拟影像的信息共享，以参与者身份介入游戏化的闭环场景。嵌入某旅游小镇戏曲体验区的实体建筑群的昆曲互动体验方案（如图三所示，李玘，2020），提取《牡丹亭》剧目元素进行沉浸式新媒体交互空间设计，以角色动作为核心建立舞蹈化的体验功能区。花神在《惊梦》一折中为杜丽娘与柳梦梅的初会增添了浪漫的情致[6] ，象征了青春、热情和旺盛的生命力。参考青春版《牡丹亭》（白先勇，2004）中十二花神的服饰妆容、动作元素和身体姿态，遵从拧、倾、圆、曲审美法则，提取冲、靠、含、腆、仰的舞蹈化元素形成预制影像素材库。装有互动装置的交互显示大屏能感应到观众动势，以模拟花神运动中身体幅度较大的部位，能够易于交互装置辨识）作为可交互变量，通过精确定位的手势和体态匹配预制素材库中人物的肢体动势，控制水墨风格花神身段有向运动形态的周期性表达，淡化昆剧的叙事成分而形成纯粹视觉艺术形式。
视点互动是虚拟现实媒体中视点调度和影像组接的专属语法（proprietary syntax），主体视点的操控将空间的运动和变化紧密联系，在全景域动态时空中沉浸式地展开叙事轨迹。《冰嬉图》活态化设计（如图4所示，原作：<清> 张为邦、姚文翰，数字化：柏辰宗、徐辉，2020）延续原作院体工笔画的空间视觉特征，以原作画面风格结合太液池的地理环境进行场景设计，通过标志性建筑自然分割画面空间。虚拟系统所提供的动态场景能够满足观众的信息输入、编码、储存和提取，遵循观众在信息自动化加工过程中的行为逻辑，在认知核团中形成注意回路，实现动态交互体验任务中沉浸度（Degree of immersion）的校准。线性的叙事逻辑让位于观众的心流体验（Flow experience），传统影像对物质现实的索引发生失语，视点调度的修辞实现数字媒介的非线性表意。
三、戏曲数字艺术的造型语言
造型作为非语义因素承载戏曲数字艺术的表意功能，在作为戏曲表演孪生形态的数字媒介中参与叙事、辅助叙事甚至主导叙事。空间造型、角色造型和声音造型是媒介叙事造型语言的重要组成部分， “移步不换形” 的造型观念是戏曲在数字媒介中文化辨识度的表达格律。
光影结构、透视角度、景深层次等造型关系是缝合计算机合成影像与现实世界的重要路径，传统戏曲或戏剧布景的空间设计思想依旧具有时代活性。虚拟戏台（如图五所示，杜思源，2019）取材传统古戏台中万年台的造型和框架结构，融合赛博朋克（Cyber-Punk）的机械化和高对比霓虹灯的美学风格，金属
质感的飞檐、具有蓄能功能的藻井和机械化的角色表演，集中体现空间造型对表意的依存性和辅助性。
观众通过交互机制进入到表意空间，以身体的置换感知到具有内在性和个人化的表意空间。花衫融合了青衣、花旦与刀马旦等行当的表演成分，集唱念做打等于一身，兼具肢体和语言的表演。虚拟花衫（花衫可以直译为Huashan，即戏曲旦角的一个表演行当）互动表演媒体（如图六所示，杜思源，2022）取材梅兰芳《霸王别姬》中塑造的虞姬形象，将剧目中的剑舞元素进行打破、拆分、重组，通过动作捕捉装置获取观众身体五个部分中的关键节点运动，驱动粒子化质感的虞姬身段影像。融入儒家美学的身体表达与《夜深沉》的节奏和韵律相匹配，在主动的 “身体体验” 中感受奇观与快感，角色的自我表达在从边缘到中心的变迁中承载数字影像隐喻（metaphor）的艺术表现力。
|
|
 |
 |
 |
图六：虚拟花衫互动表演 表演者：史依弘，绘制人：杜思源 以上图片请勿下载。
四、结语
戏曲数字艺术创作与文化辨识度构建的研究包含一个本体论问题和两组方法论问题，结合传播学、设计学、戏剧影视学、心理学和计算机科学等理论基础，从戏曲数字艺术的表意图式、互动语汇和造型语言三个方面开展层级递进的研究，从理论和实践两个层面建立具有跨学科特征的戏曲数字艺术创作话语体系，并以案例分析支撑和验证所提出的理论观点。
在科技哲学和视听文化理论的视角下，界定数字媒介在技术史、艺术史和媒介史进程中的位置，理解其作为一种艺术形态和修辞方法的普遍性，进而有助于构建戏曲数字艺术在数字媒介中表意思维和创作方式中的文化辨识度。数字媒介突破传统主客体二元关系和作者导向的线性叙事方式，在预设时空内通过全体感的沉浸式体验参与的叙事，通过获得叙事话语权的同时确立观众的主体性位置。数字媒介超越扁平化的视觉景框，延伸到从 “质点” 出发的多维空间景域，形成基于景域叙事的造型修辞方法。基于案例分析和对比分析归纳戏曲数字艺术的互动语汇，为创作实践中的可交互要素设计提供理论依据。
因此，所提出的戏曲数字艺术创作的本体论，丰富了对虚拟现实、互动影像装置和数字表演系统本质的认识；所构筑的戏曲数字艺术互动语汇，有利于建立数字媒介在交互创作中的方法论，所构建的戏曲数字艺术造型语言体系，有利于为数字媒介中的造型设计建立方法论，为数字时代新媒介理论和戏曲数字艺术创作的文化辨识度构建奠定理论基础与应用桥梁。
参考文献：
[1] 安葵. 关于戏曲理论话语体系建设[J].民族艺术研究, 2022, 35 (01) : 140 - 147.
[2] Manovich L. The Language of New Media [M]. Cambridge, Massachusetts, London, England, The MIT Press, 2001.
[3] 李迅. 数据库电影: 理论与实践[J]. 北京电影学院学报, 2017 (01) : 50 - 56.
[4] 李洋. 从图像褫夺到 “无脑之眼” ——影像挪用史中的《蜻蜓之眼》[J] . 当代电影, 2019, 277 (04) : 137 - 142.
[5] Rafaeli S. Interactivity: From new media to communication [M]. Advancing Communication Science: Merging Mass and Interpersonal Processes. Newbury Park, CA: Sage, 1988: 110 - 134.
[6] 姚小鸥, 李阳.《牡丹亭》 “十二花神” 考 [J]. 文化遗产, 2011 (04) : 17 - 25 + 157.
本论文在《戏剧交流》第一期首次发表。
