哈威直播足球(花建新视听技术与文化产业的新业态)

“

文化产业视野中的新视听技术，指采用先进的造型、视频和音频及相关技术，通过人的视觉和听觉而影响人的情感和认知，营造出具有叙事主题和故事内容的视听效果。

”

作者简介：花建，上海社会科学院文化产业研究中心主任、研究员，北京大学文化产业研究院研究员。

本文载于《同济大学学报》（社科版）2019年第1期，内容和注释有删减。

01

从文化产业视野看新视听技术的发展

文化产业视野中的新视听技术，指采用先进的视觉造型、视频和音频 *** 及相关技术，通过人的视觉和听觉而影响人的情感和认知，营造出具有叙事主题和故事内容的视听效果。人作为地球上更高等级的动物，在获取外界的信息时，90%以上是通过视觉和听觉获得的。视听感觉的拓展对于人类的进化具有重大的意义。

人类有史以来，就试图通过科学研究和技术进步，改善自己的视听能力，突破用自然手段 *** 和保存视听信息的局限性，提升对于视觉和听觉信息的记录、 *** 、压缩、加工、储存、转换、播放等能力，将视听信息 *** 成为产业化和社会化的产品和服务。这已经成为人类长久以来的梦想，也是人类实现自由的重要途径。这其中，对于在一定时间段中连续发生和流动的动态视觉和听觉信息，进行采录、储存、传输和加工，就成为视听技术研发和更新的重心。

人类提升视觉和听觉能力，是立足于科学和技术的不断进步和普及而实现的。从18世纪工业革命以来，人类就分别在音频和视频的不同领域中，做了艰苦的探索。所谓音频技术，指把人工和自然声音进行可录制、可压缩、可传输、可播放的技术整合。1877年8月15日，发明家爱迪生在实验室里，通过纯机械录音技术发明了世界上之一款留声机。在这之后，科学家和工程师突破了机械录音技术，进一步发展出光学录音、磁性录音和电子录音技术。而扬声器则是将上述一切声音信号转换为声音的终端装置。它作为整个工作链的最末端，在音频技术的引用中发挥了重大作用。而视频技术，则是指把静态到动态的图像进行摄录、编码、 *** 、压缩、储存、传输、播放的技术。它起源于早期的照相技术，从视频技术、模拟视频信号，发展到数字视频信号。上述这些技术分别在视频和音频领域进行了探索，这一阶段可以称为“单媒体时代”（Monomedia Time）。从20世纪后半叶开始，人类在该领域全面进入“多媒体时代”（Multimedia Time），并且结合人工智能、大数据、移动互联、混合现实、3D打印等技术，推动视听技术跨越了三个发展阶段（见下图）。

新视听技术发展的三大阶段

之一阶段，从20世纪末开始，视听技术的主流进入到“跨媒体新视听1.0版”。它指人类已经掌握和应用了同时采集两种以上不同类型信息媒体的技术，这些信息媒体包括声音、图形、图像、文字、动画、视频、音频等。在这一阶段，日本学者提出“泛在城市理论”，认为日本要从E-Japan（电子日本）时代向U-Japan（物联网日本）时代转化；中国学者提出“泛在 *** 与多媒体业务创新”，指出终端技术的融合、接入技术的多样化、 *** 的融合等，将使手机终端成为无所不在的中继器和控制器。层出不穷的新视听文化形态，依托技术的进步，大大降低了文化产品和娱乐服务的成本，使得数字化的文化产品和娱乐服务获得极大的丰富，成为当年松下公司总裁所说的“自来水产品”。

第二阶段，从2000年以后，视听技术的主流进入“跨现实新视听2.0版”。它指人类研发和不断升级虚拟现实、增强现实等技术，把物理现实和虚拟现实相结合，使得人们可以在混合形态的多维现实空间获得前所未有的多样化体验。它立足于后工业社会与科技发展所创造出的“模拟” (Simulation) 与“拟真” (Virtuosity) ，进一步创造出“虚拟真实”(Virtual Reality，简称VR) 与“增强现实”(Augmented Reality，简称AR) 的环境。这种全新的视听技术，扩大了人们对虚构世界的创造与再现，融合出虚拟与真实合一的情境。AR技术是在1990 年代初期，由美国波音公司的一群优秀科学家，为了先进制造业而创造的。他们探索开发出一种实验性的AR 系统，协助工人装配航空器部件。当AR技术把增强现实的信息叠加到一线工人的特种眼镜上时，可以大大提高工人装配的准确性和效率。而美国军队在中东战场上使用AR技术侦察战地场景，让军人快速获得实际上无法用肉眼观测的信息。以此为基础，新视听技术在文化产业领域中同时向巨型化和微型化发展。所谓巨型化，指工程师、艺术家和设计师可以营造出4K、3D、巨幕/环幕/球幕、全息声音场、巨型灯光秀等超大型视听艺术效果；所谓微型化，指工程师、艺术家和设计师可以结合移动互联网，在可穿戴设备、智能手机、平板电脑等随身装置中 *** 、传递、展示混合现实型的视听艺术效果。

第三阶段，从2010年开始，视听技术的主流进入“跨智能新视听3.0版”。它结合从人类智能到人工智能的进步，依托对不同领域的海量信息的智能化处理，把视听技术发展到一个全面集成、复合体验、智能处理、人机互动的新阶段。正如维克托·迈尔舍恩伯格所说，随着大数据时代的到来，人类放弃对因果关系的渴求，而更加关注相关关系。这也就是说只要知道“是什么”，而不需要知道“为什么”。这种转变必须在人工智能的基础上才能实现。斯坦福大学人工智能研究中心的尼尔逊教授对人工智能所下的定义为：“人工智能是关于知识的学科——怎样表示知识以及怎样获得知识并使用知识的科学。”而美国麻省理工学院的温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”根据上述科学家的研究，人工智能是研究人类智能活动的规律，并且构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，应用计算机的软硬件来模拟人类智能行为的理论、 *** 和技术，通过发挥人工智能的深度学习能力，推动新视听技术跨入了一个全新的阶段。

02

新视听技术对故事和叙事的贡献

从文化产业的视角看，新视听技术连续跨越了“跨媒体”“跨现实”“跨智能”三个阶段，对构建文化产业的核心内容特别是故事和叙事做出了重要的贡献。联合国开发计划署和联合国贸发会议编撰的《创意经济报告》指出，各类文化产品和文化服务具有三个基本的特点：创意的投入、传达符号信息(Symbolic Messages)的媒介、知识产权(Intellectual Property)。而从人类智慧创造的意义上说，这些作为创意结晶的符号型知识产权，之所以能够连接历史与现在，打动具有不同宗教和文化背景的人群，沟通淹没的遗址与现代人群，其核心线索就是创作的故事和叙事(Story Telling)。而新视听技术极大地促进了当代人对于故事的创作和叙事的演示。

具有丰富实践经验的美国概念与体验设计专家罗伯特· 歌德（Robert Gould）结合大量文化创意产业的成功案例指出：“故事发挥着什么样的作用呢？它能够表述我们试图解释的东西，它是有一种对我们生活历程当中的人生痛苦和喜悦的原因。就像神话指引着生活的意义和目标，他们传递、鼓舞、揭示并且说明已知以及未知的世界。……我们在脑海当中所吸收的这些故事形式就像我们生活当中所经历的一样。我们知道在这个地球上我们是唯一的生物，我们能够进行幻想，能够产生故事，能够产生神话故事。在这些故事当中，叙述是辅助文化组织结构、发展理想并为其行为寻找权威的依据。它能够让我们的心理、身心融为一体。”而新视听技术把这种能力发展到一种前所未有的高度，能用全新的视听效果传递内在的寓意，说明人类心理对于已知以及未知世界的感应和投射。比如2017年，英特尔公司与中国2005年《超级女声》的冠军李宇春进行合作，把新视听技术融合到《今天雨，可是我们在一起》这首歌的MV中，开始了从内在感悟（Intel Inside）转向视听震撼（Amazing Experience Outside）的尝试。这一新视听形态用如梦如幻的视听体验，与李宇春的脸部特效相结合，时而是超高清晰的水滴，时而是变化莫测的调色盘，更有似真似幻的穿越，演绎了“今天雨，可是我们在一起”的都市故事和情感主题。

从总体上看，新视听技术对于故事创作和叙事的贡献集中在以下方面：

之一，高度多样化的技术集成。由于当今前沿的视听技术要整合和处理声音、图形、图像、文字、动画、视频、音频等海量信息，制造光效、音效、水幕、烟幕、场景移动、全效剧场等极为复杂的效果，所以用光影、环幕、巨幕、全息声、无人机、无人艇、虚拟音乐、全景移动装备、沉浸式空间等多类型的设备，用多机位、多角度的摄录设备同时 *** 和传递。

第二，大数据和人工智能的支持。高度的技术集成，带来了极为复杂和海量的信息整合和智能处理难题。其信息处理的重点不是精确性，而是混杂性，不是线性的因果关系，而是复杂的相互关系。传统的人工设计和人工操控根本无法解决这样复杂的信息。比如英特尔宣布运用True VR技术，在2018年平昌冬奥会上实现迄今为止更大规模的虚拟现实赛事转播。对一个足球前卫的射门拍摄，三维像素记录全场的所有摄像头，在巨大的足球场中采用TRUE VIEW技术的设备，每分钟会产生高达3TB的数据。这就是说，每场足球赛的前15分钟所产生的数据量就相当于美国国会图书馆中所有文献量，可见数量之巨大。唯有在人工智能、大数据、先进制造技术的强大支持下，当代的新视听技术才能跨上一个新的台阶。

第三，高水平的人机互动。由于前所未有的新视听技术，结合可穿戴设备和大数据分析，文化产业的从业人员可以更加敏锐地把握人类的微感觉和微情绪，通过对不同人群在行踪、年龄、消费、爱好、时段、周边活动等的海量信息的综合分析，对小众人群的文化需求进行精准定位，提供更加丰富多样的文化体验。而对于情景化的服务和知识，更需要大数据的模拟和说明。在通向一个特色化的视听情境时，系统集成所要处理的变量会变得更加复杂多样，因此它更需要高智商的集中管控和视听表达。例如，在2018年1月的全球电子消费展（CES）上，英特尔公司展示的科技成果，堪称新视听技术推动文化创意产业所贡献的超级秀。它包括三大部分：算法与布鲁斯、数据、无人机与人工智能AI（见下表）。这些炫酷的科技都是利用英特尔积累的技术，与文化艺术进行深度融合所创造的最新成果。

CES英特尔公司科技秀的主要内涵

此次2018年英特尔科技秀，设在拉斯维加斯蒙特卡洛酒店的大剧院，展示了全球之一支数据乐队演奏、全球之一次100 架英特尔Shooting Star微型无人机灯光和舞蹈秀、12岁舞者Sophie用数据展示表演、虚拟音乐和动作捕捉系统配合作秀、无人飞行汽车Volocopte等。此次采用的微型无人机机身框架柔软，采用柔性泡沫塑料和无螺丝结构设计，重量仅280克，比一个排球还轻。它的四轴飞行器的螺旋桨搭配加盖保护罩，更加安全和灵巧。当100架英特尔微型无人机在巨大的空间排列成为流动的矩阵，伴随着激动人心的音乐，在三维空间自由翻滚和变化时，犹如100个美妙的精灵在空中翩翩起舞，营造出变幻莫测的视听效果。由于英特尔科技秀采用了大数据作为基础，独有算法能够自动处理海量的动画 *** 流程，并在瞬间创建100架无人机空中表演图案的最快路径。这样高度集成的新视听技术，堪称在先进人工智能、大数据、移动互联等支持下，对视频、音频、AR、VR、动作捕捉、光影效果、先进制造业技术等的高度整合。

03

新视听对遗产传承和开发的提升

新视听技术对于文化产业的积极贡献之一，在于极大地提高了多样化文化遗产的传承与开发效率，营造出一个与文化遗产的物理性存在相对应的数字化视听世界，从而为传承和延伸人类文化遗产打开了新的自由天地。2010年上海世博会期间，时任联合国教科文组织总干事伊琳娜·博科娃在世博园的联合国馆内发布了联合国成立以来之一份有关文化的报告：《着力于文化多样性与文化间对话》。它指出：文化多样性不仅仅是一种需要保护的资产，也是一种需要开发的资源。文化多样性的源泉是创造性活动，而文化创造性恰恰体现了文化多样性的活力。

文化产业与其他制造业和服务业的更大差异之一，在于它以创造丰富的IP文化内容为核心资产。这些IP文化内容包括了人类世世代代所创造的价值观念，又超越了真与善，在更高的意义上创造了美。由于文化的创造是一种积累的过程，所以，要创造出丰富的IP内容，必须立足于对文化遗产的传承，这就要解释其中包含的文化密码，从21世纪的时代高度去理解它，沟通它，丰富它，激活它，再创造出新的文化产品。

在地球上，文化信息的传承和解码是人类所独有的一种本领。环顾地球上的大自然，除了人类以外，所有生物的机体都已经高度特化了，长颈鹿能狂奔，雄鹰可飞翔，鲨鱼能潜水，鳄鱼能在混浊的河流中进行长时间的守候伏击，刺猬和豪猪能变成一簇尖利的针。与动物相比，人类虽然没有这样的体能优势，但是人的思维具备高度的抽象性、概括力和创作力。人类在不同的时代和背景下发展出一套套有着严密逻辑和语法规则的符号体系，特别是创造了“故事”和“叙事”，这才使得人类有可能传承极为丰富的文化信息。正如罗伯特· 歌德所说的：在地球上的生物中，唯有“我们用幻想服务于文化，因为人是唯一具有幻想的生物。人类是非常脆弱和易受打击的动物，因而进化出了能够运动我们独特现象的能够去创造假设的情景和自我中心的故事内容。人类创造叙述故事和神话这是一种进化的观念，没有其他的任何动物拥有神话，神话故事定义了他们的意图和目的，存在于人们心间”。

罗伯特· 歌德（Robert Gould）应用诺贝尔经济学奖得主丹尼尔·卡内曼教授的格言指出：从品牌选择、明星崇拜到节庆活动，“没有一个人会因为一个数字做出一个决定，他们需要的是故事”。按照丹尼尔·卡内曼的观点，人类具有快和慢两种思维模式：慢的模式诉诸理性和逻辑，快的模式诉诸经验和感觉。有鉴于此，尽管由于电脑和互联网的普及，现代人可以调用和获得海量的数据，但是在现代媒体的轰炸下，大部分人的感官和情感系统受到巨大的 *** ，理智和逻辑能力发展并不明显。当代人的文化习惯更关注对于消费主义、品牌故事、名人轶事、内在欲望等做出快速的反应。所以，从文化消费的意义上看，人们越来越生活在一个情感和感觉驱动的文化当中，偏好欲望而不是数据、理性和事实。有鉴于此，在文化消费的领域中，要把对于人类弥足珍贵的文化遗产挖掘出来，必须立足于对于遗产的探索和理解，依托世世代代传承的基因密码，创造出新的叙事和故事，才能在沟通现代人心灵的意义上，把文化遗产转化成为可投资、可流通、可转化、可增值的文化资产。

正因为人类文化具有信息特性，岩画碑刻、青铜铭文、活字印刷、数字视频、全息投影、数字音频才得以相继出现并发挥作用，为人类传递和处理文化信息开辟了越来越广阔的未来。但是，以数字技术为基础的新视听技术对文化遗产传承的贡献，与传统意义上物理形态的遗产修复和形态复原是不一样的。新视听以电子文本、音频、视频、光效等数字物为特征。中国学者李三虎指出：“数字物不同于自然物而属于技术人工物，可以被称为‘数字人工物’。”他指出：数字物可还原为0和1的二进制数字表达和运算，属于非物质性技术人工物，不同于传统技术人工物（如建筑物、雕塑、建筑、书本、书画等），所以还可以被称为“数字客体”。这种对数字物的本体论的界定和区分，把数字世界展示为一种符号化的非物质软体世界。采用新视听技术对各类文化遗产进行扫描、模仿、再造、衍生开发而形成文化产品和文化服务，其丰富的寓意与符号价值，就是一种符号化的非物质形态。它远比文化遗产或者复制品自身的实用功能要来得显著。

从文化遗产的角度看，构成乐山大佛和敦煌石窟的岩石、山体、庙宇等是典型的物质实体，同时又凝聚和物化了前人巨大的智慧和技巧，达到一种极高的创造境界。而数字物就其本质而言，是通过二进制数字语言表达的“元数据”系统，并不是传统意义的物质存在。根据李三虎先生的研究，如大脑和纸张是语言符号的承载物一般，数字物的“元数据”要依托电脑、屏幕、视频播放设备等才能存在，成为一种依赖特定物质关联环境的“准客体”（quasi-object）。当我们使用智能手机、平板电脑、巨型LED屏、环幕电影等数字化媒介观看以数字化手段复原、再造的《清明上河图》《富春山居图》和《蒙娜丽莎》时，便已经拥有了一种与集成电路逻辑运算相关联的物质性 *** 环境。如果抛开这一物质关联环境，人类便无法感知到数字物的独立存在。反过来说，当人类建立起一个数字化手段复原、再造文化遗产的视听形态时，就形成了一个可以无限延伸、叠加、变化和进入的符号化非物质世界，也可以用诉诸理性和诉诸经验的知觉，更加深刻地影响大部分人。新视听技术对遗产传承和开发的贡献集中在以下方面（见下图）：

之一，立足新视听和相关预感、测绘、图像、人工智能等技术，可以建立基于3S（GPS，RS，GIS）技术和大数据技术的文化遗产和考古工地数字化平台与重要遗迹采集系统，能够把文化遗产的物理性质全部转化成为系统化的数据，并且根据这些数据可以重构符号化的文化遗产形态，为永续保存、科学研究和视听再现提供了最重要的条件。现代的考古调查、勘探、发掘、整理的过程是一个信息不断揭露、丰富、整理和丢失的过程。在这个过程中，采集遗产的空间信息之手段的不足是一个迫切需要解决的问题，而各种考古信息资源的流通与整合缺乏效率，也是一个极大的挑战。近年来，快速发展的基于3S技术和大数据技术的文化遗产和考古工地数字化平台与重要遗迹采集系统，采用基于GPS、北斗等的考古测量仪、低空无人机智能化遥感测绘平台、自主三维激光扫描仪、激光全景等技术，可以开展文化遗址保护、调查、勘探、发掘过程中的图形测绘及相关的全景和视频记录工作。近年来，对敦煌莫高窟壁画和雕塑的数字化空间和影像采集，就在这方面取得了重要进展。

第二，立足新视听和相关技术，可以对文化遗产中蕴含的智慧密码进行深度解读，并且用全新的视听形象，把文化遗产的价值在更加广阔的视野中展现出来。前人对这些遗产的探索，是在不同的专业领域中进行的，而今天我们可以在更高的层面上把这些研究成果进行整合。比如英国布莱顿大学媒体艺术科技学院的克丽·斯诺克（Kelly Snook）教授在有关技术创新整合音乐与科学的研究成果中，以全新的视角审视了科技与音乐 *** 之间的关系。她提出一个深刻而有趣的问题：你可以通过演奏乐器来回答一个历经400年的宇宙奥秘问题吗？390多年前，伟大的科学家约翰内斯·开普勒提出了改变人类历史、具有历史意义的顿悟，即三大行星运动定律，而成为现代天文学之父之一。但是大多数人并不知道：这些定律是与约翰内斯·开普勒根据音乐和声原理驱动的调查分不开的。他相信所有创造的真实原型都隐藏在宇宙的和谐关系中。从本质上说，音乐与数学、天文学一样，是一种探索现实世界、发掘大自然规律的工具，是具有严密逻辑和智慧延伸的符号系统。音乐以艺术的形式表现大自然的规律、人类的情感以及生活，使用数学的想法，将复杂的数学方程式、研究方案与音乐的听觉、视觉表达进行关联，就可以产生互动，帮助人类对自然的进一步探索。有鉴于此，克丽·斯诺克教授和相关的研究团队，正在努力开发一个“开普勒协 *** 乐器项目”。它将是一个虚拟的沉浸式体验，使用先进的虚拟现实和增强现实来构建一个科学准确的、交互式的、用音乐表达的太阳系模型。通过音乐探索数学，人们不仅可以看到和听到天体本身，而且可以探索与天体相关的美丽而复杂的几何图案，从而更加深刻地理解约翰内斯·开普勒的伟大贡献，也有助于现代人站在巨人的肩膀上，去探索更加深邃的宇宙奥秘。

第三，立足新视听和相关技术，可以通过对文化遗产的纪录、分析、理解、重构等，创作出包含传统文化基因的新故事和新叙事，建立全新的意义结构。它可以形成人与人、人与动物、人与自然的新关联，重新解释人类痛苦和喜悦的原因，从而把传承与创造、历史遗产与新创内容的IP更加紧密地联系起来。比如2017年第74届威尼斯电影节是全世界之一届将VR电影纳入竞赛单元的世界级电影节，竞赛单元的VR电影由美国电影《阿登的觉醒》获得。第74届威尼斯电影节亚太电影艺术单元更佳未来影像和更佳沉浸影片双项金狮奖的VR电影《小凉帽传奇·白鹭归来》，就是一个传承非物质文化遗产与重建创意叙事的生动案例。而《小凉帽传奇·白鹭归来》的IP核心内容来自深圳客家小镇——甘坑村和凉帽村。300多年前，客家人从中原迁徙集聚到这一带，通过世世代代的绵延生息，积累了大量的遗产，其中就包括具有鲜明客家特点的凉帽。由于深圳气候炎热，客家女性的帽子采用竹编帽圈和纱布帽帘，以便遮挡阳光和热量的辐射。这种帽子透气性良好，帽子中空而无顶，不是为了挡雨，而是为了纳凉。1950年代，甘坑村一带的客家人向东南亚 *** 凉帽出口，占全国凉帽出口量的70%左右。2016年，华侨城集团参与了对该区域的改造，对保留的100多间客家老屋进行修缮，重塑甘坑客家小镇。在这个传承和重建的过程中，华侨城的专业人员依托凉帽这一文化遗产，导入了IP Town战略。这个创意项目以凉帽为核心视觉元素，传承了客家人“天人合一，耕读传家”的传统，以“白鹭回来了”为生态文明的主题，将小凉帽绘本故事“白鹭回来了”的主题元素与视听设计结合，建设一座亲近自然的、场景浸入式的全国首个本土原创IP亲子农庄。它包括线上数字绘本、动画电影、VR电影《小凉帽传奇·白鹭归来》和相关的旅游服务，获得了很好的效益，不到一年时间，甘坑客家小镇吸引到大批游客，在周末达到2万~3万人，是导入IP主题内容之前的10倍以上。

04

新视听技术对文化体验的拓展

新视听技术对于文化产业的重要拓展，是创造了各种文化体验的新业态，开创了沉浸式体验+等丰富的文化消费空间。它通过全景式的视、听、触、嗅、震动等感觉的交互体验，包括利用VR设备的帮助，使人有一种“身临其境”“全身包裹”的感觉。沉浸式体验使人的每一种感觉，都与周边环境有了敏感的感应和互动。这些新技术的应用，使人类进入到“时空的穿越”和“虚拟的世界”。以沉浸式体验为核心的电影、展览、演艺、游戏、娱乐等，成为深受各年龄人群喜爱的一种文化艺术形态。它重新定义了创作者与消费者的关系，更加自由地表达创意（故事的创意、观演关系的创意、新技术的创意应用等），利用情境、沉浸、角色、气氛、情节、光影的效果，让观众和听众融入故事之中。

有关生物科学的研究表明：人类所感觉的世界是由人的器官与外界接触后形成的生物电流信号，并在自己的大脑中合成与创造（Reality is created by mind)。人类所看到的东西，并不一定都是物理的现实。首先，很多物理层面的现实，是人类的感觉器官无法捕捉到的，例如，人类看不到红外线，闻不到一氧化碳，听不到超低的音频讯号。人们接收到的感官 *** 的质量——天空的颜色、玫瑰的香味、砂纸的触感、合成器所形成的低频音响——对每个人来说并非完全一样。因此，人类不满足于已经获得的感官，而要去探索遥遥无尽头的“视听新边疆”。有鉴于此，新视听技术创造的沉浸式体验，让人类拥有了更加丰富多彩的现实形态，从而极大地拓展了人类的感觉体验。当这种沉浸式体验被有目的地设计和 *** 出来时，就成为满足人类需求的一种文化创意和文化服务，形成了“沉浸式+”的丰富文化消费形态（见下图）。

沉浸式+促进文化产业的新业态

文化产业领域中的沉浸式体验，不但提供给人类丰富的视听消费，也让人类更加认真地去思考人与客观世界的关系，去探索人与自然的本质关系。它与商业、旅游、生态、校园等空间的结合，也赋予这些空间以丰富多彩的艺术内涵。

沉浸式展览 它让人们一旦步入展厅便被奇妙的视听感受所包裹，也让观众更加强烈地去思考: 人的感官边界是什么？我们能够凭借感觉去把握客观世界吗？宇宙的时间和空间在哪里是起点和尽头呢？人类能够把握以光年为计算单位的巨大空间和时间吗？如日本设计师草间弥生设计的“无限镜屋——数百万光年以外的灵魂”，在一个室内面积约25平方米，净高约2.43米的封闭空间内，依托镜子无限反射的红白波点，形成了一个让人置身其中迷失方向和时间的空间。而“雨屋”的神奇之处便在于智能化的“控雨”，让观众走进雨中，却不会淋湿。这一如同“雨神”的智能掌控效果，吸引无数观众纷至沓来；至于“飞跃边界的蝴蝶”（Flutter of Butterflies Beyond Borders）与“花与人”（Flowers and People），把两个主题巧妙地结合在一起展出。观众步入这个空间，脚下会“生长”出一片晶莹璀璨的花草，还可以通过下载APP来控制“水晶宇宙”（Crystal Universe）的颜色和形态。

沉浸式设计 它常常对于古典艺术的经典构图和视听效果进行再造，从而表达新的叙事主题。正如国际多媒体协会联盟主席哈威·费舍尔在《数字冲击波》中指出的：“艺术和文学一样，都是关于物像，否则就不算艺术。物像在我们看来就是视觉的浓缩，象征着一种美感或者主题，是所属社会的制度、价值和主要参照体系。”有鉴于此，我们迫切需要在数字影像的大潮流中重建视听的美感主题。2018年第二届伦敦设计双年展的主题就采用了“情感状态”，美国设计师R. Luke DuBois 和 Zachary Lieberman *** 的《面部价值》（Face Values），采用了一个貌似航空港、火车站常见的自助拍摄和打印证件照的机器。它可以纪录观众的面部表情，并且将其展现在屏幕上。而观众可以用表情来控制装置的声音和图像。在这里，平时被机器监控、分析的人脸成了控制者。人在与机器交互的过程中，可以颠覆毕达哥拉斯建筑学派有关黄金分割的传统，调动五官而做出更加丰富的表情，使人的脸部具有更高的价值。这些表情通过装置被记录下来，最终呈现出一幅连续的情绪作品。这个设计得到了2018年该双年展的“情绪状态奖”。

沉浸式艺术秀 它常常以再现历史上经典场景、经典作品的形式而出现，又赋予这些视听场景以新的寓意和内涵。正如马克思在《〈政治经济学批判〉导言》中所说：希腊艺术“能够给我们以艺术享受，而且就某一方面说还是一种规范和高不可及的范本”，“希腊人是正常的儿童，他们的艺术对我们所产生的魅力，同这种艺术在其中生长的那个不发达的社会阶段并不矛盾”，并且会“作为永不复返的阶段而显示出永久的魅力”。而依托新视听技术所创作的沉浸式艺术秀，在更高的水平上恢复了当代人与历史记忆和经典作品的内在联系。比如在成都安仁古镇，一场名为《今时今日安仁》的大型沉浸式演出，在4个相互打通的百年民国公馆内展开。它通过裸眼3D、全息、多媒体影像、光影秀等新视听技术，让观众在行走和体验中了解一段安仁古镇的民国传奇。它将多媒体、虚拟现实、三维实境等高科技手段与传统演出相结合，还设置了民国照相馆、复古理发店、洋帽艺术展等交互展览，让观众更加真切地体会到：我们从哪里来，又会到哪里去。

沉浸式旅游 它突破了经典的旅游定义“异地和短期的生活”，而发展成为“穿越时间和空间的短期生活”，让游客获得在不同时间和空间的穿越式体验。比如2017年4月，首部漂移型沉浸式体验剧《知音号》在长江上的一艘游轮上演出，它以20世纪初汉口的商业故事为主线，从知音号码头露天部分拉开序幕。它为游客设置了“九省通衢”之地的老码头实景体验，包括从汉口富商、码头工人到湖广民俗的丰富场景，让游客穿越到近100年前的江汉春天。游客随后将登上一艘具有1920—1930年代风格的蒸汽轮船，分层移步观看触及心灵的武汉故事。这一部沉浸式演出不分观众区和表演区，每一个角落都发生过、发生着或即将发生不可预知的故事，而游客恰恰就是故事和视听的一部分。

沉浸式剧场演出 它突破了传统意义上的剧场格局，形成一种全景包裹的视听氛围，而让观众也成为剧场和演出的一部分。比如世博会信息通信馆的“五合一沉浸式梦幻剧场”，通过正前方一块21米高、11米宽的弧形超大荧幕、头顶上32块“神奇屏幕”，配合下雪、座椅震动、涡流效应等特技效果，再加上气势恢宏的音响，包括了听觉、视觉、触觉、嗅觉、味觉，以多立体互动体验，为更加丰富的主题叙事创造了条件。2016年，英国沉浸式演出经典剧目《不眠之夜》（Sleep No More）在上海举行亚洲首演，2017年，从英国引进的《爱丽丝冒险奇遇记》也获得好评。它们打破了传统剧场的规则，让观众自由地穿梭在史诗般的故事中，选择自己所到之处和所见之景，让每一位观众获得独一无二的体验历程。英国Punchdrunk剧团作为浸没式戏剧的先驱，在16年间一共出品了16部浸没式戏剧。其中最成功的就是Sleep No More。该剧取材于莎士比亚的名著《麦克白》，而“Sleep No More”的主题则来源于麦克白在杀死邓肯国王后的一句对白：“I heard a voice cry，Sleep no more！Macbeth does murder sleep”（我听见一声呼喊：“醒来啊！麦克白，把睡意赶走”）。在这个9300多平方米的5层空间内，每一个场景都逼真到极致，阴郁的空气让人窒息，让观众在看完之后Sleep No More。

沉浸式体验+商业综合体 它把沉浸式体验植入各类商业综合体，把商业空间转化成为富有艺术魅力的文化空间，把文化意义的丰富性、审美设计的独创性和空间功能的有效性有机融合在一起，让宝贵的城市空间注入更丰富、更精彩的文化元素。2018年11月，《致敬达·芬奇》沉浸式光影大展在上海环球金融中心4楼开幕，为这座金融商业大厦带来了新的艺术元素。它以沉浸式的视听效果表达了达·芬奇传奇般的成果。达·芬奇不仅是一位全能型的艺术家，也是一位深邃的哲学思想家。他怀着永无休止的探索精神去研究自然和人生的一切奥秘，把艺术、科学与自然完美结合，在绘画、雕塑、工程、军事、建筑、机械、城市规划、人体解剖等领域都做出了巨大的贡献，把文艺复兴的成就推向一个前所未有的新高度。这次展览是继精彩美妙的“Klmit”（克里姆特光影展）之后，意大利CROSS MEDIA团队的又一创意精品，也是由意大利达·芬奇博物馆发起的“纪念达·芬奇逝世500周年”系列活动之一。它采用了光影结合、激光投影、VR、5D等先进视听和高科技手段，为观众呈上了一场沉浸式艺术的盛宴。它以20余件根据达·芬奇手稿复原的机械实物，包括振动翼飞机、坦克、自行车、明轮船、风速计、浮桥等，展现了达·芬奇的才思与创意。它还包括一个5D影院：以一部动画影片讲述了达·芬奇创作蒙娜丽莎的奇妙故事，观众们可以在观看动画电影的同时，感受灯光、声音、水、风和吹泡泡相结合的特效，在沉浸式的体验中接触到达·芬奇的美妙世界。

2018年，英国国家科研与创新署（UKRI）及隶属的英国艺术与人文研究理事会出资1000万英镑打造“未来故事学院”（The Story Future Academy）,重点支持沉浸式叙事的前沿创意培训和研究计划。这一计划显示了英国高度重视集成大量先进科技和创意成果的沉浸式叙事项目，也希望在这一领域形成领先的优势。这正如欧洲事务公司在《文化型创意的影响》报告中指出的：要发挥文化创新的活力效应，形成良好的跨界合作模式，把创意、设计、艺术、工程、商贸、教育、旅游等多个专业部门组合起来，这种跨界合作就是创新活力的激发源泉。文化产业视野中的新视听技术也必将在多学科的跨界合作中获得更加广阔的发展空间。

END

同济大学学报（社科版）

：T *** KXB

长按扫码可关注

“

文化产业视野中的新视听技术，指采用先进的造型、视频和音频及相关技术，通过人的视觉和听觉而影响人的情感和认知，营造出具有叙事主题和故事内容的视听效果。

”

作者简介：花建，上海社会科学院文化产业研究中心主任、研究员，北京大学文化产业研究院研究员。

本文载于《同济大学学报》（社科版）2019年第1期，内容和注释有删减。

01

从文化产业视野看新视听技术的发展

文化产业视野中的新视听技术，指采用先进的视觉造型、视频和音频 *** 及相关技术，通过人的视觉和听觉而影响人的情感和认知，营造出具有叙事主题和故事内容的视听效果。人作为地球上更高等级的动物，在获取外界的信息时，90%以上是通过视觉和听觉获得的。视听感觉的拓展对于人类的进化具有重大的意义。

人类有史以来，就试图通过科学研究和技术进步，改善自己的视听能力，突破用自然手段 *** 和保存视听信息的局限性，提升对于视觉和听觉信息的记录、 *** 、压缩、加工、储存、转换、播放等能力，将视听信息 *** 成为产业化和社会化的产品和服务。这已经成为人类长久以来的梦想，也是人类实现自由的重要途径。这其中，对于在一定时间段中连续发生和流动的动态视觉和听觉信息，进行采录、储存、传输和加工，就成为视听技术研发和更新的重心。

人类提升视觉和听觉能力，是立足于科学和技术的不断进步和普及而实现的。从18世纪工业革命以来，人类就分别在音频和视频的不同领域中，做了艰苦的探索。所谓音频技术，指把人工和自然声音进行可录制、可压缩、可传输、可播放的技术整合。1877年8月15日，发明家爱迪生在实验室里，通过纯机械录音技术发明了世界上之一款留声机。在这之后，科学家和工程师突破了机械录音技术，进一步发展出光学录音、磁性录音和电子录音技术。而扬声器则是将上述一切声音信号转换为声音的终端装置。它作为整个工作链的最末端，在音频技术的引用中发挥了重大作用。而视频技术，则是指把静态到动态的图像进行摄录、编码、 *** 、压缩、储存、传输、播放的技术。它起源于早期的照相技术，从视频技术、模拟视频信号，发展到数字视频信号。上述这些技术分别在视频和音频领域进行了探索，这一阶段可以称为“单媒体时代”（Monomedia Time）。从20世纪后半叶开始，人类在该领域全面进入“多媒体时代”（Multimedia Time），并且结合人工智能、大数据、移动互联、混合现实、3D打印等技术，推动视听技术跨越了三个发展阶段（见下图）。

新视听技术发展的三大阶段

之一阶段，从20世纪末开始，视听技术的主流进入到“跨媒体新视听1.0版”。它指人类已经掌握和应用了同时采集两种以上不同类型信息媒体的技术，这些信息媒体包括声音、图形、图像、文字、动画、视频、音频等。在这一阶段，日本学者提出“泛在城市理论”，认为日本要从E-Japan（电子日本）时代向U-Japan（物联网日本）时代转化；中国学者提出“泛在 *** 与多媒体业务创新”，指出终端技术的融合、接入技术的多样化、 *** 的融合等，将使手机终端成为无所不在的中继器和控制器。层出不穷的新视听文化形态，依托技术的进步，大大降低了文化产品和娱乐服务的成本，使得数字化的文化产品和娱乐服务获得极大的丰富，成为当年松下公司总裁所说的“自来水产品”。

第二阶段，从2000年以后，视听技术的主流进入“跨现实新视听2.0版”。它指人类研发和不断升级虚拟现实、增强现实等技术，把物理现实和虚拟现实相结合，使得人们可以在混合形态的多维现实空间获得前所未有的多样化体验。它立足于后工业社会与科技发展所创造出的“模拟” (Simulation) 与“拟真” (Virtuosity) ，进一步创造出“虚拟真实”(Virtual Reality，简称VR) 与“增强现实”(Augmented Reality，简称AR) 的环境。这种全新的视听技术，扩大了人们对虚构世界的创造与再现，融合出虚拟与真实合一的情境。AR技术是在1990 年代初期，由美国波音公司的一群优秀科学家，为了先进制造业而创造的。他们探索开发出一种实验性的AR 系统，协助工人装配航空器部件。当AR技术把增强现实的信息叠加到一线工人的特种眼镜上时，可以大大提高工人装配的准确性和效率。而美国军队在中东战场上使用AR技术侦察战地场景，让军人快速获得实际上无法用肉眼观测的信息。以此为基础，新视听技术在文化产业领域中同时向巨型化和微型化发展。所谓巨型化，指工程师、艺术家和设计师可以营造出4K、3D、巨幕/环幕/球幕、全息声音场、巨型灯光秀等超大型视听艺术效果；所谓微型化，指工程师、艺术家和设计师可以结合移动互联网，在可穿戴设备、智能手机、平板电脑等随身装置中 *** 、传递、展示混合现实型的视听艺术效果。

第三阶段，从2010年开始，视听技术的主流进入“跨智能新视听3.0版”。它结合从人类智能到人工智能的进步，依托对不同领域的海量信息的智能化处理，把视听技术发展到一个全面集成、复合体验、智能处理、人机互动的新阶段。正如维克托·迈尔舍恩伯格所说，随着大数据时代的到来，人类放弃对因果关系的渴求，而更加关注相关关系。这也就是说只要知道“是什么”，而不需要知道“为什么”。这种转变必须在人工智能的基础上才能实现。斯坦福大学人工智能研究中心的尼尔逊教授对人工智能所下的定义为：“人工智能是关于知识的学科——怎样表示知识以及怎样获得知识并使用知识的科学。”而美国麻省理工学院的温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”根据上述科学家的研究，人工智能是研究人类智能活动的规律，并且构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，应用计算机的软硬件来模拟人类智能行为的理论、 *** 和技术，通过发挥人工智能的深度学习能力，推动新视听技术跨入了一个全新的阶段。

02

新视听技术对故事和叙事的贡献

从文化产业的视角看，新视听技术连续跨越了“跨媒体”“跨现实”“跨智能”三个阶段，对构建文化产业的核心内容特别是故事和叙事做出了重要的贡献。联合国开发计划署和联合国贸发会议编撰的《创意经济报告》指出，各类文化产品和文化服务具有三个基本的特点：创意的投入、传达符号信息(Symbolic Messages)的媒介、知识产权(Intellectual Property)。而从人类智慧创造的意义上说，这些作为创意结晶的符号型知识产权，之所以能够连接历史与现在，打动具有不同宗教和文化背景的人群，沟通淹没的遗址与现代人群，其核心线索就是创作的故事和叙事(Story Telling)。而新视听技术极大地促进了当代人对于故事的创作和叙事的演示。

具有丰富实践经验的美国概念与体验设计专家罗伯特· 歌德（Robert Gould）结合大量文化创意产业的成功案例指出：“故事发挥着什么样的作用呢？它能够表述我们试图解释的东西，它是有一种对我们生活历程当中的人生痛苦和喜悦的原因。就像神话指引着生活的意义和目标，他们传递、鼓舞、揭示并且说明已知以及未知的世界。……我们在脑海当中所吸收的这些故事形式就像我们生活当中所经历的一样。我们知道在这个地球上我们是唯一的生物，我们能够进行幻想，能够产生故事，能够产生神话故事。在这些故事当中，叙述是辅助文化组织结构、发展理想并为其行为寻找权威的依据。它能够让我们的心理、身心融为一体。”而新视听技术把这种能力发展到一种前所未有的高度，能用全新的视听效果传递内在的寓意，说明人类心理对于已知以及未知世界的感应和投射。比如2017年，英特尔公司与中国2005年《超级女声》的冠军李宇春进行合作，把新视听技术融合到《今天雨，可是我们在一起》这首歌的MV中，开始了从内在感悟（Intel Inside）转向视听震撼（Amazing Experience Outside）的尝试。这一新视听形态用如梦如幻的视听体验，与李宇春的脸部特效相结合，时而是超高清晰的水滴，时而是变化莫测的调色盘，更有似真似幻的穿越，演绎了“今天雨，可是我们在一起”的都市故事和情感主题。

从总体上看，新视听技术对于故事创作和叙事的贡献集中在以下方面：

之一，高度多样化的技术集成。由于当今前沿的视听技术要整合和处理声音、图形、图像、文字、动画、视频、音频等海量信息，制造光效、音效、水幕、烟幕、场景移动、全效剧场等极为复杂的效果，所以用光影、环幕、巨幕、全息声、无人机、无人艇、虚拟音乐、全景移动装备、沉浸式空间等多类型的设备，用多机位、多角度的摄录设备同时 *** 和传递。

第二，大数据和人工智能的支持。高度的技术集成，带来了极为复杂和海量的信息整合和智能处理难题。其信息处理的重点不是精确性，而是混杂性，不是线性的因果关系，而是复杂的相互关系。传统的人工设计和人工操控根本无法解决这样复杂的信息。比如英特尔宣布运用True VR技术，在2018年平昌冬奥会上实现迄今为止更大规模的虚拟现实赛事转播。对一个足球前卫的射门拍摄，三维像素记录全场的所有摄像头，在巨大的足球场中采用TRUE VIEW技术的设备，每分钟会产生高达3TB的数据。这就是说，每场足球赛的前15分钟所产生的数据量就相当于美国国会图书馆中所有文献量，可见数量之巨大。唯有在人工智能、大数据、先进制造技术的强大支持下，当代的新视听技术才能跨上一个新的台阶。

第三，高水平的人机互动。由于前所未有的新视听技术，结合可穿戴设备和大数据分析，文化产业的从业人员可以更加敏锐地把握人类的微感觉和微情绪，通过对不同人群在行踪、年龄、消费、爱好、时段、周边活动等的海量信息的综合分析，对小众人群的文化需求进行精准定位，提供更加丰富多样的文化体验。而对于情景化的服务和知识，更需要大数据的模拟和说明。在通向一个特色化的视听情境时，系统集成所要处理的变量会变得更加复杂多样，因此它更需要高智商的集中管控和视听表达。例如，在2018年1月的全球电子消费展（CES）上，英特尔公司展示的科技成果，堪称新视听技术推动文化创意产业所贡献的超级秀。它包括三大部分：算法与布鲁斯、数据、无人机与人工智能AI（见下表）。这些炫酷的科技都是利用英特尔积累的技术，与文化艺术进行深度融合所创造的最新成果。

CES英特尔公司科技秀的主要内涵

此次2018年英特尔科技秀，设在拉斯维加斯蒙特卡洛酒店的大剧院，展示了全球之一支数据乐队演奏、全球之一次100 架英特尔Shooting Star微型无人机灯光和舞蹈秀、12岁舞者Sophie用数据展示表演、虚拟音乐和动作捕捉系统配合作秀、无人飞行汽车Volocopte等。此次采用的微型无人机机身框架柔软，采用柔性泡沫塑料和无螺丝结构设计，重量仅280克，比一个排球还轻。它的四轴飞行器的螺旋桨搭配加盖保护罩，更加安全和灵巧。当100架英特尔微型无人机在巨大的空间排列成为流动的矩阵，伴随着激动人心的音乐，在三维空间自由翻滚和变化时，犹如100个美妙的精灵在空中翩翩起舞，营造出变幻莫测的视听效果。由于英特尔科技秀采用了大数据作为基础，独有算法能够自动处理海量的动画 *** 流程，并在瞬间创建100架无人机空中表演图案的最快路径。这样高度集成的新视听技术，堪称在先进人工智能、大数据、移动互联等支持下，对视频、音频、AR、VR、动作捕捉、光影效果、先进制造业技术等的高度整合。

03

新视听对遗产传承和开发的提升

新视听技术对于文化产业的积极贡献之一，在于极大地提高了多样化文化遗产的传承与开发效率，营造出一个与文化遗产的物理性存在相对应的数字化视听世界，从而为传承和延伸人类文化遗产打开了新的自由天地。2010年上海世博会期间，时任联合国教科文组织总干事伊琳娜·博科娃在世博园的联合国馆内发布了联合国成立以来之一份有关文化的报告：《着力于文化多样性与文化间对话》。它指出：文化多样性不仅仅是一种需要保护的资产，也是一种需要开发的资源。文化多样性的源泉是创造性活动，而文化创造性恰恰体现了文化多样性的活力。

文化产业与其他制造业和服务业的更大差异之一，在于它以创造丰富的IP文化内容为核心资产。这些IP文化内容包括了人类世世代代所创造的价值观念，又超越了真与善，在更高的意义上创造了美。由于文化的创造是一种积累的过程，所以，要创造出丰富的IP内容，必须立足于对文化遗产的传承，这就要解释其中包含的文化密码，从21世纪的时代高度去理解它，沟通它，丰富它，激活它，再创造出新的文化产品。

在地球上，文化信息的传承和解码是人类所独有的一种本领。环顾地球上的大自然，除了人类以外，所有生物的机体都已经高度特化了，长颈鹿能狂奔，雄鹰可飞翔，鲨鱼能潜水，鳄鱼能在混浊的河流中进行长时间的守候伏击，刺猬和豪猪能变成一簇尖利的针。与动物相比，人类虽然没有这样的体能优势，但是人的思维具备高度的抽象性、概括力和创作力。人类在不同的时代和背景下发展出一套套有着严密逻辑和语法规则的符号体系，特别是创造了“故事”和“叙事”，这才使得人类有可能传承极为丰富的文化信息。正如罗伯特· 歌德所说的：在地球上的生物中，唯有“我们用幻想服务于文化，因为人是唯一具有幻想的生物。人类是非常脆弱和易受打击的动物，因而进化出了能够运动我们独特现象的能够去创造假设的情景和自我中心的故事内容。人类创造叙述故事和神话这是一种进化的观念，没有其他的任何动物拥有神话，神话故事定义了他们的意图和目的，存在于人们心间”。

罗伯特· 歌德（Robert Gould）应用诺贝尔经济学奖得主丹尼尔·卡内曼教授的格言指出：从品牌选择、明星崇拜到节庆活动，“没有一个人会因为一个数字做出一个决定，他们需要的是故事”。按照丹尼尔·卡内曼的观点，人类具有快和慢两种思维模式：慢的模式诉诸理性和逻辑，快的模式诉诸经验和感觉。有鉴于此，尽管由于电脑和互联网的普及，现代人可以调用和获得海量的数据，但是在现代媒体的轰炸下，大部分人的感官和情感系统受到巨大的 *** ，理智和逻辑能力发展并不明显。当代人的文化习惯更关注对于消费主义、品牌故事、名人轶事、内在欲望等做出快速的反应。所以，从文化消费的意义上看，人们越来越生活在一个情感和感觉驱动的文化当中，偏好欲望而不是数据、理性和事实。有鉴于此，在文化消费的领域中，要把对于人类弥足珍贵的文化遗产挖掘出来，必须立足于对于遗产的探索和理解，依托世世代代传承的基因密码，创造出新的叙事和故事，才能在沟通现代人心灵的意义上，把文化遗产转化成为可投资、可流通、可转化、可增值的文化资产。

正因为人类文化具有信息特性，岩画碑刻、青铜铭文、活字印刷、数字视频、全息投影、数字音频才得以相继出现并发挥作用，为人类传递和处理文化信息开辟了越来越广阔的未来。但是，以数字技术为基础的新视听技术对文化遗产传承的贡献，与传统意义上物理形态的遗产修复和形态复原是不一样的。新视听以电子文本、音频、视频、光效等数字物为特征。中国学者李三虎指出：“数字物不同于自然物而属于技术人工物，可以被称为‘数字人工物’。”他指出：数字物可还原为0和1的二进制数字表达和运算，属于非物质性技术人工物，不同于传统技术人工物（如建筑物、雕塑、建筑、书本、书画等），所以还可以被称为“数字客体”。这种对数字物的本体论的界定和区分，把数字世界展示为一种符号化的非物质软体世界。采用新视听技术对各类文化遗产进行扫描、模仿、再造、衍生开发而形成文化产品和文化服务，其丰富的寓意与符号价值，就是一种符号化的非物质形态。它远比文化遗产或者复制品自身的实用功能要来得显著。

从文化遗产的角度看，构成乐山大佛和敦煌石窟的岩石、山体、庙宇等是典型的物质实体，同时又凝聚和物化了前人巨大的智慧和技巧，达到一种极高的创造境界。而数字物就其本质而言，是通过二进制数字语言表达的“元数据”系统，并不是传统意义的物质存在。根据李三虎先生的研究，如大脑和纸张是语言符号的承载物一般，数字物的“元数据”要依托电脑、屏幕、视频播放设备等才能存在，成为一种依赖特定物质关联环境的“准客体”（quasi-object）。当我们使用智能手机、平板电脑、巨型LED屏、环幕电影等数字化媒介观看以数字化手段复原、再造的《清明上河图》《富春山居图》和《蒙娜丽莎》时，便已经拥有了一种与集成电路逻辑运算相关联的物质性 *** 环境。如果抛开这一物质关联环境，人类便无法感知到数字物的独立存在。反过来说，当人类建立起一个数字化手段复原、再造文化遗产的视听形态时，就形成了一个可以无限延伸、叠加、变化和进入的符号化非物质世界，也可以用诉诸理性和诉诸经验的知觉，更加深刻地影响大部分人。新视听技术对遗产传承和开发的贡献集中在以下方面（见下图）：

之一，立足新视听和相关预感、测绘、图像、人工智能等技术，可以建立基于3S（GPS，RS，GIS）技术和大数据技术的文化遗产和考古工地数字化平台与重要遗迹采集系统，能够把文化遗产的物理性质全部转化成为系统化的数据，并且根据这些数据可以重构符号化的文化遗产形态，为永续保存、科学研究和视听再现提供了最重要的条件。现代的考古调查、勘探、发掘、整理的过程是一个信息不断揭露、丰富、整理和丢失的过程。在这个过程中，采集遗产的空间信息之手段的不足是一个迫切需要解决的问题，而各种考古信息资源的流通与整合缺乏效率，也是一个极大的挑战。近年来，快速发展的基于3S技术和大数据技术的文化遗产和考古工地数字化平台与重要遗迹采集系统，采用基于GPS、北斗等的考古测量仪、低空无人机智能化遥感测绘平台、自主三维激光扫描仪、激光全景等技术，可以开展文化遗址保护、调查、勘探、发掘过程中的图形测绘及相关的全景和视频记录工作。近年来，对敦煌莫高窟壁画和雕塑的数字化空间和影像采集，就在这方面取得了重要进展。

第二，立足新视听和相关技术，可以对文化遗产中蕴含的智慧密码进行深度解读，并且用全新的视听形象，把文化遗产的价值在更加广阔的视野中展现出来。前人对这些遗产的探索，是在不同的专业领域中进行的，而今天我们可以在更高的层面上把这些研究成果进行整合。比如英国布莱顿大学媒体艺术科技学院的克丽·斯诺克（Kelly Snook）教授在有关技术创新整合音乐与科学的研究成果中，以全新的视角审视了科技与音乐 *** 之间的关系。她提出一个深刻而有趣的问题：你可以通过演奏乐器来回答一个历经400年的宇宙奥秘问题吗？390多年前，伟大的科学家约翰内斯·开普勒提出了改变人类历史、具有历史意义的顿悟，即三大行星运动定律，而成为现代天文学之父之一。但是大多数人并不知道：这些定律是与约翰内斯·开普勒根据音乐和声原理驱动的调查分不开的。他相信所有创造的真实原型都隐藏在宇宙的和谐关系中。从本质上说，音乐与数学、天文学一样，是一种探索现实世界、发掘大自然规律的工具，是具有严密逻辑和智慧延伸的符号系统。音乐以艺术的形式表现大自然的规律、人类的情感以及生活，使用数学的想法，将复杂的数学方程式、研究方案与音乐的听觉、视觉表达进行关联，就可以产生互动，帮助人类对自然的进一步探索。有鉴于此，克丽·斯诺克教授和相关的研究团队，正在努力开发一个“开普勒协 *** 乐器项目”。它将是一个虚拟的沉浸式体验，使用先进的虚拟现实和增强现实来构建一个科学准确的、交互式的、用音乐表达的太阳系模型。通过音乐探索数学，人们不仅可以看到和听到天体本身，而且可以探索与天体相关的美丽而复杂的几何图案，从而更加深刻地理解约翰内斯·开普勒的伟大贡献，也有助于现代人站在巨人的肩膀上，去探索更加深邃的宇宙奥秘。

第三，立足新视听和相关技术，可以通过对文化遗产的纪录、分析、理解、重构等，创作出包含传统文化基因的新故事和新叙事，建立全新的意义结构。它可以形成人与人、人与动物、人与自然的新关联，重新解释人类痛苦和喜悦的原因，从而把传承与创造、历史遗产与新创内容的IP更加紧密地联系起来。比如2017年第74届威尼斯电影节是全世界之一届将VR电影纳入竞赛单元的世界级电影节，竞赛单元的VR电影由美国电影《阿登的觉醒》获得。第74届威尼斯电影节亚太电影艺术单元更佳未来影像和更佳沉浸影片双项金狮奖的VR电影《小凉帽传奇·白鹭归来》，就是一个传承非物质文化遗产与重建创意叙事的生动案例。而《小凉帽传奇·白鹭归来》的IP核心内容来自深圳客家小镇——甘坑村和凉帽村。300多年前，客家人从中原迁徙集聚到这一带，通过世世代代的绵延生息，积累了大量的遗产，其中就包括具有鲜明客家特点的凉帽。由于深圳气候炎热，客家女性的帽子采用竹编帽圈和纱布帽帘，以便遮挡阳光和热量的辐射。这种帽子透气性良好，帽子中空而无顶，不是为了挡雨，而是为了纳凉。1950年代，甘坑村一带的客家人向东南亚 *** 凉帽出口，占全国凉帽出口量的70%左右。2016年，华侨城集团参与了对该区域的改造，对保留的100多间客家老屋进行修缮，重塑甘坑客家小镇。在这个传承和重建的过程中，华侨城的专业人员依托凉帽这一文化遗产，导入了IP Town战略。这个创意项目以凉帽为核心视觉元素，传承了客家人“天人合一，耕读传家”的传统，以“白鹭回来了”为生态文明的主题，将小凉帽绘本故事“白鹭回来了”的主题元素与视听设计结合，建设一座亲近自然的、场景浸入式的全国首个本土原创IP亲子农庄。它包括线上数字绘本、动画电影、VR电影《小凉帽传奇·白鹭归来》和相关的旅游服务，获得了很好的效益，不到一年时间，甘坑客家小镇吸引到大批游客，在周末达到2万~3万人，是导入IP主题内容之前的10倍以上。

04

新视听技术对文化体验的拓展

新视听技术对于文化产业的重要拓展，是创造了各种文化体验的新业态，开创了沉浸式体验+等丰富的文化消费空间。它通过全景式的视、听、触、嗅、震动等感觉的交互体验，包括利用VR设备的帮助，使人有一种“身临其境”“全身包裹”的感觉。沉浸式体验使人的每一种感觉，都与周边环境有了敏感的感应和互动。这些新技术的应用，使人类进入到“时空的穿越”和“虚拟的世界”。以沉浸式体验为核心的电影、展览、演艺、游戏、娱乐等，成为深受各年龄人群喜爱的一种文化艺术形态。它重新定义了创作者与消费者的关系，更加自由地表达创意（故事的创意、观演关系的创意、新技术的创意应用等），利用情境、沉浸、角色、气氛、情节、光影的效果，让观众和听众融入故事之中。

有关生物科学的研究表明：人类所感觉的世界是由人的器官与外界接触后形成的生物电流信号，并在自己的大脑中合成与创造（Reality is created by mind)。人类所看到的东西，并不一定都是物理的现实。首先，很多物理层面的现实，是人类的感觉器官无法捕捉到的，例如，人类看不到红外线，闻不到一氧化碳，听不到超低的音频讯号。人们接收到的感官 *** 的质量——天空的颜色、玫瑰的香味、砂纸的触感、合成器所形成的低频音响——对每个人来说并非完全一样。因此，人类不满足于已经获得的感官，而要去探索遥遥无尽头的“视听新边疆”。有鉴于此，新视听技术创造的沉浸式体验，让人类拥有了更加丰富多彩的现实形态，从而极大地拓展了人类的感觉体验。当这种沉浸式体验被有目的地设计和 *** 出来时，就成为满足人类需求的一种文化创意和文化服务，形成了“沉浸式+”的丰富文化消费形态（见下图）。

沉浸式+促进文化产业的新业态

文化产业领域中的沉浸式体验，不但提供给人类丰富的视听消费，也让人类更加认真地去思考人与客观世界的关系，去探索人与自然的本质关系。它与商业、旅游、生态、校园等空间的结合，也赋予这些空间以丰富多彩的艺术内涵。

沉浸式展览 它让人们一旦步入展厅便被奇妙的视听感受所包裹，也让观众更加强烈地去思考: 人的感官边界是什么？我们能够凭借感觉去把握客观世界吗？宇宙的时间和空间在哪里是起点和尽头呢？人类能够把握以光年为计算单位的巨大空间和时间吗？如日本设计师草间弥生设计的“无限镜屋——数百万光年以外的灵魂”，在一个室内面积约25平方米，净高约2.43米的封闭空间内，依托镜子无限反射的红白波点，形成了一个让人置身其中迷失方向和时间的空间。而“雨屋”的神奇之处便在于智能化的“控雨”，让观众走进雨中，却不会淋湿。这一如同“雨神”的智能掌控效果，吸引无数观众纷至沓来；至于“飞跃边界的蝴蝶”（Flutter of Butterflies Beyond Borders）与“花与人”（Flowers and People），把两个主题巧妙地结合在一起展出。观众步入这个空间，脚下会“生长”出一片晶莹璀璨的花草，还可以通过下载APP来控制“水晶宇宙”（Crystal Universe）的颜色和形态。

沉浸式设计 它常常对于古典艺术的经典构图和视听效果进行再造，从而表达新的叙事主题。正如国际多媒体协会联盟主席哈威·费舍尔在《数字冲击波》中指出的：“艺术和文学一样，都是关于物像，否则就不算艺术。物像在我们看来就是视觉的浓缩，象征着一种美感或者主题，是所属社会的制度、价值和主要参照体系。”有鉴于此，我们迫切需要在数字影像的大潮流中重建视听的美感主题。2018年第二届伦敦设计双年展的主题就采用了“情感状态”，美国设计师R. Luke DuBois 和 Zachary Lieberman *** 的《面部价值》（Face Values），采用了一个貌似航空港、火车站常见的自助拍摄和打印证件照的机器。它可以纪录观众的面部表情，并且将其展现在屏幕上。而观众可以用表情来控制装置的声音和图像。在这里，平时被机器监控、分析的人脸成了控制者。人在与机器交互的过程中，可以颠覆毕达哥拉斯建筑学派有关黄金分割的传统，调动五官而做出更加丰富的表情，使人的脸部具有更高的价值。这些表情通过装置被记录下来，最终呈现出一幅连续的情绪作品。这个设计得到了2018年该双年展的“情绪状态奖”。

沉浸式艺术秀 它常常以再现历史上经典场景、经典作品的形式而出现，又赋予这些视听场景以新的寓意和内涵。正如马克思在《〈政治经济学批判〉导言》中所说：希腊艺术“能够给我们以艺术享受，而且就某一方面说还是一种规范和高不可及的范本”，“希腊人是正常的儿童，他们的艺术对我们所产生的魅力，同这种艺术在其中生长的那个不发达的社会阶段并不矛盾”，并且会“作为永不复返的阶段而显示出永久的魅力”。而依托新视听技术所创作的沉浸式艺术秀，在更高的水平上恢复了当代人与历史记忆和经典作品的内在联系。比如在成都安仁古镇，一场名为《今时今日安仁》的大型沉浸式演出，在4个相互打通的百年民国公馆内展开。它通过裸眼3D、全息、多媒体影像、光影秀等新视听技术，让观众在行走和体验中了解一段安仁古镇的民国传奇。它将多媒体、虚拟现实、三维实境等高科技手段与传统演出相结合，还设置了民国照相馆、复古理发店、洋帽艺术展等交互展览，让观众更加真切地体会到：我们从哪里来，又会到哪里去。

沉浸式旅游 它突破了经典的旅游定义“异地和短期的生活”，而发展成为“穿越时间和空间的短期生活”，让游客获得在不同时间和空间的穿越式体验。比如2017年4月，首部漂移型沉浸式体验剧《知音号》在长江上的一艘游轮上演出，它以20世纪初汉口的商业故事为主线，从知音号码头露天部分拉开序幕。它为游客设置了“九省通衢”之地的老码头实景体验，包括从汉口富商、码头工人到湖广民俗的丰富场景，让游客穿越到近100年前的江汉春天。游客随后将登上一艘具有1920—1930年代风格的蒸汽轮船，分层移步观看触及心灵的武汉故事。这一部沉浸式演出不分观众区和表演区，每一个角落都发生过、发生着或即将发生不可预知的故事，而游客恰恰就是故事和视听的一部分。

沉浸式剧场演出 它突破了传统意义上的剧场格局，形成一种全景包裹的视听氛围，而让观众也成为剧场和演出的一部分。比如世博会信息通信馆的“五合一沉浸式梦幻剧场”，通过正前方一块21米高、11米宽的弧形超大荧幕、头顶上32块“神奇屏幕”，配合下雪、座椅震动、涡流效应等特技效果，再加上气势恢宏的音响，包括了听觉、视觉、触觉、嗅觉、味觉，以多立体互动体验，为更加丰富的主题叙事创造了条件。2016年，英国沉浸式演出经典剧目《不眠之夜》（Sleep No More）在上海举行亚洲首演，2017年，从英国引进的《爱丽丝冒险奇遇记》也获得好评。它们打破了传统剧场的规则，让观众自由地穿梭在史诗般的故事中，选择自己所到之处和所见之景，让每一位观众获得独一无二的体验历程。英国Punchdrunk剧团作为浸没式戏剧的先驱，在16年间一共出品了16部浸没式戏剧。其中最成功的就是Sleep No More。该剧取材于莎士比亚的名著《麦克白》，而“Sleep No More”的主题则来源于麦克白在杀死邓肯国王后的一句对白：“I heard a voice cry，Sleep no more！Macbeth does murder sleep”（我听见一声呼喊：“醒来啊！麦克白，把睡意赶走”）。在这个9300多平方米的5层空间内，每一个场景都逼真到极致，阴郁的空气让人窒息，让观众在看完之后Sleep No More。

沉浸式体验+商业综合体 它把沉浸式体验植入各类商业综合体，把商业空间转化成为富有艺术魅力的文化空间，把文化意义的丰富性、审美设计的独创性和空间功能的有效性有机融合在一起，让宝贵的城市空间注入更丰富、更精彩的文化元素。2018年11月，《致敬达·芬奇》沉浸式光影大展在上海环球金融中心4楼开幕，为这座金融商业大厦带来了新的艺术元素。它以沉浸式的视听效果表达了达·芬奇传奇般的成果。达·芬奇不仅是一位全能型的艺术家，也是一位深邃的哲学思想家。他怀着永无休止的探索精神去研究自然和人生的一切奥秘，把艺术、科学与自然完美结合，在绘画、雕塑、工程、军事、建筑、机械、城市规划、人体解剖等领域都做出了巨大的贡献，把文艺复兴的成就推向一个前所未有的新高度。这次展览是继精彩美妙的“Klmit”（克里姆特光影展）之后，意大利CROSS MEDIA团队的又一创意精品，也是由意大利达·芬奇博物馆发起的“纪念达·芬奇逝世500周年”系列活动之一。它采用了光影结合、激光投影、VR、5D等先进视听和高科技手段，为观众呈上了一场沉浸式艺术的盛宴。它以20余件根据达·芬奇手稿复原的机械实物，包括振动翼飞机、坦克、自行车、明轮船、风速计、浮桥等，展现了达·芬奇的才思与创意。它还包括一个5D影院：以一部动画影片讲述了达·芬奇创作蒙娜丽莎的奇妙故事，观众们可以在观看动画电影的同时，感受灯光、声音、水、风和吹泡泡相结合的特效，在沉浸式的体验中接触到达·芬奇的美妙世界。

2018年，英国国家科研与创新署（UKRI）及隶属的英国艺术与人文研究理事会出资1000万英镑打造“未来故事学院”（The Story Future Academy）,重点支持沉浸式叙事的前沿创意培训和研究计划。这一计划显示了英国高度重视集成大量先进科技和创意成果的沉浸式叙事项目，也希望在这一领域形成领先的优势。这正如欧洲事务公司在《文化型创意的影响》报告中指出的：要发挥文化创新的活力效应，形成良好的跨界合作模式，把创意、设计、艺术、工程、商贸、教育、旅游等多个专业部门组合起来，这种跨界合作就是创新活力的激发源泉。文化产业视野中的新视听技术也必将在多学科的跨界合作中获得更加广阔的发展空间。

END

同济大学学报（社科版）

：T *** KXB

长按扫码可关注