莱维特(LEWITT)发布新品 RAY——首支自动对焦你声音的麦克风

2024年4月《Midifan月刊》电子杂志发行,8 篇技术文章在线阅读

低频灵魂,不同凡响:Earthworks DM6 打击乐专用话筒评测

叮咚音频正式代理 Lunacy Audio,令人惊叹的交互式效果器 BEAM 横空出世

精准混音/监听全担当——森海塞尔全能型监听耳机 HD 490 PRO 上手评测

VR 音频探秘之一:什么是 VR 音频?

许津玮 添加于 2016-09-16 ·

分享到微信

暂无评论


说起VR想必大家应该并不陌生,从2015年3月Facebook以20亿美元收购VR头戴设备生产商Oculus以来, VR这个话题已经火得不能再火。不但有Google、SONY、HTC、Samsung这样的巨型企业投身VR产业,资本注入更是催生出无数与VR相关的创业公司。2016年上半年,Oculus Rift和HTC VIVE消费者版本相继出货,SONY的PlayStation VR也将于10月13日正式发售。除了这样性能优异的主机平台VR设备,以Samsung GearVR为代表的手机VR盒子也层出不穷,虽然性能无法与主机VR设备相比,但其成本低廉、操作便捷的特性也为VR吸引到了一大批的用户。因此,2016年被称为VR产业元年。 

所谓VR即虚拟现实,就是阻断人类对真实外界的感官,以虚拟内容取而代之。广义的VR不但包括虚拟视觉、听觉,也同样包括虚拟触觉、嗅觉、味觉等一切人类的感知方式,就像《黑客帝国中》尼奥所在的世界。我们目前所讨论的VR,是在当前的技术条件下,尽可能的给人以沉浸感的一种虚拟视觉、听觉的交互体验。不过即使是这样,也足以给人们带来一种从未有过的、完全不同的感受。一切VR技术的目的都是使人们得到更好的沉浸感,显示刷新率、视场角、分辨率以及头部追踪延迟,这些参数决定了一款VR头戴显示设备是否能为你提供逼真的沉浸感。当然,VR中的音频也是一个非常非常关键的部分。 

听觉是我们对外界的感知当中最快的一种,而且不会像视觉一样被视角所限制。乔治·卢卡斯曾经说过:声音给了人们对世界感知的50%。在VR世界中更是这样,一份糟糕的声音体验会完全破坏掉VR带给我们的沉浸感,使我们从虚拟现实的世界中抽离出来。而一份优秀的声音体验,不仅仅会让我们拥有这种沉浸感,更可以去引导用户的注意力,调动用户的情绪。 

那么只要带上VR头戴显示设备,你所听到的一切就是VR音频?一切VR内容中的音频部分,就是VR音频?错,都不对。真正意义上的VR音频,首先是3D的,你听到的是声音不仅仅会定位在的x轴与y轴行成的水平空间,同样也会定位在z轴与x/y轴行成的三维空间。而且声音的空间感同样也会以3D的方式展现出来;其次,VR音频必须能够对使用者头部的运动做出实时反馈,使我们得到与现实中相同的听觉体验。当一个音频模式同时具有以上两种特性,我们就称其为Spatial Audio,即空间音频,也就是我们现在所讨论的VR音频。 

那么Spatial Audio为VR带来了什么呢?当然不仅仅是提高沉浸感,同时也能提供一种不受限制的引导信息。在传统的视听体验当中,我们看到的画面是导演为我们设定好的,而VR的视听体验则是一种大量信息的选择性摄入,我们可以自由的选择去看哪一个方向。但这实际上使导演失去了对画面的控制。也就是在一部影片中,由于自由的视角,观众们可能只是看到了一些无关紧要的画面,而对推动剧情的线索一无所知。这时,就需要Spatial Audio出现来引导观众的视角了,因为声音是不受视角限制的,我们可以通过声音将观众的视角引导到他们需要关注的画面上。同样,在游戏领域当中也是这样,我们的视觉会受到视角的限制,无法获取到一些信息。相信大家当年在玩CS的时候就有这样的体验,当我们被一个画面外的敌人攻击时,只能通过屏幕上闪烁的红色标记去判断敌人的方位,而在现实当中我们就可以通过枪声的方向去判断——当然,在现实中你可能还没有来得及判断就狗带了。现在,Spatial Audio就可以解决您的这个需求:通过枪声判断敌人的位置,而且没有随时狗带的危险。 

百闻不如一见,下面就推荐一些运用了Spatial Audio技术的App,可以在智能手机或VR头戴设备上运行,大家不妨下载下来,戴上耳机试一试。 


Within:原名VRSE,是一个360°视频应用,其中的内容都是为Apple、U2、Muse、NBC、NewYork Times等重量级客户制作的。iOS、Android、Oculus Rift、HTC VIVE平台都可以使用。 


Google Spotlight Stories: 同样是一个360°视频应用,适用于iOS & Android平台。 Spotlight Stories是Google ATAP(先进技术与计划)部门下的一个项目,应用中的内容是Google与一些知名导演、动画工作室合作推出的,其中就有《速度与激情》导演林诣彬拍摄的一条VR短片作品《HELP》 


Jaunt VR:Jaunt是一家专注于VR视频拍摄制作的公司,与DolbyLab合作采用 Atoms技术,这个App中有很多Jaunt拍摄的视频内容。Jaunt VR目前并没有在国内的App Store上架。苹果用户可以使用国外iTunes账号下载,安卓用户可以在Google Play商店下载。另外也支持Oculus Rift、HTC VIVE、Samsung GearVR平台。 


Wake up:一款HTC Vive平台上的解密游戏,玩家需要在一只红色蝴蝶的指引下,解答各种谜题来走出一个超现实的梦境。整个游戏的声音制作非常出色,声音成为了游戏中非常重要的引导信息。Vive用户可以在Steam上下载。


Henry:Oculus 旗下Story studio出品的一部VR动画,讲述了一只被人嫌弃的小刺猬过生日的故事,充满感染力的声音是这部影片的一个成功之处。它刚刚成为了史上第一个获得艾美奖的VR作品,Rift用户在Oculus Home中应该找的到。 

在VR音频系列文章的下一篇中,我会介绍一些关于Spatial Audio技术的基础原理,方便大家更好的去理解VR音频这个全新的概念。 

VR音频作为一个全新的声音领域,笔者也还在不断学习探索的过程当中,文中如有谬误还望不吝指教。另外如果各位对VR音频感兴趣,也欢迎交流讨论。 

Email:Jinwei.Hsu@foxmail.com



文章出处 http://www.midifan.com/

转载文章请注明出自 Midifan.com

暂无评论