录音师Jesse Ray Ernster、TribeXR创始人 Tom Impallomeni和VNCCII分享了他们对苹果新品的看法

音乐制作人和DJ戴着混合现实头显工作的场景仿佛有点脱离现实，但苹果在2023年全球开发者大会上不失时机地展示了你可以戴上Vision Pro 耳机并开始使用Algoriddim的djay来刮擦虚拟黑胶唱片的玩法。对苹果虚拟头显的猜测在全球开发者大会后告一段落。下一步将如苹果所言，随着Vision Pro的无限屏幕空间、手势输入系统和先进的音频体验，空间计算领域更多的音乐制作机会即将出现。

图1：Algoriddim djay

开门见山地说，在孤独的混合现实中创作音乐像是绘制一幅阴郁的反乌托邦图画。相比之下面对面共创是一种完全不同的体验，而且戴着耳机进行长时间的会议很不舒服。在不考虑价格的情况下，Vision Pro真的适合大型音乐项目制作吗？

许多制作人实际上是在卧室或是在工作室单独创作。混合现实音乐制作应用并不新鲜，SynthVR[https://www.midifan.com/modulenews-detailview-39056.htm]提供了虚拟空间中的模块化装备，而Tribe XR[https://www.tribexr.com/]则让用户使用虚拟版的Pioneer DJ设备。本月，Korg正式发布了Gadget VR[https://www.midifan.com/modulenews-detailview-47451.htm]，这是一个虚拟全景工作室环境，配有合成器、鼓机、MIDI钢琴卷帘窗和其他编曲功能。苹果显然有意将Logic Pro带到更多平台。上个月，iPad版Logic Pro发布，桌面音频工作站几乎被完整移植过去。如果Vision Pro取得成功，苹果大概会将旗舰创作工具Logic Pro和Final Cut Pro带到虚拟空间当中。

但无论Vision Pro有多少应用程序，最终问题是谁会为了在额外空间中体验一些古怪的音乐应用程序而花3499美元购买一套头显？这显然不是普通音乐人能够承受的，第一轮吃螃蟹的只能是那些最顶级的制作人。

Jesse Ray Ernster曾为Doja Cat、Kanye West和Burna Boy等艺人花了无数时间进行混音和录音。他在过程中必定发现了很多工作流程中的阻碍，而Vision Pro或其他头显有机会解决这些问题。

图2：Michelle Mosqueda

Jesse Ray Ernster说：

“头显可以立即取代房间里对显示屏的需求，这一直给我带来麻烦，我要么是在我面前的显示屏上看到了奇怪的反光，要么是因为距离和角度而导致脖子酸痛。”尽管Jesse的家庭工作空间相当舒适，但他对头显非常期待，“我可以坐在舒适的客厅沙发上进行混音，听到模拟价值百万美元的录音棚效果。就算声学环境不佳的房间里也不再有座椅、腰酸背痛和扬声器最佳听音位置这样的问题了。听到的声音永远是准确的，也不需要布置安装。“

虚拟监听环境早已有成熟的产品了。Waves的Abbey Road Studio 3插件可以让你进入Abbey Road的3号录音棚。你可以与Pink Floyd、The Beatles、Amy Winehouse、Kanye West共享同一个房间进行混音。 另一款产品dearVR也可以让你进入各种虚拟监听室来测试你的混音。

图3：Michelle Mosqueda

借助头部跟踪和更多触觉体验，混合现实头显可以彻底改变你的混音工作流程。在以杜比全景声(Dolby Atmos)和索尼360 Reality Audio等沉浸式格式进行混音时尤其如此。关于这一点，Jesse补充说他现在使用Logic Pro制作所有的杜比全景声 (Dolby Atmos)混音。在Vision Pro、Logic Pro和空间音频各方的发展轨迹指向在一条在虚拟工作室中使用虚拟交互乐器、设备、控制台进行创作的未来。尽管如此，Jesse并不期望将他的整个混音过程转移到虚拟工作室中。

“这不一定能替代真实房间中的真实体验，但肯定会激发人们的思考。”

元宇宙大拿VNCCII深受混合现实音乐制作潜力的启发。 VNCCII项目由澳大利亚人Sami Tauber主导，目的是探索不断拓展的虚拟景观中巨大可能性，包括建造Holoship录音室。VNCCII将从推出具有大众吸引力的混合现实头显中获益匪浅。

图4： VNCCII

Tauber 说道：

“苹果的Vision Pro以及Vision OS操作系统的发布对于VNCCII项目来说非常令人兴奋，并且对于整个XR/VR/AR生态系统也具有积极意义，它为创作者和开发者带来了大量的机会。我很乐意看到使用苹果Vision Pro进行实时音乐制作和混合现实音乐会。想象一下走进VNCCII的Holoship音乐工作室并提供实时反馈或与VNCCII共同制作！”也许混合现实音乐制作毕竟不会那么孤独？

图5：VNCCII

然而Tauber同时承认，真正的挑战是确保音频开发者能够迅速适应Vision Pro并做好适配。

“开发者必须构建特定于虚拟环境的应用程序，并且要先申请Apple Vision Pro开发套件。我已经使用苹果的ARKit在虚幻引擎中使用iPhone的LiveLink制作我的VNCCII面部动作捕捉动画。

Apple将更新ARKit和RealityKit以适应Vision Pro。ARkit是混合现实领域的知名工具，可实现世界跟踪、图像锚定、场景重建、平面估计和手部跟踪，以构建身临其境的体验。Tauber补充说，音乐和混合现实生成式人工智能将成为Vision Pro的吸睛之处。采用杜比全景声(Dolby Atmos)的空间音频也将在视听体验中发挥至关重要的作用，音频格式将是混合现实的核心。 ”

VNCCII畅想的共享虚拟体验已经在混合现实宇宙的一个角落实现。Tribe XR目前是VR DJ领域的先行者，为崭露头角的DJ提供了使用业内最受欢迎的turntable进行练习的机会。 通过精确的手势跟踪，用户可以控制DJ调音台，以像在现实生活中一样打碟。 你甚至可以邀请朋友来DJ并与您一起跳舞。用联合创始人Tom Impallomeni的话来说，Tribe XR的使命是将DJ表演爱好者转变为专业DJ，为初学者提供所有工具、虚拟工作室以及社区、教师、研讨会等机会。

“然后，我们让他们达到可以在现实世界中实际表演的程度。”

目前，Tribe XR可在Meta Quest、Oculus Rift、Pico、Viveport和Steam VR平台上使用。 这意味着你现在就可以试试，不必等待Vision Pro发售。 更棒的是，Meta Quest 2等设备的价格是Vision Pro的十分之一。那么为什么苹果的混合现实业务对于Tribe XR这样的公司很重要呢？Impallomeni表示这是一个好的信号，表明苹果公司不仅将更广泛的空间计算市场视为游戏，还关注音乐技术、学习和其他应用 领域。

图6：Vision Pro

许多人用Tribe XR中的虚拟DJ来学习，因为他们无力支付几千上万元购买两个唱盘和混音器。 所以Tribe XR是他们学习DJ的一个切入点。即便如此，Vision Pro与Tribe XR售价总计3499美元，仍然比普通DJ设备更实惠。 两台Pioneer DJ CDJ-3000播放器和一台DJM-A9混音器的价格约为7800 美元。在Tribe XR的虚拟空间中，你不必租用工作室，也不必担心凌晨1点的底鼓会打搅邻居。通过与Pioneer DJ合作，Tribe XR的混音器和播放器库也很丰富。想要从DJM-A9更换为V10六通道混音器？ 超简单。 再放两台CDJ-3000吗？ 一键升级完毕。Impallomeni继续说道：

“这不是玩具，这将真正教你打碟。Tribe XR 并不是为了替代 CDJ，而是为了普及设备的使用。”

Tribe XR听起来可能像是在服务于一个小众市场，但Impallomeni引用了 Meta 销售超过2000万台Quest头显的传言。 随着今年晚些时候Quest 3 的推出，Impallomeni预计受众群体将持续增长，而Tribe平台也将随之发展。

“我们预计市场将快速成长。 在WWDC上，苹果提出了空间计算的清晰愿景。 我们相信空间计算为Tribe XR和其他学习平台提供了巨大的潜力。苹果入局将增加Meta的创新压力，所以现在我们估计Meta在思考如何提高产品质量了，这正是市场所需要的。 我们需要大企业在该领域进行大量投资，因为这最终将使空间计算达到大众市场规模和售价。”

Tribe XR 的潜在受众和人口可能会增长，但顽固的DJ们愿意适应新技术吗？Tribe XR的联合创始人说道：

“DJ市场的转变速度并不是特别快，我们花了很长时间才从黑胶唱片转向数字，淘汰CD也是个漫长的过程。 人们对新技术存在很多怀疑，但我们发现许多DJ最终看到了新技术的价值，并最终把技术变得真正的创造力。”

“最新的CDJ、混音器和控制器可以做出令人难以置信的事情，你基本上可以即时创作音乐。 像音源分离这样的新技术增加了DJ的创造力。我们看好这项技术与空间计算相结合的潜力。 一旦DJ看到创意机会，我们相信他们会真正拥抱它。”

苹果的头显不会立即改变我们聆听或创作音乐的方式。当第一个版本发布时，制作人不太可能争先恐后地排队购买。光是价格就让我们大多数人感到疏远。可怕的价格标签让更广泛的受众无法参与体验。不过，VNCCII希望随着时间的推移，价格会变得更加平易近人。 就像任何新的奇特玩具一样，刚开始都是价格高昂不划算。

图9：

价格虽高，Vision Pro的潜力还是显而易见，其技术超出了许多爱好者的预期。 VNCCII说：

“高性能的苹果M2/R1芯片以及精确的头部和手部跟踪给我留下了深刻的印象，它们支持实时3D生成的头像，实现身临其境的临场链接”。Impallomeni补充道，Vision Pro的跟踪功能对开发人员来说是一个福音：“眼动跟踪将使开发人员能够简化用户体验。 用户可以查看输入或曲目，然后捏、抓住和操纵这些控件和声音……DJ是手部跟踪的绝佳展示。”

尽管Vision Pro拥有令人印象深刻的功能，但它的市场前景充满挑战。 怀疑论者已经对空间音频感到困惑，空间计算也不会立刻重归风口。 但正如Impallomeni所说，拥抱混合现实是值得的，不必因市场环境而丧失好奇心。 或许创造力的爆发近在咫尺。