以“实”带“虚”元宇宙离不开的现实技术

自2021年3月,Roblox上市引爆“元宇宙”概念后,元宇宙迅速成为下一代互联网代名词。

今年8月,Meta(原Facebook)推出VR会议服务Horizon Workrooms——16个人以虚拟形象围坐在虚拟会议桌旁,好奇张望、手舞足蹈与人交谈……又将“元宇宙”又推向新高潮。

跟社会发展基本规律先有人,再有人与人之间互动产生社会关系,随后有基于关系的商品和服务交易一样。元宇宙发展的起点,也是虚拟人之间的实时互动,这是Workrooms此次活动被关注的原因。

当然,要像扎克伯格一样在虚拟世界实时互动并不容易,首先要有一个配置不错的VR设备,其次同时现身虚拟会议的人数很有限。而元宇宙虚拟人发展的关键,也是让虚拟人实时互动从少数人的专属,变成大众可应用的元宇宙新身份。

因此,当日前网易智企旗下融合通信云厂商网易云信发布两大元宇宙解决方案——“IM+RTC+虚拟人”和“游戏/VR语音”解决方案,通过提升虚拟人形象和实时互动性、降低虚拟人应用门槛,让虚拟人实时互动大规模普及成为可能时,瞬间引发行业热议。

但元宇宙也很简单,即现实人以虚拟形象(数字人)生活的新宇宙,它要解答的是人类数字化生存问题——让人在虚拟世界中体验更极致化的娱乐,并提升个人和社会效率,其中的关键,就是能像现实中一样实时互动。

所以,当我们在谈元宇宙时,首先谈的就是身份(虚拟形象)和实时互动两个核心问题。

人类社会活动的基本元素“互动”是构建元宇宙的关键一环,为了还原真实线下的无违和感的互动体验,需要低延时、高质量的实时通信服务保障,但是当前复杂多变的公网环境、终端设备等因素对通信传输是一大挑战。

而虚拟形象的身份更是普通用户打开元宇宙的钥匙。PC、移动互联网时代,人们的互联网形象是静态化的符号,如ID、昵称和头像等,在这个时代你无法想象人们没有QQ、微信等社交账号,而进入到立体化、沉浸感十足的元宇宙,用户同样不可能没有自己的虚拟形象。

首先以往虚拟人偏功能化而非人性化,有形而无神,导致形象不生动、互动不真实。如洛天依虽然合成声音好听,但动作不够逼真,也无法像人一样互动。其次需要高同步低时延的网络传输。最后使用门槛过高,像Workrooms里面的扎克伯格互动虽然更实时且真实,但需要配合VR设备使用,目前很难大规模普及。

网易云信“IM + RTC + 虚拟人”解决方案引发行业热议的关键在于,它创新性地首次将“虚拟形象+实时互动”融合为一个SDK。让其在生动还原虚拟人形象同时,还能结合网易云信全球智能路由网络 WE-CAN的实时传输能力,让虚拟人能进行沉浸式实时互动,让人们能在虚拟世界“察言观色”,这是一个新突破。

比方说,该方案通过摄像头或上传视频检测用户面部表情动作后,就能驱动 3D 虚拟人物做出相同表情,包括五官表情、头部姿态、眼球运动、吐舌头等,实现快速传输,让人们在虚拟世界中能看到彼此的微表情,宛如面对面交流。

这种“虚拟形象+实时互动”融合的做法将两大核心技术深度结合封装,在大规模推广时,它具备两个好处。

一是降低企业接入成本,企业无需对接多个供应商,仅需一个 SDK 就能构建“虚拟人”+“实时互动”的高体验场景,实现降本增效。二是通过“端上实时捕捉、云上实时驱动”组合,该方案能极大减轻双端算法性能压力,用户无需穿戴设备,即使千元机也可感受元宇宙的精彩。

基于这两点,也让“虚拟人+实时互动”大规模应用和普及成为可能,给行业发展打开了新空间。

跟普通用户更关心自己元宇宙的虚拟形象,以及能否像现实世界一样互动不同,对企业来说,更关心基于这两大技术快速落地的应用场景。

网易副总裁、网易智企总经理阮良表示,从通信技术发展来看,元宇宙就是社交网络从 2.0 向 3.0 的跨越,而3.0 时代最大的特点是立体化、沉浸式,未来将是一个基于现实的大型3D在线世界。

因此在笔者看来,这个3D世界的建造会有两个步骤,先是有这样一个含有丰富3D内容的世界存在,然后再将现实用户大规模接入到该世界中。

现实情况亦然。从硬件技术层面看,被视为元宇宙的硬件入口的XR设备,发展多年在体验上虽然有一定提升,但在设备小型化、价格亲民化等方面仍然有很长路要走,至于脑机接口就更不用说了。

而人们迫不及待想要进入元宇宙的需求,让元宇宙事实上从软件和内容层面开始“软着陆”,并在以下方面实现快速发展。

首先是在社交娱乐场景。比如在亚洲最大的元宇宙平台崽崽ZEPETO中,普通用户通过建立3D虚拟数字化身进行社交,如在迪斯科派对上唱歌、露营、参加朋友的虚拟婚礼、看演唱会等,已成为年轻人娱乐新潮流。

游戏更不用说,绝大多数网络游戏本就是一个小型化元宇宙,建立了一套跟现实世界相似的社交体系、经济体系和休闲娱乐体系,可以无缝接入元宇宙,只不过在技术上要进一步优化。比方说,游戏玩家能不能以跟自己相关的虚拟形象出现?实时互动上能否更进一步?

阮良表示,在网易云信推出的游戏/ VR语音解决方案中,其首创的720度空间语音效果,能通过算法模拟出声音的源头在哪个方位、距离你有多远。相较我们常说的360度音效(水平方向环绕),丰富了垂直方向上的音频感受,让游戏音频效果逼近现实的空间感。比方说跟队友开黑玩吃鸡游戏时,通过720度空间语音效果,就能明确知道队友是在左边还是右边,上面还是下面。

更有意思的是,该方案还支持有效范围的IM通信、有效范围内的音量衰减并实现超出范围彻底静音等。比如开黑玩吃鸡游戏时,你能通过队友脚步声等,判断队友是在远离还是接近,大大提升了游戏的现场感和沉浸感。

其次是在办公场景。疫情让云办公快速普及后,元宇宙办公也在快马加鞭,像Meta、网易等在这方面都有落地成果。

8月份,扎克伯格现身Workrooms引发轰动后。12月份,网易云音乐上市时,通过网易伏羲沉浸式活动系统“瑶台”举办的全球首个“元宇宙”上市仪式,同样令人津津乐道。

“瑶台”本身高精度复刻了真实的会议场景,已被广泛应用到圆桌会议、国际学术会议、品牌发布会、线上展会等众多场景。同时瑶台还具有AI捏脸、表情迁移、动作迁移等能力,能够带给用户更具现场感、仪式感、沉浸感的体验。同时在深度融合网易云信音视频、屏幕共享等能力后,又让所有参会者仿佛置身于现实会议中高度互动。

在网易云音乐“元宇宙上市仪式”中,29岁的虚拟人丁磊身着黑色西装和50岁的丁磊一起亮相现场,参与活动的嘉宾可以操控自己的数字分身在会场中走动,也可以同虚拟人丁磊合影,让整个活动现场沉浸感十足。

最后是在企业营销场景,虽然我们离虚拟形象在元宇宙进行“现实交易”尚远,但是通过虚拟人充当销售员、客服等员工,是很多企业已经在做的事。能进行实时互动,并同步相应表情的虚拟员工,无疑会大大提升顾客的体验度。

总的来说,元宇宙发展路径肯定会是内容/软件先行、硬件跟进,这也是游戏和社交等率先成为元宇宙入口的重要原因。随着“虚拟人+实时互动”技术不断演进,元宇宙社交娱乐、在线办公、企业营销将加速“软着陆”。

作为下一代互联网,元宇宙意味着更大的用户规模、更长的在线使用时长以及更高的ARPU等,不管是对需要新突破的大厂,还是想弯道超车的新玩家,其中都蕴藏巨大机会。

机会的另一面则是挑战。今年被称为元宇宙元年,如今行业处于发展初期,很多技术基础和商业模式还不成熟,入局企业也不乏近忧和远虑。

搭建元宇宙是个复杂活,仅技术层面就涉及底层支撑技术(人工智能、云计算、区块链等)、能力层(3D空间音效、超低延时、人脸对比等)、应用层(虚拟人、内容审核等)和体验层(游戏、社交、虚拟演唱会等)几大块。

能拥有从底层到体验层全局技术的,只有少数大厂。一种是像Meta这种All in元宇宙的企业,本身有技术有资源,如今更是全面转型,技术储备较完善。另一种则是像网易、腾讯这种,在娱乐社交领域有深厚积累的企业,虽然没谈All in,但相关技术可以无缝衔接和快速进化。

以网易云信为例,作为融合通信头部玩家、最早承载亿级日活的即时通讯平台,其已在最初 IM 即时通讯能力和音视频通话基础上扩展出低延时直播、全球智能路由网络 WE-CAN、互动直播等十余种功能。再加上其在RTC领域行业领先地位的技术优势和沉淀,这才能快速迭代出像“IM+RTC+虚拟人”这种契合元宇宙发展的一体化解决方案。

而对绝大多数中小企业来说,要想抢跑元宇宙,在行业不够成熟的大前提下,既不能盲目跟风All in元宇宙,也不可能从0做起,最大机会是借力网易智企这类企业提供的解决方案,在元宇宙场景落地的体验层,找切口做创新,从而提高胜算。

实际上,像我们熟知的亚洲最大的元宇宙平台崽崽、热门游戏《倩女幽魂》、网易伏羲研发的沉浸式活动平台“瑶台”等,都是网易智企的客户,类似的企业还有很多。

互联网内容安全这几年成为监管重点,12月9日,爱回收、豆瓣唱吧等106款APP被工信部下架,就是最好的佐证。

相比现在的互联网生态,元宇宙因为技术进化和融合更多的现实因素,且具有全时性和实时性,其内容形态更多元,牵涉社会和经济关系更复杂,数据更多、要求反应更快速,企业内容风控的难度和成本将大大增加。

针对元宇宙时代的数字内容风控,需要全新的方案来应对。除了技术问题之外,成本和便捷性也是很多企业头痛的地方。

网易智企旗下数字内容风控服务商网易易盾的虚拟世界数字内容风控解决方案,创新性首创“技术识别+运营统筹+人工审核”铁三角模式,形成了可覆盖数字内容风控全生命周期的新解法。

而在融合网易云信和网易易盾核心能力基础上推出的「安全通」,在确保通信安全的同时,还让接入企业只需登录1个后台、对接1个系统、进行1次结算就能实现多种功能,已被很多发力元宇宙的企业应用。

此外,阮良表示,网易智企正在和一些社交厂商做“反欺诈的公约”,即通过与众多社交平台联手,让黑产、灰产在元宇宙中的某个欺诈行为可以被其它平台获知,从而进行防范。

可以预见,随着元宇宙不断成熟,虚拟世界数字内容安全将是每一个企业需要解决的重点,也是企业能否稳步向前的关键。

已知有涯,而未知无涯。我们如同立于荒岛之上,被苍茫大海所困。每一代人的任务,都是填出一小块新的陆地。

1887年,英国知名科学家T.H.赫胥黎这句回答“宇宙是什么”的经典名言,同样适用于当下人们对元宇宙的探索。

元宇宙所指向的虚拟世界,宛如一片苍茫大海,浩渺无边,其未来终局,也远比我们想的要复杂,这是属于时代的机会,也是时代的挑战。

身处这个时代,要想更早创建出元宇宙,不仅需要更多的普通用户“化实为虚”,以虚拟形象早日踏入元宇宙实时互动、丰富内容。也需要更多类似网易智企的科技企业“以实为本”,用融合通信、数字风控等现实技术作基础,填出一块又一块属于元宇宙的新“绿洲”……

如果你的项目足够优秀,希望得到36氪浙江的报道,参加36氪浙江的“未来独角兽活动”,请将你的需求和BP发至36氪浙江项目征集邮箱:,我们会及时回复。