本文作者:成熟稳重的好男人

虚拟咔咔:元宇宙之旅的启程之门

虚拟咔咔:元宇宙之旅的启程之门摘要:   作为全球首个针对亚洲人群特点打造的AI超写实虚拟人UGC创作平台,虚拟咔咔赋予了每个用户快捷创作超...

  作为全球首个针对亚洲人群特点打造的AI超写实虚拟人UGC创作平台,虚拟咔咔赋予了每个用户快捷创作超写实虚拟人物内容的可能性,并迅速引领他们迈入元宇宙的广阔空间。

  在当前的AI大模型时代,数据算力和算法的持续进化推动着AI产业快速演进到AIGC产业。在此过程中,AI技术的引入使得虚拟人产业从技术层面发生了质的变化。处于实现数字孪生的时代风口,虚拟直播中频繁出现的各类AI虚拟人已受到广泛关注。在当前布局元宇宙的关键时期,虚拟直播已经迈入VR环境,走向元宇宙的大门。

虚拟咔咔:元宇宙之旅的启程之门

  通过深度融合AI、虚拟人和VR直播这三种尖端技术,齐乐无穷研发出了虚拟咔咔软件,引领直播进入新的纪元。

  元宇宙综合解决者

  北京齐乐无穷文化科技有限公司,致力于为客户提供AI赋能的数字人、元宇宙数字空间、NFT数字藏品等元宇宙综合解决方案,持续为元宇宙数字经济增长提供生产能力。

  齐乐无穷成立于2016年,是国家高新技术企业、北京市“专精特新”中小企业,团队成员由航天科工、中科院、 知名游戏公司及互联网大厂成员组成。

  基于3D引擎与AIGC技术,齐乐无穷形成了独有的从算法到产品再到行业解决方案的人工智能+3D超写实虚拟人创作平台闭环能力。凭借自研的超写实3D数字人AI交互系列技术,在动作识别、面部捕捉、情感语音合成技术等领域深耕,大幅降低了用户的元宇宙体验门槛及成本。先后获得30项专利技术、22项软件著作权,并斩获十余项行业大奖。

  虚拟咔咔:引领虚拟人To C时代

  虚拟人的制作曾经面临着操作复杂、成本高昂的挑战,但现在,我们迎来了一个全新的时代——虚拟人To C的新时代。

  虚拟咔咔为我们提供了一系列强大的工具,其中内置了1500多种可调节的人体参数和300多种底层人脸模型库,这些工具可以帮助我们轻松实现自由捏脸并1:1真实还原。通过使用手机自带的RGB摄像头,我们便可以轻松完成面部捕捉。而虚拟咔咔内置的AI自研面部捕捉技术表现卓越,已经达到了行业内的领先水平,成为国内可与Live Link Face面部表情捕捉APP相媲美的工具之一。

  此外,虚拟咔咔还提供了120多种精致的3D场景、1000多种各类资产以及10000多种动作。这些不断丰富的模型库可以满足我们在虚拟人制作过程中的多样化需求。

  在动作捕捉方面,过去需要使用价格高达40万以上的单套惯性动捕设备和价格超过500万的单套光学动捕设备,同时还需要宽敞的空间来铺设动作捕捉所需的环境。然而,虚拟咔咔通过自主研发的AI技术,成功降低了用户的使用成本。现在,我们只需要使用手机自带的摄像头,虚拟咔咔便能利用AI算法精准捕捉人类动作。通过AI计算人体32根肢关节骨骼和双手40根指关节骨骼的空间姿态位置数据,实现超精度的动作捕捉,采集误差小于10mm,采集时效延迟小于30ms。

  有了强大的AI自主研发技术的支持,用户可以真正实现零成本、零门槛的虚拟人制作。此外,当前虚拟咔咔已经支持接入抖音、快手、bilibili、淘宝、PICO等主流平台进行实时直播及VR全景直播。在这个新的虚拟人To C时代,我们期待虚拟咔咔能带给我们更多的惊喜和可能性。

  虚拟人的“进化论”

  当虚拟人传达出与人类相同的感觉、视觉、听觉,虚拟人就完成了到虚拟人类的进化。齐乐无穷实现了将多种AI技术融入到虚拟人中,让虚拟人有了“灵魂”。

  • AI能力自研——面部捕捉

  虚拟咔咔的面部动作捕捉技术处于行业领先地位,具有卓越的数据计算能力。通过53个blendshape表情数据的精确计算,其表现已经达到了行业标杆水平。此外,虚拟咔咔还具备通过面部捕捉来识别人类情感的能力,可以精准地识别人类表情并深入分析其意义,从而进行更具针对性的回应,真正实现了人机之间的情感交流。

  在动作识别与面部捕捉技术的研发过程中,虚拟咔咔不断追求技术突破与升级。近期,已初步完成了基于Human3.6M数据集的AI网络模型建设、IK反向运动学解算技术的优化,以及基于卡尔曼滤波器的噪声过滤平滑技术的改进等关键性工作,使整体算力更上一层楼。

  • AI能力自研——动作识别

  虚拟咔咔目前采用了先进的数字人动作捕捉技术,实现对人体骨骼的精准数据识别和计算。通过单目RGB和RGB-D摄像头,可以记录并计算人体32根肢关节骨骼和双手40根指关节骨骼的空间姿态位置数据。此外,通过独家的“Web3.0虚拟人沉浸式交互体验技术”,虚拟咔咔具备了真实人类的感知和思维判断能力,能够对人类动作进行感知并作出相应的回应,为用户带来更为生动、逼真的交互体验。

  • AI能力自研——声音合成

  虚拟咔咔拥有前沿的“富有情感的声音合成技术”,通过自主研发的虚拟人分身技术解决方案,为AIGC(人工智能内容生产平台)赋予了强大的内容生产能力。该技术能够实现虚拟人物的情绪风格表达,让它们拥有与人类相同的情感与情绪,同时保留真人的音调和韵律,使得音色饱满、吐字清晰且充满感情。

  • AI能力接入——Audio2face

  Audio2face技术具备将语言语音音轨实时转换为面部动画的能力,通过精确操纵虚拟人的脸部、眼睛、嘴部、舌头和头部运动,赋予了3D面孔逼真的生命。借助这一技术的力量,虚拟咔咔的虚拟人将更加生动鲜活。

  • AI能力接入——ChatGPT

  ChatGPT是基于最新的深度学习技术开发的,可以实现对自然语言进行生成、理解和分析。虚拟咔咔已经获得了中国首家ChatGPT的授权,并将在虚拟人的创作中接入中国版的ChatGPT,从而实现在虚拟人运行中回答问题、模拟对话、生成文本、语言翻译、摘要生成等功能,达成24小时AI直播、智能对话、语言导航的智能操作。

  当虚拟人拥有了人类的音色、外貌甚至思维,人类因此实现了从碳基生命到硅基生命的飞跃,一个全新的物种就此诞生。

  “虚拟咔咔”零门槛技术:推动VR内容创作

  齐乐无穷在扩展现实(XR)领域已经深耕了五年,取得了显著的成果。该公司已获得三十项专利技术,以及二十二项软件著作权,更是荣获了十余项行业大奖,这些荣誉充分展现了其在行业内的卓越实力。至今,齐乐无穷已经服务于众多国际知名企业,如英特尔、NVIDIA、普华永道、蓝色光标、联想创投、三星、索尼等,业务涉及多个行业领域,其客户遍布全国各地以及众多海外市场。

  然而,尽管中国市场的传统长视频年产量可达到万小时,但优质虚拟现实(VR)视频每年的新增产能却还不到二十个小时。这一核心问题的根源在于,目前我们仍在采用传统工具来制作VR内容,而行业的产能并未被广泛地激发并规模化地生产出来。虚拟现实行业面临的最大挑战是内容产出的问题,只有通过高效、适应时代发展需求的内容创作工具,才能真正推动行业的进一步发展。

  我们的观点

  “虚拟咔咔”具有零门槛的技术优势,它可以链接传统互联网用户,帮助用户实现元宇宙内容创作,为产业链提供基础源泉。这一技术不仅降低了创作门槛,让更多人能够参与到虚拟内容的创作中来,还为整个行业注入了新的活力和创造力。

  齐乐无穷凭借其深厚的技术积累和对行业的深刻理解,为虚拟现实行业带来了新的突破。未来,随着技术的不断发展,我们有理由相信,齐乐无穷将在虚拟现实领域取得更多的成就,为全球用户带来更加丰富、更加真实的虚拟体验。

       此外,新浪VR还专门制作了视频,跟随视频,让我们一起走近齐乐无穷,领略中国数字人厂商的风采!

  视频播放地址:

  2023新浪VR大巡礼之数字人厂商:北京齐乐无穷文化科技有限公司

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享