媒体专访 | 对话天娱数科总经理徐德伟:与银牛微电子成立的合资公司有三大产品计划
首页 > 新闻及媒体 > 2023

媒体专访 | 对话天娱数科总经理徐德伟:与银牛微电子成立的合资公司有三大产品计划

2023-07-06

7月4日,天娱数科(002354.SZ)与专注3D视觉+AI的高科技半导体企业银牛微电子签署战略合作协议,并宣布共同投资4000万成立合资公司。天娱数科总经理徐德伟出席签约仪式并发表讲话,提到:“将以合资公司为主体,把天娱数科在元宇宙、虚拟数字人领域的应用场景优势与银牛微电子在3D视觉芯片领域的技术优势与相结合,共同研发面向元宇宙应用场景的3D深度视觉模组,实现虚拟数字人低成本、短周期、批量化生产制作与低延迟、高精度、沉浸式互动体验,不断降低元宇宙进入门槛,不断丰富元宇宙应用场景。”

为进一步了解天娱数科与银牛微电子成立合资公司后的产品计划,记者与徐德伟进行了深入交流。

Q:您在签约仪式上提到,与银牛共同成立的合资公司将共同研发3D视觉感知产品,请问具体的产品规划是什么?

A:目前,我们规划了3款产品,包括便携式3D深度相机、桌面式3D摄像机和数字人3D数据采集系统,分别应用在虚拟数字人扫描与自动化建模、虚拟数字人全身深度视觉捕捉驱动、人体动作3D数据采集3个领域。

Q:合作开发的第一款产品会是什么呢?

A:第一款产品,我们会把研发重点放在便携式3D深度相机这个产品上,主要应用于虚拟数字人扫描与自动化建模。

天娱数科在虚拟人的打造和运营上有丰富的经验,以往行业内要完成一个虚拟人的构建从扫描到建模,需要很长的周期和很高的成本,很难实现大规模的批量化生产。在2020年我们决定切入虚拟数字人赛道时,我们和很多企业、科研机构交流、合作过,当时大部分需要2到3个月的周期才能完成一个超写实的虚拟数字人,建模成本更是从几十万到上百万不等。

在过去1年多时间里,我们基于自研的Meta-Surfing元享智能云平台,通过对数字人生成、数字人驱动、数字人交互三个核心功能模块算法的不断优化,通过软件系统的投入,已经大幅缩短了制作周期与制作成本,但距离完美的消费级ToC应用还有一定差距,主要原因是传统的相机扫描采集到的都是2D数据,需要花大量的算力和时间转换成3D数据。

银牛的3D视觉芯片采集的天然就是3D数据,芯片本身还具备AI算力,他们的3D视觉芯片与我们的元享软件平台结合后,会弥补这最后的一点差距,通过软硬结合,真正实现虚拟人短周期、低成本、批量化生成,从而降低元宇宙的门槛,提供给C端用户工具化、标准化、易用型的可交付产品与解决方案。

Q:研发桌面式3D摄像机是出于哪些考虑?

A:虚拟人生成核心环节主要涉及建模、驱动和渲染三大技术。第一阶段通过便携式3D深度相机我们实现了虚拟人扫描、建模自动化,那么第二阶段我们希望变革驱动环节。

我们把虚拟人的发展划分了三个阶段,1.0阶段是静态虚拟数字人阶段,只能展示,不能互动;2.0是动态虚拟数字人阶段,进行展示时可以与现实人互动,但需要中之人操纵,也就是双簧式,需要现实人一对一搭配数字人;3.0是智能数字人阶段,通过自学习,数字人完全可以替代现实人在一些领域独立工作。

1.0阶段是通过传统CG或体积视频技术建模的,是不可控体数字人,无法实时互动,应用场景比较狭窄;2.0阶段主要是基于惯性动作捕捉、光学动作捕捉及实时渲染技术,打造出可控体数字人,应用在虚拟主播、虚拟偶像上,虽然有一些应用,但不完美,动作容易失调、面部表情不到位、互动能力差、沉浸体验感不好。针对这些问题,我们计划推出可以实现3D深度视觉捕捉驱动的桌面式3D摄像机。

通过3D摄像机和深度传感器能获取人体的三维形状和姿势信息,甚至是骨骼结构追踪。对于人脸识别、姿态、动作识别、手势识别,它的准确性和细节捕捉能力都非常强。

因此,相较于惯性动作捕捉、光学动作捕捉、光惯混合动捕方式,视觉捕捉更加灵活方便,无需额外的佩戴设备,对于C端更加适用,而且经过AI数据修正,可以获得更高精度、更稳定、高质量数据,而且还可以在摄像头的视野范围内进行采集拍摄,有更大的活动空间和范围。

Q:第三阶段将推出什么产品,人体动作3D数据采集有什么意义?

A:产品研发的第三阶段,我们的目标是打造一个应用于人物表情、形态及行为特征数据采集的数字人3D数据采集系统,形成我们特有的数据库,用来训练数字人表情和动作,这是我们为实现3.0智能数字人阶段做的数据基础设施。

ChatGPT出现后,虚拟人聊天等智能交互体验有了飞跃提升,但虚拟人作为AIGC典型多模态应用,整个生成式AI技术在虚拟人动作和表情生成领域相对滞后。我们看到一个AI驱动的数字人,或许能和你聊天,但是来来回回就那几个动作。AI技术的成熟度、算法迭代离不开数据,特别是大量、高精度、高质量的3D数据库。

未来,我们会有一个较大规模的基于3D深度摄像机的人体复杂行为数据库,经过数据喂养、深度学习算法提取,AI数字人的动作也会像语言交互体验一样趋于自然、流畅,而且是自学习的,届时虚拟数字人才能真正摆脱“中之人”驱动,完成全面的AI进化。

Q:最后一个问题,为什么选择和银牛微电子合作?

A:选择银牛作为合作伙伴是经过深思熟虑的。银牛是一家集3D双目视觉处理和人工智能芯片设计能力于一体的高科技半导体企业。在3D深度视觉、复杂SoC设计、低功耗、光学、嵌入式系统软件、边缘计算等方面具有10年以上的深厚经验。全球最早从事芯片上3D深度感知引擎研发的企业之一以色列公司Inuitive也是银牛的子公司。加上多年来在泛机器人领域的应用探索,银牛自研的集成3D视觉感知、AI、SLAM的系统级芯片已经应用在在众多前沿应用领域的产品中,3D和AI能力已经得到了验证。

我们认为,虚拟人就是元宇宙世界里的关键,它需要3D视觉感知能力,需要AI能力。3D视觉+AI的模式,将赋予虚拟人和各类智能设备“人眼”和“人脑”。选择和银牛合作对天娱数科来说,是跟我们在元宇宙场景和虚拟人方面进行软硬件结合的最佳选择。

内容来源:证券时报