Nvidia推出了一个新平台,该平台可以为用户显着增强视频会议体验。该平台称为Nvidia Maxine,使开发人员可以访问由AI支持的云原生解决方案。该解决方案允许开发人员启用AI效果,以在视频通话过程中增加面部对齐,凝视校正,改善的分辨率甚至消除噪声。
Nvidia指出,其研究人员选择使用神经网络来代替称为视频编解码器的软件,该软件通常用于对Web上的视频进行压缩和解压缩。Nvidia表示,他们的解决方案还可帮助减少带宽负载-使用AI视频压缩可将带宽负载降低至H.264的十分之一。Maxine平台也是基于云的,因此可以更轻松地为每个人部署解决方案。
另请阅读:IBM与GeM合作建立AI卓越中心
“ Maxine利用运行Tensor Cores的软件(例如NVIDIA Jarvis)的Tensor Cores来利用NVIDIA GPU的功能,该软件是用于对话AI的SDK,提供了一组语音和文本功能。它们共同提供了当今有用的AI功能,并成为未来视频产品和服务的基础。” Nvidia在帖子中说。
该公司表示,开发人员可以使用其平台识别视频通话中每个人的关键面部点,然后将这些点与静止图像一起用于在通话的另一端重现该人的面部。该过程是通过生成对抗网络(GAN)完成的。然后,即使在旋转面部时,也可以将这些关键点用于正确对齐。正确凝视还有助于在通话过程中未正确设置相机的情况下实现更好的眼神交流。
该解决方案的另一个亮点是实时增强视频呼叫的分辨率,从而减少带宽负载。
“借助在NVIDIA GPU上运行的基于AI的视频压缩技术,开发人员可以将带宽使用降低到H.264视频压缩标准所需带宽的十分之一。这为提供商削减了成本,并为最终用户提供了更流畅的视频会议体验,这些最终用户可以享受更多基于AI的服务,同时在其计算机,平板电脑和手机上流式传输的数据更少。”