DeepMind技术加持 谷歌用AI改善Duo通话丢包

Android社区 收藏文章

背后的技术支持来自谷歌声名在外的 DeepMind 团队。

一个完整的在线呼叫,数据经常会被分成多个小块,每小块就是一个数据包 packet 。然而,在这些“数据包”从发送方传输到接收方的过程中,数据包通常会以错误的顺序到达,从而产生抖动相关问题,或者直接丢失,造成音频空白。

谷歌给出一份资料显示, Duo 99% 的通话都有数据包丢失、过度抖动或网络延迟情况。20% 的通话丢失了超过 3% 的音频,10% 的通话丢包率超过 8% ,也就是说每次通话都有很多音频需要替换。

每个视音频 app 都会用某种方式处理丢包。谷歌表示,这些数据包丢失隐藏 (PLC) 过程可能很难更好地填补 60 毫秒或更长时间的空白。过去常用算法是 NetEQ ,这是 webRTC 中音频技术方面的两大核心技术之一(另一核心技术是音频的前后处理,包括AEC、ANS、AGC等)。webRTC 是谷歌收购 GIPS 再开源的,是目前影响力极大的实时音视频通信解决方案,但用它处理丢包,大多情况下听起来像机器人或机械重复。

谷歌就用了大量的语音数据,训练出了基于 DeepMind WaveRNN 技术的 WaveNetEQ 模型。训练数据集来自 100 多名、48 种不同语言的志愿者,也就是说它可以自动填补 48 种语言的丢包情况。

WaveNetEQ 是一种用于语音合成的递归神经网络模型,由两部分组成,即自回归网络(autoregressive network)和条件网络(conditioning network)。自回归网络的作用是保持信号的平稳流动,而条件网络控制和影响自回归网络以保持音频一致性。

谷歌用 WaveNetEQ 取代了原来的 NetEQ PLC 组件,相对于 NetEQ ,它在声音质感方面无疑有提升,而且 WaveNetEQ 模型跑得足够快,可以在手机上运行,如此也可以规避用户可能担心的数据隐私问题。谷歌称所有的处理都是在设备上进行,因为 Duo 的通话默认情况下就是端到端加密。一旦通话的真实音频恢复,将无缝地切换到现实对话。

不过,WaveNetEQ 替换的内容和时长有限制。目前是支持在 120 毫秒以内的空白,之后会逐渐消失并归零;WaveNetEQ 不是生成完整的单词,而是简单的音节。

目前 WaveNetEQ 已经应用到 Pixel 4 手机上的 Duo APP 中,谷歌表示,它正在将其推广到其他安卓手机上。

当然用机器学习处理音频丢包并不是头一遭,许多公司都在研究相关技术,以国内公司为例,有些是自身业务本就涉及视音频,比如腾讯;有些是音视频云服务商,比如阿里,还有一些是专门的音视频第三方服务商如声网等。

相关标签
 相关文章
王慧文病休53天,旗下OneFlow团队重新创业 7月以前  |  1次阅读
智己CEO现场怒怼!不满LS6和小鹏G6当对手 7月以前  |  1次阅读
董明珠回应落榜世界500强:总比爆雷的世界500强好 7月以前  |  1次阅读
阿里云上线 AI 视频生成工具 Live Portait:可一键让照片开口说话 7月以前  |  78次阅读
妙鸭相机将并入神力视界,阿里大文娱CTO郑勇:不是“搬家”是“回家” 7月以前  |  85次阅读
特斯拉上海超级工厂约40秒下线一台车,零部件本土化率超95% 7月以前  |  69次阅读
宁德时代发布神行超充电池,可实现充电10分钟行驶800里 7月以前  |  71次阅读
中科院博士被骗到缅甸已一年!女友:他负债几万,家里条件一般,以为去当翻译 7月以前  |  85次阅读
小鹏汽车否认收购玛莎拉蒂传闻:系谣言 7月以前  |  63次阅读
联想二季度净利润猛降66%,股价应声跳水 7月以前  |  80次阅读
业内人士:视觉中国对不同侵权主体采用差异化策略,老客由销售沟通新客发律师函 7月以前  |  70次阅读
恒大集团在美国申请破产保护 7月以前  |  56次阅读
劳斯莱斯首款纯电轿跑将在北美亮相 7月以前  |  89次阅读
realme印度前CEO确认加盟荣耀,即将推出手机新品 7月以前  |  88次阅读
OpenAI正在测试内容审核系统,一天可以完成六个月的工作 7月以前  |  80次阅读
谷歌百人“复仇者联盟”出击,将发对标GPT-4的大模型,26位研发主管名单流出 7月以前  |  77次阅读
OpenAI收购数字产品公司Global Illumination,为创立以来首笔公开收购 7月以前  |  80次阅读
海口规定:电动汽车充电服务费不得超过0.65元每度 7月以前  |  80次阅读
波音任命柳青为波音中国总裁 7月以前  |  88次阅读
业内人士谈图片复杂代理链:图片代理商越多摄影师分成越少 7月以前  |  67次阅读

扫一扫

在手机上阅读