对话谷歌技术专家:SoundStream将来有望用于通用音频编码

2021年09月16日 阅读数:1
这篇文章主要向大家介绍对话谷歌技术专家:SoundStream将来有望用于通用音频编码,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

点击上方“LiveVideoStack”关注咱们web

近期,谷歌推出了一款基于AI的音频编解码器——SoundStream。根据谷歌介绍,SoundStream是首个能够编码不一样声音类型、同时提供高质量音频并能在智能手机CPU上实时运行的神经网络编解码器。今年早些时候,谷歌曾发布了一款名为Lyra的超低比特率音频压缩编解码器。一年以内,谷歌推出了两款基于AI的音频编解码器。这两款编解码器究竟有什么不一样?谷歌为何如此专一于低比特率的音频压缩?SoundStream是否将成为一款通用音频编解码器,仍是只专一于特定领域?新版Lyra是否有可能替代Opus?算法


SoundStream微信

技术访谈网络

#004#


带着这些疑问,LiveVideoStack采访了负责SoundStream音频编解码器研发工做的高级产品经理Jamieson Brettle资深软件工程师Jan Skoglund

LiveVideoStack: Jamieson、Jan,大家好。恭喜谷歌在SoundStream上取得的成果。SoundStream的推出在音视频技术领域可谓是一则大新闻,中国音频领域的工程师们也在密切关注它的进展。为了让你们更深刻地了解这款新型AI音频编解码器,咱们准备了一些问题,请大家解答。

------

Q1:如今人们拥有愈来愈多的带宽,为何谷歌还要专一于低比特率的音频压缩?
Jamieson&Jan: 虽然基础设施不断完善,但网络彻底普及仍然须要时间。除此以外,用户和应用对带宽的需求意味着即便可用带宽不断增长,需求依然大于供给。因此,咱们会极尽所能下降带宽消耗,从而提高总体用户体验。
Q2: 新推出的SoundStream和今年早些时候发布的神经网络音频编解码器Lyra最主要的区别是什么?
Jamieson&Jan: 初版Lyra使用了一个基于WaveRNN的内置合成引擎,而SoundStream使用了一个相似于自动编码器的网络。SoundStream将成为新版本Lyra的核心技术。
Q3:为何谷歌会开发两个AI编解码器——SoundStream和Lyra?谷歌对此的Roadmap能透露吗?SoundStream将如何整合到Lyra中?
Jamieson&Jan: 使用ML进行音频编码还处在初期阶段,随着该领域的研究不断增长,咱们看到了AI编解码的迅速发展。经过正在进行的项目,咱们可以快速将研究产品化,将最好的编解码器应用到实际应用中。Lyra 的将来版本将使用 SoundStream 做为底层引擎。这样一来,如今的开发人员依然能够继续使用相同的 Lyra API,但却能收获显著提高的性能。
Q4:从论文看,SoundStream不管是音质(在相同比特率下)仍是对各种音频信号(语音、音乐、无噪音及有噪音)的鲁棒性,仍是算法时延,仍是计算复杂度都已经全面超越Lyra了。Lyra是否会被彻底替代? 
Jamieson&Jan: 咱们看到SoundStream在音质、对噪音的鲁棒性及处理各种音频信号方面,有了长足的进步。做为新版本Lyra的核心技术,新的SoundStream引擎将取代初版Lyra中的自回归引擎。
Q5:从论文实验结果看,12kbps的SoundStream性能彷佛趋近于饱和了。Google是否定为AI音频编码只适用于低速率场景?中高速率下(如AAC典型速率)AI音频编码有超越传统编码的机会吗?
Jamieson&Jan: 咱们认为AI编解码将使各类带宽和应用受益。咱们如今正致力于在更高的比特率下改进基于神经网络的音频编码。
Q6:SoundStream在低速率下是否同时适用于语音、音乐以及混合信号的编解码?
Jamieson&Jan:   SoundStream并无对声音类型进行分类,它可以同时处理不一样的声音。
Q7:神经网络编解码器相比传统信号处理编解码器在复杂度上是否有明显优点? 
Jamieson&Jan:  到目前为止,在神经网络编解码器中,编码的复杂度较低,解码的复杂度较高,这一般致使它的总体复杂度比 Opus 等编解码器高得多。但随着时间的推移,咱们认为:经过完善硬件支持和新的算法改进, 能够有多种途径提高神经网络编码效率。
Q8:SoundStream是否将成为一款通用音频编解码器,仍是只专一于特定领域?
Jamieson&Jan: 初期的应用将可能会专一于实时通讯,但将来SoundStream有望用于通用编码。
Q9: 既然SoundStream将会被整合进下一代、改进版本的Lyra中,那么这个新Lyra将来是否有可能替代Opus?
Jamieson&Jan: 至少在短时间内 ,Opus和Lyra将会共存。事实上,咱们的团队一直在继续研究并不断改进Opus。
Q10:在音频压缩领域,谷歌的下一步计划是什么?
Jamieson&Jan: 咱们将继续使用ML和传统编码方法提高音频压缩效率,并在各种应用领域中不断探索。



翻译/编辑  | Alex
感谢王晶、王立众和王喆三位老师提供问题线索,并审校了本篇访谈。



扫描图中 二维码 或点击 阅读原文
了解大会更多信息


喜欢咱们的内容就点个“在看”吧!app

本文分享自微信公众号 - LiveVideoStack(livevideostack)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。ide