只需3秒钟，一个根本没听过你说话的AI，就能完美模仿出你的声音 。
是不是细思极恐？
这是微软最新AI成果——语音合成模型VALL·E，只需3秒语音，就能随意复制任何人的声音 。
它脱胎于DALL·E，但专攻音频领域，语音合成效果在网上放出后火了：
文章图片
有网友表示，要是将VALL·E和ChatGPT结合起来，效果简直爆炸：
看来与GPT-4在Zoom里聊天的日子不远了 。
文章图片
还有网友调侃，（继AI搞定作家、画家之后）下一个就是配音演员了 。
文章图片
所以VALL·E究竟怎么做到3秒钟模仿“没听过”的声音？
用语言模型来分析音频
基于AI“没听过”的声音合成语音，即零样本学习 。
语音合成趋于成熟，但之前零样本语音合成效果并不好 。
主流语音合成方案基本是预训练+微调模式，如果用到零样本场景下，会导致生成语音相似度和自然度很差 。
基于此，VALL·E横空出世，相比主流语音模型提出了不太一样的思路 。
文章图片
相比传统模型采用梅尔频谱提取特征，VALL·E直接将语音合成当成了语言模型的任务，前者是连续的，后者是离散化的 。
【微软|3秒复制任何人的嗓音！微软音频版DALL·E细思极恐 连环境背景音也能模仿】具体来说，传统语音合成流程往往是“音素→梅尔频谱（mel-spectrogram）→波形”这样的路子 。
但VALL·E将这一流程变成了“音素→离散音频编码→波形”：
文章图片
具体到模型设计上，VALL·E也和VQVAE类似，将音频量化成一系列离散tokens，其中第一个量化器负责捕捉音频内容和说话者身份特征，后几个量化器则负责细化信号，使之听起来更自然：
文章图片
随后以文本和3秒钟的声音提示作为条件，自回归地输出离散音频编码：
文章图片
VALL·E还是个全能选手，除了零样本语音合成，同时还支持语音编辑、与GPT-3结合的语音内容创建 。
那么在实际测试中，VALL·E的效果如何呢？
连环境背景音都能还原
根据已合成的语音效果来看，VALL·E能还原的绝不仅仅是说话人的音色 。
不仅语气模仿到位，而且还支持多种不同语速的选择，例如这是在两次说同一句话时，VALL·E给出的两种不同语速，但音色相似度仍然较高：
文章图片
同时，连说话者的环境背景音也能准确还原 。
除此之外，VALL·E还能模仿说话者的多种情绪，包括愤怒、困倦、中立、愉悦和恶心等好几种类型 。
- 微软电脑管家2.2公测版正式发布，纯净无打扰、无弹窗
- 相信很多朋友都有过和小编一样的经历|如何轻松解除网页复制限制，实现复制自由！
- 微软|中国芯片产业的优势，产业链丰富，带来全球芯片产业转移
- 微软自从推出了win11预览版后|微软win11正式版，网友反映现存的bug
- 微软在Windows11上线的同时|微软上线pchealthcheck检查工具
- 虽然微软时不时就会推送各种版本的win11更新|微软win1122h2新功能曝光，支持桌面聚焦
- 我们都知道微软官方有很多版本的Windows10系统|win10系统21h2版本已发布可用！
- 微软AR专利探索紧凑、轻便、节能的SLM方案
- 微软正在谈判以160亿美元收购人工智能公司Nuance Communications
- 微软两年的海底数据中心实验结果超出预期，水下服务器故障率极低