Meta推出多任务语音模型Voicebox 文本自动生成6种语音

近日,Facebook、Instagram等社交平台母公司Meta推出了可执行多种任务的生成式语音模型——Voicebox。Voicebox支持文本自动生成英语、法语、德语、西班牙语、波兰语或葡萄牙语6种语音,还提供去除噪声、语音编辑、风格转换和多样化语音合成功能。总之,这是一个开创性语音模型,属于语音模型界的“ChatGPT”。

Voicebox

语音降噪和编辑:Voicebox 的上下文学习能力,可以在音频录音中生成无缝衔接的语音片段。例如,可以用于被噪声破坏的语音、纠正说错的文本等。所以,该功能可以帮助专业媒体人更快的编辑音频。

文本到语音合成:用户使用长度仅为2秒的输入音频样本,Voicebox 就可以自动匹配样本的音频风格并将其用于文本到语音生成。该功能可以帮助很多无法说话的聋哑人,实现“说话”。

跨语言风格生成:给定一个语音样本和一段英语、法语、德语、西班牙语、波兰语或葡萄牙语的文本,Voicebox 都能以该语言读出该文本。该功能可以帮助人们用自己的语音进行真实地交流,即便他们来自不同的国家、地区。

多样化语音采样:从多样化的自然数据中学习后,Voicebox 可以生成贴近现实说话的声音,并且支持英语、法语、德语、西班牙语、波兰语和葡萄牙语六种语言。所以,可用于生成语音数据,可帮助用户更好地训练语音助手模型。

Voicebox的主要用途:帮助媒体人轻松编辑音轨;Voicebox可生成6种自然语言的语音,所以,该功能可用于生成语音训练数据,帮助企业、个人开发者更好的训练语音助手模型。

目前,Meta在大语言、扩散、视觉切割、语音等领域,发布了很多功能强大的模型,例如,其开源的LLaMA已成为类ChatGPT开源模型中应用最多、影响力最大的模型之一。前不久在Meta的高层会议上,扎克伯格表示,未来Meta的Instagram、Whatsapp、Messenger等招牌产品都会引入生成式AI功能,为用户提供文本生成、图片生成、AI聊天等服务,加大对生成式AI的布局赶上微软、谷歌的脚步。

服务商动态

百度“如流”升级多种新功能 内嵌文心一言大模型

2023-6-20 9:32:26

服务商动态

腾讯云推出MaaS一站式服务 打造行业大模型精选商店

2023-6-20 14:28:29

相关推荐