当前位置:AIGC资讯 > AIGC > 正文

谷歌 Deepmind 推出 Lyria AI 音频模型,可生成带有乐器和人声的音乐

11 月 21 日消息,Deepmind 日前推出了一款名为 Lyria 的音频模型,可用于生成带有乐器和人声的音乐。此外 Deepmind 还通过与 YouTube 合作,整合 Lyria 模型开发了音乐创作工具 Dream Track,声称可令视频创作者“更有效率地将想法变为作品”。

研究人员介绍了当前通过 AI 模型生成音乐的挑战,这是因为音乐本身包含极高的信息密度,其中每一秒钟都可能拥有多个节拍、音符及和声。而这也使得“生成音乐”相较于“生成语言(文字转语音)”更为复杂,而对于 AI  模型来说,维持长音乐序列中的连续性也更为困难,这是因为模型需要在不同的乐句、诗节和长段落中,保持音乐的流畅性和一致性。

此外,由于音乐片段中经常同时包含多个声部和乐器,这也进一步增加了音乐生成的难度,相关音频模型必须能够协调多种声音和旋律,从而使生成的音乐更自然。

而 Deepmind 所开发的 Lyria AI 模型,便是针对上述痛点进行的尝试,这款模型的最大特点就是能够生成包含乐器和人声的高品质音乐

▲ 图源 Deepmind

此外,Lyria 模型还擅长进行音乐变换和延续的任务,因此模型还能基于现有音乐片段生成出风格新颖或统一的后续片段。

研究人员同时强调,Lyria 模型拥有细致的微调选项,可让用户精确生成音乐风格及表现方式,因此这款模型可以“满足专业音乐创作的需求,同时也可以让业余用户轻松上手”。

▲ 图源 Deepmind

IT之家注意到,目前 YouTube 已经在短视频功能“Shorts”中应用 Lyria 模型,相关成果已经集成在 YouTube 的实验音乐创作工具 Dream Track 中,用户可以用这款工具生成多样化的配乐,并可选用 Charlie Puth、Charli XCX、Sia 等艺术家的音乐风格来创造出“全新演绎”。

▲ 图源 Deepmind

据悉,用户可以在 Dream Track 中简单地输入主题,之后即可选择一位艺术家,为短视频生成 30 秒的配乐、歌词、伴奏等内容。

▲ 图源 Deepmind

▲ 图源 Deepmind

此外,Deepmind 还表示,研究人员正广泛地探索 AI 在音乐创作领域的应用,未来用户只需要哼唱,AI 就会把旋律配成带有歌词的完整歌曲,也可以将古早的 MIDI 音乐转换为 Remix 版本,或为音轨添加各种乐器伴奏。

Deepmind 同时提到,Lyria 模型生成的所有内容,都会加上 SynthID 水印标记。这是一种辨识歌曲是否是由 AI 生成的水印机制,号称能够在不影响听觉体验的前提下,为 AI 生成的音乐嵌入“听众无法察觉的水印标记”。

▲ 图源 Deepmind

研究人员提到,带有“声音水印”的音频,即便添加噪音,或是进行 MP3 压缩,甚至对变更音调速度,也都能够维持可检测性,而 Lyria 模型也可以通过检测歌曲中的 SynthID,来确认歌曲中由 Lyria 模型生成的部分,从而更容易辨别音乐主题内容,方便生成后续音乐片段。

更新时间 2023-11-21