3月26日,昆仑万维正式发布Mureka O1模型与Mureka V6模型。Mureka O1作为全球首款音乐推理大模型,性能超越Suno、模型登顶SOTA,中国科技创新再次在AI音乐领域领跑全球。

 

2024年4月,昆仑万维发布了第一代音乐生成模型:Mureka V1(SkyMusic),获得了非常好的市场反响。在过去接近一年的时间里,我们的技术团队、产品团队持续对Mureka进行升级迭代。截至目前,全球范围内已经有超过100个国家和地区的用户访问我们的AI音乐产品——Mureka。

Mureka是Music与Eureka的结合。Eureka源自希腊语的感叹词,意为我发现了、我找到了,常用于表达突然获得灵感的时刻。Mureka寓意着,我们希望它可以将人们的音乐灵感爆发时刻快速记录下来,并创作出属于自己风格的歌曲。

Mureka V6&O1全量上线,支持自由切换,来自东方的音乐魔盒惊艳全球

Mureka V6是当前Mureka的基座模型,支持纯音乐生成,还支持10种语言的AI音乐创作,包括英语、中文、日语、韩语、法语、西班牙语、葡萄牙语、德语、意大利语和俄语。在Mureka V6中,团队引入自研 ICL(in-context learning)技术,使得声场更加开阔,人声质感和混音设计进一步强化。

Mureka O1模型是基于Mureka V6的推理优化版本,也是全球范围内首个引入CoT的音乐模型,在推理过程中加入思考与自我批判,大幅提升音乐品质、音乐创作效率和灵活性。

Mureka V6和O1模式支持多元化的音乐创作风格及情感表达。曲风涵盖爵士(Jazz)、电子(Electronic)、流行(Pop)、乡村(Country)、节奏布鲁斯(R&B)、灵魂乐(Soul)、蓝调(Blues)、摇滚(Rock)、舞曲(Dance)等;情感维度包括快乐、放纵、神秘、充满活力、悲伤等多种情绪表达。

此外,Mureka还提供两个特色音乐生成功能:

1. 歌曲参考(Reference Fuction):将音乐本身作为提示,用户可直接上传音频或Youtube链接作为创作提示,比文本提示更直接更高级的提示方式;

2. 音色克隆(Vocal Fuction):Mureka是全球首个可以指定演唱歌手音色的AI音乐生成平台,用户不仅可以选择官方提供的多种歌手音色,还可以上传自己的声音,让AI学习并复刻,精准模拟歌手音色,一键生成个性化专属作品。自定义歌手音色的功能宣告人人都能成为AI歌手的时代正式到来了。

Mureka V6和O1的发布,是AI音乐行业技术进步的一个重要里程碑,也证明了AI在艺术创作中的潜力,展示了持续探索新的技术形式和艺术表现形式的巨大可能性。

Mureka O1采用业界首创自研MusiCoT技术、登顶SOTA、性能超越Suno,AI将为音乐注入灵魂

Mureka O1中包含了Mureka团队最新发布的音乐生成领域的创新研究成果——MusiCoT,具备技术领先性和前瞻性。我们发现,业界关于音乐领域的算法工作非常少,只有少数几个团队公开了自己的工作成果。为此,我们以论文形式公开了Mureka O1的实现原理,欢迎业界在此基础之上做出更好的工作。

 

项目主页:MusiCoT.github.io

MusiCoT利用了思维链Chain-of-Thought (CoT)方法,不同于传统自回归模型逐步生成音频,MusiCoT首次在细粒度音频token预测前预生成整体音乐结构,大幅提升生成音乐的结构连贯性与乐器编排精准度。MusiCoT基于CLAP模型,无需人工标注即具备高扩展性,并显著提高了生成音乐的可解释性和质量。MusiCoT为高保真AI音乐生成开辟全新路径,推动音乐AI创作迈入结构化时代。

 

图丨Mureka自研基于MusiCoT的自回归模型音乐生成技术(来源:MusiCoT.github.io)

基于首次在音乐生成领域引入Chain-of-Thought(CoT)技术、算法框架的升级,Mureka O1不仅保持了低延迟音乐生成,还显著提升了歌词旋律契合度、演唱准确性和艺术表现力等,多项指标领先于Suno V4。

通过AI基础设施深度优化,Mureka O1实现了行业领先的低延迟音乐生成,提供即时、高质量的用户体验。以下实测采用相同prompt进行输入:

 

图丨Mureka O1实现了行业领先的低延时音乐生成

在我们的实际测试中,发音唱对率、乐段准确率、文本相关度、制作质量等客观指标,Mureka V6都显著优于Suno V4。通过下述主流的开源模型对生成音乐进行分析测试,Mureka O1在发音清晰程度、生成乐段的精准度上遥遥领先。

 

 

图丨Mureka O1在文本生成音乐的客观测评中得分

音乐最终还是要服务于人的耳朵,因此主观评价和客观评价同样重要。

在最新的音乐评测中,Mureka O1展现出卓越的音乐品质,在最终的整体听感评测超过了Suno V4。其中,Mureka O1在混音(Mixing)、人声质感(Vocal Texture)、BGM质感(Background Music Texture)方面明显超越Suno V4;在配器丰富度(Instrumentation Richness)、作曲结构(Composition Structure)和旋律动机质量(Motif Quality)表现上相较于Mureka V6实现了显著提升。这一进展标志着Mureka在音乐生成领域的持续突破,为用户带来更丰富、更高品质的音乐体验。

 

图丨Mureka O1在主观测评中整体听感超越Suno V4

全球首次开放API服务与模型微调功能,共建AI音乐开发者生态

Mureka是全球首批开放API服务的高质量AI音乐生成平台。不论是开发者,还是音乐平台,现在都可以将Mureka的音乐生成能力无缝集成到自己的产品或平台中,更容易地应用AI音乐功能拓展自己的商业价值。

 

图丨Mureka API服务界面(来源:Mureka官网)

面向企业和开发者,Mureka同时开放灵活的API服务,不仅包括音乐音频生成API,还有语音合成API:

1. 音乐API

a)标准音乐生成API:支持多种输入包括文本提示、音色参考、音频参考的音乐生成,歌词创作。通过不同维度的输入,系统可生产多风格音乐及纯音乐,适用于内容创作、游戏配乐、短视频等多场景应用。

b)精调私有曲库API:上传私有曲库定制专属风格,模型精调技术深度解析每一首旋律风格偏好,无需音乐知识也可轻松定制品牌音乐、个人专辑等专属内容。

2. 语音API

提供AI 语音播客、精品说话人、音色克隆等 API ,用于语音播客、预制精品音色语音合成、音色克隆等场景。

其中,Mureka同步开放的前沿语音合成API——Mureka TTS,在与ElevenLabs、OpenAI、微软的横向评测表现出色。如下图所示,Mureka TTS在对话聊天类全场景效果测评中排名第一(总体得分4.34),与一线厂商相比,各维度均表现优异。

 

图丨Mureka TTS在对话聊天类全场景效果表现优异

不仅在全球范围内,首次开放API服务,Mureka同步开放基于Mureka V6的模型微调服务。成为全球首个开放模型微调功能的AI音乐生成平台。

有需求的用户可以提供自己的私有数据,在我们强大的基座模型之上训练属于自己的专属音乐模型,为自己的音乐创作提升效率。当然,你提供的数据我们会严格保密,不会用于训练我们自己的基座模型,也不会泄露给其他人,你的模型只属于你。

这项功能让AI音乐创作更加个性化,为音乐人、制作人、甚至品牌和游戏开发者提供了定制化的AI音乐解决方案。

未来,Mureka团队将会持续在模型能力上投入,让我们的音乐模型持续保持在全球第一梯队,同时在基座模型之上开发更多音乐创作功能,例如音乐生成的二次编辑、歌曲二创等等。

欢迎全球用户登录Mureka(www.mureka.ai),体验全新V6&O1模型,与全球AI音乐创作者共同探索音乐创作的无限可能,共建AI音乐开发者生态!