ad1

您当前位置:首页 > 国内新闻

从Sora到Suno,解锁多模态大模型的可能性

来源:证券之星
时间: 2024-03-26 21:57
阅读量:6696       

像年初的Sora一样,这次AI的颠覆性影响传入了音乐圈。

这为普通人打开了音乐制作的大门。在社交媒体上,众多网友参与讨论,并晒出通过Suno制作的曲目,这些可以称得上完整且好听的音乐作品令音乐圈内外人感到颇为震撼,当然,更震撼的还是AI生成能力的迭代速度。

在文生文模型的热度逐渐平息之时,文生图、音频、视频等多模态大模型开始了一轮又一轮的进化。华泰证券的一份研报显示,海外大模型迭代重视多模态能力拓展,相较于早期图像、音频、视频模型,基础模型能力显著提升。

“大语言模型为AI产业带来新的生机,然而语言模型的应用场景有限。要全面打开生成式AI的想象力,还是要依托多模态大模型。”IDC中国研究总监卢言霞向21世纪经济报道记者表示。

她曾预测,未来5年,生成式AI生成的文本类文件、图像类文件、视频类文件、软件代码类文件数量将会越来越平均。而这其中,与图像文件相关的数据量可能是文本文件的100倍,视频文件是图像文件的10倍。

当见识过这些模型的能力后,生成式AI的想象空间已经被全面打开。尽管目前很多应用尚未正式对外开放使用,也无法了解到更多技术细节,但可以确定的是,这一波技术迭代将为AI行业参与者带来可观的机遇。

音乐圈的ChatGPT时刻

曾有业内专家认为,考虑到成品的复杂性,可能需要数年时间才能出现一种通过简单的文本描述制作歌曲的工具。但位于马萨诸塞州剑桥市的一家成立两年的初创公司Suno已经成功实现了这一目标。

近日,Suno V3音乐生成模型发布,面向所有用户开放。Suno通过其先进的AI算法,能够理解和分析用户的输入,然后生成与之相匹配的音乐。这意味着用户只需要提供一些简短的歌词或者描述,Suno就能根据这些信息创作出一首歌曲。

随着新版本的推出,Suno还引入了AI音乐水印系统,每段由平台生成的音乐都添加了人声无法识别的水印,旨在保护用户的创作,防止抄袭和滥用。

“相比起之前的版本,或是此前其他AI生成音乐的工具,V3生成的曲目是令人惊艳的。”有音乐博主在社交媒体上发出赞叹,“它已经不再是一小段不成熟的东西,而是有歌词、前奏、间奏、副歌的完整歌曲。”

在V3版本中,音质、咬字和节奏编排上都有了显著提升,是SunoAI首次能够生产出广播质量的音乐的模型,它能够在几秒钟内创作出完整的两分钟歌曲,就在半年前,这个时长还仅有30秒。

为了激发人们的创作灵感,Suno V3还增加了更多音乐风格和流派的选项,包括古典音乐、爵士乐、Hiphop、电子等新潮曲风。同时,V3版本对于用户输入的提示词,理解和响应更加准确,减少了“幻觉”现象,使得歌曲的结尾更加自然和高质量。

“我认为完成度很高,在乐器编排、风格把控、歌词与旋律的匹配度等等方面都做得不错,甚至还有乐器solo。”某独立乐队成员向21世纪经济报道记者表示,“尤其对没有专业制作班底的独立乐队而言,提供了很好的编曲灵感。”

官方宣称,不少知名的艺术家已经在使用Suno,但其核心用户群依然还是没有任何音乐制作经验的普通人。在互联网上,越来越多的网友晒出了自己通过Suno生成的作品,其中不乏中文歌曲,如基于古诗词的古韵歌曲《水调歌头》、中文硬摇滚《We Go!》,甚至还有以菜谱作为歌词的《宫保鸡丁》等。

“这与AI绘画给人的感觉是类似的,”有使用者向记者表示,“做不到特别好,但可以达到平均水平,甚至要更高。”

针对于其应用场景,业内普遍认为,作为广告、短视频等背景音乐的“功能性音乐”,Suno生成的音频有着很大的应用前景,再往前发展,个性化定制音乐也会成为一种普遍的现象。

不过,谈AI替代人力还是为时过早。上述独立乐队乐手向记者表示,作品虽然有完成度,但结构呆板,编排还是粗糙的、模块化的,对于主流的音乐产业还构不成威胁,“它确实降低了音乐制作的门槛,但还远没有突破其天花板。”

Suno官方则表示,目前Suno模型仍处于早期阶段,未来还将沿着质量、可控和速度方向进行改进,并透露V4已经在开发中。

多模态仍在发展初期

去年年底,谷歌上线了文生图模型Imagen 2,在图像的真实性和语言理解的深度上取得了前所未有的成就,能够生成高度逼真且与文本提示一致的高分辨率图像,尤其在处理复杂细节如皮肤质感和头发方面表现出色,被称为DALLbull;E 3和Midjourney的最强竞品。

年初,OpenAI的Sora模型带来更大的震撼,它能够根据文本描述生成长达60秒的视频,在此之前,同类产品生成的时长只有几秒钟。同时,它还具有精细复杂的场景、生动的角色表情以及复杂的镜头运动,使得Sora生成的视频在视觉效果上更为连贯和逼真,与之前AI视频生成模型产生的抖动和失真的视频效果形成了鲜明对比。

再加上近期Suno的火爆,各个领域都在迎来自己的ChatGPT时刻。业内人士认为,这类多模态大模型将最先应用于短视频、广告、互娱、影视、媒体等领域。在这些领域采用多模态大模型能力,既可以提高生产速度又可以提高生产数量,还可以创造全新的视听感受,能够帮助企业真正实现降本增效、提升用户体验。

从更长远的角度来看,多模态最接近于人对自然界的感知,智谱AI CEO张鹏在此前接受21世纪经济报道记者采访时表示,多模态是走向通用人工智能的起点。

“人大脑一定是各种感官融合到一起的,所以人的智力一定是多模态的。”张鹏向记者表示,“多模态不仅是文到图、图到文这么一件事情,它更多的是探究人的认知能力和各种感官之间的相互作用。”

但从技术角度来看,多模态大模型仍面临着多重挑战。

多模态模型的技术难度主要在于如何有效地整合和处理不同类型的数据,图像、视觉和音频等领域的数据具有更高的维度和更复杂的结构。“与NLP相比,图像、视觉、音频的数据量更大,对算力的要求也更高,计算的速度、性能要求都会更高。”卢言霞向21世纪经济报道记者表示。

她认为,尽管在NLP领域取得了一定的进展,但在图像、视觉和音频等其他模态上,大模型的发展仍然处于起步阶段。

“很多应用表面上看上去惊艳,但是如果我们按需按场景去使用,能满足需求的时候仍是少数。”卢言霞向记者表示,真正的成熟需要至少多个场景都能有效使用,目前很明显达不到这一点。

而人们对于多模态大模型的期望显然不只限于单一的非文本模态。未来的多模态模型可能会朝着更加集成和协同的方向发展,不仅能够处理单一模态的数据,还能够在多个模态之间进行有效的信息融合和转换。

但当前一体化多模态大模型仍存在局限。复旦大学计算机科学技术学院教授邱锡鹏向21世纪经济报道记者表示,目前的多模态大模型通常以语言模型为中心,通过将其他模态的数据映射到语言模型的语义空间中来实现多模态理解,生成时则需要调用外部的插件或系统。这限制了模型的应用场景和灵活性。

他认为,新一代大模型的交互将实现任意模态到任意模态的内生转化,这将与更多实际生活场景相结合,赋能应用场景和生产力变革。

目前来看,多模态整体的研究框架仍是非常开放的,它并没有一个非常清晰的、收敛的路线,这对于开发者而言是巨大的挑战,但与此同时,也意味着很多的可能性。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读

 日前,我们从官方渠道获悉,第十一代索纳塔正式开启预售,其中1.5T车型预售价15万起,2.0T车型预售价17万元起,计划在3月份正式上市。作为一款合资中型轿车,

2024-03-26 21:57

 说到中国新能源汽车,国际上已经获得不错的口碑。 如果没有贸易堡垒,中国车企能干掉世界上大部分的车企。 中国新能源汽车能够获得这样的赞誉,其实并不是空穴来风。

2024-03-26 21:57

 卷了一整年的车市,终于到了出财务成绩的时候。 和每月发布销量数据一样,最先公布2023年财报的是新势力。理想拿出了历史最佳财务数据,其美股与港股均应声大涨;蔚

2024-03-26 21:57

 记者26日从西安市政府新闻办举办的新闻发布会上获悉,2023年,该市国家高新技术企业突破1.25万家,科技型中小企业突破1.5万家,全社会研发投入强度达到5.2

2024-03-26 21:57

 作为购车者,我们常常陷入纠结,不知道该选择捷途X70还是哈弗H6。因此,我们有幸亲自体验了这两款备受瞩目的车型,并将通过本次评测为大家揭开它们的真正面貌。通过本

2024-03-26 21:57

 2024年新年伊始,比亚迪汽车简直让汽车媒体狂喜,层出不穷的豪华加码动作,简直让人猜不到下一步又会有什么惊喜奉上。 来看下二月底,比亚迪的第二波王炸,让燃油

2024-03-26 21:57

 近日,上交所发布公告表示,因山东京阳科技股份有限公司(以下简称“京阳科技”)及保荐券商海通证券申请撤回上市申请文件,故上交所决定终止对京阳科技首次公开发行股票并

2024-03-26 21:57

 雷克萨斯旗下全新小型SUV——雷克萨斯LBX在海外市场正式亮相,并公布了售价。 这款新车型在海外市场的起售价约为22万元,同时搭载了一台三缸发动机。下面我们就

2024-03-26 21:57

金融之家
关注我们
foot01
foot02
ewm
foot03
foota footb footc footd foote footf