ad1

您当前位置:首页 > 国内新闻

全面开源浪潮信息发布千亿参数基础大模型“源2.0”

来源:中国网
时间: 2023-11-29 00:31
阅读量:7768       

11月27日,浪潮电子信息产业股份有限公司在京发布“源2.0”基础大模型,并宣布全面开源。“源2.0”包括102B、51B(518亿)、2B(21亿)三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。

全面开源浪潮信息发布千亿参数基础大模型“源2.0”

基础大模型的关键能力是大模型行业和应用落地能力表现的核心支撑。在算法、数据和算力等方面,“源2.0”提出了新的改进方法并获得了能力的提升。

如在算法方面,“源2.0”提出并采用了一种新型的注意力算法结构“局部注意力过滤增强机制”,让大模型在使用更少的训练算力、更小的模型参数的情况下,同样可以获得更高的模型精度和涌现能力;数据方面,降低了互联网语料内容占比,通过使用中英文书籍、百科、论文等资料,结合高效的数据清洗流程,为大模型训练提供了高质量的学科专业数据集和逻辑推理数据集。

作为千亿级基础大模型,“源2.0”在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,测试结果显示,“源2.0”在多项模型评测中展示出了较为先进的能力表现。

“源2.0”采用全面开源策略,全系列模型参数和代码均可免费下载使用。“大模型的开源开放可以使不同模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间协作和更新迭代;同时,有利于以更丰富的高质量行业数据反哺模型,打造更强的技术产品,加速商业化进程。目前,业内仍没有完全开源可商用的千亿大模型,我们希望‘源2.0’能够为国内外开发者、研究机构、科技企业提供坚实的底座和成长的土壤。”浪潮信息高级副总裁刘军说。

浪潮信息长期致力于人工智能算力基础设施产品的研发,2021年在业界率先推出了中文AI巨量模型“源1.0”,参数规模达2457亿,落地南京智算中心。此次发布的“源2.0”较前一版本实现了能力的全面提升。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

推荐阅读

 哈弗可以说是中国SUV品牌的鼻祖,由H6创造的销量神话一直延续了多年。但随着近年新能源汽车的崛起,比亚迪早已成为了这一行业的老大。不甘现状的哈弗汽车针对目前市面

2023-11-29 00:31

 #锋芒出场#大众速腾改装AIRBFT空气减震案例,今天给大家分享大众的改装案例,由云南代理提供,速腾的改装风格有很多,今天这台以低趴为主,采用的是AIRBFT空

2023-11-29 00:31

 在新能源浪潮的席卷下,国内汽车市场正在潜移默化的改变,买车的“风向标”也开始逐渐倾斜。整体呈现上涨趋势的油价,让油车变得并不“亲民”,而目前纯电车型的续航与安全

2023-11-29 00:31

 ,据国家知识产权局公告,武汉光迅科技股份有限公司申请一项名为“一种附带状态信息的突发接收光功率校准上报方法及装置”,公开号CN117134819A,申请日期为2

2023-11-29 00:31

 最近总是听到小伙伴抱怨油价又涨了,搜了新闻还真是吓一跳,如今很多地区95号汽油已经再次进入9元时代,即便是按照正常家用车50L左右油箱容量来计算,加满一次花费近

2023-11-29 00:31

 2023年的新车盘点已经基本完成,现在让我们将目光投向2024年,预测在接下来的一年里将推出的7款新车。这些车款涵盖了不同的品牌和车型,让我们一起来看看这些即将

2023-11-29 00:31

 ?近日,懂车之道获悉,江铃福特旗下,全新福特全顺T8正式发布上市,带来多款车型,包含客运版、物流版和纯电版,售价区间15.38-59.80万元。 详细来看,物

2023-11-29 00:31

 来自德国的汽车改装品牌Novitec对意大利跑车改装颇有心得,旗下有四大系列包括:Rosso对应的是法拉利、Tridente对应玛莎拉蒂(Maserati)、T

2023-11-29 00:31

金融之家
关注我们
foot01
foot02
ewm
foot03
foota footb footc footd foote footf