关注乐鱼智能掌握最新行业动态与资讯
当前位置:首页 >  新闻中心 >  公司新闻

乐鱼商汤大模型多个评测表现超ChatGPT—新闻—科学网

发布日期:2024-03-14 14:33:57 访问量:53 来源:乐鱼智能
本报讯 (记者沈湫莎)商汤科技近日宣布了自研中文言语年夜模子 磋商SenseChat 2.0 于MMLU、AGIEval、C-Eval三个权势巨子年夜言语模子评测基准的成就。评测显示, 磋商 于这三个测试集中的体现均领先ChatGPT,实现了我国言语年夜模子研究的冲破。 全世界三年夜权势巨子言语模子测评基准别离为由美国加州年夜学伯克利分校等高校构建的多使命测验评测集MMLU、由微软研究院推出的学科测验评测集AGIEval(含中国高考、司法测验及美国SAT、LSAT、GRE以及GMAT等),和由上海交通年夜学、清华年夜学以及英国爱丁堡年夜学互助构建的面向中文言语模子的综合性测验评测集C-Eval。 截至6月,全世界规模内正式发布的年夜言语模子已经跨越40款,此中由中国厂商、高校、科研院所等发布的年夜言语模子近20款。于MMLU测评中, 磋商2.0 综合患上分为68.6,超ChatGPT(67.3分),仅掉队在GPT-4(86.4分)位居第二;于AGIEval测评中, 磋商2.0 患上分49.9分,超ChatGPT(42.9分),仅次在GPT-4的56.4分。于C-Eval测评中, 磋商2.0 患上分66.1分,于参评的18个年夜模子中,仅次在GPT-4(68.7分)。 4月,商汤发布 日日新 年夜模子系统和中文言语年夜模子 磋商 。今朝, 磋商 已经于浩繁行业以及场景中落地运用,已经有近����APP千家企业客户经由过程申请,运用以及体验 磋商2.0 的长文本理解、逻辑推理、多轮对于话、感情阐发、内容创作、代码天生等综合威力。于办事客户历程中, 磋商2.0 连续迭代以及晋升,并实现常识的及时更新。

(原标题:商汤年夜模子 磋商 多个评测体现超ChatGPT)

出格声明:本文转载仅仅是出在流传信息的需要,其实不象征着代表本消息网不雅点或者证明其内容的真实性;如其他媒体、消息网或者小我私家从本消息网转载使用,须保留本消息网注明的“来历”,并自大版权等法令义务;作者假如不但愿被转载或者者接洽转载稿费等事宜,请与咱们联系。/乐鱼

Copyright © 2019 乐鱼智能技术股份有限公司.粤ICP备16017609号

粤公网安备44030402003674号