大模型科研能力哪家强?评价参考来了
创始人
2025-05-13 12:01:32
0

薛岩

  人工智能正在科研方面展现出巨大潜力。然而,随着其应用逐步加深,一些问题也浮出水面:大模型解决学科领域问题的效能如何?科学数据供给的质量如何?是否有“裁判员”对大模型科研能力进行评价?

  近日,由中国科学院计算机网络信息中心牵头建设的科学地平线(SciHorizon)平台正式上线。作为国际首个聚焦“数据+模型”角度、面向人工智能驱动科学研究的综合评价平台,科学地平线旨在评估大模型在科研领域的应用能力以及科学数据质量,为科研人员使用大模型高效解决科学问题提供参考。

  在科学地平线网站的大模型科学领域能力测试榜单中,用户可根据不同学科浏览对应大模型排名。例如,在全学科排名中,DeepSeek-R1以71.68的综合评分暂列第一。

  “考虑到一种大模型并非在所有学科领域都能展现出非凡能力,我们对学科类型进行分类,包括全学科、数学、物理学、化学、生命科学、地球与空间科学6种。”中国科学院计算机网络信息中心研究员祝恒书介绍,在不同学科下,依据知识、理解、推理、价值观、多模态这5项评价指标,大模型的表现能力会被重新排序。科研人员能据此迅速找到适配度高且综合能力更强的大模型辅助科学研究。

  针对大模型幻觉问题,团队正在构建能将科学价值观纳入评价的指标体系,推动大模型在回答科学问题时遵守科学伦理和道德规范,实现价值观对齐。

  高质量数据是大模型的“成长燃料”。数据越丰富,大模型能“学到”的知识越多,能力也就越强。但是,并非所有数据都会帮助大模型不断“成长”。只有高质量数据能让大模型变得更“聪明”,低质量数据则会让大模型“变笨”。

  在科学地平线网站的高质量科学数据推荐榜单页面上,分别列出了地球科学、生命科学、材料科学领域排名前十的数据集。其中,在地球科学领域,由中国科学院青藏高原研究所等机构发布的“中国气象驱动数据集(1979—2018)”暂列首位。

  为确保评价体系的合理性和公平性,研究团队共收集国内高校、科研院所等上百家机构发布的数据集,并从规范性、可用性、可解释性、合规性4个维度对数据集作出评价。每一维度下,还设置了不同子指标。通过考核子指标,可以发现数据是否在某一维度内符合标准,从而对科学数据的质量作出综合评价。未来团队将构建“数据—场景—价值”的转化闭环,让每份数据都能在产业升级中释放最大动能。

  不少专家预测,智能体将在科学研究中释放巨大潜力。该系统将聚焦科学工具调用与环境交互能力、跨领域协作能力和复杂任务拆解效能等核心指标,建立从基础理论验证到产业转化落地的全链条评测标准,为科研人员高效运用大模型开展科研攻关提供科学化、系统化指引。

  (本文摘编自《科技日报》2025年5月12日6版)

相关内容

热门资讯

卡莱特终止2023年限制性股票... 5月13日,卡莱特(301391)发布公告,2025年5月12日,决定终止实施2023年限制性股票激...
吉华集团(603980.SH)... 吉华集团(603980.SH)公告,公司全资子公司江苏吉华化工有限公司拟向滨海县沿海投资发展有限公司...
巴克莱策略师:基金经理对追涨股... 格隆汇5月13日|巴克莱策略师表示,机构资金对追涨股市的兴趣不大,鉴于仓位较低,“痛苦交易”仍具有上...
特朗普,考虑飞往土耳其! 美国总统特朗普12日说,将于15日在土耳其伊斯坦布尔举行的俄乌谈判可能会取得“好结果”,他正考虑飞往...
中国气象局第五次归侨侨眷代表大... 5月13日,中国气象局第五次归侨侨眷代表大会在京召开,总结局侨联第四届委员会工作,部署今后一个时期重...
华兰股份:接受线上参与公司20... 华兰股份(SZ 301093,收盘价:27.98元)发布公告称,2025年5月13日15:00-16...
天元宠物参加世界500强品牌发... 本报讯 (记者冯思婕)5月10日,以“文化赋能新消费”为主题的世界500强品牌发展论坛在湖州市德清国...
飞凯材料:公司2022年回购方... 飞凯材料(维权)(SZ 300398,收盘价:20.18元)5月13日晚间发布公告称,公司已将202...
山东钢铁(600022.SH)... 格隆汇5月13日丨山东钢铁(600022.SH)在投资者互动平台表示,公司已经完成DeepSeek大...
供应放量成交待跟上 “银四”长... 认购优惠、清盘一口价、老带新、成交抽奖……4月份,长沙多个楼盘使出浑身解数,推出多元促销活动,但传统...
研奥股份:接受线上参与公司20... 研奥股份(SZ 300923,收盘价:25.03元)发布公告称,2025年5月6日15:00-17:...
荣耀内部再现调整中国区关键岗位... 在智能手机市场竞争白热化的当下,荣耀内部的调整还在持续。5月13日中午,据相关媒体报道,荣耀近期完成...
康基医疗(09997)终止出售... 康基医疗(09997)发布公告,有关出售目标公司Hangzhou Kangji Qipu Medic...
「图解」前4个月我国货物贸易进... 本文转自【中国经济网】;内容来源:海关总署
兴业银行厦门分行:聚力科技金融... 中国经济新闻网讯(记者 刘慧)5月9日,以“AI引擎赋能,重塑新型工业化版图”为主题的2025海峡工...
AI时代,对于哲学、技术和艺术... 转自:上观新闻AI时代,哲学何为?艺术何为?《在机器的边界思考》汇集了当代技术哲学研究领域代表人物许...
中石油原董事长王宜林一审被判1... 非法收受财物3501万余元 中石油原董事长王宜林一审被判13年2025年5月13日,内蒙古自治区鄂尔...
北外滩未来五年:将是“长个子”... 转自:上观新闻“五年来,北外滩累计开竣工重大建设工程46个、总体量超过300万方,引进亿元以上重大投...
四部门:到2025年底,全国行... 近日,中央网信办、农业农村部、国家发展改革委、工业和信息化部联合印发《2025年数字乡村发展工作要点...
594.15起 魅族Note1... 声音 | 小白今天下午,魅族举行了魅族Note 16系列暨Flyme AIOS生态发布会,不仅发布了...