百川发布金融大模型 采用自约束训练方式提升“通专能力”
澎湃新闻 2024-12-25 09:48

如何让大模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景的最大阻碍。12月23日,百川智能推出全链路领域增强金融大模型Baichuan4-Finance,采用自约束训练方案,同步提升模型专项能力和通用能力,提高金融场景可用性。

百川智能由前搜狗公司CEO王小川于2023年创办。全链路领域增强方案覆盖了构建、模型预训练、微调、强化学习等从模型研发到场景应用全流程,旨在提升模型多元场景可用性。据了解,Baichuan4-Finance的金融数据集包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,以及金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据。

在此基础上,Baichuan4-Finance在领域自约束训练过程中引入更高精的通用数据混合训练,实现模型通用能力不下降、金融能力稳定增长,并在后训练环节通过合成数据、指令数据对模型实施有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,提升模型性能。

在中国人民大学财政金融学院12月17日发布的金融评测体系FLAME的测评中,Baichuan4-Finance在银行、保险、基金、证券等资格认证领域的准确率突破95%,整体准确率93.62%。

金融行业数据丰富,适合大模型落地。但在业内人士看来,当下大模型落地金融,还要解决四大问题:一是合规性,金融是强监管行业,任何新技术的应用都要满足监管要求。二是安全性,如果幻觉问题不能彻底避免或消失,大模型落地金融就存在风险,与此同时,在涉及用户敏感数据的问答时,大模型存在泄漏隐私数据风险。三是解释性,金融是逻辑性强的行业,数据处理结果要求准确。四是经济性,大模型更新速度越来越快,对算力、数据的要求越来越高,金融机构落地大模型还要考虑成本,“有时候小模型的效果不一定比大模型差。大模型和小模型的配合也会起很大作用,比如舆情分析、财务异常识别等。”

编辑/范辉

相关阅读
群模时代小而专大模型趋势明显 “招联智鹿二代”赋能普惠金融实践
北京青年报客户端 2024-08-05
AI应用落地提速:大模型开花 小模型破局
21世纪经济报道 2024-07-13
大模型发展应用面临哪些挑战?微众媒体学院北京开讲
北京青年报客户端 2024-07-04
大模型发展应用面临哪些挑战? 微众媒体学院北京开讲
北京青年报客户端 2024-07-03
腾讯云存储面向AIGC全面升级,80%头部大模型厂商采用
北京青年报客户端 2024-04-08
AI框架成为大模型训练关键要素 昇思发布四项行动赋能学术与生态
北京青年报客户端 2024-03-23
科大讯飞刘庆峰:中国大模型距离GPT-4的最好水平还有差距
第一财经 2024-01-31
招联智鹿重磅发布 金融大模型都有哪些应用?
北京青年报客户端 2023-12-15
最新评论