大模子的竞速赛，正站在通用底座的基础上，掀翻"界限增强"风暴。

刚刚就出现了个最直不雅的例子：金融界限大模子王座，它易主了！

新王是谁？须臾出现的全链路金融界限增强壮模子 Baichuan4-Finance，榜单收货十分亮眼，专科性和可用性行业第一。

背后的力气和技能，即是界限增强决议。

划个重心，它确凿十分值得群众好好琢磨琢磨！因为 Baichuan4-Finance 是百川智能全链条界限增强决议在金融界限的效果，该决议也不错得胜迁徙哄骗在其它界限，比如医疗、西宾、法律……一通百通。

而将决议率先在金融界限落地，这即是其背后大模子公司百川智能最径直的践诺。

量子位获悉，Baichuan4-Finance 之是以能取得这样的收货，主要原因是其全链路界限增强决议中包括有高质地数据、在模子考研经由中开创了自敛迹考研决议，在微调阶段也作念了多量增强职责。

本着客不雅和感性的精神，我们如故老法则，把模子和决议小数点掰开，一说念来看——

开闭源 Benchmark 实测：超 GPT-4o 近 20%

百川公布了一系列 Baichuan4-Finance 的榜单收货，举座来看，该模子在金融类开 / 闭源 benchmark 上均证实出色。

出色到什么地步呢？

这样说吧，它能当司帐、能当交游员、能当精算师，纯纯的金融行业万能大通才。

先来看开源的金融 benchmark，FinanceIQ。

简便先容下，FinanceIQ 是金融界限的汉文评估数据集，涵盖 10 个金融大类和 36 个金融小类，揣度 7173 个单项选拔题。它的重心是评估大模子在金融场景下的常识和推理材干。

Baichuan4-Finance 位列榜首，举座准确率达 79.23%，而 GPT-4o 是 66.25%。

也即是说 Baichuan4-Finance 登程点了 GPT-4o 约 13%。

然自后看闭源的金融 benchmark，FLAME。

FLAME（Financial Large-Language Model Assessment and Metrics Evaluation）是东说念主大财政金融学院在本月 17 日发布的金融评测体系，兼顾专科性和实用性，由两个标的的评测基准构成。

第一个是 FLAME-Cer，主要面向模子的金融专科材干评测，掩盖了 CPA、CFA、FRM 等 14 类巨擘金融经验认证。

在 FLAME-Cer 上，Baichuan4-Finance 举座准确率 93.16%，一举夺魁，超出 GPT-4o 近 20%；在银行、保障、基金、证券等多个经验认证界限，该模子的准确率均破碎了 95%。

第二个是 FLAME-Sce，它侧重模子的场景应用材干，包含 10 个一级中枢金融业务场景，21 个二级细分金融业务场景，近百个三级金融应用任务。

FLAME-Sce 评测中，Baichuan4-Finance 的举座可用率亦然行业最高。

其中，一级中枢金融业务场景的模子举座可用率达 84.15%，金融数据计较、金融常识表面等应用场景的可用率更是跳动 90%。

从榜单收货来看，Baichuan4-Finance 的精确度和可靠性都在同类模子中脱颖而出，一定进程上证实了其在金融常识界限的深厚积攒与专科素质。

但老话说得好，"尽信书不如无书"，我们也不行拿榜单当独一的评判次第。

如故得上手看效果（稳健脸 .jpg）。

量子位一连三测，我们来看：

金融行话分解注解

Prompt：以下是一个金融行业常用的术语（黑话），请对这个术语进行分解注解：本领性毁约。

Baichuan4-Finance 的修起如下图。

GPT-4o 的修起如下图。

最直不雅的感受，Baichuan4-Finance 的修起更长更丰富，GPT-4o 的修起较为粗陋。

仔细阅读后不难发现，Baichuan4-Finance 不仅详备证实了名词主张，还从违抗条约条件、触发条件、后果、惩处口头等多个维度来分解注解"本领性毁约"，辅以功能道理和使用场景，带例如的那种。

逻辑也闪现，有助于读者全面领略这一主张。

GPT-4o 内容较为简便，天然有案例简便例举，但提供的信息量如实比不向前者。

业务搪塞

Prompt：银行在发现哪些情况时，应将单元银行结算账户的网上银行转账功能关闭，并要求进款东说念主到银行网点柜台办理转账业务 ?

Baichuan4-Finance 的修起如下图，推敲了干系《见告》的规章。

更适当中国宝宝体质～

GPT-4o 的修起如下。

倒也列举了一些情况，然则莫得推敲践诺条件，相比空匮，也不知是否合乎干系规章。

基于财务报表的财务目的索求

Prompt（主要）：你是一位专科的财务数据分析师，负责从提供的已知的财务报表中抽取特定信息。你的任务是针对用户建议的问题，从财务报表中索求干统统据。最终问题是"终局 2024 年 3 月底，淘宝和天猫集团的调理后 EBITA 是若干？"

在 prompt 里，我们附加了输出摈弃需要顺从的"原则解任"：

准确性：严格基于"财务报表"进行信息抽取，确保所稀薄据的准确无误。

完整性：如果"财务报表"中包含用户问题所需的所稀薄据，则提供完整的谜底；如果短少信息，则在相应的字段中留空。

输出样子：以 JSON 样子输出抽取的信息，确保易于阅读和领略。

以及这里附上和 prompt 一说念喂畴前的财务报表 OCR 文本。

Baichuan4-Finance 的修起如下。

这一局 GPT 天然也给出了准确谜底，但带了额外的笔墨总结；Baichuan4-Finance 更合乎"以 JSON 样子输出抽取的信息"这一敛迹条件。

抽象统统测试摈弃来看（包括莫得放进来的一些其它 case），Baichuan4-Finance 如实胁制小觑，且雄厚性很强。

行业开创界限自敛迹考研决议

接下来即是我们的必问题要道，训出这样强的 Baichuan4-Finance，百川是怎么作念到的？

百川智能给出的谜底是，拿考研阶段的三步走来语言。

哪三步？

考研数据准备——模子 post-pretrain ——模子微调。

（先预报下，其中的第二阶段含有一个十分妙的开创性计谋）

阶段 1：考研数据准备

第一阶段考研数据准备，又可细分红数据汇集和数据处理两个门径。

Baichuan4-Finance 涵盖的数据集如表格所示，既包含中枢专科金融常识数据，也掩盖了践诺应用类数据，为进步模子金融材干提供了考究的底层撑握。

而且为了保证模子基础材干，团队有益在考研经由引入了更高精的通用数据夹杂考研，确保该模子既能表面塌实，又能践诺过硬，不会只无米难为炊。

值得一提的是，在数据汇集阶段，百川在金融巨匠团队的专科相易下，构建了一个全面、严谨、高质地的金融界限考研数据体系。

数据框架联想：由巨匠团队盘算推算举座数据架构，确保常识体系的完整性和专科性；

高质地数据圈定：依托巨匠团队的学术洞见，精确定位优质数据源；

专科数据标注：在巨匠团队相易下进行专科化标注，确保数据质地；

常识体系审核：由巨匠团队把控常识准确性，考据数据价值。

一通盘即是「学术巨擘背书 + 体系化常识结构 + 严格的质地保障」，皆活了。

数据处理这一步，百川摄取了智能数据去噪本领、高效数据去重机制、严格数据脱敏等，还树立了一套完整的数据处理体系。

张开来说，登程点基于样本可读性、常识密度等多个维度对单个样本进行初步评分；其次，笔据不同数据开端的特色，设定各别化的评估维度权重进行二次评分；临了，通过深度学习模子对多维度评分进行转头分析，得出样本的最终质地分。

这个体系不仅确保了考研数据的高质地，更通过革命的评估体系和配比优化系统，很好地支握了模子性能的不凡度。

阶段 2：模子 post-pretrain

第二阶段，来到了模子 post-pretrain。

先敲黑板，在考研行业界限大模子时，业界现时的宽广作念法是通用考研语料与界限数据相推敲的 CPT 的考研口头。

这个考研方法可用，但伴跟着 2 个枢纽挑战。

一是如何细目最优的数据夹杂比例，包括界限内不同类型数据的配比以及界限数据与通用数据的和会比例；二是如何选拔合适的考研计谋，在课程学习、固定配比考研以及推敲退火实验等决议中找到最好决议。

在多量实验后，百川发现传统固定配比的径直考研口头存在赫然过失：跟着考研的深入，模子的金融界限材干天然不息进步，但通用材干却显赫下落。

斟酌到金融界限包含诸多不同场景，模子的泛化材干至关重要，因此百川为考研经由首提了一种革命性的计谋——

界限自敛迹的考研决议 + " loss scaling law + metric scaling law "双重预测推演经由。

以此保证模子通用材干不下落，界限材干进步。

界限自敛迹的考研决议是啥？一种进步模子垂域泛化材干、又不诽谤通用材干的考研计谋。

这样说吧，在模子 CPT 经由中，界限常识的径直引入会破碎原有 base model 的考研散布，因此径直基于界限数据或者夹杂通用界限这两种决议进行考研，势必会让通用材干下落。

于是，不思破碎通用材干的百川团队就建议了个新的考研决议，称之为"界限自敛迹"。

具体来说，是在基础界限模子考研经由中构建一个和基础模子同参且参数不更新的" reference model "，来相易模子考研的经由不要跑偏，从而达到「通用材干不降，界限材干雄厚增长」的效果。

△在小模子上进行界限自敛迹的推演实验摈弃

Attention Please！

界限自敛迹的考研决议，百川从很早之前就一直在研究和迭代。

Baichuan4-Finance 仅仅百川把界限自敛迹的考研决议哄骗在金融行业的一个落地案例，这个决议践诺上也有泛化性，适配任何一个垂直界限和行业，包括但不限于医疗、西宾……

至于" loss scaling law + metric scaling law "双重预测推演经由，开端是酱婶儿的：

百川团队在小参数目模子上了进行多组参数、多组数据配比实验，得回了充足的数据配比到 domain loss 的弧线样本，从而构建了配比到 loss 的转头模子。

然后再笔据 domain loss 到自建的通用目的体系和金融常识体系的对应关系，构建了 domain loss 到模子最终优化宗旨的转头模子。

通过上述两个模子，团队终显现从参数配比到考研宗旨以及摈弃的推演经由，从而达到了动态监控和模拟模子考研趋势。

以下是摄取考研预测决议得回的配比数据考研出来的模子，举座效果在通用材干上登程点通用 base model 效果的摈弃：

在模子 post-pretrain 经由中，百川团队还完成了多维度测试聚积，也即是在每个检查点（checkpoint）进行全所在材干测试。

涵盖了通用常识材干、通用应用材干、金融常识材干、金融应用材干等。

抽象起来，这套考研和评估决议，确保了模子在金融专科界限的强劲实力，况兼守护了其跨界限的通用性能雄厚不变。

阶段 3: 模子微调

临了的模子微调阶段，主要摄取了进行有监督微调（SFT）和强化学习计谋（RLHF）。

进行 SFT，是为了优化模子在特定金融任务上的证实；而 RLHF 主若是为了进一步进步模子性能。

这里不张开赘述，但严谨起见，如故取 RLHF 在数学材干上的证实为例。

从下图不错看到：

数学增强 -PPO 版块（Baichuan4-Finance）> 数学增强 -SFT 版块（Baichuan4-Finance w/o PPO）> 非数学增强 -SFT 版块（Baichuan4-Finance-Base-SFT）。

回头看没作念强化时（蓝色弧线），模子 Pass@1 和 pass@5 摈弃的准确率产生了较大的各别化，这样标明模子本人在各个数学材干项上依然有很大的后劲。

而作念完强化后（橙色弧线），模子在数学方面的材干有了很大的进步，且进步趋势和后劲趋势（蓝色弧线）呈正干系。

因此这标明，强化学习的引入，能让模子在数学这类谜底聚焦的问题上性能证实的更好。

全所在进步金融行业价值

在攻克了「通用材过问泛化材干的均衡」这一模子在垂直界限应用的主要穷苦后，Baichuan4-Finance 就能大展本事了，得以在多维度为金融行业终了全面价值的进步增强。

效能优化层面：模子未必智能处理文档审核、客户磋议、居品营销等多量平淡职责，显赫进步运营效能，开释东说念主力资源。

风控合规方面：依托深厚的金融专科常识和法律法则领略材干，能为机构提供精确的风险识别和合规保障。

客户处事层面：依托模子强壮的多轮对话领略和金融专科常识问答材干，通过 7*24 小时的智能反映和个性化处事，全面进步客户体验与高傲度。

决策支握方面：基于模子强壮的数据分析材干，未必为管制层提供专科的市集细察和决策建议，助力机构终了数字化转型和业务革命。

举个 Baichuan4-Finance 用户的确切栗子

某交易银行信用卡中心，逐日需处理数十万通客户磋议，业务岑岭期更是忙得不可开交。

基于 Baichuan4-Finance 搭建智能客服惩处决议后，该中心充分利用了模子在金融专科常识和多轮对话方面的上风。

系统可准确领略客户意图，自动修起包括账单分期、额度调理、优惠行径、积分兑换等常见业务磋议，并可推敲客户践诺需求进行精确的居品推选；而针对复杂问题，模子可进行多轮对话澄莹，确保准确领略客户需求。

同期，系统还可基于及时交互场景，推敲用户画像，提供个性化的惩处决议和居品建议，并在波及敏锐信息时进行智能脱敏处理。

摈弃即是，当今该中心有 7*24 小时准确的即时反映，客户恭候时分镌汰 80%，还减少了 40% 的东说念主工本钱，预期可进步 30% 的居品回荡率。

再比如，某保障公司哄骗 Baichuan4-Finance 打造智能营销赞成系统，将居品匹配准确率进步了 50%；还瞻望可诽谤 30% 的获客本钱；通过个性化营销计谋，预期可将居品回荡率进步 40%，终了养老答理居品精确营销。

而且，在统统的践诺应用中，由于能时刻在线，多轮对话材干强壮，专科常识储备浑厚，为用户提供个性化处事，所灵验上了 Baichuan4-Finance 的机构，以往使用传统东说念主工客服参与要道中可能出现的反映速率慢、处事质地不雄厚、专科常识储备不及等痛点，透彻被惩处。

前边我们提到过，Baichuan4-Finance 是百川行业开创界限自敛迹考研决议在金融这个界限的落地体现。从以上具体效果、数据和口碑反馈不错看出：

这决议灵验、好用，首投降利。

而百川的下一步，势必是以自家基座大模子打底，对准各个界限、行业，一一进行"界限增强"。

与此同期，百川我方的大模子生态体系也在畴前的近两年时老实，渐渐搭建起来——

一经处事数千家客户，包括北电数智、齐全天下游戏、爱奇艺、360 集团、生学西宾、爱学堂等五行八作的领头羊；联接多家行业生态伙伴，如信雅达、用友、软通能源、新致软件、达不雅数据、华胜天成等；还联袂了中国移动、中国电信、中国联通等运营商。

谢异常看，Baichuan4-Finance 的发布，不仅记号着百川智能本领计谋的登程点地位、开创决议的实用价值，见证了通用模子泛化到垂直界限的纷乱价值。

更预示着，2025 年起，大模子的材干，将在更多行业和界限内产生更为长远永远的渗入和影响。

FLAME GitHub 地址：

https://github.com/FLAME-ruc/FLAME/tree/main

—  完  —

点这里� � 关心我，谨记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~