FinMTEB: 金融大文本embedding评测

大家好，欢迎来到IT知识分享网。

原文链接：「链接」

论文链接：
https://arxiv.org/pdf/2502.10990v1

代码链接：
https://github.com/yixuantt/FinMTEB

“ 本文介绍了金融大规模文本embedding基准（FinMTEB），这是一个专为金融领域设计的评估框架，包含64个特定领域的embedding数据集，涵盖7种任务。同时开发了金融适应模型Fin-E5。通过对15种embedding模型的评估，得出三个关键发现：通用基准性能与金融领域任务相关性有限；领域适应模型优于通用模型；在金融语义文本相似性（STS）任务中，简单的词袋（BoW）方法优于复杂的密集embedding，凸显了当前密集embedding技术的局限性。”

1 背景

embedding模型的重要性：embedding模型将文本序列转换为密集向量表示，是自然语言处理（NLP）任务的基本模块，其质量直接影响信息检索、语义理解等下游应用的有效性。

金融领域的特殊需求：金融文本分析需要精确处理特定领域术语、时间敏感性和复杂的数值关系。然而，现代嵌入模型在捕获特定领域金融信息方面的有效性以及领域适应能否改善基于大模型（LLM）的embedding在金融应用中的表现尚未得到充分研究。

现有评估框架的不足：当前的基准测试主要评估文本生成而非embedding质量，即使是embedding特定的评估也局限于单一任务类型或有限的文本类型，缺乏针对金融领域的全面评估框架。

2 问题定义

现代embedding模型如何有效地捕获特定领域的金融信息？领域适应能否提高基于大模型（LLM）的embedding在金融应用中的性能？

3 方法

3.1 FinMTEB基准

任务类型

语义文本相似性（STS）：评估金融文本对之间的语义相似性，使用Spearman等级相关量化模型性能。

检索（Retrieval）：评估模型识别和提取相关金融信息的能力，采用NDCG@10衡量性能。

聚类（Clustering）：评估模型根据语义内容自动对相似金融文本进行分组的能力，使用V-measure量化性能。

分类（Classification）：评估模型根据语义内容将金融文本分类为预定义类别的能力，采用平均平均精度（MAP）衡量性能。

重新排序（Reranking）：评估模型根据与金融查询的相关性对检索到的文档进行排序的能力，主要评估指标为MAP。

对分类（Pair-Classification）：评估模型确定金融文本对之间语义关系的能力，使用平均精度（AP）作为评估指标。

摘要（Summarization）：基于摘要文本和原始文本的密集嵌入之间的相关性进行评估，采用Spearman相关系数作为主要指标。

3.2 数据集

包含35个英语数据集和29个中文数据集，对其语言模式和语义多样性进行了分析，与MTEB基准相比，FinMTEB中的文本句子更长、更复杂，且数据集间存在语义差异。

3.3 Fin-E5模型

数据合成：构建训练实例为三元组结构(q, d^{+}, D^{-})，其中q为金融查询，d^{+}为相关文档，D^{-}为精心挑选的负例。

训练数据构建

种子数据：来自InvestLM提供的金融特定问答数据集，进行重叠检查以确保与FinMTEB基准无重叠。

基于角色的数据增强：通过三阶段过程增强金融任务表示的多样性，包括角色和任务识别、上下文查询扩展、合成文档生成。

训练Pipeline：遵循e5-mistral-7b-instruct的训练方法，采用最后一个token池化方法构建训练对，使用InfoNCE损失进行训练。

4 实验

4.1 模型评估

模型选择：除了Fin-E5，还评估了四类嵌入模型，包括词袋模型（BOW）、基于编码器的模型、基于大模型（LLM）的模型和商业模型。

4.2 结果分析

领域适应的影响：领域专业化显著提升性能，如FinBERT优于BERT，Fin-E5超过其通用领域对应模型e5 – mistral-7b-instruct，在FinMTEB基准上达到了最先进的性能。

模型架构和规模的作用：实验揭示了不同架构范式下的三个性能层级，从词袋模型到基于大模型的架构，整体性能有显著提升，表明模型容量在捕获金融语义方面起着关键作用。

当前模型在金融STS任务中的局限性：在金融文档相似性方面，词袋模型（BOW）优于所有密集架构，这是由于年报中的样板内容和专业术语的特性导致的，表明当前金融文档策略存在基本局限性。

领域特定embedding基准的必要性：通过对MTEB和FinMTEB进行定量比较，使用方差分析（ANOVA）表明领域特定特征显著影响模型性能，强调了FinMTEB等专门评估框架对金融应用的重要性。