多模态科研内容理解 05：多模态融合—

平台现在手头有一篇论文的多路信息：标题摘要（第 2 课已转向量）、元数据（作者、venue、年份）、正文结构（第 1 课）、图表与图注（第 4 课）。这一课回答的问题是：怎么把这些信息融合成一个统一的论文表示，让检索和分类都用上全部信息——以及更根本的，融合真的比单用文本好吗？用实验说话。

前置阅读：系列四前四课；实验设计原则见研究方法（本课的消融实验是它的直接应用）。

融合的三种形态

早融合（Early Fusion）：把各模态信息先拼成一份输入，再编码。对文本类信息最自然的做法就是拼文本：

标题 + 摘要 + 图注们 + venue 名  →  Embedding 模型  →  一个向量

晚融合（Late Fusion）：每路信息各自编码，分数层面合并：

检索分数 = α · 文本相似度 + β · 作者相似度 + γ · 图表相似度

中间态：向量拼接。 各路向量归一化后直接拼接成一个大向量再使用。

本课在”语义检索”任务上对比这几种形态——用第 2 课的评测集和指标（Recall@10 / MRR），保证对比同口径。

消融实验：每路信息的贡献量化

消融时保持论文集合与评估查询不变，单独比较缺少图像、元数据或正文时的变化。某一路信息缺失率更高时，还要报告可用子集表现，避免把样本变简单误认为融合策略变强。

先做单路消融——一次只加一路信息，看指标的边际变化：

configs = {
    "标题+摘要（基线）":        lambda p: f"{p.title}. {p.abstract}",
    "+图注":                   lambda p: f"{p.title}. {p.abstract} {' '.join(p.captions)}",
    "+正文方法节":              lambda p: f"{p.title}. {p.abstract} {p.method_section[:500]}",
    "+venue/作者元数据":        lambda p: f"{p.title} [{p.venue}] {p.authors_str}. {p.abstract}",
}

results = {}
for name, make_text in configs.items():
    embs = embed([make_text(p) for p in papers])
    results[name] = evaluate(embs, eval_queries)   # Recall@10 / MRR

这类实验的典型发现（也是本课设计实验时的预期）：

加图注：小但稳定的提升。图注浓缩了方法与结果信息，且用词和摘要互补。
加正文方法节：混合结果——信息更全但稀释了摘要的核心语义，还引入截断问题。长文本进 Embedding 模型的信噪比是要管理的。
加元数据文本：venue 名称对”找同会议风格论文”的查询有奇效，对纯语义查询几乎无影响。

消融实验的读法：不是”哪个配置分最高就选哪个”，而是”每路信息在什么类型的查询上起作用”。这直接引出晚融合的动机——不同查询类型该用不同的融合权重。

晚融合的实现与权重标定

def hybrid_search(query, papers, alpha=0.8, beta=0.1, gamma=0.1):
    s_text = cosine_sim(embed([query]), text_embs)
    s_author = author_match_score(query, papers)     # 查询含作者名时的匹配分
    s_caption = caption_match_score(query, papers)   # 图注关键词覆盖
    return alpha * s_text + beta * s_author + gamma * s_caption

权重怎么定：在评测集上扫网格（α 从 0.5 到 1.0），而不是拍脑袋。还有一个更聪明的玩法——按查询类型动态调权：检测到查询含人名（正则或 NER），β 自动调高。这个”查询理解路由融合策略”的思路，是平台检索智能化的雏形。

结论的形态：写一份融合决策文档

实验跑完，把结论固化成文档，回答三个问题：平台默认用什么融合策略（早融合标题+摘要+图注）；什么时候启用晚融合（查询含实体名时）；什么信息明确不融合（全文正文，信噪比不划算）。每条结论都附上评测集上的数字。

这个文档是 M3 里程碑验收的核心证据之一——它证明理解流水线的每个设计决策背后都有实验，而不是”感觉这样应该更好”。

踩坑排查

症状	原因	处理
融合后分数反而降	加入的路信噪比差（如全文）	消融逐路验证，差的路果断砍
晚融合权重扫参全一样平	各分数尺度没对齐	各路分数先归一化再加权
拼文本后超模型长度	图注+正文太长	预算分配：标题必保、摘要截断、图注限量
评测集上调出来的权重上线不灵	评测集查询类型分布偏	评测集按真实查询类型配比
不同路向量直接拼接失效	各路向量分布不同	分别归一化再拼，或加权融合

作品集证据

本课产出：检索单元的消融实验报告 + 融合策略决策文档 + 按查询类型路由的混合检索实现。这套”用消融实验驱动架构决策”的方法论是研究能力的直接体现。

练习

复现四配置消融实验，输出 Recall@10/MRR 对比表并写结论。
实现晚融合，扫 α 网格画性能曲线。
给检索加”查询含人名检测”，对这类查询对比固定权重 vs 动态调权的效果。
把全文加入融合做一次负面对照实验，记录它如何拉低指标。

面试常问

Q：早融合和晚融合的区别与选择？ 早融合在输入层合并信息（拼文本/拼向量），模型能学跨模态交互但信噪比难控；晚融合在分数层合并，各路独立可控、可解释、可按查询调权，但学不到深层交互。工程上先早融合打底，晚融合处理异质信号（实体匹配、时间过滤）。

Q：消融实验的正确做法？ 每次只变一个因素，其余固定；同评测集同指标同口径；记录负面结果（哪路信息没用甚至有害）；结论落到决策文档而不只是数字。

Q：融合权重怎么定才不算拍脑袋？ 评测集网格扫参 + 按查询类型分析权重敏感性 + 线上真实查询分布校验评测集代表性。权重本质是策略，策略要跟随流量分布。

下一课：多模态科研内容理解 06：理解流水线集成与 M3 里程碑验收。

多模态科研内容理解 05：多模态融合——统一表示一篇论文