论文笔记 - Can We Edit Multimodal Large Language Models
1. Information
Title: Can We Edit Multimodal Large Language
Models?
Link: MMEdit
Paper
Source: Empirical Methods in Natural Language
Processing (EMNLP)
Date: 2023.10.12
2. Summary
论文提出了一个新的基准 MMEdit，用于编辑多模态大语言模型 (MLLMs)。研究为多模态模型编辑设计了一系列创新的评估指标（可靠性、局部性和泛化性）以及对应的数据集。实验结果表明，当前的方法在多模态编辑任务上效果有限，尤其是视觉模块的编辑难度较大，为后续研究提供了潜在方向。
3. Background
随着大语言模型（LLMs）的广泛应用，保持其知识的准确性和时效性变得至关重要。然而，重新训练模型成本高昂且难以实施，而微调可能导致过拟合和灾难性遗忘。因此，模型编辑技术应运而生，旨在高效、准确地修改模型中存储的事实知识。然而，以往的研究主要集中在单模态模型编辑，而多模态LLMs的编辑更具挑战性，因为其错误输出可能源于多种模态的协同作用。此外，目前缺乏针对多模态LLMs编辑的数据集和基准测试框架。
4. Research Objective
本文的主要目标是探索多模态LLMs的编辑方法，并提供一个基准测试框架MMEdit，以促进该领域的研究。具体目标包括：
- 构建一个多模态模型编辑的基准测试框架，涵盖视觉问答（VQA）和图像描述生成（Image Captioning）两个子任务。
- 提出一套创新的评估指标，包括可靠性（Reliability）、局部性（Locality）和泛化性（Generality），用于评估多模态模型编辑方法的效果。
- 通过实验验证现有编辑方法在多模态LLMs上的效果，并分析其优缺点。
5. Method
5.1 主要步骤
- 指标设计：扩展单模态模型的可靠性、局部性和泛化性评估方法到多模态场景。
- 数据集构建：基于 VQAv2 和 COCO Captions 数据集，选择表现不佳的样本作为编辑目标。
- 基线方法：使用包括 MEND、SERAC、Knowledge Editor 以及 Fine-tuning 在内的多种方法。
- 评估方法：结合文本与视觉的稳定性和泛化性指标，全面评估编辑方法的效果。
5.2 关键指标
可靠性：衡量编辑后模型对目标修改的准确性： \[ \mathcal{M}_{r e l}=\mathbb{E}_{\left(i_e, x_e, y_e\right) \sim \mathcal{D}_{\text {edit }}}\left[\mathbb{1}_{\left[f\left(i_e, x_e ; \theta_e\left(i_e, x_e, y_e\right)\right)=y_e\right]}\right] \]
局部性：保证模型的无关知识在编辑后仍然保持稳定：
- 文本局部性：
\[ \mathcal{M}_{l o c}^{\text {Text }}=\mathbb{E}_{\left(i_e, x_e, y_e\right) \sim \mathcal{D}_{\text {edit }}}\left[\mathbb{1}_{\left[f\left(x ; \theta_e\left(i_e, x_e, y_e\right)\right)=f(x, \theta)\right]}\right], (x, y) \sim \mathcal{D}_{\text {loc-t }} \]
- 视觉局部性：
\[ \mathcal{M}_{l o c}^{\text {Img }}=\mathbb{E}_{\left(i_v, x_v, y_v\right) \sim \mathcal{D}_{\mathrm{loc}-\mathrm{v}}}\left[\mathbb{1}_{f\left(i_v, x_v ; \theta_e\right)=f\left(i_v, x_v ; \theta\right)}\right] \]
泛化性：保证模型能对重述或等效输入生成一致输出：
- 文本泛化性：
\[ \mathcal{M}_{g e n}^{\text {Text }}=\mathbb{E}_{\left(x_r\right) \sim \mathcal{N}\left(x_e\right)}\left[\mathbb{1}_{f\left(i_e, x_r ; \theta_e\right)=f\left(i_e, x_e ; \theta_e\right)}\right] \]
- 视觉泛化性：
\[ \mathcal{M}_{g e n}^{\text {Img }}=\mathbb{E}_{\left(i_r\right) \sim \mathcal{N}\left(i_e\right)}\left[\mathbb{1}_{f\left(i_r, x_e ; \theta_e\right)=f\left(i_e, x_e ; \theta_e\right)}\right] \]
6. Evaluation
模型在 可靠性、局部性 和 泛化性 上进行了全面评估，主要结果如下：
- 所有模型编辑方法在可靠性方面优于基线方法，但视觉模块的局部性和泛化性表现较差。
- 微调方法需要大量资源，且容易导致灾难性遗忘。
- 编辑视觉模块比编辑语言模块更具挑战性，这与多模态模型的复杂性和架构有关。
7. Conclusion
研究发现，现有的编辑方法在多模态LLMs上存在局限性，尤其是在编辑视觉模块时效果不佳。未来的工作需要探索更高效的编辑方法，以同时考虑不同模态的信息。