05: 多模态大模型

核心主题：经典架构演进 + 现代主流范式 + 面试高频考点
来源：Base-LLM 第六部分 + Happy-LLM + 多模态面试准备手册

1. 多模态概述与挑战

多模态：系统处理 2+ 种异构模态（文本/图像/音频/视频），并显式建模其语义关联关系。

关键区分："多模态" ≠ 多数据源（需异构 + 互补 + 显式对齐/融合）；多模态 ≠ 多任务学习（前者是信息来源维度，后者是目标函数维度）。

1.1 五大核心挑战

1.2 多模态 LLM 架构演进四阶段

阶段1: 连接式 (Connection)              阶段2: 过渡式 (Transition)
BLIP-2, LLaVA, InstructBLIP           Flamingo, Idefics
[冻结ViT + 投影层/适配器 + 冻结LLM]     [冻结LLM + 内部注入视觉注意力层]
  |                                       |
  +-- 优点: 训练便宜, 模块化替换           +-- 优点: few-shot ICL, 更深融合
  +-- 缺点: 浅层融合, 视觉细节丢失         +-- 缺点: 仍需预训练ViT, Gate调参
  +-- 核心: 让LLM自行处理视觉信息          +-- 核心: 在LLM内部做视觉-语言交互
  +-- 关键洞察: 高质量数据 > 复杂桥接       +-- 关键洞察: 渐进注入保护语言能力
        |                                       |
        v                                       v
阶段3: 原生统一 (Native)               阶段4: 端到端全能 (End-to-End Omni)
Chameleon, Janus                       GPT-4o, Qwen3-Omni, MiniCPM-o
[统一词表 + 单网络 + 自回归NTP]          [实时多模态交互 + 全模态I/O]
  |                                       |
  +-- 优点: 深度跨模态推理                  +-- 优点: 实时交互, 全模态统一
  +-- 缺点: 需海量数据(10T+), 训练不稳定    +-- 缺点: 工程极复杂, 资源需求极高
  +-- 核心: 图像也是token, 一切皆NTP        +-- 核心: Thinker-Talker分离, 双工交互
  +-- 关键洞察: 理解≠生成, 图像生成是瓶颈   +-- 关键洞察: 模态间对齐需端到端学习

1.3 代表性模型时间线

2. ViT (Vision Transformer)

2.1 Patch Embedding

核心思想：将图像切成 patch，当作 token 喂给标准 Transformer。

• 典型配置：$224 \times 224$ 图像，$P=16$ → $N = 196$ patches
• [CLS] token 用于分类：$y = \text{LN}(z_L^0)$
• 位置编码：可学习的 1D 位置向量（2D 插值实现分辨率迁移）
• Patch 投影实现：$\text{Conv2d}(3, d_{model}, \text{kernel\_size}=P, \text{stride}=P)$，即一个步长为 patch 大小的卷积

2.2 架构特性

3. CLIP 与对比学习

3.1 对比学习框架

完整架构流程：

Image Encoder (ViT-L/14):
  Image (224×224) → 16×16 patches → 196 patch tokens + [CLS]
  → 12-layer Transformer (d=1024, heads=16)
  → [CLS] output → Linear(1024, 512) → L2 Norm → image embedding v_i

Text Encoder (GPT-2 style, modified):
  Text → BPE Tokenize (vocab=49152) → max 76 tokens
  → 12-layer Transformer (d=512, heads=8, causal mask)
  → [EOS] token output → Linear(512, 512) → L2 Norm → text embedding t_j

对比学习:
  相似度矩阵 S[i,j] = cos_sim(v_i, t_j) × exp(τ)   [τ 可学习, 初始 log(1/0.07)]
  Loss = symmetric cross-entropy on S

训练目标：在 $N \times N$ 的相似度矩阵上做对称交叉熵（InfoNCE）：

训练关键细节：

• 数据：400M 图文对（WebImageText，网络爬取 + 清洗），不公开
• Text Encoder 用 [EOS] token（非 [CLS]）作为句子表示——因为 causal mask 下 [EOS] 能"看到"所有前文
• Batch size = 32768：每个正样本对有 32767 个负样本，提供充足对比信号（这是 CLIP 成功的关键）
• 温度参数 $\tau$：可学习标量，控制 softmax 分布锐度。初始值使 logit ≈ 14.3，训练后收敛到约 100（分布更尖锐）
• 训练硬件：256 块 V100，训练 12 天（ViT-L/14@336px 版本需 18 天）

3.2 Zero-shot 分类与下游应用

Zero-shot Classification:
1. 对所有类别生成文本: "A photo of a {class_name}."
2. 用 Text Encoder 编码所有类别文本 -> T_1, T_2, ..., T_K
3. 用 Image Encoder 编码测试图像 -> V
4. 计算 cos_sim(V, T_k) for all k
5. softmax(相似度 × exp(τ)) -> argmax 即为预测类别

Prompt Engineering (提升 zero-shot):
  基础: "A photo of a {class}."
  增强: "A photo of a {class}, a type of pet."  (加领域上下文)
  集成: 对 80 个 prompt 模板取平均 → +3.5% 提升

CLIP 的下游应用生态：

3.3 CLIP 变体与改进

3.4 CLIP 的局限

4. 视觉编码器选型

5. 模态桥接 (Modality Bridging)

5.1 五种桥接方法对比

5.2 BLIP-2: Q-Former

结构：两个子模块共享 Self-Attention 层：

• Image Transformer：有 Cross-Attention 到 vision encoder output
• Text Transformer：处理文本（类似 BERT）

两阶段预训练：

Stage 1 的三个目标：

• ITC (Image-Text Contrastive)：单模态 mask，对齐图文表示
• ITM (Image-Text Matching)：双向 mask，二分类匹配
• ITG (Image-grounded Text Generation)：因果 mask，生成文本描述

效果：比 Flamingo-80B 少 54 倍可训练参数，VQAv2 zero-shot +8.7 points。

5.3 LLaVA 系列

LLaVA v1 (2023.04)

Image -> CLIP ViT -> [N visual tokens] -> Linear W -> LLM input space
                                                         |
Text  -> Tokenize -> [text tokens] ------------------> Concat -> LLM -> Response

两阶段训练：

LLaVA-1.5 (2023.10) — 关键改进

5.4 Flamingo: 过渡架构

三大创新：

1. Perceiver Resampler：固定可学习 latent queries + Cross-Attention → 将变长视觉输入压缩为固定 64 个 visual tokens
2. Gated XATTN-DENSE：在冻结 LLM 层之间注入 Cross-Attention；tanh gate 初始化为 0
3. Masked Cross-Attention：每个文本 token 只关注其紧邻的前一张图片（非所有图片）

训练数据：M3W (43M 网页)，交错的图文序列，天然支持 few-shot ICL。

5.5 InstructBLIP

BLIP-2 的指令感知改进：Q-Former 提取视觉特征时 也接收文本指令作为输入，使得提取的视觉信息与当前问题相关（而非提取通用视觉表示）。

例如：问"图中有几只猫"时，Q-Former 会有倾向地提取与猫相关的视觉特征。

6. 主流 MLLM 架构深度解析

本节对当前最具代表性的 MLLM 系列做架构级深度拆解，覆盖设计动机、关键技术细节和工程取舍。

6.1 Qwen-VL 系列

Qwen-VL (2023.12)

架构：

Image (448×448) → ViT-G/14 (1.9B, OpenCLIP) → 256 visual tokens
    → Position-aware Cross-Attention Adapter (256→256 queries)
    → Qwen-7B LLM → Response

特殊 Token 设计:
  <img> ... </img>      图像边界标记
  <ref> ... </ref>      引用文本区域
  <box> (x1,y1),(x2,y2) </box>  归一化坐标 (0-1000 整数)

关键创新：

• Bounding Box Token：将定位任务转化为文本生成——模型直接输出坐标文本，无需额外检测头
• 多分辨率输入：Stage 1 用 224px，Stage 2 提升到 448px，渐进提高视觉分辨率
• 三阶段训练：(1) 大规模图文预训练 (1.4B pairs) → (2) 多任务混合微调 (含 Grounding/OCR/VQA) → (3) 对话式指令微调
• Position-aware Adapter：类 Q-Former 的 Cross-Attention，但加入 2D 绝对位置编码保留空间信息

Qwen2-VL (2024.09) — 架构级跃升

Naive Dynamic Resolution 详解：

传统方案 (LLaVA-NeXT/InternVL):
  输入图像 → 匹配最佳切分网格 (如 2×3) → 每个子图独立编码 → 拼接
  问题: 预设网格有限，宽高比匹配不精确

Qwen2-VL Naive Dynamic Resolution:
  输入图像 (任意 H×W)
  → ViT 直接处理任意大小 (去掉固定位置编码)
  → 输出 (H/14) × (W/14) 个 patch tokens
  → 2×2 Spatial Merge (每 4 个相邻 token 合并为 1 个)
  → 最终 Token 数 = H×W / (14×14×4)

示例: 1344×768 图像 → 96×55 patches → merge 后 ≈ 1320 tokens
      672×384 图像 → 48×27 patches → merge 后 ≈ 324 tokens

M-RoPE (Multimodal Rotary Position Embedding)：

将 RoPE 的维度分为三组 $(d/3, d/3, d/3)$，分别编码 temporal / height / width。对文本 token 三组 ID 相同，退化为标准 1D RoPE。对图像 token 时间维固定、空间维编码行列位置。对视频 token 时间维随帧递增。

ViT 架构改进：

• 去掉绝对位置编码 → 用 2D-RoPE 替代 → 天然支持任意分辨率
• ViT 参数量：675M (Qwen2-VL-7B) / 675M (72B 共享同一 ViT)
• Window Attention in ViT（降低超高分辨率时的计算开销）

6.2 InternVL 系列

设计哲学：大视觉编码器 + 渐进对齐

InternVL 1.5 (2024.02)

架构:
  InternViT-6B (自研, 持续训练)
  → Dynamic High-Resolution: 图像切分为 1-12 个 448×448 子图
  → 每个子图 → 1024 tokens → PixelShuffle 4× 压缩 → 256 tokens/子图
  → MLP Projector → InternLM2-Chat (20B / 76B)

PixelShuffle Token 压缩:
  输入: (H, W, C) 的 token grid
  → reshape 为 (H/2, W/2, 4C)  [空间降 4 倍，通道扩 4 倍]
  → Linear(4C → C) 映射回原始维度
  → 效果: 每 4 个空间相邻 token 合并为 1 个，保留空间信息

关键设计：

• Thumbnail + Tiles：始终包含一张全图缩略图（提供全局语义）+ 多张裁切子图（提供局部细节）
• InternViT-6B 持续训练：在 CLIP 预训练基础上，用更高质量数据持续训练 ViT，避免从头训练
• 动态子图数量：根据图像分辨率和宽高比，自动选择 1-12 个子图（小图 1 个，大图最多 12 个）

InternVL 2.0 / 2.5 (2024.07-12)

6.3 DeepSeek-VL2 (2024.12)

架构:
  SigLIP-SO (400M, 384px) — 语义视觉编码
  + SAM-B (86M) — 高分辨率细节编码（OCR/小物体）
  → Dynamic Tiling (最多 9 tiles × 384px)
  → 每 tile → 576 tokens → 2×2 Spatial Merge → 144 tokens
  → MLP Projector
  → DeepSeek-MoE LLM (16B total, 2.4B activated)

MoE 路由策略:
  - 视觉和文本 Token 共享同一组 Expert
  - 路由器自动学习模态分配（无强制分流）
  - 实验发现: 部分 Expert 确实自发分化为"视觉特化"

混合视觉编码器的动机：

• SigLIP：擅长语义级理解（物体识别、场景描述），但 384px 分辨率对小文字 OCR 不够
• SAM-B：Segment Anything 的 backbone，擅长高分辨率空间细节（边缘、纹理、小字符）
• 互补逻辑：SigLIP 提供"是什么"，SAM-B 提供"在哪里 + 长什么样"

6.4 CogVLM / GLM-4V

标准 LLaVA 方案:
  Visual tokens + Text tokens → 共享 Attention + 共享 FFN

CogVLM Visual Expert 方案:
  每个 Transformer Layer:
    Text tokens  → Text QKV (原始预训练权重, 冻结)  → Text FFN (冻结)
    Visual tokens → Visual QKV (新增, 可训练)      → Visual FFN (新增, 可训练)
    Cross-modal: Attention 中 text 和 visual tokens 互相可见

参数量:
  原始 LLM: ~7B (冻结)
  Visual Expert: ~6B (新增, 每层一套)
  总计: ~17B (但推理时全量都参与)

为什么 Visual Expert 优于纯投影？

• 深度融合：视觉信息在每一层都有专属变换，而非仅在输入层做一次投影
• 保护语言能力：文本通路权重冻结不动，避免多模态训练损害语言能力
• 等价于模态分流：类似 Mixture-of-Modality-Experts 思想，但用硬编码路由而非学习路由

6.5 MiniCPM-V 系列 (面壁智能)

定位：端侧高效部署的 MLLM，追求极致参数效率。

Adaptive Visual Encoding 策略：

• 根据图像复杂度动态决定视觉 Token 数量（简单图用少 Token，复杂图用多 Token）
• Token 预算由模型自适应分配，无需人工设定切分网格
• 结果：8B 模型在 OCRBench/DocVQA 上达到 InternVL-76B 级别

6.6 模型选型决策树

你的需求是什么？
├── 学术研究 / Benchmark SOTA
│   ├── 开源 → InternVL 2.5 (78B) / Qwen2-VL (72B)
│   └── 闭源对标 → GPT-4o / Gemini Pro
├── 工业落地（服务端）
│   ├── 通用多任务 → Qwen2-VL-7B (平衡性能与成本)
│   ├── 强 OCR/文档 → InternVL 2.5 + 大 ViT
│   └── 多模态 Agent → Qwen2-VL (工具调用能力强)
├── 端侧部署
│   ├── 手机/IoT → MiniCPM-V 2.6 (8B, Int4=4GB)
│   └── 全双工交互 → MiniCPM-o 4.5
└── 定制化开发
    ├── 需要深度融合视觉 → CogVLM 路线
    ├── 需要 MoE 效率 → DeepSeek-VL2
    └── 快速原型 → LLaVA-NeXT (最简架构)

7. 高分辨率处理

代价：高分辨率切片可达 2000+ 视觉 Token，增加 Prefill 计算和 KV Cache 带宽压力。通常通过 Spatial Pooling / Token Merging 缓解。

8. 训练策略

8.1 两/三阶段训练

8.2 数据工程

数据合成：用 GPT-4V 生成高质量标注（LLaVA 核心创新：符号化描述 + GPT-4 = 不需要 GPT-4V "看到"图片）。

数据配比：不同任务数据的混合比例对模型能力影响巨大，需大量消融实验。

8.3 视觉编码器冻结 vs 解冻

解冻 ViT 注意事项：需小学习率（通常比 LLM 小 10x），可能导致对齐漂移。

9. 理解与生成统一

9.1 离散 Token 路线 (Autoregressive NTP)

用 VQ-VAE/VQ-GAN 将图像编码为离散 Token，与文本统一为 next-token prediction。

• 代表模型：Emu3, Chameleon
• Chameleon：统一词表 65,536 tokens（8,192 image codebook + text tokens）
• 图像 Tokenizer：$512 \times 512$ → 1024 离散 image tokens
• 混合序列：image + text tokens 直接拼接，单个 Transformer 处理
• 所有任务 = 自回归 next-token prediction

挑战：Codebook 限制重建质量；图像生成任务导致训练不稳定（需 QK-Norm + Z-loss + Norm Reordering）。

9.2 双解码器路线

理解用连续特征 + LLM，生成用扩散模型。两个解码器共享部分参数或表示。

• 代表模型：Janus, SEED-X
• 理解路径：ViT 特征 → LLM → 理解输出
• 生成路径：LLM 输出 → 扩散模型 Decoder → 生成图像

挑战：模型复杂、训练成本高、两路对齐困难。

9.3 原生统一架构

GPT-4o

全模态原生：单一网络端到端处理 text + vision + audio

• 替代之前的级联方案（ASR → LLM → TTS）为统一模型
• 语音响应延迟低至 232ms
• 支持实时语音中断和情感表达

Qwen3-Omni

Thinker-Talker 双 MoE 架构：

• AuT（Audio Transformer）：650M params, 20M hours 音频训练
• Thinker：30B-A3B MoE（推理引擎）
• Talker：3B-A0.3B MoE（语音生成，接收 Thinker 的表示）
• 端到端延迟：音频 234ms，视频 547ms

MiniCPM-o 4.5 (全双工 + 边缘部署)

• 全双工：同时听 + 想 + 说
• 使用 [silent] 占位 token 维持流式节奏
• 9B 总参数，Int4 量化后 11GB 显存可跑

10. 视频理解

11. 多模态幻觉

定义：模型生成与图像不一致的描述（Object Hallucination 最典型——描述图中不存在的物体）。

成因

1. 语言先验过强：LLM 按统计规律编造不存在物体（如"草地上的羊"虽图中无羊）
2. 视觉注入不足：视觉信息未充分影响生成
3. 训练数据偏见：常见物体过度代表
4. 位置偏差：倾向关注图像中心/前方位置

评估

缓解方法

12. 多模态 MoE

13. 评估体系

14. 架构对比总结

面试要点总结