TC-LLaVA论文笔记

RoPE 介绍

理解LLM位置编码:RoPE | Linsight

---

Motivation

在基于视频的 multimodal large language model 中，更好地利用视频提供的时序信息。

---

Method

Temporal-Aware Dual RoPE

之前的 RoPE 公式：$A_{(q_{T_m},k_{F_n{V}_z})}=Re[q_{T_m}{k}_{F_n{V}_z}{e}^{i(P(T_m)-P(F_n{V}_z))\theta }]$，在这种形式的公式里，每个 visual token 的编码时独立的，且无法区分哪些 visual token 属于同一帧，哪些属于不同的帧。
TAD-RoPE 在原本的 position id 的基础上，增加了 temporal position id：
$$\begin{array}{r}{I}_t(n)=\{\begin{array}{ll}n,& ifn<v_s,\\ v_s+\lfloor \frac{n-v_s}{m}\rfloor ,& if{v}_s\le n\le v_e,\\ n-(v_e-v_s+1-\lfloor \frac{v_e-v_s}{m}\rfloor ),& ifn>v_e\end{array}\end{array}$$
调整后的位置编码为：$\hat{n}=n+\gamma \cdot I_t(n)$

Frame-wise Block Causal Attention Mask

通常语言模型中，采用后面的 token 能看到前面 token，但前面的 token 无法看到后面 token 的设计。这种设计在文本 token 中很自然，但是在 visual token 里会导致 visual token 交互不充分，因此本文尝试了几种不同的 token 设计。

---

实验结果

与 SOTA 相比

Ablation Studies

通过实验证明了 TAD-RoPE 及 Frame-wise Block Causal Attention Mask 的性能优势。