本文最后更新于：2022年10月1日晚上

Open-book Video Captioning with Retrieve-Copy-Generate Network论文笔记

这是一篇CVPR2021的论文，其提出了一种参考复制语料库中句子的open-book模块来进行Video Captioning任务。这种机制会先进行video-to-text的跨模态检索任务，从语料库中找到接近的top-N条文本，然后通过结合类似Point Network的复制机制来生成最终的语句（Point Network可见我另一篇博客）。

细节

贼复杂的一张图

文章给出了看上去贼复杂的一张图（排版太紧凑了吧……），整体分成Video-to-Text Retriever和Copy-mechanism Generator两部分。

Video-to-Text Retriever

第一部分如上图所示，并没有用很复杂的机制：图左边是视觉端，右边是文本端。文本端使用双向LSTM得到包含时序信息的特征 $\boldsymbol{w}$ ，然后通过 $\boldsymbol \alpha=softmax(\boldsymbol v^T \boldsymbol w)$ 得到每一步的注意力，然后加权求和得到不含时序信息的整体特征 $\sum \alpha_t \boldsymbol w_t$ 。视觉端先用预训练模型提取特征，然后也是用相同的手法得到整体特征，多个模态的话直接求平均。

之后两个向量 $\tilde e_m,\tilde e_w$ 求点积作为相似性分数。

Copy-mechanism Generator

第二部分如上图，前一步输入送入Attention LSTM得到当前步的隐藏向量 $\boldsymbol h^a_t$ ，然后用这个隐藏向量结合视觉特征计算visual context： $\boldsymbol c^v_t=Att(\boldsymbol h^a_t,x,x;\theta_v)$ 。

之后，在特征的维度上把 $\boldsymbol c^v_t$ 和 $\boldsymbol h^a_t$ 拼接，作为Language LSTM的输入，得到当前步的输出 $\boldsymbol h^l_t$ ，再过一层全连+softmax得到字典内的概率分布 $\boldsymbol p_{voc}$ 。

以上是比较常规的操作，接下来是对Pointer-Network的拓展：之前检索出的topk个句子经过之前的bi-LSTM会得到向量 $\boldsymbol z={\boldsymbol z_1,\dots,\boldsymbol z_{topk}}$ 。对于每一个句子，使用Language LSTM的隐藏向量来作为query进行attention： $\boldsymbol p_{ret,i},\boldsymbol c^r_{i,t}=Att(\boldsymbol h^l_t,\boldsymbol z_i,\boldsymbol z_i;\theta_r)$ ，这里 $\boldsymbol p_{ret,i}$ 是那条句子中每一个单词的注意力概率，而 $\boldsymbol c^r_{i,t}$ 是根据这个注意力概率加权求和的context向量。

然后模型需要判断当前是copy好还是generate好，所以要计算一个 $p_{copy,i}=\sigma(\boldsymbol W_r \boldsymbol c^r_{i,t} + \boldsymbol W_l \boldsymbol h^l_t)$ ， $i$ 是第 $i$ 个被检索出来的句子。针对每一个句子，计算 $p_{\theta,i}=(1-p_{copy,i})p_{voc}+p_{copy,i}p_{ret}$ ，也就是每一个句子都算出一个copy和generate融合的概率分布。