本文最后更新于：2023年7月20日上午

论文笔记 Deformable ConvNet v1+v2+DETR

【ICCV 2017】Deformable Convolutional Networks：ICCV 2017 Open Access Repository (thecvf.com)
【CVPR 2019】Deformable ConvNets V2：CVPR 2019 Open Access Repository (thecvf.com)
【ICLR 2021 Oral】Deformable DETR：Deformable DETR: Deformable Transformers for End-to-End Object Detection (arxiv.org)

最近看到Deformable attention越来越多，于是关注到了Deformable这个东西，本文从起源开始介绍三篇经典的CV相关使用Deformable的论文。文本只介绍其方法，对实验和背景不展开过多的叙述。

Deformable ConvNets

CNN的卷积核是固定的，具有局限性，对于长距离的建模也不佳，Deformable ConvNets则是一种新的网络架构，能够实现变形的卷积。

如下图所示，(a)是传统的卷积操作，拥有一个 $3\times3$ 的卷积核。(b)是对采样位置进行变形的操作，原来的绿点通过施加offsets偏移到了蓝点，从而得到了变形卷积的雏形。

上图是一个 $3\times3$ 的Deformable Conv的架构，和卷积类似，变形卷积也是在输入特征图上使用一个滑动窗口，每个窗口得到输出特征图上的一个值。变形卷积首先会初始化一组采样点：

\mathcal{R}=\{(-1,-1),(-1,0),\dots,(0,1), (1,1)\}

对于输出特征图上的每一个位置 $\mathbf{p}_0$ ，使用下面这个公式：

\mathbf{y}\left(\mathbf{p}_0\right)=\sum_{\mathbf{p}_n \in \mathcal{R}} \mathbf{w}\left(\mathbf{p}_n\right) \cdot \mathbf{x}\left(\mathbf{p}_0+\mathbf{p}_n+\Delta\mathbf{p}_n\right)

$\mathbf{p}_n$ 是包括自身的周围9个位置，而 $\Delta\mathbf{p}_n$ 则是进一步的变形offset，有了这个offset，采样的点就会变到别的位置上而不是一个方框。

公式中 $\mathbf{w}(\cdot)$ 是每个点对应的可学习的权重， $\mathbf{x}(\cdot)$ 则是取出某个（小数）位置上的值，这个值需要通过bilinear interpolation来得到。

$\Delta\mathbf{p}_n$ 就如图所示，是通过一个卷积操作得到的，图中 $N$ 指的是卷积核的大小（ $3\times3=9$ ），由于有 $x,y$ 两个偏移方向，所以要得到 $2N$ 的深度。

论文还提出了Deformable RoI pooling，基本上类似，就是在RoI pooling的每一个bin中使用变形卷积来得到值而非简单的平均。

使用变形卷积，可以如上图得到变形的感受野，同时可视化效果也很不错，有一种天生的自底向上的注意力。

Deformable ConvNets V2

作者观察到Deformable Conv很强，所以准备往上面叠更多层，但是发现叠多层之后变形卷积的关注范围又变散了，会超出感兴趣的范围，没有和预料中的那样聚集在一个物体周围。所以，V2还添加了一个调制的操作：

y(p)=\sum_{k=1}^K w_k \cdot x\left(p+p_k+\Delta p_k\right) \cdot \Delta m_k

别的都类似，这个 $\Delta m_k$ 就是重点，它控制了变形卷积核在扩散时的权重，其值在 $[0,1]$ ，也就是说，一个采样点不会肆意吸取周围点的信息了，假如到了边缘，它的权重可能会降低到0。

$\Delta m_k$ 的计算方式也很简单，就是把计算 $\Delta p_k$ 时候的2K的深度拓展到3K。

Deformable DETR

从传统注意力到DeformAttn

接下来就把可变形状和现代的Transformer结合起来了。

DETR有收敛慢、受限于分辨率（注意力复杂度高）、对小物体检测效果不好的问题，而Deformable可以进行离散的空间采样，在与DETR结合之后可以构建一个更高效、更适合层级特征的目标检测器。

传统的多头注意力如下：

\operatorname{MultiHeadAttn}\left(\boldsymbol{z}_q, \boldsymbol{x}\right)=\sum_{m=1}^M \boldsymbol{W}_m\left[\sum_{k \in \Omega_k} A_{m q k} \cdot \boldsymbol{W}_m^{\prime} \boldsymbol{x}_k\right]

公式有点不一样，其中 $\boldsymbol{z}_q$ 是单个 $C$ 维的query特征， $\boldsymbol{x}$ 是需要关注的所有key特征， $M$ 是多头注意力的头数， $\Omega_q,\Omega_k$ 分别是进行注意力时query和key的长度。 $\boldsymbol{W}_m$ 是融合多个头的输出矩阵， $\boldsymbol{W}_m^{\prime}$ 是把key映射为value的矩阵（可能有些奇怪，其实是把被施加注意力的输入映射到value）， $A_{m q k}$ 就是常规的 $QK/\sqrt{C_v}$ ，但是这里简写了这一步骤。

Deformable Attention Module如下：

\operatorname{DeformAttn}\left(\boldsymbol{z}_q, \boldsymbol{p}_q, \boldsymbol{x}\right)=\sum_{m=1}^M \boldsymbol{W}_m\left[\sum_{k=1}^K A_{m q k} \cdot \boldsymbol{W}_m^{\prime} \boldsymbol{x}\left(\boldsymbol{p}_q+\Delta \boldsymbol{p}_{m q k}\right)\right]

注意这里的 $\boldsymbol{x}(\cdot)$ 是一个函数，表示取该位置的像素值，不是括号内的乘法。这里把key的范围由 $\Omega_k$ 限制到了 $K$ ， $\boldsymbol{p}_q$ 是一个2d的reference point，是相较于传统的一个额外输入，与query一一对应。而学出来的 $\Delta \boldsymbol{p}_{m q k}$ 是从点 $\boldsymbol{p}_q$ 出来的K个offset（这一点与变形卷积有些不一样）。offset的范围不受限制，可以是短距离也可能是长距离。

$\boldsymbol{z}_q$ 会通过一个线性层从 $C$ 映射到 $3MK$ 维度，即采样点 $\times$ 头数 $\times$ (2d偏移量+1d的注意力权重)。注意这里 $A_{m q k}$ 并不是和多头注意力那样通过query乘key得到的，而是直接学习出来的，在K的维度进行归一化。

整体来说，DeformAttn对于每一个query，会使用M个头、选择K个采样点，每个采样点包含与参考点的偏移距离以及对应的归一化权重。

Deformable Attention Module还可以扩展到多尺度版本：

\operatorname{MSDeformAttn}\left(\boldsymbol{z}_q, \hat{\boldsymbol{p}}_q,\left\{\boldsymbol{x}^l\right\}_{l=1}^L\right)=\sum_{m=1}^M \boldsymbol{W}_m\left[\sum_{l=1}^L \sum_{k=1}^K A_{m l q k} \cdot \boldsymbol{W}_m^{\prime} \boldsymbol{x}^l\left(\phi_l\left(\hat{\boldsymbol{p}}_q\right)+\Delta \boldsymbol{p}_{m l q k}\right)\right]

由于有了多尺度，所以参考点是归一化的坐标 $\hat{\boldsymbol{p}}_q$ ， $\phi_l\left(\hat{\boldsymbol{p}}_q\right)$ 把坐标映射到第 $l$ 个尺度的像素坐标，其余都与单尺度版本类似。多尺度版本就是在多个尺度上，以同一个点，每个点预测K个偏移，然后使用归一化的注意力矩阵合并。