计算机视觉的任务

通过计算卷积描述向量(descriptor)的外积来考察不同维度之间的交互关系。由于描述向量的不同维度对应卷积特征的不同通道，而不同通道提取了不同的语义特征，因此，通过双线性操作，可以同时捕获输入图像的不同语义特征之间的关系

双线性汇合的结果十分高维，这会占用大量的计算和存储资源，同时使后续的全连接层的参数量大大增加。许多后续研究工作旨在设计更精简的双线性汇合策略，大致包括以下三大类：(1). PCA降维。在双线性汇合前，对深度描述向量进行PCA投影降维，但这会使各维不再相关，进而影响性能。一个折中的方案是只对一支进行PCA降维。(2). 近似核估计。可以证明，在双线性汇合结果后使用线性SVM分类等价于在描述向量间使用了多项式核。由于两个向量外积的映射等于两个向量分别映射之后再卷积，有研究工作使用随机矩阵近似向量的映射。此外，通过近似核估计，我们可以捕获超过二阶的信息(如下图)。(3). 低秩近似。对后续用于分类的全连接层的参数矩阵进行低秩近似，进而使我们不用显式计算双线性汇合结果

使用不同大小的窗口在图像上滑动，在每个区域，对窗口内的区域进行目标定位。即，将每个窗口内的区域前馈网络，其分类分支用于判断该区域的类别，回归分支用于输出包围盒。基于滑动窗的目标检测动机是，尽管原图中可能包含多个目标，但滑动窗对应的图像局部区域内通常只会有一个目标(或没有)。因此，我们可以沿用目标定位的思路对窗口内区域逐个进行处理。但是，由于该方法要把图像所有区域都滑动一遍，而且滑动窗大小不一，这会带来很大的计算开销。

R-CNN，fast RCNN，faster RCNN，R-FCN

基于候选区域的目标检测算法通常需要两步：第一步是从图像中提取深度特征，第二步是对每个候选区域进行定位(包括分类和回归)。其中，第一步是图像级别计算，一张图像只需要前馈该部分网络一次，而第二步是区域级别计算，每个候选区域都分别需要前馈该部分网络一次。因此，第二步占用了整体主要的计算开销。R-CNN, Fast R-CNN, Faster R-CNN, R-FCN这些算法的演进思路是逐渐提高网络中图像级别计算的比例，同时降低区域级别计算的比例。R-CNN中几乎所有的计算都是区域级别计算，而R-FCN中几乎所有的计算都是图像级别计算。

基于直接回归的方法不需要候选区域，直接输出分类/回归结果。这类方法由于图像只需前馈网络一次，速度通常更快，可以达到实时。

SSD，YOLO，FPN，RetinaNet，CornerNet

开山之作

UNET

经常用于分割任务以增大有效感受野的一个技巧。标准卷积操作中每个输出神经元对应的输入局部区域是连续的，而扩张卷积对应的输入局部区域在空间位置上不连续。扩张卷积向标准卷积运算中引入了一个新的超参数扩张量(dilation)，用于描述输入局部区域在空间位置上的间距。当扩张量为1时，扩张卷积退化为标准卷积。扩张卷积可以在参数量不变的情况下有效提高感受野。例如，当有多层3×3标准卷积堆叠时，第l 层卷积(l 从1开始)的输出神经元的感受野为2l +1。与之相比，当有多层3×3扩张卷积堆叠，其中第l 层卷积的扩张量为2^{l-1}时，第l 层卷积的输出神经元的感受野为2^{l +1}-1。感受野越大，神经元能利用的相关信息越多。和经典计算机视觉手工特征相比，大的感受野是深度学习方法能取得优异性能的重要原因之一

条件随机场是一种概率图模型，常被用于微修全卷积网络的输出结果，使细节信息更好。其动机是距离相近的像素、或像素值相近的像素更可能属于相同的类别。此外，有研究工作用循环神经网络(recurrent neural networks)近似条件随机场。条件随机场的另一弊端是会考虑两两像素之间的关系，这使其运行效率不高

综合利用低层结果可以弥补随着网络加深丢失的细节和边缘信息，利用方式可以是加和(如FCN)或沿通道方向拼接(如U-net)，后者效果通常会更好一些

语义分割不区分属于相同类别的不同实例。例如，当图像中有多只猫时，语义分割会将两只猫整体的所有像素预测为“猫”这个类别。与此不同的是，实例分割需要区分出哪些像素属于第一只猫、哪些像素属于第二只猫

目标检测+语义分割。先用目标检测方法将图像中的不同实例框出，再用语义分割方法在不同包围盒内进行逐像素标记

Mask R-CNN

第一个将深度神经网络成功用于人脸验证/识别的模型。DeepFace使用了非共享参数的局部连接。这是由于人脸不同区域存在不同的特征(例如眼睛和嘴巴具有不同的特征)，经典卷积层的“共享参数”性质在人脸识别中不再适用。因此，人脸识别网络中会采用不共享参数的局部连接。其使用孪生网络进行人脸验证。当两张图像的深度特征小于给定阈值时，认为其来自同一个人

利用三元损失，希望和负样本之间的距离以一定间隔(如0.2)大于和正样本之间的距离。此外，输入三元的选择不是随机的，否则由于和负样本之间的差异很大，网络学不到什么东西。选择最困难的三元组(即最远的正样本和最近的负样本)会使网络陷入局部最优。FaceNet采用半困难策略，选择比正样本远的负样本

近几年的一大研究热点。由于类内波动大而类间相似度高，有研究工作旨在提升经典的交叉熵损失对深度特征的判断能力。例如，L-Softmax通过使对应类别的参数向量和深度特征夹角增大，以使优化目标变得更困难。 A-Softmax进一步约束L-Softmax的参数向量长度为1，使训练更集中到优化深度特征和夹角上。实际中，L-Softmax和A-Softmax都很难收敛，训练时采用了退火方法，从标准softmax逐渐退火至L-Softmax或A-Softmax

无监督图像检索旨在不借助其他监督信息，只利用ImageNet预训练模型作为固定的特征提取器来提取图像表示

深度全连接特征

深度卷积特征

CroW

Class weighted features

PWA

有监督图像检索首先将ImageNet预训练模型在一个额外的训练数据集上进行微调，之后再从这个微调过的模型中提取图像表示。为了取得更好的效果，用于微调的训练数据集通常和要用于检索的数据集比较相似。此外，可以用候选区域网络提取图像中可能包含目标的前景区域

孪生网络(siamese network)

利用孪生网络，一支输入第一帧包围盒内图像，另一支输入其他帧的候选图像区域，输出两张图的相似度。我们不需要遍历其他帧的所有可能的候选区域，利用全卷积网络，我们只需要前馈整张图像一次。通过互相关操作(卷积)，得到二维的响应图，其中最大响应位置确定了需要预测的包围盒位置。基于孪生网络的方法速度快，能处理任意大小的图像

相关滤波通过训练一个线性模板来区分图像区域和它周围区域，利用傅里叶变换，相关滤波有十分高效的实现。CFNet结合离线训练的孪生网络和在线更新的相关滤波模块，提升轻量级网络的跟踪性能

51类、6,766剪辑视频、每个视频不超过10秒、分辨率320 [公式] 240、共2 GB。视频源于YouTube和谷歌视频，内容包括人面部、肢体、和物体交互的动作这几大类

101类、13,320视频剪辑、每个视频不超过10秒、共27小时、分辨率320 [公式] 240、共6.5 GB。视频源于YouTube，内容包含化妆刷牙、爬行、理发、弹奏乐器、体育运动五大类。每类动作由25个人做动作，每人做4-7组

487类、1,100,000视频（70%训练、20%验证、10%测试）。内容包含各种体育运动

157类、9,848未剪辑视频（7,985训练、1,863测试）、每个视频大约30秒。每个视频有多个标记，以及每个动作的开始和结束时间

400类、246k训练视频、20k验证视频、每个视频大约10秒。视频源于YouTube。Kinetics是一个大规模数据集，其在视频理解中的作用有些类似于ImageNet在图像识别中的作用，有些工作用Kinetics预训练模型迁移到其他视频数据集

4716类、7M视频、共450,000小时。不论是下载还是训练都很困难

174类、108,000视频、每个视频2到6秒。和Kinetics不同，Something-something数据集需要更加细粒度、更加底层交互动作的区分，例如“从左向右推”和“从右向左推

DT利用光流得到视频中的运动轨迹，再沿着轨迹提取特征。iDT对相机运动进行了补偿，同时由于人的运动比较显著，iDT用额外的检测器检测人，以去除人对相邻帧之间投影矩阵估计的影响。这是深度学习方法成熟之前效果最好的经典方法，该方法的弊端是特征维度高(特征比原始视频还要大)、速度慢。实践中，早期的深度学习方法在和iDT结合之后仍能取得一定的效果提升，现在深度学习方法的性能已较iDT有大幅提升，因此iDT渐渐淡出视线

这类方法将视频看成一系列帧的图像组合。网络同时接收属于一个视频片段的若干帧图像(例如15帧)，并分别提取其深度特征，之后融合这些图像特征得到该视频片段的特征，最后进行分类。实验发现，使用"slow fusion"效果最好。此外，独立使用单帧图像进行分类即可得到很有竞争力的结果，这说明单帧图像已经包含很多的信息。Slow fusion即使用3D卷积。连续10帧图像前馈网络，第一层卷积核时间方向大小为4，第二、三层卷积核时间方向大小为2

将经典的二维卷积扩展到三维卷积，使之在时间维度也局部连接。例如，可以将VGG的3×3卷积扩展为3×3×3卷积，2×2汇合扩展为2×2×2汇合

采用两个分支。一个分支输入单帧图像，用于提取图像信息，即在做图像分类。另一个分支输入连续10帧的光流(optical flow)运动场，用于提取帧之间的运动信息。由于一个视频片段中的光流可能会沿某个特别方向位移的支配，所以在训练时光流减去所有光流向量的平均值。两个分支网络结构相同，分别用softmax进行预测，最后用直接平均或SVM两种方式融合两分支结果。

这类方法是用CNN提取每帧图像的特征，之后用LSTM挖掘它们之间的时序关系

Du等人利用人体姿态估计辅助动作识别  RPAN: An end-to-end recurrent pose-attention network for action recognition in videos. ICCV'17.

之前的方法只能捕获几帧图像之间的依赖关系，这类方法旨在用CNN提取单帧图像特征，之后用RNN捕获帧之间的依赖

试图将CNN和RNN合二为一，使每个卷积层都能捕获远距离依赖

Shou等人提出SCNN，用不同大小的滑动窗产生视频片段，之后用3D候选区域网络判断该视频片段是前景/背景，用3D分类网络判断K+1个类别的分数(包括背景)，最后用定位网络判断开始/结束时间。后处理使用非最大抑制(NMS)

类似于Faster R-CNN

以C3D网络为基础，借鉴Faster R-CNN，对输入视频片段先提取特征，再生成提取候选时序，最后RoI汇合后进行检测

类似于语义分割问题的思路，为了得到对应于每一帧的分类预测分数，Shou等人在3D卷积层之后提出CDC卷积，在空间方向用卷积进行下采样，在时间方向上用转置卷积进行上采样

分类模块用于对每个视频片段进行分类，而选择模块用于给出不同视频片段的重要性。选择模块的实现包括hard selection和soft selection。训练时端到端联合优化

视频分为三个部分，最终构成全局特征。分类时有动作性分类器和完整性分类器

先进行行人检测，得到边界框，然后在每一个边界框中检测人体关键点，连接成一个人形，缺点就是受检测框的影响太大，漏检，误检，IOU大小等都会对结果有影响，代表方法就是RMPE

就是先对整个图片进行每个人体关键点部件的检测，再将检测到的部件拼接成一个人形，缺点就是会将不同人的不同部位按一个人进行拼接，代表方法就是openpose