AAAI2022丨创新奇智提出双注意力机制少样本学习助力工业场景细粒度识别

近日，创新奇智关于双注意力机制少样本学习的研究论文《Dual Attention Networks for Few-Shot Fine-Grained Recognition》被全球人工智能顶会AAAI 2022接收为Main Track论文。

AAAI（The National Conference on Artificial Intelligence）是人工智能领域的主要学术组织之一国际先进人工智能协会（American Association for Artificial Intelligence），主办的A类人工智能学术会议。今年会议共收到9251篇投稿，最终经过大量的筛选，录取率仅为15.0%，创下历史新低。创新奇智投稿的论文脱颖而出，得益于一直以来在计算机视觉领域深厚的创新力。

创新奇智此次论文中提出的双注意力机制少样本学习主要针对少样本细粒度图像识别任务。

此方法可用于制造业等领域标注样本极少的情况下区分属于不同子类的图像，如不同车型的汽车、不同类型的零件、零件上不同种类的缺陷等，减少实际应用场景中对数据量的依赖，并提高识别正确率。

由于细粒度属性，该识别任务的难度在于需要获取有限训练数据中细小但具有辨识性的部件级别模式，这使得此问题较为挑战。

创新奇智提出的由硬/软双注意力流构成的双注意力网络（DUAL ATT-NET），在三个常用的细粒度基准数据集上的结果明显优于其他的现有先进方法。

论文解读

概述：

细粒度图像识别是计算机视觉和模式识别领域的基础研究课题，但是大量优质细粒度图像数据的获取和标注需要耗费大量的人力和财力，这为细粒度图像识别的推广和使用带来了巨大的障碍。

少样本学习是目前研究的热门方向之一，能够极大地减少细粒度图像识别对于标注样本的依赖，故少样本的设定下进行细粒度图像识别的相关研究，内容和成果均符合实际应用的需求。

本文通过卷积神经网络与注意力机制提取图像中的部件与全局特征，通过基于图的多示例学习对局部特征进行建模，丰富了细粒度部分的内在结构相关性，通过注意力机制发掘对细粒度图像识别有用的微妙全局信息，从而得到更高的少样本细粒度图像识别的准确率。

主要贡献

1、提出了一种由双注意力流构成的元学习方式的新型少样本细粒度框架，以获取细粒度定制图像嵌入表示。

2、开发了包含硬/软注意力机制的双注意力网络，不仅实现细粒度物体部分间重要关联的显式构建，而且能够隐式获取细微但有辨识性的细节。

3、基于三个常用的细粒度基准数据集进行了综合的实验，本文提出的模型在识别准确性上明显优于其他解决方案。

这是一种基于双注意力流的少样本细粒度图像识别方法，包括以下步骤：

步骤1：提取样本的特征图（feature map），生成特征图的空间注意力图（spatial attention map）引导，利用注意力引导机制，生成用于软注意力流的加权特征图，同时筛选出用于硬注意力流的深度描述符（deep descriptor）。

步骤2：加权特征图使用全局聚合操作得到全局嵌入特征；将一个样本筛选出的所有深度描述符建模为一个多示例学习（multi-instance learning）的包（bag）, 使用基于图的多示例学习方法挖掘样本部件之间的关系，得到部件嵌入特征。

步骤3：将两个注意力流得到的全局嵌入特征和部件嵌入特征拼接得到样本最终的嵌入表示，基于原型表示和最近邻方法进行类别预测和模型训练。

本方法与现有技术相比，其显著优点为：

（1）本方法使用了两个注意力流分别得到了部件级别的关键信息和全局聚合信息，不仅对细粒度图像识别提供了区分新的部件级信息，也补充了对细粒度图像识别有用的微妙全局信息。

（2）对于硬注意力流，使用多示例方法将筛选出的有用深度描述符建模为包，并基于图的方法对包进行编码一体化得到对应细粒度部件的深度描述符的整体表示，丰富了细粒度部分的内在结构相关性。

（3）与基于双线性池的方法相比，我们的方法复杂度更低更加易于训练且有更高的识别效率。

试验结果

在三个常用的少样本细粒度图像识别数据集 (CUB Birds，Stanford Dogs和Stanford Cars) 上进行了实验，上图实验结果表明，论文提出的方法几乎在所有数据集上均明显优于其他基准方法。

上图结果显示出我们的模型对语义簇数的鲁棒性，并且当簇数为3时识别的准确率最高。

我们提出的基于MIL的聚合方法与原始MIL池化方法的效果，上表结果显示无论是否与全局特征进行连接，我们的方法均表现出较好的效果。

从上表结果可见，引入本文中考虑细粒度部件间关系的方法会显著提高少样本低粒度识别的准确性。

最后，我们将实验中一些硬/软注意力样例进行可视化，上图中第一排为输入图像；第二排为硬注意力选取的深度描述符的位置，可见均对应物体的细粒度部分，如头、耳、尾、轮胎等；第三排展示软注意力，更多的细节细粒度模式能够被软注意力关注到。