PANet

一、论文简介1.1、论文和代码链接1.2、论文基本信息 二、详细解读2.1、摘要2.2、介绍2.3、网络架构主要模块 2.4、改进与创新2.5、实验结果2.6、使用的数据集 三、总结与思考

一、论文简介

1.1、论文和代码链接

paper:http://xxx./pdf/1909.13226.pdf

code:/xieenze/PolarMask

1.2、论文基本信息

发表于CVPR

这篇论文名为:PolarMask:用极坐标表示的单镜头实例分割,本文介绍了一种无锚盒和单镜头的实例分割方法，该方法概念简单，完全卷积，可以方便地嵌入到大多数现有的检测方法中，PolarMask把更复杂的实例分割问题，转化成在网络设计和计算量复杂度上和物体检测一样复杂的任务，把对实例分割的建模变得简单和高效。该方法是一个一阶段实例分割算法，下面将详细解读此篇文章。

二、详细解读

2.1、摘要

本文介绍了一种无锚盒和单镜头的实例分割方法，该方法概念简单，完全卷积，可以很容易地嵌入到大多数现有的检测方法中。此方法称为PolarMask，将实例分割问题描述为通过实例中心分类和极坐标下的密集距离回归来预测实例轮廓。此外，本文提出了两种有效的处理高质量样本中心的方法和密集距离回归的优化方法，可以显著提高性能和简化训练过程。在没有任何铃铛和哨声的情况下，PolarMask在具有挑战性的COCO数据集上通过单模型和单尺度训练/测试实现了32.9%的掩模mAP。本文首次证明，实例分割的复杂性，在设计和计算复杂性上，可以与边界盒对象检测相同，这种更简单和灵活的实例分割框架可以达到竞争的准确性。

2.2、介绍

①、探索与发现

两阶段实例分割先检测包围盒，然后在每个包围盒中进行分割，虽然可以达到最先进的性能，但往往是十分缓慢的。单阶段方法通常需要多尺度训练和更长的训练时间。

②、进行改进

PolarMask是基于极坐标系建模轮廓的，极坐标系建模的话已经将固定角度设为先验，网络只需回归固定角度的长度即可，把实例分割问题转化为实例中心点分类(instance center classification)问题和密集距离回归(dense distance regression)问题，简化了问题的难度。

( a )为原始图像。( b )为像素掩模表示。( c )和( d )分别在笛卡尔坐标和极坐标下表示掩模的轮廓。

虽然笛卡尔直角坐标系也有前两个优点，但是其缺少第三个优点。

这篇文章的主要贡献如下:

①、引入了一个全新的实例分割框架PolarMask，在极坐标中建模实例掩码，将实例分割转换为两个并行任务:实例中心分类和密集距离回归。

②、提出了极地IoU损失和极地中心，为PolarMask框架量身定制。与平滑-l1损耗等标准损耗相比，极IoU损耗可以大大简化优化，并显著提高精度。同时，Polar Centerness改进了FCOS中“Centerness”的原始思想，进一步提升了性能。

③、证明了2实例分割的复杂性，在设计和计算复杂性上，可以与边界盒对象检测相同。同时进一步证明，与更复杂的单阶段方法相比，这种更简单灵活的实例分割框架具有更强的性能，而单阶段方法通常需要多尺度训练和更长的训练时间。

2.3、网络架构

左侧包含主干和特征金字塔，用于提取不同层次的特征。中间部分为分类和极性掩模回归的两个头部。H、W、C分别为feature map的高度、宽度、通道，k为类别数(如在COCO数据集上k = 80)， n为射线数(如n = 36)。整个网络和FCOS一样简单，首先是标准的backbone + fpn模型，其次是head部分，我们把fcos的bbox分支替换为mask分支，仅仅是把channel=4替换为channel=n, 这里n=36，相当于36根射线的长度。同时我们提出了一种新的Polar Centerness 用来替换FCOS的bbox centerness。

可以看到，在网络复杂度上，PolarMask和FCOS并无明显差别。

模型获取一幅输入图像，并预测从采样的正位置(实例中心的候选位置)到实例轮廓各角度的距离，组装完成后输出最终的蒙版。

PolarMask是一个简单的、统一的网络，由一个骨干网、一个特征金字塔网和两个或三个任务特定的头组成，取决于是否预测包围盒。1主干网和特征金字塔网的设置与FCOS相同。

PolarMask的特点是:

(1) 不需要出检测框

(2) fully convolutional network, 相比FCOS把4根射线散发到36根射线，将实例分割和目标检测用同一种建模方式来表达。

主要模块

①、Polar CenterNess

采用以上公式在Polar Coordinate下定义高质量的正样本，d1 d2…dn指的是36根射线的长度。

上面中间的图，会出现长度回归差别很大的问题，而右边的图中心点位置就较为合适，到所有轮廓的长度回归就较为接近，36根射线的距离会比较均衡。 Polar Centerness 可以给右边图的点较高的centerness分数，给中间图的点降低centerness分数，这样在infernece的时候右边图的点分数较高。

②、Polar IoU Loss

在目标检测和分割领域的大多数情况下，平滑oss和IoU loss是两种有效的监督回归问题的方法。Smooth-l1loss忽略了相同目标样本之间的相关性，导致定位精度降低。而IoU损失则把优化作为一个整体，直接优化了利息、IoU的度量。然而，计算预测面具的IoU和它的地面真相是棘手和非常困难的。本文提出了一种简单有效的基于极向量表示的掩模IoU计算算法，并取得了较好的性能，如图，具体可看论文对公式的推导。

Polar IoU Loss的优点

(1)它是可微的，可以反向传播;并且很容易实现并行计算，从而促进了快速的训练过程。

(2)整体预测回归目标。与smooth-l1loss相比，大大提高了整体性能。

(3)作为奖励，Polar IoU Loss能够自动保持密集距离预测的分类损失和回归损失之间的平衡。

2.4、改进与创新

2.5、实验结果

提出的Polar IoU Loss有明显的涨点。

与两阶段算法和一些其他一阶段算法比较，可以发现还是具有一定的竞争力的。COCO数据集下比较结果:

比较的算法有MNC，FCIS，Mask Rcnn，ExtremeNet，TensorMask，YOLACT。虽然说不上最好，但是提出了一个较为新的想法。

2.6、使用的数据集

COCO数据集

三、总结与思考

这个工作在今年4月FCOS出来的同时，我和沈春华老师就在讨论如何进行FCOS进行single shot anchor free实例分割，以及在CVPR开会的时候，和文海，彦伟, 宋林等小伙伴就论证过contour regression的可行性，因为大家可以看出，anchor free 物体检测已经是大势所趋，下一个领域必然是anchor free实例分割，预测一下，再下一个领域是全景分割。在和沈老师这么多月的讨论中以及一次又一次实验的失败中，polarmask逐渐成型。最开始mask regression无数次无法收敛，写mask iou loss又复杂效果还不怎么好，直到某一天想出了polar iou loss。发现性能很好，不用调参，一把出结果。感觉平时做研究还是需要多思考，而不是盲目的做实验。同时，polar centerness也是我在旅游的过程中想到的，然后立马找了个咖啡厅写代码调试，裸涨1.4个点。这两个方法在不增加计算量的情况下，充分发挥了polarmask的性能，看起来其实很简单，但是实际上是背后很多次思考和化简的结果。

这是论文作者的感悟，可以在这里看到他对论文的介绍:/p/84890413

怎么说呢，感觉每一篇精彩的论文背后总有无数次的失败，熬过去了就是英雄，熬不过去就将被别人替代，要不断坚持，论文是一场时间赛，可能你刚弄出来，别人就有更好的了，得马不停蹄的往前赶。还有就是学会思考，不能一味的去学习别人的思想，这样只会被人牵着鼻子走，最近看的我和我的父辈中那个鸭先知让我挺受感悟的，要做第一个下水的鸭子，哪怕冻死，也不枉人间一趟，继续加油吧。 --致大三的自己。

如果觉得《(论文阅读)实例分割之PolarMask》对你有帮助，请点赞、收藏，并留下你的观点哦！