抑制背景干扰的行人重识别方法

摘要

目的：解决ReID中的相似背景干扰问题

方法：

对多摄像头监控场景下的ReID中的前景和背景的隐含关系进行分析设计背景抑制网络模型，包括前景子网络，背景子网络和噪声抑制模块在噪声抑制损失函数的作用下增强前景子网络对行人特征的提取能力，抑制背景噪声

成果：

计算复杂度低，提高模型识别能力的同时提高可迁移能力

正文

近年来，相对于行人(前景)，监控场景中的背景对Re-ID的影响受到部分学者的关注。

本文献分别从消除背景、消除部分前景和验证背景偏置3方面进行分析。提供理论成熟依据和前人研究成果：

文献[1]首先利用二元掩码的方式消除所有检索图像的背景, 然后进行目标行人检索. 本文认为, 单纯地消除背景容易导致行人轮廓信息的丢失, 从而影响 Re-ID 的识别性能.

文献[2]的实验表明, 消除行人(前景)的部分特征不会对模型性能造成较大影响, 但未对其进行科学分析.

文献[3]通过随机改变行人背景在一定程度上增强了模型的泛化能力, 证明背景偏置是导致Re-ID 模型过拟合、可迁移能力差的重要原因.

文献[4-6]通过前景、背景的分割使 Re-ID 模型关注行人特征, 但该方法对行人检测技术的要求较高, 易丢失人体轮廓信息, 并引入背景噪声.

文献[7-8]针对背景复杂引发的区域遮挡、前景相近性的跨视角判别等问题进行相关研究, 取得了较好的成果.总结和提出研究思路：

以上方法从背景与前景的不同关系角度, 表明跨镜场景中的背景是影响 Re-ID 性能的重要因素, 但均未分析前景和背景的隐含关系. 在监控环境中, 跨镜场景中的背景元素具有一定的相似性, 使 Re-ID 模型提取行人特征时易引入相似背景的噪声, 从而影响识别性能. 因此, 开展前景和相似背景关系的实验, 构建模型抑制相似背景的特征提取和增强前景特征的提取能力变得尤为重要.概括文献内容

1 跨镜相似背景对 Re-ID 的影响

1.1 相似背景的影响分析

举例分析多摄像头的相似背景下，背景噪声对Re-ID的识别干扰

1.2 相似背景对 Re-ID 影响的实验与分析

为了进一步验证背景干扰对 Re-ID 的影响, 本文进行背景填充和可迁移能力 2 个实验.

结果：

相同背景数据集识别精度轻微下降，表明相似背景导致识别精度下降场景数据集的识别精度提升，表明无相似背景干扰时，识别精度有明显提高随机背景数据集的识别精度略低，但表现出的可迁移能力最好行人身份数据集的识别精度最高

结论：

跨镜场景中的相似背景对 Re-ID 模型的识别性能和可迁移能力均有较大影响. 为进一步描述方便, 相似背景对模型可迁移能力的影响定义为

2 BSN 模型和训练策略

BSN 模型包括前景子网络、背景子网络和噪声抑制模块(noise suppression module, NSM), 是一种噪声抑制网络，具有相似背景抑制能力, 类似孪生网络, 包括前景络和背景 2 个子网络, 二者相互促进. 在 NS-Loss 的作用下, 使前景子网络增强行人特征的提取能力, 抑制背景噪声.如图所示. 其中, h , w1 , w2分别为前景与后景子网络的 Softmax 输出维度. 前景子网络将行人 ID 作为监督信息进行 Re-ID, 相应地, 背景子网络将场景 ID 作为监督信息进行场景分类, 具有相似背景的特征提取能力. 二者是一对不共享权重的伪孪生网络.

BSN 模型结构如图所示. 首先将2个子网络的输出分别进行最大池化, 保证相同维度编码(H x 1); 然后将编码后的预测值同时输入 NSM, 按式(2)计算a , 经过实验对比分析, b取值为 0.01时最合适; 最后根据 NS-Loss 完成 2 个子网络的交替训练.

**训练策略:**训练过程中, 为了更好地利用背景子网络提取的相似背景特征, 提升前景子网络的特征提取

能力, BSN 模型的训练分为 2 个阶段.

(1) 特征提取阶段

2 个子网络分别利用标准交叉熵损失函数进行 Re-ID 和场景特征提取. 训练N次后, 二者具备初步的前景、背景的特征提取能力.

图 5所示为训练过程的可视化分析示意图, 其中, 虚线和实线分别表示前景子网络和背景子网络的特征提取区域. 在模型训练的初始阶段, 前景子网络关注到较多的背景特征; 在模型训练过程中, 背景子网络的输出概率经 NSM 产生噪声抑制系数, 利用 NS-Loss 使前景子网络开始逐渐关注行人特征, 并对相似背景特征进行抑制; 同理, 受前景子网络影响, 背景子网络逐渐关注背景特征.

参考文献

[1] Song C , Yan H , Ouyang W , et al. Mask-Guided Contrastive Attention Model for Person Re-identification[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, .

[2] Dietlmeier J , Antony J , Mcguinness K , et al. How important are faces for person re-identification?[J]. .

[3] Tian M , Shuai Y , Li H , et al. Eliminating Background-bias for Robust Person Re-identification[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, .

[4] Gao H, Chen S Y, Zhang Z S. Parts semantic segmentation aware representation learning for person re-identification[J]. Applied Sciences, , 9(6): 1239

[5] Tang Y Z, Yang X, Wang N N, et al. Person re-identification with gradual background suppression[C] //Proceedings of the IEEE International Conference on Multimedia and Expo. Los Alamitos: IEEE Computer Society Press, : 706-711

[6] Kalayeh M M, Basaran E, Gökmen M, et al. Human semantic parsing for person re-identification[C] //Proceedings of the IEEE/CVF IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, : 1062-1071

[7] Lu Ping, Dong Husheng, Zhong Shan, et al. Person re-identification by cross-view discriminative dictionary learning with metric embedding[J]. Journal of Computer Research and Development, , 56(11): 2424-2437(in Chinese)(陆萍, 董虎胜, 钟珊, 等. 基于跨视角判别词典嵌入的行人再识别[J]. 计算机研究与发展, , 56(11): 2424-2437)

[8] Li Yonggang, Wang Zhaohui, Wan Xiaoyi, et al. Deep residual dual unidirectional DLSTM for video event recognition with spatial-temporal consistency[J]. Chinese Journal of Computers, , 41(12): 2852-2866(in Chinese)(李永刚, 王朝晖, 万晓依, 等. 基于深度残差双单向DLSTM 的时空一致视频事件识别[J]. 计算机学报, , 41(12): 2852-2866)

如果觉得《抑制背景干扰的行人重识别方法》对你有帮助，请点赞、收藏，并留下你的观点哦！