计算机论文哪里有？本文主要研究弱监督语义分割问题，针对现有方案中解决背景区域错误激活和目标区域稀疏激活的不足，充分考虑对背景的建模和对高级语义信息的挖掘，来获取性能更高的弱监督语义分割模型。
第一章 绪论
1.2 国内外研究现状
在图像级标注场景下，弱监督语义分割的类激活图生成过程仅依赖于图像级标注，导致类激活图存在背景区域的错误激活和目标区域的稀疏激活现象。因此，许多方法致力于研究如何使网络获得更完整更准确的目标区域，从而获得更高质量的伪标签，最终使分割模型达到更高性能。本章将从引入额外监督信号的弱监督语义分割方法和未引入额外监督信号的弱监督语义分割方法两个方面来介绍现有方法，其本质都是通过优化网络对特征空间的建模能力以得到更高质量的类激活图。
1.2.1 引入额外监督的方法
在图像级标注场景下，由于类激活图的生成过程缺少关于目标范围和边界的先验信息，许多方法考虑引入额外信息源来作为监督信号，以此来增强模型对目标和背景区域特征的建模，提高类激活图的准确性。
（1）引入显著性检测的方法
显著性检测（saliency detection）是一种模拟人类视觉系统的注意机制、识别图像中最引人注目的区域或目标的任务，通常利用像素级或图像级标注生成区分图像中前景和背景的显著性图[23,24]。在弱监督语义分割领域中，许多方法[25-27]利用显著性图作为背景线索进行掩码的构建。Wei等人[28]利用显著性先验作为监督单一目标图像的监督，将学习从简单图像推导到复杂图像。Fan等人[29]基于聚类算法，对训练集中的所有显著性实例之间的关系进行相似性建模。一些方法[30-32]结合类特定注意力线索利用显著性图生成可靠的伪掩码。Zeng等人[33]设计多任务联合框架同时提高弱监督语义分割和显著性检测两个任务的性能。
第三章 基于通道特定特征对比建模的弱监督语义分割方法
3.1 引言
弱监督语义分割致力于探索低成本监督形式的语义分割方法。在常用的弱监督中，图像级标注成本最低，在现实场景中也最易获取，因此，图像级标注场景下的弱监督语义分割成为近年来的一个研究热点。现有的图像级标注场景下的弱监督语义分割流程通常以细化的类激活图作为伪标签，并使用伪标签进行分割网络的训练，因此，这些方法最终分割性能在很大程度上依赖于初始阶段生成的类激活图的质量。而在图像级标注场景下，由于细节监督信息的缺失，类激活图往往面临受到背景区域错误激活的影响。这个问题对于经常与背景元素同时出现的对象类（例如船与水或火车与铁路）尤其明显，如图3-1(a)所示，传统方法生成的类激活图中，作为背景的水和铁路均存在被错误激活的现象。这些错误激活引入的噪声往往会在伪掩模细化过程中积累，导致伪标签不精确，从而降低最终的分割性能。
为了解决这个问题，大多数以前的方法都集中在引入额外的监督信号，例如显著性图[34,35]、预训练的CLIP[37-39]或使用额外的分布外图像进行训练[48]。然而，这些技术往往严重依赖于这些外部信号的质量，这不仅增加了对人工工作量和训练费用的需求，还可能引入额外的噪音。此外，先前的弱监督语义分割方法通常使用单个掩码来建模背景信息，这些掩码要么作为通道直接从分类网络输出[34]，要么使用sigmoid激活和附加卷积层等操作构建[37]。这些单一掩码不足以捕捉复杂多样的前景-背景判别信息，尤其是当前景和背景之间的边界不清晰或颜色和纹理相似时。此外，传统方法的类激活图生成过程只考虑图像级真值标签中包含的类别所对应的通道，可以观察到，除了这些通道外，其他通道的激活图也包含各种丰富的前景-背景判别信息，如图3-1(b)所示，先前方法在建模背景信息时忽略了这些信息。
第四章 基于伪标签驱动与特征聚合优化的弱监督语义分割方法
4.1 引言
第三章提出的基于通道特定特征对比建模的弱监督语义分割方法详细论述了本文针对弱监督语义分割流程中类激活图的背景区域错误激活问题的研究工作，实验过程中发现，在试图缓解错误激活现象的同时，将会不可避免地造成目标区域稀疏激活问题的加剧。稀疏激活是类激活图生成过程中的另一个固有问题。由于分类网络仅由图像级标注进行监督，传统的卷积网络在特征学习时可能未能充分捕捉到目标的全局上下文信息，同时，分类网络缺乏对目标边界周围像素的判断能力，进而造成目标在激活图中的表达缺乏完整性。并且在一些具有高相似性的不同类别的目标、高差异性的同一类别不同目标之间，模型可能难以对目标特征进行全面的考虑。这些因素使得网络生成的类激活图对于目标的激活集中于图像的某些最具判别性的区域，而不是覆盖整个目标区域，即类激活图的稀疏激活现象，如图4-1(a)所示。
4.2 基于伪标签驱动的特征聚合优化方法
4.2.1 框架概览
所提出的伪标签驱动的特征优化方法流程图如图4-2所示，使用先前基线方法IRN[22]生成的初始伪标签来建模跨批次样本目标和背景信息，从而获得更完整的激活区域。具体来说，所提出的伪标签驱动的特征优化方法包括一个记忆引导的跨样本特征适应模块，引入记忆库机制实现跨样本的特征信息的聚合，以增强特征表达的跨样本一致性。该模块在训练过程中存储和更新样本的特征表示，并使用基于置信度匹配机制对所存储的特征进行筛选。通过对来自不同批次的样本进行全局特征筛选和聚合，使得生成的特征图包含更加稳定的全局语义信息。此外，为了进一步增强类激活图在边界区域的判别能力，记忆引导的跨样本特征适应模块中结合了关系一致性监督机制，充分利用伪标签提供的边界先验，增强目标区域与背景区域的区分性。这种设计有助于提高最终类激活图的质量，使其生成的目标区域更加完整，同时限制对背景区域的错误激活。
第五章 总结与展望
5.1 本文工作总结
本文工作的创新之处归纳如下：
（1）针对背景建模单一，导致类激活图背景区域的错误激活问题，本文提出了一个基于通道特定特征对比建模的弱监督语义分割方法。首先，设计了一个通道级局部信息捕获分支，利用通道特定的类激活图来指导背景建模，生成通道特定的前景和背景原型，并执行原型到原型和像素到原型的对比学习，从而迫使网络区分前景和背景，以减缓解错误激活。其次，设计了一个通道感知全局信息融合分支，使网络能够关注更多的空间信息，并进一步将全局信息纳入通道特定的原型，与通道级局部信息捕获分支协同工作，缓解对比过程中的潜在噪声问题，实现更准确的激活。
（2）针对全局信息挖掘不充分，导致类激活图目标区域的稀疏激活且模型泛化性差的问题，本文提出了一个基于伪标签驱动与特征聚合优化的弱监督语义分割方法。首先，设计了一个记忆引导的跨样本特征适应模块，引入记忆库机制建模不同样本伪标签之间的语义相关性，更充分地挖掘伪标签中的高级语义信息。其次，设计了关系一致性监督机制，通过关系矩阵约束类激活图中目标区域和背景区域的语义一致性，细化模型对不同类别区域的判别能力，通过显式地利用伪标签提供的跨样本高级语义信息，实现更完整更稳定的类激活区域的生成。
参考文献（略）
