CN114359162A - 显著性检测方法、显著性检测设备和存储介质 - Google Patents
显著性检测方法、显著性检测设备和存储介质 Download PDFInfo
- Publication number
- CN114359162A CN114359162A CN202111507286.9A CN202111507286A CN114359162A CN 114359162 A CN114359162 A CN 114359162A CN 202111507286 A CN202111507286 A CN 202111507286A CN 114359162 A CN114359162 A CN 114359162A
- Authority
- CN
- China
- Prior art keywords
- determining
- result
- output
- importance
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种显著性检测方法、显著性检测设备和计算机可读存储介质，所述方法包括：确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果；根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子；根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性；根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征；基于所述第一模态特征和所述第二模态特征确定显著性检测结果。本发明旨在达成提升显著检测结果的鲁棒性的效果。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种显著性检测方法、显著性检测设备和计算机可读存储介质。
背景技术
在相关技术中，多模态的RGB-D(RGB-Depth，颜色-深度)和RGB-T(RGB-Thermal，颜色-温度)显著性目标检测主要是依靠低层线索进行融合。这一类方法将深度显著性或温度显著性作为附加信息。即前者从深度图提取深度特征与RGB(颜色***)图像提取的特征组合获得显著图，后者从热力图提取温度特征与RGB图像提取的特征组合获得显著图。例如在RGB-D显著性目标检测中，其过程一般是计算RGB图像和Depth图像中的先验，例如背景先验，中心先验与深度先验等，然后通过不同区域的颜色、亮度、纹理和深度等特征对比，并通过乘法或加法等方式和一些后处理技术进行融合，从而检测显著性目标。
由于深度图质量容易受传感器温度，背景照明以及被观察物体的距离和反射率等噪声影响，因而深度图可能会出现错误或缺失的区域。相似地，热力图的质量容易受到相机噪声，传感器噪声的影响，导致热力图可能会出现热交叉或模糊的区域。并且，因为现实环境中存在不同的光照条件，相似的前后景，复杂的背景等挑战的场景，获取的RGB图像可能无法提供准确的信息。而上述相关技术中记载的显著性检测方法无法处理原始图像存在的缺陷，从而导致显著性检测结果的鲁棒性较低。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种显著性检测方法、显著性检测设备和计算机可读存储介质，旨在解决相关技术存在显著性检测结果的鲁棒性较低的技术问题。
为实现上述目的，本发明提供一种显著性检测方法，所述显著性检测方法包括以下步骤：
确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果；
根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子；
根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性；
根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征；
基于所述第一模态特征和所述第二模态特征确定显著性检测结果。
可选地，所述根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子的步骤之前，还包括：
获取所述第一目标卷积层的长度、宽度和通道信息和所述第二目标卷积层的长度、宽度和通道信息；
所述根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子的步骤包括：
根据所述第一输出结果以及所述第一目标卷积层的长度、宽度和通道信息确定所述第一全局描述子；
根据所述第二输出结果以及所述第二目标卷积层的长度、宽度和通道信息确定所述第二全局描述子。
可选地，所述根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性的步骤包括：
确定所述第一全局描述子与所述第二全局描述子的第一级联结果；
基于预设的激活函数与所述第一级联结果确定所述重要性。
可选地，所述重要性包括所述第一主干网络对应的第一模态的各个通道的第一重要性，以及所述第二主干网络对应的第二模态的各个通道的第二重要性，所述根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征的步骤包括：
根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征。
可选地，所述根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征的步骤之前，还包括：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述第二重要性和所述第二输出结果的元素乘积之间的第二级联结果；
确定所述第二级联结果的卷积输出；
所述根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征的步骤包括：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述卷积输出确定所述第一模态特征；以及
根据所述第二重要性和所述第二输出结果的元素乘积，以及所述卷积输出确定所述第二模态特征。
可选地，所述基于所述第一模态特征和所述第二模态特征确定显著性检测结果的步骤包括：
在所述第一目标卷积网络和所述第二目标卷积网络为最后一层卷积网络时，融合所述第一模态特征和所述第二模态特征，并根据融合结果确定所述显著性检测结果；
在所述第一目标卷积网络和所述第二目标卷积网络为非最后一层卷积网络时，将所述第一模态特征作为所述第一目标卷积层的下一卷积层的输入，以及将所述第二模态特征作为所述第二目标卷积层的下一卷积层的输入，以得到所述第一主干网络的第一输出特征，和所述第二主干网络的第二输出特征；以及
融合所述第一输出特征和所述第二输出特征，并根据融合结果确定所述显著性检测结果。
可选地，所述基于所述第一模态特征和所述第二模态特征确定显著性检测结果的步骤包括：
根据所述第一模态特征确定第一主干网络对应的模态的第一决策输出，以及根据所述第二模态特征确定第二主干网络对应的模态的第二决策输出；
根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果。
可选地，所述根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果的步骤包括：
将所述第一决策输出和所述第二决策输出的元素和作为初步融合特征；
对所述初步融合特征进行上采样，得到采样结果；
对所述采样结果进行卷积和全局池化，并根据卷积和池化的结果确定所述显著性检测结果。
本发明还提供一种显著性检测设备，所述显著性检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显著性检测程序，所述显著性检测程序被所述处理器执行时实现如上所述的显著性检测方法的各个步骤。
本发明实施例提出的一种显著性检测方法、显著性检测设备和计算机可读存储介质，先确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果，然后根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子，根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性，进而根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征，并基于所述第一模态特征和所述第二模态特征确定显著性检测结果。本实施例提出的方案不同于直接地使用独立的主干网提取RGB特征和辅助模态特征的方法，不加区分地引入噪声或者冗余的信息，本实施例提出的方案充分利用多模态特征之间的互补性和不同模态输入的质量缺陷问题通过权重共享的主干网特征提取方式同时提取RGB特征和辅助模态特征，充分地利用多模态特征之间的互补性增强准确的特征表达，从而达成了提高显著性检测结果的鲁棒性的效果。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明显著性检测方法一实施例的流程示意图；
图3为本发明显实施例涉及的显著性检测网络的整体架构示意图；
图4为本发明实施例涉及的FCE的数据处理流程示意图；
图5为本发明显著性检测方法的一实施例中步骤S50的细化步骤流程示意图；
图6为本发明实施例涉及的检测模块的数据处理流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是显著性检测设备，例如，计算机、PC机或者服务器等。
如图1所示，该终端可以包括：处理器1001，接口1003，存储器1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。接口1003设置为与其它设备或者与其它元器件连通。存储器1004可以是NAND。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1004中可以包括控制***、接口模块以及显著性检测程序。
在图1所示的终端中，而处理器1001可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果；
根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子；
根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性；
根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征；
基于所述第一模态特征和所述第二模态特征确定显著性检测结果。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
获取所述第一目标卷积层的长度、宽度和通道信息和所述第二目标卷积层的长度、宽度和通道信息；
所述根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子的步骤包括：
根据所述第一输出结果以及所述第一目标卷积层的长度、宽度和通道信息确定所述第一全局描述子；
根据所述第二输出结果以及所述第二目标卷积层的长度、宽度和通道信息确定所述第二全局描述子。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
确定所述第一全局描述子与所述第二全局描述子的第一级联结果；
基于预设的激活函数与所述第一级联结果确定所述重要性。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述第二重要性和所述第二输出结果的元素乘积之间的第二级联结果；
确定所述第二级联结果的卷积输出；
所述根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征的步骤包括：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述卷积输出确定所述第一模态特征；以及
根据所述第二重要性和所述第二输出结果的元素乘积，以及所述卷积输出确定所述第二模态特征。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
在所述第一目标卷积网络和所述第二目标卷积网络为最后一层卷积网络时，融合所述第一模态特征和所述第二模态特征，并根据融合结果确定所述显著性检测结果；
在所述第一目标卷积网络和所述第二目标卷积网络为非最后一层卷积网络时，将所述第一模态特征作为所述第一目标卷积层的下一卷积层的输入，以及将所述第二模态特征作为所述第二目标卷积层的下一卷积层的输入，以得到所述第一主干网络的第一输出特征，和所述第二主干网络的第二输出特征；以及
融合所述第一输出特征和所述第二输出特征，并根据融合结果确定所述显著性检测结果。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
根据所述第一模态特征确定第一主干网络对应的模态的第一决策输出，以及根据所述第二模态特征确定第二主干网络对应的模态的第二决策输出；
根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果。
可选地，在一些实施方案中，处理器1001还可以用于调用存储器1004中存储的显著性检测程序，并执行以下操作：
将所述第一决策输出和所述第二决策输出的元素和作为初步融合特征；
对所述初步融合特征进行上采样，得到采样结果；
对所述采样结果进行卷积和全局池化，并根据卷积和池化的结果确定所述显著性检测结果。
在相关技术中，多模态的RGB-D(RGB-Depth，颜色-深度)和RGB-T(RGB-Thermal，颜色-温度)显著性目标检测主要是依靠低层线索进行融合。这一类方法将深度显著性或温度显著性作为附加信息。即前者从深度图提取深度特征与RGB(颜色***)图像提取的特征组合获得显著图，后者从热力图提取温度特征与RGB图像提取的特征组合获得显著图。例如在RGB-D显著性目标检测中，其过程一般是计算RGB图像和Depth图像中的先验，例如背景先验，中心先验与深度先验等，然后通过不同区域的颜色、亮度、纹理和深度等特征对比，并通过乘法或加法等方式和一些后处理技术进行融合，从而检测显著性目标。
由于深度图质量容易受传感器温度，背景照明以及被观察物体的距离和反射率等噪声影响，因而深度图可能会出现错误或缺失的区域。相似地，热力图的质量容易受到相机噪声，传感器噪声的影响，导致热力图可能会出现热交叉或模糊的区域。并且，因为现实环境中存在不同的光照条件，相似的前后景，复杂的背景等挑战的场景，获取的RGB图像可能无法提供准确的信息。而上述相关技术中记载的显著性检测方法无法处理原始图像存在的缺陷，从而导致显著性检测结果的鲁棒性较低。
为了解决上述缺陷，本发明实施例提出一种显著性检测方法，旨在达成提高显著性检测结果的鲁棒性的效果。为了便于理解，以下通过具体实施方式解释说明本发明提出的显著性检测方法。
参照图2，本发明提供一种显著性检测方法的第一实施例，所述方法包括：
步骤S10：确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果；
步骤S20、根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子；
步骤S30、根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性；
步骤S40：根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征；
步骤S50：基于所述第一模态特征和所述第二模态特征确定显著性检测结果。
在本实施例中，可以先获取待处理的RGB图像和辅助图像，其中，所述辅助图像可以是热力图或者深度图等。
当获取到RGB图像和辅助图像之后，若第一主干网络设置为处理RGB图像的主干网络，则将RGB图像作为第一主干网络的输入，将辅助图像作为第二主干网络的输入。若第二主干网络设置为为处理RGB图像的主干网络，则将RGB图像作为第二主干网络的输入，将辅助图像作为第一主干网络的输入。
示例性地，请参照图3，本实施例提供一种显著性检测网络，其中，所述显著性检测网络包括特征提取网络和融合网络。其中，特征提取网络包括第一主干网络和第二主干网络。
第一主干网络和第二主干网络可以包含多个卷积层，第一主干网络包含的卷积层的层数与第二主干网络包含的卷积层的层数相同。例如，第一主干网络和第二主干网络均可以包含5个卷积层。
特征提取网络还包括至少一个FCE(Flow collaboration enhancement module，流协作增强模块)。FCE可以设置于任意一个卷积层之后。如图3所示，在一种可选实施方案中，第二卷积层，第三卷积层、第四卷积层和第五卷积层之后均设置有FCE。可以理解的是，这并不限定本实施例给出的特征提取网络智能在第二卷积层，第三卷积层、第四卷积层和第五卷积层之后设置FCE。在其它的一些实施方案中，也可以只在任意一个卷积层后设置一个FCE。或者在每个卷积层后均设置一个FCE。
基于本实施例给出的显著性检测网络，可以先确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果。其中，第一目标卷积层和第二目标卷积层分别为第一主干网络和第二主干网络中，对应的卷积层。例如，可以是第一主干网络的第二卷积层Conv2和第二主干网络的第二卷积层Conv2。
可以将第一输出结果和第二输出结果输入FCE，进行处理，得到第一模态特征和第二模态特征。其中，FCE的处理过程包括先根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子，然后根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性，进而根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征。
示例性地，请参照图4，图4为FCE的架构示意图。当FCE获取到第一输出结果Xri以及第二输出结果Xti之后，可以根据所述第一输出结果Xri确定所述第一全局描述子，以及根据所述第二输出结果Xti确定第二全局描述子。
可选地，在确定第一全局描述子和第二全局描述子时，可以先获取所述第一目标卷积层的长度、宽度和通道信息和所述第二目标卷积层的长度、宽度和通道信息，然后根据所述第一输出结果以及所述第一目标卷积层的长度、宽度和通道信息确定所述第一全局描述子，根据所述第二输出结果以及所述第二目标卷积层的长度、宽度和通道信息确定所述第二全局描述子。
在一种具体实现案例中，主干网第l层输出Xri，
其中H，W，C分别代表第l层的长，宽，和通道。首先可以计算关于原始RGB特征的和辅助模态特征的全局描述子，即计算第一全局描述子和第二全局描述子，以下以第一主干网络设置为处理RGB图像，第二主干网络处理辅助图像为例，进行解释说明，及第一全局描述子和第二全局描述子分别为原始RGB特征的和辅助模态特征的全局描述子。全局描述子的计算方式如下：
其中(i，j)代表着坐标的位置，
表示着第C个channel的空间统计数值。
可以理解的是，第一全局描述子和第二全局描述子的计算方式相同，更改为不同网络对应的参数，即可以分别计算出第一全局描述子和第二全局描述子。
在计算出第一全局描述子和第二全局描述子之后，可以确定所述第一全局描述子与所述第二全局描述子的第一级联结果，然后基于预设的激活函数与所述第一级联结果确定所述重要性。
示例性地，为了增强通道维度的交互和充分利用多模态之间的互补性去抑制噪声特征响应，多模态的全局描述子
和
通过协作增强层自适应地互相学习而聚合，如下所示：
其中ReLU代表着ReLU激活函数，
代表着通道维度的级联操作。FC1和FC2表示着可学习的全连接层。因此，通过上述可以获得
和
分别代表着每一种模态不同通道的重要性。
进一步地，可以根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征。
示例性地，可以根据所述第一重要性和所述第一输出结果的元素乘积，以及所述第二重要性和所述第二输出结果的元素乘积之间的第二级联结果，然后确定所述第二级联结果的卷积输出。根据所述第一重要性和所述第一输出结果的元素乘积，以及所述卷积输出确定所述第一模态特征；以及根据所述第二重要性和所述第二输出结果的元素乘积，以及所述卷积输出确定所述第二模态特征。
例如，在一可选实施案例中，为了获得鲁棒的多模态特征表达，基础上述计算的通道重要性去重校准原始的模态特征输入，然后进一步融合，如下所示：
其中⊙代表着元素相乘操作，Conv为卷积层，
代表着通道维度的级联操作。
可选地，在一些实施方式中，使用一个残差连接使得网络更容易训练优化，即如下所示：
增强的
和
即为上述第一模态特征和第二模态特征。
可选地，考虑到上下文信息有利于检测不同尺寸和位置的显著性物体，还可以在网络中增设多尺度的流协作增强模块(Multi-scale flow collaboration enhancement，MFCE)。
其中，MFCE可以先计算上下文的特征嵌入(embedding)，然后用上述FCE来生成增强的多模态特征表达。具体而言，多尺度的流写作增强模块可以如下表示：
其中
为4x4的全局平均池化操作，U为4倍上采样操作。σ是Sigmoid激活函数。相似地，每一层增强的
将输入到下一层不断增强。随着网络的加深，通过使用MFCE，有效的上下文表达将在编码阶段被突出强调。
可选的，在一可选实施方式中，在所述第一目标卷积网络和所述第二目标卷积网络为特征提取网络的最后一层卷积网络时，可以将所述第一模态特征和第二模态特征输入决策融合网络，通过决策融合网络得到显著性检测结果。
在所述第一目标卷积网络和所述第二目标卷积网络为非最后一层卷积网络时，将所述第一模态特征作为所述第一目标卷积层的下一卷积层的输入，以及将所述第二模态特征作为所述第二目标卷积层的下一卷积层的输入，以得到所述第一主干网络的第一输出特征，和所述第二主干网络的第二输出特征，然后融合所述第一输出特征和所述第二输出特征，并根据融合结果确定所述显著性检测结果。
可以理解的是，第一目标卷积层和第二目标卷积层之后的卷积层还设置有FCE，则可以根据以上方式再次进行处理，直至得到第一输出特征和第二输出特征。具体处理方式与上述类似，这里不再赘述。
在本实施例公开的技术方案中，先确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果，然后根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子，根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性，进而根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征，并基于所述第一模态特征和所述第二模态特征确定显著性检测结果。本实施例提出的方案不同于直接地使用独立的主干网提取RGB特征和辅助模态特征的方法，不加区分地引入噪声或者冗余的信息，本实施例提出的方案充分利用多模态特征之间的互补性和不同模态输入的质量缺陷问题通过权重共享的主干网特征提取方式同时提取RGB特征和辅助模态特征，充分地利用多模态特征之间的互补性增强准确的特征表达，从而达成了提高显著性检测结果的鲁棒性的效果。
可选地，请参照图5，基于上述实施例，所述步骤S50包括：
步骤S51：根据所述第一模态特征确定第一主干网络对应的模态的第一决策输出，以及根据所述第二模态特征确定第二主干网络对应的模态的第二决策输出；
步骤S52：根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果。
在本实施例中，所述第一决策输出为第一主干网络的输出，第二决策输出为第二主干网络的输出。当获取到第一决策输出和第二决策输出后，可以将所述第一决策输出和所述第二决策输出的元素和作为初步融合特征，然后对所述初步融合特征进行上采样，得到采样结果，并对所述采样结果进行卷积和全局池化，并根据卷积和池化的结果确定所述显著性检测结果。
示例性地，传统的基于特征融合的策略(Feature-based fusion strategy)依赖于提取的特征的准确性，并对噪声敏感。如果提取的特征可靠性较低，直接融合带有噪声的特征会造成次优的结果。不同于上述实施例中提出的基于特征融合的策略，可以从模态输出的可靠性角度出发，设计一种基于决策融合的策略(Decision-based fusion strategy,DFS)，旨在基于模态输出的准确性来生成更鲁棒和可靠的显著性目标检测结果。
如图3和图6所示，首先来自RGB主干网的RGB特征
被分别送入一个3x3的卷积层(Conv)获得特征
然后
被送入模态特有的RGB解码器GR生成RGB模态的决策输出SR，如下所示：
其中Conv为3x3卷积层，
代表着通道维度的级联操作，U为上采样操作。相似地，可以通过下列式子获得辅助模态的决策输出ST：
然后我们将不同模态的决策输出送入到一个轻量的检测模块(DetectionModule，Det)获得最终的多模态显著性目标检测输出Sf：
Sf＝Det(SR，ST)
如图6所示，可以先将SR和ST进行元素相加操作，获得初步的融合特征。然后对融合特征采用了双线性插值和反卷积将其上采样4倍，然后将其分别实施1x1，3x3，5x5卷积和全局池化操作，捕获多尺度的多模态信息，最后将上述的多尺度信息进行通道维度的级联，并采用一个反卷积将尺寸和通道变换到标签的原始尺寸，生成最终的显著性目标检测输出Sf。这样达成了进一步提高显著性检测结果的鲁棒性的效果。
本发明还提供一种显著性检测设备，所述显著性检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显著性检测程序，所述显著性检测程序被所述处理器执行时实现如上所述的显著性检测方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有显著性检测程序，所述显著性检测程序被处理器执行时实现如上所述的显著性检测方法的各个步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种显著性检测方法，其特征在于，所述显著性检测方法包括以下步骤：
确定第一主干网络第一目标卷积层的第一输出结果，以及第二主干网络第二目标卷积层的第二输出结果；
根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子；
根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性；
根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征；
基于所述第一模态特征和所述第二模态特征确定显著性检测结果。
2.如权利要求1所述的显著性检测方法，其特征在于，所述根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子的步骤之前，还包括：
获取所述第一目标卷积层的长度、宽度和通道信息和所述第二目标卷积层的长度、宽度和通道信息；
所述根据所述第一输出结果确定所述第一全局描述子，以及根据所述第二输出结果确定第二全局描述子的步骤包括：
根据所述第一输出结果以及所述第一目标卷积层的长度、宽度和通道信息确定所述第一全局描述子；
根据所述第二输出结果以及所述第二目标卷积层的长度、宽度和通道信息确定所述第二全局描述子。
3.如权利要求1所述的显著性检测方法，其特征在于，所述根据所述第一全局描述子和所述第二全局描述子确定各个模态的不同通道的重要性的步骤包括：
确定所述第一全局描述子与所述第二全局描述子的第一级联结果；
基于预设的激活函数与所述第一级联结果确定所述重要性。
4.如权利要求1所述的显著性检测方法，其特征在于，所述重要性包括所述第一主干网络对应的第一模态的各个通道的第一重要性，以及所述第二主干网络对应的第二模态的各个通道的第二重要性，所述根据所述重要性以及所述第一输出结果确定第一模态特征，以及根据所述重要性和所述第二输出结果确定第二模态特征的步骤包括：
根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征。
5.如权利要求4所述的显著性检测方法，其特征在于，所述根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征的步骤之前，还包括：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述第二重要性和所述第二输出结果的元素乘积之间的第二级联结果；
确定所述第二级联结果的卷积输出；
所述根据所述第一重要性和所述第一输出结果的元素乘积确定所述第一模态特征，以及根据所述第二重要性和所述第二输出结果的元素乘积确定所述第二模态特征的步骤包括：
根据所述第一重要性和所述第一输出结果的元素乘积，以及所述卷积输出确定所述第一模态特征；以及
根据所述第二重要性和所述第二输出结果的元素乘积，以及所述卷积输出确定所述第二模态特征。
6.如权利要求1所述的显著性检测方法，其特征在于，所述基于所述第一模态特征和所述第二模态特征确定显著性检测结果的步骤包括：
在所述第一目标卷积网络和所述第二目标卷积网络为最后一层卷积网络时，融合所述第一模态特征和所述第二模态特征，并根据融合结果确定所述显著性检测结果；
在所述第一目标卷积网络和所述第二目标卷积网络为非最后一层卷积网络时，将所述第一模态特征作为所述第一目标卷积层的下一卷积层的输入，以及将所述第二模态特征作为所述第二目标卷积层的下一卷积层的输入，以得到所述第一主干网络的第一输出特征，和所述第二主干网络的第二输出特征；以及
融合所述第一输出特征和所述第二输出特征，并根据融合结果确定所述显著性检测结果。
7.如权利要求1所述的显著性检测方法，其特征在于，所述基于所述第一模态特征和所述第二模态特征确定显著性检测结果的步骤包括：
根据所述第一模态特征确定第一主干网络对应的模态的第一决策输出，以及根据所述第二模态特征确定第二主干网络对应的模态的第二决策输出；
根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果。
8.如权利要求7所述的显著性检测方法，其特征在于，所述根据所述第一决策输出和所述第二决策输出确定所述显著性检测结果的步骤包括：
将所述第一决策输出和所述第二决策输出的元素和作为初步融合特征；
对所述初步融合特征进行上采样，得到采样结果；
对所述采样结果进行卷积和全局池化，并根据卷积和池化的结果确定所述显著性检测结果。
9.一种显著性检测设备，其特征在于，所述显著性检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的显著性检测程序，所述显著性检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的显著性检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显著性检测程序，所述显著性检测程序被处理器执行时实现如权利要求1至8中任一项所述的显著性检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507286.9A CN114359162A (zh) | 2021-12-10 | 2021-12-10 | 显著性检测方法、显著性检测设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507286.9A CN114359162A (zh) | 2021-12-10 | 2021-12-10 | 显著性检测方法、显著性检测设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359162A true CN114359162A (zh) | 2022-04-15 |
Family
ID=81099521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111507286.9A Pending CN114359162A (zh) | 2021-12-10 | 2021-12-10 | 显著性检测方法、显著性检测设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359162A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823908A (zh) * | 2023-06-26 | 2023-09-29 | 北京邮电大学 | 一种基于多尺度特征相关性增强的单目图像深度估计方法 |
-
2021
- 2021-12-10 CN CN202111507286.9A patent/CN114359162A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823908A (zh) * | 2023-06-26 | 2023-09-29 | 北京邮电大学 | 一种基于多尺度特征相关性增强的单目图像深度估计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862685B (zh) | 图像拼接的处理方法、装置和电子*** | |
| WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
| CN111583173B (zh) | 一种rgb-d图像显著性目标检测方法 | |
| JP6355346B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
| CN108389224B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20220012851A1 (en) | Image processing method and related device | |
| CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| CN108833785A (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| CN110335216A (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
| WO2020151148A1 (zh) | 基于神经网络的黑白照片色彩恢复方法、装置及存储介质 | |
| JP5676610B2 (ja) | 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法 | |
| JP5640622B2 (ja) | 赤目オブジェクト候補を分類する方法、コンピューター読み取り可能な媒体および画像処理装置 | |
| CN114359162A (zh) | 显著性检测方法、显著性检测设备和存储介质 | |
| CN111160240A (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 | |
| KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
| JP2019220174A (ja) | 人工ニューラルネットワークを用いた画像処理 | |
| US9183454B1 (en) | Automated technique for generating a path file of identified and extracted image features for image manipulation | |
| JP2022095565A (ja) | 画像からシーンテキストを除去するための方法及びシステム | |
| CN115731604A (zh) | 模型训练方法、手势识别方法、装置、设备和存储介质 | |
| CN114764839A (zh) | 动态视频生成方法、装置、可读存储介质及终端设备 | |
| CN115362481A (zh) | 运动模糊鲁棒图像特征描述符 | |
| JP4163651B2 (ja) | 赤目修正作業支援装置およびプログラム | |
| CN112446230A (zh) | 车道线图像的识别方法及装置 | |
| CN114820547B (zh) | 车道线检测方法、装置、计算机设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |