CN111612808B - 前景区域获取方法、装置、电子设备和存储介质 - Google Patents
前景区域获取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111612808B CN111612808B CN201910142863.5A CN201910142863A CN111612808B CN 111612808 B CN111612808 B CN 111612808B CN 201910142863 A CN201910142863 A CN 201910142863A CN 111612808 B CN111612808 B CN 111612808B
- Authority
- CN
- China
- Prior art keywords
- foreground
- foreground extraction
- region
- segmentation
- foreground region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 394
- 230000011218 segmentation Effects 0.000 claims abstract description 154
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000001788 irregular Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005070 sampling Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 101150116295 CAT2 gene Proteins 0.000 description 1
- 101100326920 Caenorhabditis elegans ctl-1 gene Proteins 0.000 description 1
- 101100494773 Caenorhabditis elegans ctl-2 gene Proteins 0.000 description 1
- 101100112369 Fasciola hepatica Cat-1 gene Proteins 0.000 description 1
- 101100005271 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cat-1 gene Proteins 0.000 description 1
- 101100126846 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) katG gene Proteins 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了前景区域获取方法、装置、电子设备和存储介质，涉及图像处理领域。本申请所提供的前景区域获取方法，采用分割边框的重合度先将各个前景提取结果进行了归类，而后再将同一类的前景提取结果中的第一前景区域进行了融合。由于分割边框是规则图形，因此使用分割边框计算重合度的计算量要小的多，也就是，采用分割边框的重合度来进行前景区域融合的方式，要比相关技术中的方案所付出的计算量更小。并且，分割边框是每个前景提取模型所必然会输出的一个结果，因此，本方案中使用了分割边框进行辅助分类，并不需要对模型进行改动，进而，使用本申请的方案能够在不改变原有模型的基础上，提高***整体的计算效率。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及前景区域获取方法、装置、电子设备和存储介质。
背景技术
近些年，随着神经网络技术的快速进步，神经网络技术已经应用到了各个领域中，比如面部识别技术、车牌识别技术、前景提取技术中都有使用到神经网络技术。
前景提取技术在使用前，首先要完成对前景提取神经网络的训练。通常情况下，为了提高前景提取的准确度，技术人员会准备大量的训练样本来训练前景提取神经网络。训练对前景提取神经网络所使用的训练样本越多，则前景提取神经网络的识别精度就越高。
发明内容
本申请的目的在于提供前景区域获取方法、装置、电子设备和存储介质。
本申请提供了一种前景区域获取方法，包括：
分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；
根据不同所述分割边框之间的重合度，将前景提取结果进行归类；
针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
在一些实施例中，第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
在一些实施例中，根据不同所述分割边框之间的重合度，将前景提取结果进行归类，包括：
根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；
分别计算每个其他分割边框与目标分割边框的重合度；
根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，根据不同所述分割边框之间的重合度，将前景提取结果进行归类，包括：
根据每个分割边框的类型，将每个分割边框进行分类；
针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果，包括：
获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
在针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域后，所述方法还包括：
根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
本申请还提供了一种前景区域获取装置，包括：
第一前景提取模块，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；
第一归类模块，用于根据不同所述分割边框之间的重合度，将前景提取结果进行归类；
第一融合模块，用于针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第一确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第一计算单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
第二确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第三确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
第四确定单元，用于针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第五确定单元，用于针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
在一些实施例中，第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
在一些实施例中，第一归类模块，包括：
第一选择单元，用于根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；
第二计算单元，用于分别计算每个其他分割边框与目标分割边框的重合度；
第一归类单元，用于根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，第一归类模块，包括：
第一分类单元，用于根据每个分割边框的类型，将每个分割边框进行分类；
第二选择单元，用于针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
第三计算单元，用于针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
第二归类单元，用于针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，第一前景提取模块，包括：
第一获取单元，用于获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
第一提取单元，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
所述装置还包括：
第一生成模块，用于根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
本申请还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如前景区域获取方法的步骤。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前景区域获取方法的步骤。
本申请所提供的前景区域获取方法，首先分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；而后，根据不同所述分割边框之间的重合度，将前景提取结果进行归类；最后，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
相关技术中，在进行前景区域融合的时候，是直接采用前景区域的位置，计算目标对象和每个其他对象的前景区域的重合度，并根据前景区域的重合度对前景区域进行了归类，并将同一类的前景区域进行融合。由于前景区域的形状是不规则的，这导致计算目标对象的前景区域和其他对象的前景区域重合度时，会导致***要消耗大量的计算资源。
而本申请所提供的方法，采用分割边框的重合度先将各个前景提取结果进行了归类，而后再将同一类的前景提取结果中的第一前景区域进行了融合。由于分割边框是规则图形，因此使用分割边框计算重合度的计算量要小的多，也就是，采用分割边框的重合度来进行前景区域融合的方式，要比相关技术中的方案所付出的计算量更小。并且，分割边框是每个前景提取模型所必然会输出的一个结果，因此，本方案中使用了分割边框进行辅助分类，并不需要对模型进行改动，进而，使用本申请的方案能够在不改变原有模型的基础上，降低***整体的计算成本。
在某种实时方式中，本申请所提供的方法还提供了基于第一前景区域的置信度来确定第二前景区域的方案，由于引入了第一前景区域的置信度，使得可以根据每个第一前景区域的置信度计算出每个子区域的前景概率，并根据每个子区域的前景概率确定出第二前景区域，这样可以使得确定出的前景区域的针对性更强。
在某种实时方式中，本申请所提供的方法还提供了基于第一前景区域的置信度或像素位置的置信度来确定第二前景区域的方案，由于引入了像素位置置信度，使得可以先确定出每个像素位置是否属于第二前景区域，进而使得最终确定出的第二前景区域更为精细化。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了使用第一个前景提取模型对待提取图像进行前景提取，进而得到的前景区域（前景提取的结果）的示意图；
图2示出了本申请实施例所提供的前景区域获取方法的基本流程图；
图3分割边框和前景区域的示意图；
图4示出了某一个目标对象所在的前景区域和包围该前景区域的分割边框的示意图；
图5示出了同一类前景提取结果中的两个第一前景区域的重合情况示意图；
图6示出了某个分割边框中每个像素位置的置信度分布情况示意图；
图7示出了本申请实施例所提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，前景提取技术已经广泛的应用到了各行各业中，比如监控技术中，需要使用前景提取技术来抓取到图像中所出现的各个目标对象，并发现目标对象的移动规律；又比如，自动驾驶技术中，需要使用前景提取技术来抓取到图像中所出现的各个目标对象，并判断目标对象的位置，以生成足够有针对性的自动驾驶策略。
通常情况下，前景提取技术在使用前，首先要完成对前景提取神经网络的训练，而后才能使用训练好的前景提取神经网络从图像中提取指定目标的前景图像。通常情况下，为了提高前景提取的准确度，技术人员会准备大量的训练样本来训练前景提取神经网络，以保证前景提取神经网络的提取精度。
实际使用时，前景提取模型又可以分为多个不同的种类，这主要是受到模型具体结构（如不同神经网络层之间的排列关系、关联关系，每个神经网络层的具体结构等）的影响。进而，虽然每个前景提取模型都是使用了大量的训练样本进行训练的，但每个前景提取模型对同一个图像进行前景提取的结果也是有差别的。
进而，相关技术中，为了提高前景提取的准确性，会采用将各个前景提取模型输出的前景提取结果进行融合的方式来确定最终的前景提取结果。如图1所示，示出了使用第一个前景提取模型对待提取图像进行前景提取，进而得到的前景区域（前景提取的结果）的示意图。可见，使用第一个前景提取模型对待提取图像进行前景提取后所得到了4个前景提取结果，也就是提取到的目标对象有4个，分别是猫1、猫2、狗和鸭子；其中，每个目标对象都通过刚好包围该目标对象的前景边界（前景边界通常是不规则图形）来表征其对应的前景区域。一般情况下，目标对象的前景区域有两种表达方式，分别是使用如图1中包围目标对象的前景边界（contour）来表达，和使用覆盖目标对象的前景区域的图像膜（mask）来表达。通常，一个前景提取模型对待提取图像进行前景提取后，至少会输出一个前景提取结果。
通常情况下，使用不同的前景提取模型来对待提取图像进行前景提取后，所得到的前景提取结果是大致相同的（比如，不同前景提取模型所输出的前景提取结果中，每个目标对象的位置是大致相同的；同时，每个目标对象的范围有少量差别的）。进而，在将不同的前景提取结果进行融合的时候，通常是按照如下步骤来实现的：
步骤1，针对每个前景提取结果（任一个前景提取模型所输出的每个前景提取结果），根据该前景提取结果中第一目标对象的前景区域，分别计算其他目标对象（其他前景提取结果中的目标对象）与该第一目标对象的位置重合度；
步骤2，将与第一目标对象的位置重合度超过预定数值的其他目标对象的前景区域与第一目标对象的前景区域进行融合，以得到对象1的优化的前景区域。
其中，其他目标对象可以是任一个其他前景提取模型所输出的前景提取结果中的目标对象。
如下表1所示，示出了使用第一个前景提取模型对待提取图像进行前景提取后的结果。
表1
由表1可见，该第一前景提取模型输出了三个前景提取结果，每个前景提取结果中均包括目标对象、前景区域和目标对象的类型。
如下表2所示，示出了使用第二个前景提取模型对待提取图像进行前景提取后的结果。
表2
由表2可见，该第二前景提取模型也输出了三个前景提取结果，每个前景提取结果中均包括目标对象、前景区域和目标对象的类型。
进而，针对表1中的对象1，需要根据对象1的前景区域1分别与表2中的对象4、5和6的前景区域进行重合度的计算，而后，再将与对象1重合度较高的其他对象的前景区域，与对象1的前景区域进行融合，进而得到关于对象1的优化的前景区域。
也就是，有多少个其他前景提取结果，就有多少个其他目标对象，在计算重合度的时候，就要计算多少次。比如基于上述表1和2的内容，第二个前景提取模型所得到的前景提取结果有3个；假如第三个前景提取模型所得到的前景提取结果有5个；第四个前景提取模型所得到的前景提取结果有4个；则针对对象1计算重合度的时候，就要计算12次。
通常，前景区域是一个不规则的区域，从图1中可以看出，前景区域实际上是一个刚好能够覆盖住目标对象的一块不规则区域。进而，在针对不规则区域计算重合度的时候，会导致***的负担过大（***可能需要将两个不规则区域中的每个像素点的都进行对比），尤其是针对每个对象，有多少个其他对象就要计算多少次重合度，这大大加重了***的负担。
针对上述情况，如图2所示，本申请提供了一种前景区域获取方法，包括：
S101，分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 前景提取结果包括待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；
S102，根据不同分割边框之间的重合度，将前景提取结果进行归类；
S103，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
步骤S101中，不同的前景提取模型指的是计算规则（进行前景提取的规则）有差别的前景提取模型，使用不同的前景提取模型进行前景提取而得到的前景提取结果可能是相同的，也可能是不同的。前景提取模型所输出的前景提取结果中，除了有目标对象的第一前景区域（不规则图形）以外，还有包围第一前景区域的分割边框（规则图形）。第一前景区域的概念已经在前文中进行了说明，其主要是用来表征某个对象的覆盖范围，通常第一前景区域是一个不规则图形。分割边框（bounding box）是包围前景区域的边框，该分割边框也可以称为回归边框，通常情况下，分割边框是一个规则的图形，大部分情况下，分割边框是一个矩形。
如图3所示，示出了分割边框和前景区域的示意图。图3左侧的图中示出了包围每个目标对象的分割边框（呈矩形），图3右侧的图示出了包围每个目标对象的前景区域（呈不规则图形）。通过图3可见，某种程度上，分割边框可以认为是对目标对象的粗定位，前景区域可以认为是对目标对象的细定位。
如图4所示，示出了某一个目标对象所在的前景区域和包围该前景区域的分割边框的示意图。从图4中可以看出，针对某个目标对象而言，前景区域是刚好能够包围住目标对象的区域，而分割边框则是比前景区域稍大的，形状更加规则的边框。也就是，通常情况下，分割边框所包围的面积是比前景区域的面积更大的；分割边框的形状通常是矩形（如正方形或长方形）。
某些情况下，前景提取模型得到前景区域的过程可以认为是：先确定出目标对象所在的分割边框，而后，再从分割边框中提取出目标对象所在的前景区域。
具体的，某个前景提取模型在生成前景区域的时候，可以是按照如下步骤实现的：
步骤11，按照预设的步长，在待提取图像中选择多个采样点；其中，步长反映了相邻的两个采样点之间的距离；
步骤12，分别以每个采样点为基础，按照预定的采样窗口大小，从待提取图像中提取出多个采样窗口；其中，以每个采样点为基础进行采样的时候，可以确定出多个采样窗口（采样点通常是采样窗口的中心）；以同一个采样点为基础进行采样而得到的采样窗口的形状、大小会有所差别，以保证目标对象能够落入到至少一个采样窗口中；
步骤13，分别计算目标对象在每个采样窗口中的概率；
步骤14，从概率最高的采样窗口中提取出目标对象的前景区域，并确定目标对象的类型。
通过上述4个步骤可以看出，在确定目标对象的前景区域时，首先要确定包围该前景区域的采样窗口，而后，再从包围该前景区域的采样窗口中提取出前景区域。
此处，概率最高的采样窗口也就是分割边框，目标对象的前景区域也就是从该概率最高的采样窗口中得到的。
通过执行步骤S101，能够得到每个前景提取模型所对应的至少一个前景提取结果，在一个前景提取结果中，只存在有一个目标对象，每个目标对象通常都有三种信息来表征，分别是第一前景区域、分割边框和目标对象的识别结果（目标对象是猫还是狗，还是什么）。
进而，对于任意一个前景提取结果，都可以通过如下表3的形式进行表达：
表3
如表3所示，可以看出，通过某个前景提取模型输出的3个前景提取结果，每个前景提取结果中都有唯一的一个目标对象，每个目标对象都有唯一的一个前景区域，并且有唯一的一个分割边框和对应的一个类型。通常情况下，不同目标对象的前景区域是不相同的，进而，分割边框也是不相同的（某些分割边框可能会部分重合，但一般不会完全相同）。每个目标对象通常只有唯一的一个类型。
在步骤S101中确定了每个前景提取模型所输出的前景提取结果之后，就可以在步骤S102中分别计算每个分割边框的重合度了。分割边框的重合度实际上反映了不同分割边框之间的位置相似度。
具体的，在计算分割边框的重合度时，首先要确定分割边框所在的区域（或者说分割边框的位置、分割边框的坐标）。本方案中，分割边框所在的区域是相对于待提取图像而言的，比如，分割边框所在的区域可以是由分割边框在待提取图像中的位置来表征。进而，不同分割边框的重合度也可以认为不同分割边框所在位置的相似度。不同分割边框的重合度越高，则说明这两个分割边框中的目标对象越可能是同一个目标对象，进而，可以采用重合度的方式来确定不同的前景提取结果是否同一个。进而，步骤S102的实现过程也可以认为是基于分割边框重合度的将前景提取结果进行聚类（分类）的过程。此处，每个前景提取结果只能分到一个类别中。
在确定好前景提取结果的分类之后，步骤S103中，就可以将同一类的前景提取结果中的第一前景区域进行融合了，以得到该类前景提取结果所对应的目标对象的第二前景区域，该第二前景区域可以认为是将某一类目标对象所对应的多个第一前景区域采用求平均，或加权求平均计算的方式得到的。进而，由于第二前景区域综合考量了各个第一前景区域的情况，因此结果是更加准确的。
在确定第二前景区域的时候，可以是将每个第一前景区域的前景边界进行融合，也可以是根据每个第一前景区域的像素点的位置来确定第二前景区域中每个像素点的位置。
本申请所提供的方法，在将不同的前景提取结果进行归类的时候（也就是将第一前景区域进行归类），不再是使用形状不规则的第一前景区域的重合度来确定分类，而是使用了形状规则的分割边框的重合度进行分类，使得分类的过程相对简单，进行分类时所占用***资源更少。
具体的，如前文中所说，相关技术中，在进行前景区域融合的时候，是直接采用前景区域的位置，计算目标对象和每个其他对象的前景区域的重合度，并根据前景区域的重合度对前景区域进行了归类，并将同一类的前景区域进行融合。由于前景区域的形状是不规则的，这导致计算目标对象的前景区域和其他对象的前景区域重合度时，会导致***要消耗大量的计算资源。
对应的，本申请所提供的方案中，采用分割边框的重合度先将各个前景提取结果进行了归类，而后再将同一类的前景提取结果中的第一前景区域进行了融合。由于分割边框是规则图形，因此使用分割边框计算重合度的计算量要小的多（比如，可以根据分割边框的几个顶点来计算重合度），也就是，采用分割边框的重合度来进行前景区域融合的方式，要比相关技术中的方案所付出的计算量更小。并且，分割边框是每个前景提取模型所必然会输出的一个结果，因此，本方案中使用了分割边框进行辅助分类，并不需要对模型进行改动，进而，使用本申请的方案能够在不改变原有模型的基础上，提高***整体的计算效率。
步骤S103在实现的时候，可以认为是根据同一类前景提取结果中的第一前景区域范围来确定第二前景区域的范围。比如，对于某一个像素位置（某个像素点的位置），可以根据每个第一前景区域是否包含该像素位置的情况，来确定该像素位置是否属于第二前景区域。换个角度来看，也可以将该过程理解为投票的过程，也就是，对于任一个像素位置而言，可以根据每个第一前景提取结果对该像素位置的识别情况（第一前景区域是否包含该像素位置的情况）来确定该像素位置的是否属于第二前景区域。
进而，步骤S103，在确定第二前景区域的时候，有三种实现方式，分别是直接根据每个第一前景区域所包含的像素位置来确定第二前景区域、基于每个第一前景区域的置信度来确定第二前景区域，和基于每个像素位置的置信度来确定第二前景区域。
下面，分别对这三种方案进行介绍：
第一种步骤S103的实现方式：
针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定该类前景提取结果所对应的目标对象的第二前景区域。
由此可见，第一种实现方式是直接根据每个第一前景区域所包含的像素位置来确定第二前景区域。
比如，某一类前景提取结果中共有10个第一前景区域；对于A像素位置，有9个第一前景区域包含了A像素位置，有1个第一前景区域没有包含A像素位置；则可以认为该类前景提取结果所对应的第二前景区域应当包含有A像素位置（因为较多的第一前景区域中包含了该位置）。
也就是，具体来说步骤S103可以按照如下方式实现：
步骤1031，针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
步骤1032，针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
其中，每个像素位置的前景概率可以只是根据该像素位置出现在了多少个前景区域中来确定的。比如，某一类前景提取结果中共有10个第一前景区域，对于A像素位置，有9个第一前景区域没有包含A像素位置，有1个第一前景区域包含A像素位置；则可以认为A像素位置属于该类前景提取结果所对应的第二前景区域的概率是0.1（A像素位置的前景概率是0.1）。
又比如，某一类前景提取结果中共有10个第一前景区域，对于A像素位置，有9个第一前景区域包含A像素位置，有1个第一前景区域没有包含A像素位置；则可以认为A像素位置属于该类前景提取结果所对应的第二前景区域的概率是0.9（A像素位置的前景概率是0.9）。
如图5所示，示出了同一类前景提取结果中的两个第一前景区域的重合情况，可见这两个第一前景区域中大部分的区域是重合的，重合区域中的像素位置也就是同时存在于两个第一前景区域中的，进而，重合区域中的像素位置的前景概率可以认为是1。只位于一个第一前景区域中的像素位置的前景概率可以认为是0.5。没有被任何一个第一前景区域所包围的像素位置的前景概率是0。
对于步骤1032而言，根据某个像素位置的前景概率，确定该像素位置是否属于对应的第二前景区域，可以是直接将该像素位置的前景概率与预定的阈值进行比较，如果大于阈值就可以认为该像素位置属于该类前景提取结果所对应的目标对象的第二前景区域。比如，如果某像素位置的前景概率超过0.5，就可以认为该像素位置属于该类前景提取结果所对应的目标对象的第二前景区域；或者是某像素位置的前景概率超过0.7，就可以认为该像素位置属于该类前景提取结果所对应的目标对象的第二前景区域.此处的0.5和0.7就是预设的阈值。
具体实现时，考虑到某些前景提取模型受到其性能的影响，可能无法准确的提取到某一类前景。比如，某些前景提取模型擅长提取大物体，某些前景提取模型擅长提取小物体，这是受模型本身影响而产生的结果。为了保证提取的准确度，可以是如果某个像素位置出现在了至少一个第一前景区域中，则认为该像素位置属于对应的第二前景区域。
比如，某一类前景提取结果中共有10个第一前景区域；对于A像素位置，有9个第一前景区域没有包含像素位置，有1个第一前景区域包含A像素位置；则可以认为该类前景提取结果所对应的第二前景区域应当包含有A像素位置。或者说，只要有至少一个第一前景区域包含了A像素位置，则该类前景提取结果所对应的第二前景区域应当包含有A像素位置。
也就是，在某些特殊的情况下，步骤S103可以按照如下实现：
针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
也就是，对于A像素位置而言，如果A像素位置出现在了该类前景提取结果中的任一个第一前景区域中，则可以认为，该类前景提取结果所对应的目标对象的第二前景区域中应当包含有A像素位置。
第二种步骤S103的实现方式，步骤S103可以按照如下方式实现：
步骤1033，针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
由此可见，第二种实现方式是根据每个第一前景区域所包含的像素位置的置信度来确定第二前景区域的。
也就是，前景提取模型在输出每个第一前景区域的位置的同时，还会输出该第一前景区域的置信度，该置信度是用于表征该第一前景区域属于指定类型（如猫、狗）的概率。进而，在确定该类前景提取结果所对应的目标对象的第二前景区域时，就可以是更多的参照置信度较高的第一前景区域的位置，以及更少的参照置信度较低的第一前景区域的位置。
也就是，在依据第一前景区域的置信度来确定第二前景区域的时候，可以是采用加权求平均的方式来计算出每个子区域的前景概率（此处，加权时的权重可以就是根据第一前景区域的置信度确定的）；并根据每个子区域的前景概率和预设的阈值，来分别确定每个子区域是否可作为第二前景区域中的区域。进而，就可以确定第二前景区域了。
此处，子区域主要是指只存在于部分第一前景区域中的区域（对于同时存在于所有第一前景区域中的子区域而言，该子区域通常是必然会作为第二前景区域中的组成部分的）。
对于任意一个子区域而言，可以直接根据子区域所在每个第一前景区域的置信度来计算该子区域的前景概率。如图5所示，对于中间的同时存在于两个第一前景区域中的子区域，就可以根据两个第一前景区域的置信度来计算该子区域的前景概率。对于边缘那些只存在于某一个第一前景区域中的子区域而言，可以直接将包含有该子区域的第一前景区域的置信度作为该子区域的前景概率。
实际上，模型在输出第一前景区域的时候，还会输出第一前景区域的类型，同时，也会得到第一前景区域属于该类型的概率（如属于人的概率、属于车的概率等等），此处可以直接将第一前景区域属于该类型的概率作为第一前景区域的置信度。
在此基础上，模型在输出第一前景区域的时候，还可以分别输出第一前景区域中每个像素位置的置信度，如图6所示，示出了某个分割边框中每个像素位置的置信度分布情况，该像素位置的置信度表征了该像素位置是前景图像的概率。从图6中可以看出，越靠近中央的像素位置的置信度越高，某些像素位置的置信度为0，则表示该像素位置不可能是前景图像。也就是，置信度不为0的像素位置组成了第一前景区域。如图6中所示，粗实线所圈画出的区域就是位于该分割边框中的第一前景区域。
进而，在确定了每个像素位置的置信度之后，就可以根据第一前景区域中每个像素位置的置信度，确定第一前景区域的置信度。
比如，就可以根据第一前景区域中每个像素位置的置信度，计算第一前景区域中像素位置的置信度平均值，并将该置信度平均值作为该第一前景区域的置信度。当然，根据第一前景区域中每个像素位置的置信度，确定第一前景区域的置信度的方式，不只是可以将像素位置的置信度平均值作为该第一前景区域的置信度。还可以是自由的选择将第一前景区域中，像素位置的置信度最大值、最小值、中间值或任意一个数值作为该第一前景区域的置信度。
也就是，针对每个第一前景区域，该第一前景区域的置信度可以是根据该第一前景区域中每个像素位置的置信度确定的。其中，可以将该第一前景区域中像素位置的置信度最大值、最小值、中间值或平均值中的任意一个数值作为该第一前景区域的置信度。
具体实现时，采用上述笼统的根据第一前景区域的置信度来确定每个子区域是否属于第二前景区域是不够准确的，主要是上述根据第一前景区域的置信度来确定第二前景区域的时候，是将第一前景区域的中每个像素位置的置信度都设置成了相等的情况，这样在确定第二前景区域时，可能会导致方案缺乏针对性。
进而，为了更加精确的确定第二前景区域，本申请发明人认为可以采用如下第三种执行步骤S103的方式，也就是步骤S103可以按照如下方式实现：
步骤1034，针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
步骤1035，针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
也就是，步骤1034中，是针对每个像素位置，确定该像素位置的前景概率（是根据该像素位置在该类中每个第一前景区域在该像素位置的置信度来计算该像素位置的前景概率的），并根据每个像素位置的前景概率，确定第二前景区域中是否包含该像素位置。
此处，像素位置的置信度已经在前文中进行了说明，此处不再重复说明。
如表4所示，示出了每个前景提取模型所输出的针对某个目标对象的结果。
表4
由表4可见，某一个前景提取结果中，针对一个目标对象1，列出了该目标对象1的第一前景区域中所包含的三个像素位置的坐标，以及每个像素位置的置信度。此处，置信度反映了每个像素位置是前景位置的概率，或者是说，置信度反映了每个像素位置属于对应类型的概率。实际上每个前景提取结果中所包含的像素位置是大量的，表4中仅是以示例的形式展示了其中的三个。
更具体的，像素位置的置信度可以是根据像素位置的前景概率和该像素位置所在的前景提取结果所对应的类型的概率计算能得到的。
如下表5所示，示出了针对某一个前景提取结果中的每个像素位置的置信度与类型概率和前景概率的对应关系。
表5
表5中，类型概率反映了前景提取结果1是1是猫的概率，由于每个像素位置都是在前景提取结果1中，因此，表5中的每个像素位置的类型概率都是相同的，都是0.9；但每个像素位置的前景概率却是不相同的，比如（1,4）的前景概率是0.9，（1,5）的前景概率是0.8，（1,6）的前景概率是0.7。
进而，可以看出（1,4）的置信度是前景提取结果1的类型概率0.9与前景提取结果1中（1,4）的前景概率的乘积。类似的，（1,5）和（1,6）的置信度也是按照此种方式计算得到的。也就是，像素位置的置信度，不仅和该像素位置的前景概率有关，还可以和该像素位置所在的前景提取结果的类型有关。
进而，在确定了每个像素位置的置信度之后，就可以确定分别针对每个像素位置所对应的置信度来确定该像素位置的前景概率了。
如表6所示，示出了不同的前景提取结果中针对每个像素位置的置信度。
表6
由表6可见，每个前景提取结果中都有关于像素位置1的置信度，进而，可以采用求取平均的方式，能够确定出像素位置1的前景概率。类似的，可以按照此种方式分别确定出每个像素位置的前景概率。当然，计算每个像素位置的前景概率的方式并不仅限于求取平均值，也可以是将该像素位置所对应的多个前景提取结果中的置信度中的最大值，或最小值，或中间值或任一个数值作为该像素位置的前景概率。
在确定了每个像素位置的前景概率之后，就可以根据该像素位置是否超过预定的阈值，来确定该像素位置是否是第二前景区域中的像素位置（或者说该像素位置是否归属于第二前景区域）。在某些情况下，可以通过调整阈值的大小，来控制第二前景区域的范围，比如，一个阈值的典型值可以设置为0，此种情况下，只要有一个第一前景区域包含了目标像素位置，则第二前景区域中就必然会包含该目标像素位置。此种实现方式可以保证只要有一个前景提取模型能够提取到某个目标对象的第一前景区域时，该目标对象就会被最终提取出来。此时，由于只有一个关于该目标对象的第一前景区域，那么该目标对象的第一前景区域，也就可以直接作为该目标对象的第二前景区域了。
基于前三种步骤S103的实现方式，不论是使用哪种实现方式，具体确定的第二前景区域都有两种情况，分别是第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
前文中说明了步骤S103的几种具体实现方式，通过这些具体的实现方式，可以使得方案在实现时更有针对性。实际上，步骤S102也有多种具体的实现方式，具体来说，步骤S102的实现方式可以分为2种，第一种是直接计算任意两个分割边框的重合度，并归类；第二种是先找到基准边框，而后，其他的每个分割边框都计算与该基准边框的重合度，并归类。下面，分别对这二种方式进行说明：
第一种步骤S102的实现方式，直接计算任意两个分割边框的重合度，并归类：
按照此种方式来执行步骤S102的时候，需要计算任意两个分割边框的重合度，如果重合度很高，则这两个分割边框就应当分在同一类中，以此种方式，可以将不同的分割边框归到同一类中。
但，此种计算方式的计算量较大，主要是其需要计算任意两个分割边框的重合度，虽然分割边框是规则图形，计算分割边框的重合度的计算量要小于计算前景区域的重合度的计算量，但这种计算方式依然要计算过多的次数。
进而，针对第一种步骤S102的实现方式的不足，本方案还提供了第二种步骤S102的实现方式，也就是先找到基准边框，而后，其他的每个分割边框都计算与该基准边框的重合度，并归类。
此种情况下，步骤S102可以按照如下方式实现：
步骤1021，根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；
步骤1022，分别计算每个其他分割边框与目标分割边框的重合度；
步骤1023，根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
步骤1021中，分割边框的置信度可以认为是其对应的第一前景区域的置信度，该置信度是由前景提取模型输出的。选择目标分割边框的时候，通常是直接选择置信度最高的分割边框作为目标分割边框。
步骤1022中，可以直接计算每个其他分割边框（除目标分割边框以外的分割边框）与目标分割边框的重合度，计算重合度的方式较多，比如可以按照如下公式来计算重合度：
重合度=；
此处的重合度是用来描述其他分割边框与目标分割边框的重合度的，因此，如果某个其他分割边框的重合度较高，则说明该其他分割边框应当与目标分割边框划分到同一类中。反之，则不应当与目标分割边框划分到同一类中。
进而，按照此种方式能够确定哪些其他分割边框可以归到目标分割边框所在的类型中。
步骤1021-1023的过程，至少能够将其他分割边框分成两类，即属于目标分割边框这一类的其他分割边框，和不属于目标分割边框这一类的其他分割边框。
在步骤1021-1023的基础上，还可以是先按照各个分割边框的类型，先将分割边框进行分类，而后，在针对已经分类后的分割边框进行归类。
具体来说，步骤102可以按照如下方式实现：
步骤1024，根据每个分割边框的类型，将每个分割边框进行分类；
步骤1025，针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
步骤1026，针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
步骤1027，针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
步骤1024中，分割边框的类型（如猫、狗）是前景提取模型直接输出的，该分割边框的类型也就是第一前景区域的类型。进而，步骤1024中则是按照每个分割边框的类型，将类型相同的分割边框划分到同一个类型中。
步骤1025中，选择目标分割边框的方式与步骤1021中选择分割边框的方式相同，可以是选择该类分隔边框中置信度最高的分割边框作为目标分割边框。
步骤1026中，计算重合度的方式与步骤1022的方式相似，差别在于步骤1026中是分别针对每一类分割边框，使用的步骤1022的处理方式。
步骤1027中，前景提取结果进行归类的方式与步骤1023相似，差别在于步骤1027中是分别针对每一类分割边框，使用的步骤1023的处理方式。通过步骤1027，可以针对每一类的前景提取结果进行更为细致的归类，以提高归类的准确度。归到同一类中的前景提取结果的类型是相同的，并且前景提取结果中分割边框的重合度也是较高的。
下面提供一个本申请所提供的前景区域获取方法的具体使用方式。
本申请所提供的前景区域获取方法可以应用的场景较多，但尤其适用于计算***的计算能力不够高，或者是环境相对复杂的使用场景中。通过前文中的描述，可知本申请所提供的前景区域获取方法的主要功能是降低***在计算第二前景区域时的资源占用过高的问题。因而，本申请所提供的方法可以主要应用在自动驾驶领域。在自动驾驶领域中，负责计算的主要是车载***，由于车载***的计算能力有限，因此应当采用本申请所提供的优化算法来让车载***进行第二前景区域的提取。
车载***生成了目标对象的第二前景区域后，可以根据目标对象的第二前景区域来制动自动形式策略，比如可以根据第二前景区域的位置（第二前景区域在图像中的位置）来确定第二前景区域所对应的目标对象与车辆的相对位置，进而，确定自动行驶策略。
也就是，本申请所提供的方案中，步骤S101可以按照如下方式实现：
步骤1011，获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
步骤1012，分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
在步骤S103之后，所述方法还包括：
根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
步骤1011中，使用车载摄像头对路况环境进行拍摄后得到的照片可以直接作为待提取图像，也可以是将使用车载摄像头对路况环境进行拍摄后得到的照片中的一部分图像作为待提取图像。
此处的车载摄像头可以是照相机、摄像机等等任一种图像获取装置。
步骤1012的实现方式在前文中已经说明，此处不再重复说明。
根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略的具体方式主要是根据第二前景区域在待提取图像中的相对位置，来确定第二前景区域和车辆的相对位置，而后，根据第二前景区域和车辆的相对位置来确定是否应当左转、右转、制动灯具体的操作方式。
与上述方法相对应的，本申请还提供了本申请还提供了一种前景区域获取装置，包括：
第一前景提取模块，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；
第一归类模块，用于根据不同所述分割边框之间的重合度，将前景提取结果进行归类；
第一融合模块，用于针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第一确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第一计算单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
第二确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第三确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
第四确定单元，用于针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
在一些实施例中，第一融合模块，包括：
第五确定单元，用于针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
在一些实施例中，第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
在一些实施例中，第一归类模块，包括：
第一选择单元，用于根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；
第二计算单元，用于分别计算每个其他分割边框与目标分割边框的重合度；
第一归类单元，用于根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，第一归类模块，包括：
第一分类单元，用于根据每个分割边框的类型，将每个分割边框进行分类；
第二选择单元，用于针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
第三计算单元，用于针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
第二归类单元，用于针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
在一些实施例中，第一前景提取模块，包括：
第一获取单元，用于获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
第一提取单元，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
所述装置还包括：
第一生成模块，用于根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
与上述方法相对应的，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前景区域获取方法的步骤。
如图7所示，为本申请实施例所提供的电子设备示意图，该电子设备1000包括：处理器1001、存储器1002和总线1003，存储器1002存储有执行指令，当电子设备运行时，处理器1001与存储器1002之间通过总线1003通信，处理器1001执行存储器1002中存储的前景区域获取方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (18)
1.一种前景区域获取方法，其特征在于，包括：
分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；其中，所述第一前景区域为不规则图形，所述分割边框为规则图形，且所述分割边框是包围所述前景区域的边框；
根据不同所述分割边框之间的重合度，将重合度高的前景提取结果归为一类；
针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域；
所述根据不同所述分割边框之间的重合度，将重合度高的前景提取结果归为一类，包括：
根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；分别计算每个其他分割边框与目标分割边框的重合度；根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类；所述置信度是由对应的前景提取模型输出。
2.根据权利要求1所述的方法，其特征在于，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
3.根据权利要求1所述的方法，其特征在于，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
4.根据权利要求1所述的方法，其特征在于，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
5.根据权利要求1所述的方法，其特征在于，针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域，包括：
针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
6.根据权利要求1-5任一项所述的方法，其特征在于，第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
7.根据权利要求1所述的方法，其特征在于，所述根据不同所述分割边框之间的重合度，将重合度高的前景提取结果归为一类，包括：
根据每个分割边框的类型，将每个分割边框进行分类；
针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
8.根据权利要求1所述的方法，其特征在于，分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果，包括：
获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
在针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域后，所述方法还包括：
根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
9.一种前景区域获取装置，其特征在于，包括：
第一前景提取模块，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果； 所述前景提取结果包括所述待提取图像中的目标对象所在的第一前景区域和包围第一前景区域的分割边框；其中，所述第一前景区域为不规则图形，所述分割边框为规则图形，且所述分割边框是包围所述前景区域的边框；
第一归类模块，用于根据不同所述分割边框之间的重合度，将重合度高的前景提取结果归为一类；第一归类模块，包括：第一选择单元，用于根据每个分割边框的置信度，从多个分割边框中选择目标分割边框；第二计算单元，用于分别计算每个其他分割边框与目标分割边框的重合度；第一归类单元，用于根据每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类；所述置信度是由对应的前景提取模型输出；
第一融合模块，用于针对同一类前景提取结果，将该类前景提取结果中的第一前景区域进行融合，以确定该类前景提取结果所对应的目标对象的第二前景区域。
10.根据权利要求9所述的装置，其特征在于，第一融合模块，包括：
第一确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域的位置和每个第一前景区域的置信度，确定该类前景提取结果所对应的目标对象的第二前景区域。
11.根据权利要求9所述的装置，其特征在于，第一融合模块，包括：
第一计算单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个第一前景区域内各个像素位置的置信度，分别计算该类前景提取结果中每个像素位置的前景概率；
第二确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
12.根据权利要求9所述的装置，其特征在于，第一融合模块，包括：
第三确定单元，用于针对同一类前景提取结果，根据该类前景提取结果中的每个第一前景区域所包含的像素位置，确定每个像素位置的前景概率；
第四确定单元，用于针对同一类前景提取结果，根据每个像素位置的前景概率，确定该类前景提取结果所对应的目标对象的第二前景区域。
13.根据权利要求9所述的装置，其特征在于，第一融合模块，包括：
第五确定单元，用于针对同一类前景提取结果，将出现在该类前景提取结果的至少一个第一前景区域中的像素位置，作为该类前景提取结果所对应的目标对象的第二前景区域中的像素位置。
14.根据权利要求9-13任一项所述的装置，其特征在于，第二前景区域是由第二前景区域的范围内所包含的全部像素位置所组成；或，第二前景区域是由第二前景区域的轮廓点所组成。
15.根据权利要求9所述的装置，其特征在于，第一归类模块，包括：
第一分类单元，用于根据每个分割边框的类型，将每个分割边框进行分类；
第二选择单元，用于针对每一类分割边框，根据该类分割边框中每个分割边框的置信度，从多个分割边框中选择目标分割边框；
第三计算单元，用于针对每一类分割边框，分别计算该类分割边框中，每个其他分割边框与目标分割边框的重合度；
第二归类单元，用于针对每一类分割边框，根据该类分割边框中，每个其他分割边框与目标分割边框的重合度，将其他分割边框所在的前景提取结果进行归类。
16.根据权利要求9所述的装置，其特征在于，第一前景提取模块，包括：
第一获取单元，用于获取车载摄像头对路况环境进行拍摄而得到的待提取图像；
第一提取单元，用于分别使用不同的前景提取模型对待提取图像进行前景提取，以确定每个前景提取模型所输出的前景提取结果；
所述装置还包括：
第一生成模块，用于根据目标对象的第二前景区域在待提取图像中的位置，生成自动行驶策略。
17.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至8任一所述的前景区域获取方法的步骤。
18.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的前景区域获取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142863.5A CN111612808B (zh) | 2019-02-26 | 2019-02-26 | 前景区域获取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910142863.5A CN111612808B (zh) | 2019-02-26 | 2019-02-26 | 前景区域获取方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612808A CN111612808A (zh) | 2020-09-01 |
| CN111612808B true CN111612808B (zh) | 2023-12-08 |
Family
ID=72199899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910142863.5A Active CN111612808B (zh) | 2019-02-26 | 2019-02-26 | 前景区域获取方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612808B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011201582A1 (en) * | 2011-04-07 | 2012-10-25 | Canon Kabushiki Kaisha | Immortal background modes |
| CN104484324A (zh) * | 2014-09-26 | 2015-04-01 | 徐晓晖 | 一种多模型和模糊颜色的行人检索方法 |
| CN106096531A (zh) * | 2016-05-31 | 2016-11-09 | 安徽省云力信息技术有限公司 | 一种基于深度学习的交通图像多类型车辆检测方法 |
| CN107862698A (zh) * | 2017-11-29 | 2018-03-30 | 首都师范大学 | 基于k均值聚类的光场前景分割方法及装置 |
| KR20180044587A (ko) * | 2016-10-24 | 2018-05-03 | 삼성에스디에스 주식회사 | 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치 |
| CN108090904A (zh) * | 2018-01-03 | 2018-05-29 | 深圳北航新兴产业技术研究院 | 一种医学图像实例分割方法和装置 |
-
2019
- 2019-02-26 CN CN201910142863.5A patent/CN111612808B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011201582A1 (en) * | 2011-04-07 | 2012-10-25 | Canon Kabushiki Kaisha | Immortal background modes |
| CN104484324A (zh) * | 2014-09-26 | 2015-04-01 | 徐晓晖 | 一种多模型和模糊颜色的行人检索方法 |
| CN106096531A (zh) * | 2016-05-31 | 2016-11-09 | 安徽省云力信息技术有限公司 | 一种基于深度学习的交通图像多类型车辆检测方法 |
| KR20180044587A (ko) * | 2016-10-24 | 2018-05-03 | 삼성에스디에스 주식회사 | 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치 |
| CN107862698A (zh) * | 2017-11-29 | 2018-03-30 | 首都师范大学 | 基于k均值聚类的光场前景分割方法及装置 |
| CN108090904A (zh) * | 2018-01-03 | 2018-05-29 | 深圳北航新兴产业技术研究院 | 一种医学图像实例分割方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 面向行为分析的前景目标的持续检测;蒋亮;《第二届和谐人机环境联合学术会议(HHME2006)——第15届中国多媒体学术会议(NCMT"06)论文集》;20061031;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612808A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Marzougui et al. | A lane tracking method based on progressive probabilistic Hough transform | |
| Rezaei et al. | Robust vehicle detection and distance estimation under challenging lighting conditions | |
| EP3410351B1 (en) | Learning program, learning method, and object detection device | |
| US9875405B2 (en) | Video monitoring method, video monitoring system and computer program product | |
| US9317752B2 (en) | Method for detecting large size and passenger vehicles from fixed cameras | |
| KR101848019B1 (ko) | 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치 | |
| Huang et al. | Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN111027535B (zh) | 一种车牌识别方法及相关设备 | |
| WO2008118305A1 (en) | Forward looking sensor system | |
| CN109447117B (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
| JPWO2008020544A1 (ja) | 車両検知装置，車両検知方法並びに車両検知プログラム | |
| CN107748882B (zh) | 一种车道线检测方法及装置 | |
| JP6255944B2 (ja) | 画像解析装置、画像解析方法及び画像解析プログラム | |
| CN108052921B (zh) | 一种车道线检测方法、装置及终端 | |
| CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
| Bao et al. | Unpaved road detection based on spatial fuzzy clustering algorithm | |
| US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
| CN108090425B (zh) | 一种车道线检测方法、装置及终端 | |
| CN111612808B (zh) | 前景区域获取方法、装置、电子设备和存储介质 | |
| JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
| CN111429487A (zh) | 一种深度图像的黏连前景分割方法及装置 | |
| CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| JP2007149048A (ja) | 車両判別装置及びそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |