CN109377499A - 一种像素级物体分割方法及装置 - Google Patents
一种像素级物体分割方法及装置 Download PDFInfo
- Publication number
- CN109377499A CN109377499A CN201811061721.8A CN201811061721A CN109377499A CN 109377499 A CN109377499 A CN 109377499A CN 201811061721 A CN201811061721 A CN 201811061721A CN 109377499 A CN109377499 A CN 109377499A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- depth
- segmentation result
- object segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 101
- 238000001914 filtration Methods 0.000 claims abstract description 50
- 230000002146 bilateral effect Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims description 15
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims 1
- 239000010931 gold Substances 0.000 claims 1
- 229910052737 gold Inorganic materials 0.000 claims 1
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种像素级物体分割方法及装置，所述方法包括：步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；步骤S2，对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果，本发明可在低资源损耗的同时实现输出图像中的前景物体的像素级别分割结果的目的。
Description
技术领域
本发明涉及一种像素级物体分割方法及装置，特别是涉及一种可用于资源受限平台上的RGBD图像(深度图像)的像素级物体分割方法及装置。
背景技术
像素级别的物体分割是计算机视觉领域中的基本问题，对于高层次的视觉任务，如物体识别，物体语义分析等，具有重大的意义。
图像前后景分割的问题，一般由多个任务来组成，包括物体检测，物体追踪，以及物体分割。最近火热的深度神经网络，需要花费巨大的时间消耗来训练庞大的具有高精度分割效果的数据集，来获得像素级别精度的分割结果。但是，基于机器学***滑的结果；并且由于深度模型拥有的参数量巨大，导致难以加载到绝大多数内存和功率受限的嵌入式设备中。
在近年来，基于语义信息的前景物体分割涌现了很多优秀的工作。比如使用条件随机场来获得的从粗糙到精细的物体分割，但这种策略依旧需要巨大的存储资源消耗，它们通过分层的从粗糙到精细化处理的算法设计核心思路给人们带来了启发：首先，要通过粗糙到精细化的分层处理，来依次获得前景物体的整体分割以及轮廓部分的精细分割，其次，要结合颜色信息和深度信息各自的优势，然而，前者对于细节的变化比较敏感，而后者对于前景物体的整体定位和分割具有高准确度，两者结合才能得到高精度的像素级别的物体分割结果，需要巨大的存储资源消耗。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种像素级物体分割方法及装置，以实现将RGB-D图像作为输入，输出图像中的前景物体的像素级别分割结果。
为达上述及其它目的，本发明提出一种像素级物体分割方法，包括如下步骤：
步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；
步骤S2，对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像；
步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；
步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
优选地，于步骤S1中，若应用场景为用户指定前景目标，步骤S1具体步骤如下：
对前景目标所在的区域划定包围盒；
对包围盒内的像素的深度值出现的频率进行直方图统计，统计得到直方图的深度峰值段，并获得包围盒内深度值统计方差；
根据包围盒内深度峰值段及包围盒内深度值统计方差对像素点进行处理，得到粗糙的前景物体分割结果。
优选地，于步骤S1中，若应用场景为用户没有指定前景目标，步骤S1具体步骤如下：
获得背景的深度图像；
利用包含前后景的深度图与之相减，得到粗糙的前景物体的物体分割结果。
优选地，于步骤S2中，图像金字塔分为原分辨率层图像、中间分辨率层图像以及低分辨率层图像，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。
优选地，于步骤S3中，每层分辨率图像的优化采用雅克比迭代。
优选地，每次雅克比迭代采用如下优化公式：
其中，M0为迭代优化的二值化初始物体分割结果，λm为初始物体分割结果的权重值，λc，λd分别为彩色图像和深度图像的权重值，t为当前迭代次数，Ωi为第i个像素点所在的滤波窗口中的像素集合，为对彩色信息I指导的联合双边滤波结果，为对深度信息D指导的联合双边滤波结果。
优选地，对于彩色信息I指导的联合双边滤波，采用如下公式：
其中，wf等于联合双边滤波方形窗口边长，σc控制对强度信息变化的敏感程度。
优选地，对于深度信息D指导的联合双边滤波，采用如下公式：
其中，wf等于联合双边滤波方形窗口边长；控制对深度信息变化的敏感程度，为包围盒内深度信息的中位数。
优选地，于步骤S4中，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行与操作，获得最终的像素级目标分割结果。
为达到上述目的，本发明还提供一种像素级物体分割装置，包括：
图像预处理单元，用于对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；
下采样单元，用于对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像；
联合双边滤波单元，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；
融合处理单元，用于将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
与现有技术相比，本发明一种像素级物体分割方法及装置仅需提供前景物体的大致位置，即一个精度不必太高，但保证能包含整个物体的包围盒，就能把前景物体的像素级物体分割结果(mask)在保边度高的前提下准确地提取出来，减少了资源损耗，可应用于绝大多数计算资源和存储空间资源受限的嵌入式设备中。
附图说明
图1为本发明一种像素级物体分割方法的步骤流程图；
图2为本发明一种像素级物体分割装置的***架构图；
图3为本发明具体实施例之像素级物体分割过程的示意图；
图4为本发明和GSM，Vibe，MOG方法在数据集GSM dataset的RGB-D视频序列Cespatx_ds上的某一帧分割效果在视觉上的对比结果示意图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种像素级物体分割方法的步骤流程图。如图1所示，本发明一种像素级物体分割方法，包括如下步骤：
步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域(bounding box)。在此，初始获得的深度图像和彩色图像指的是从图像传感器中直接获得的深度图像和彩色图像。
在本发明具体实施例中，步骤S1主要分为两个应用场景分别进行处理：
1、第一种应用场景是用户指定前景目标：具体处理方法如下：对前景目标所在的区域划定包围盒(bounding box)，然后对包围盒内的像素的深度值出现的频率进行直方图统计，以10mm为一个深度值段，统计得到直方图的深度峰值段(即出现频次最高的深度值段)，记为(Dm-5,Dm+5]，包围盒内深度值统计方差其中传感器内部固定参数c＝1.45*10-5，把包围盒内深度值范围在[Dm-2σm，Dm+2σm]内的像素点记为1，其余记为0，得到粗糙的前景物体分割结果。对于本领域技术人员，此方法可以很容易扩展为检测算法来获取前景物体的包围盒，并通过追踪算法在视频流里持续获得目标物体的包围盒。特别地，为了保证本发明的鲁棒性，这里的包围盒可以比追踪算法输出的包围盒要大1.2 倍，保证整个前景物体全部被包含在包围盒中。
2、第二种应用场景是用户没有指定前景目标：这种应用场景的具体处理方法如下：需要先获得背景的深度图片，然后让包含前后景的深度图与之相减，筛选得到两帧图中深度值之差大于预先设定的深度阈值的像素点，其像素位置记为1，其余为0，得到粗糙的前景物体的物体分割结果(mask)。对于粗糙的物体分割结果(mask)，依然计算出其所在的包围盒区域。
步骤S2，对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像。
在本发明具体实施例中，图像金字塔分为3层，分别是原分辨率层图像，中间分辨率层图像，以及低分辨率层图像。原图像中前景物体包围盒区域的分辨率记为[h,w]；为了保持算法的自适应性，以h>w为例，低分辨率层图像的长边h′固定为100个像素点的长度，短边w′为记为[h′，w′]；中间分辨层图像的分辨率由原分辨率层图像和低分辨率层图像线性插值得到，为 对于本领域技术人员来说，本发明可以扩展为n层图像金字塔，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。三层只是示例性的说明，本发明不以此为限。
步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果(mask)进行联合双边滤波。
具体地，对于每层分辨率的深度图像和彩色图像指导的联合双边滤波，每层图像的优化采用雅克比迭代，每次迭代的优化公式为：
其中，M0为迭代优化的二值化初始mask；λm为初始物体分割结果(mask) 的权重值，一般较小；λc，λd分别为彩色图像和深度图像的权重值；t为当前迭代次数；Ωi为第i个像素点所在的滤波窗口中的像素集合；
对于彩色信息I指导的联合双边滤波，其公式如下：
同样，对于深度信息D指导的联合双边滤波，其公式如下：
其中，wf等于联合双边滤波方形窗口边长；σc控制对强度信息变化的敏感程度；控制对深度信息变化的敏感程度，传感器内部固定参数 c＝1.45*10-5，为包围盒内深度信息的中位数。对于每层分辨率图像，彩色图像用于保证物体分割结果(mask)的保边性，深度图像用于保证物体分割结果 (mask)与目标前景物体的相似性。
通过迭代的方式求解上述函数，最终可以得到兼具分割精确度以及保边性的像素级物体分割结果，并以二值化的形式来表示，其中值为1代表属于分割结果上的像素点，值为0代表不属于分割结果上的像素点。
步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果(mask)与从传感器中直接获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
具体地，基于多层分辨率下彩色图像和深度图像的联合双边滤波处理后，获得分割准确度高，并且具有高度保边性的像素级物体分割结果，然后将其与从传感器中直接获得的深度图像和彩色图像进行与操作，获得最终的像素级目标分割结果。
图2为本发明一种像素级物体分割装置的***架构图。如图2所示，本发明一种像素级物体分割装置，包括：
图像预处理单元201，用于对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域(bounding box)。在本发明具体实施例中，初始获得的深度图像和彩色图像指的是从图像传感器中直接获得的深度图像和彩色图像。
具体地，图像预处理单元201分为两个应用场景分别进行处理：
1、第一种应用场景是用户指定前景目标：具体处理方法如下：对前景目标所在的区域划定包围盒(bounding box)，然后对包围盒内的像素的深度值出现的频率进行直方图统计，以10mm为一个深度值段，统计得到直方图的深度峰值段(即出现频次最高的深度值段)，记为(Dm-5,Dm+5]，包围盒内深度值统计方差其中传感器内部固定参数c＝1.45*10-5，把包围盒内深度值范围在[Dm-2σm，Dm+2σm]内的像素点记为1，其余记为0，得到粗糙的前景物体分割结果。
2、第二种应用场景是用户没有指定前景目标：这种应用场景的具体处理方法如下：需要先获得背景的深度图片，然后让包含前后景的深度图与之相减，筛选得到两帧图中深度值之差大于预先设定的深度阈值的像素点，其像素位置记为1，其余为0，得到粗糙的前景物体的物体分割结果(mask)。对于粗糙的物体分割结果(mask)，依然计算出其所在的包围盒区域。
下采样单元202，用于对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像。
在本发明具体实施例中，图像金字塔分为3层，分别是原分辨率层图像，中间分辨率层图像，以及低分辨率层图像。原图像中前景物体包围盒区域的分辨率记为[h,w]；为了保持算法的自适应性，以h>w为例，低分辨率层图像的长边h′固定为100个像素点的长度，短边w′为记为[h′，w′]；中间分辨层图像的分辨率由原分辨率层图像和低分辨率层图像线性插值得到，为 对于本领域技术人员来说，本发明可以扩展为n层图像金字塔，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。三层只是示例性的说明，本发明不以此为限。
联合双边滤波单元203，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果(mask)进行联合双边滤波。
具体地，联合双边滤波单元203对于每层分辨率的深度图像和彩色图像指导的联合双边滤波，每层图像的优化采用雅克比迭代，每次迭代的优化公式为：
其中，M0为迭代优化的二值化初始mask；λm为初始物体分割结果(mask) 的权重值，一般较小；λc，λd分别为彩色图像和深度图像的权重值；t为当前迭代次数；Ωi为第i个像素点所在的滤波窗口中的像素集合；
对于彩色信息I指导的联合双边滤波，其公式如下：
同样，对于深度信息D指导的联合双边滤波，其公式如下：
其中，wf等于联合双边滤波方形窗口边长；σc控制对强度信息变化的敏感程度；控制对深度信息变化的敏感程度，传感器内部固定参数 c＝1.45*10-5，为包围盒内深度信息的中位数。对于每层分辨率图像，彩色图像用于保证物体分割结果(mask)的保边性，深度图像用于保证物体分割结果 (mask)与目标前景物体的相似性。
通过迭代的方式求解上述函数，最终可以得到兼具分割精确度以及保边性的像素级物体分割结果，并以二值化的形式来表示，其中值为1代表属于分割结果上的像素点，值为0代表不属于分割结果上的像素点。
融合处理单元204，用于将经联合双边滤波处理后得到的二值化物体分割结果(mask)与从传感器中直接获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
具体地，基于多层分辨率下彩色图像和深度图像的联合双边滤波处理后，获得分割准确度高，并且具有高度保边性的像素级物体分割结果，融合处理单元204然后将其与从传感器中直接获得的深度图像和彩色图像进行与操作，获得最终的像素级目标分割结果。
图3为本发明具体实施例之像素级物体分割过程的示意图。在本发明具体实施例中，本发明所述像素级物体分割方法，步骤如下：
步骤S1，对从图像传感器中直接获得的深度图像和彩色图像进行预处理。此数据集(即由RGBD图像传感器直接拍摄获得，包括不含前景物体的背景图像与包含前景物体的(背景)图像)中，附录了场景的背景图像数据，通过简单的前后景相减，可以得到前景物体的粗糙的物体分割结果(mask)，进而得到包含整个物体分割结果(mask)的包围盒区域。
步骤S2，对包围盒区域中的彩色图像和深度图像进行特定尺度下的下采样，得到金字塔分辨率下的多组图像。在本实施例中，深度图像和彩色图像原分辨率均为480×640，前景物体包围盒区域的分辨率记为[h,w]；因为h>w，低分辨率层图像的长边h′固定为100个像素点的长度，短边w′为记为 [h′，w′]；中间分辨层图像的分辨率由原分辨率层图像和低分辨率层图像线性插值得到，为
步骤S3中，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果(mask)进行联合双边滤波。本发明提出的自适应算法，经多个数据集测试，总结得出一套普遍使用的算法参数设置。包括本实施例也适用于所提出的参数设置。
其中，对于每层分辨率的深度图像和彩色图像指导的联合双边滤波，每层图像的优化采用雅克比迭代，每次迭代的优化公式为：
其中，M0为迭代优化的二值化初始物体分割结果(mask)；λm为初始物体分割结果(mask)的权重值，一般较小，假设滤波窗口内像素总个数为n，则设置λc，λd分别为彩色图像和深度图像的权重值，此处λc＝λd＝1；t为当前迭代次数；Ωi为第i个像素点所在的滤波窗口中的像素集合；
对于彩色信息I指导的联合双边滤波，
同样，对于深度信息D指导的联合双边滤波，
其中，wf等于联合双边滤波方形窗口边长，三层金字塔分辨率图像，分辨率从低到高的图像所对应的wf依次为9,9,5；σc控制对强度信息变化的敏感程度，设置为10；控制对深度信息变化的敏感程度，传感器内部固定参数 c＝1.45*10-5，为包围盒内深度信息的中位数。对于每层分辨率图像，能量函数项Ec用于保证mask的保边性，能量函数项Ed用于保证物体分割结果(mask) 与目标前景物体的相似性。
通过迭代的方式求解上述函数，最终可以得到兼具分割精确度以及保边性的前后景分割结果。对于分辨率从低到高的彩色图像，每次迭代过程中浮点图像转化为二值图像的阈值分别为0.5,0.5,0.5；对于分辨率从低到高的深度图像，每次迭代过程中从浮点图像转化为二值图像的阈值分别为0.4,0.5,0.5。对于每层分辨率的深度图像和彩色图像，其联合双边滤波的迭代终止条件为，当相邻两次迭代时，物体分割结果(mask)中状态发生变化的像素点数目小于10。
步骤S4，经步骤S3的联合双边滤波处理后，获得分割准确度高，并且具有高度保边性的前景物体分割结果，把步骤S3中得到的二值化物体分割结果 (mask)，与从传感器中直接获得的深度图像和彩色图像进行与操作，获得最终的像素级物体分割结果。
图4为本发明和GSM，Vibe，MOG方法在数据集GSM dataset的RGB-D视频序列Cespatx_ds上的某一帧分割效果在视觉上的对比结果示意图。其中，图 4(a)为从传感器直接得到的彩色图像，图4(b)为理想的分割结果，图4(c) 为本算法的效果图，图4(d)为GSM算法的效果图，图4(e)为Vibe算法的效果图，图4(f)为MOG算法的效果图，同时，图4中一并展示真实值 (groundtruth)的分割结果以供对比。本发明和其他代表性的场景目标分割算法(包括GSM_UF，GSM_UB，C_KDE，D_KDE，RGBD_KDE)，在GSM数据集上各个序列的量化结果，以及整个GSM数据集上的平均量化结果如表1所示：
表1
表1中第一列到第六列依次表示各算法在GSM数据集的各个数据序列BootStraping，Cespatx_ds，Despatx_ds，Shadows_ds，Sleeping_ds，以及 TimeOfDay_ds上的量化结果的平均排名，第七列表示各算法在六个数据集上量化结果的平均排名。对每个序列，量化标准包括召回率，误判率，假阴性，假阳性，精确度等，根据每一项量化标准的排名来统计得到对应数据序列上的平均排名，可见，本发明可在低资源损耗的同时实现输出图像中的前景物体的像素级别分割结果的目的。
综上所述，本发明一种像素级物体分割方法及装置仅需提供前景物体的大致位置，即一个精度不必太高，但保证能包含整个物体的包围盒，就能把前景物体的像素级物体分割结果(mask)在保边度高的前提下准确地提取出来，减少了资源损耗，可应用于绝大多数计算资源和存储空间资源受限的嵌入式设备中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (10)
1.一种像素级物体分割方法，包括如下步骤：
步骤S1，对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；
步骤S2，对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；
步骤S3，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；
步骤S4，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
2.如权利要求1所述的一种像素级物体分割方法，其特征在于，于步骤S1中，若应用场景为用户指定前景目标，步骤S1具体步骤如下：
对前景目标所在的区域划定包围盒；
对包围盒内的像素的深度值出现的频率进行直方图统计，统计得到直方图的深度峰值段，并获得包围盒内深度值统计方差；
根据包围盒内深度峰值段及包围盒内深度值统计方差对像素点进行处理，得到粗糙的前景物体分割结果。
3.如权利要求1所述的一种像素级物体分割方法，其特征在于，于步骤S1中，若应用场景为用户没有指定前景目标，步骤S1具体步骤如下：
获得背景的深度图像；
利用包含前后景的深度图与之相减，得到粗糙的前景物体的物体分割结果。
4.如权利要求1所述的一种像素级物体分割方法，其特征在于：于步骤S2中，图像金字塔分为原分辨率层图像、中间分辨率层图像以及低分辨率层图像，只需固定原分辨率层图像和低分辨率层图像，中间层次分辨率的图像均由前两者线性插值得到。
5.如权利要求1所述的一种像素级物体分割方法，其特征在于：于步骤S3中，每层分辨率图像的优化采用雅克比迭代。
6.如权利要求5所述的一种像素级物体分割方法，其特征在于，每次雅克比迭代采用如下优化公式：
其中，M0为迭代优化的二值化初始物体分割结果，λm为初始物体分割结果的权重值，λc，λd分别为彩色图像和深度图像的权重值，t为当前迭代次数，Ωi为第i个像素点所在的滤波窗口中的像素集合， 为对彩色信息I指导的联合双边滤波结果，为对深度信息D指导的联合双边滤波结果。
7.如权利要求6所述的一种像素级物体分割方法，其特征在于，对于彩色信息I指导的联合双边滤波，采用如下公式：
其中，wf等于联合双边滤波方形窗口边长，σc控制对强度信息变化的敏感程度。
8.如权利要求6所述的一种像素级物体分割方法，其特征在于，同样，对于深度信息D指导的联合双边滤波，采用如下公式：
其中，wf等于联合双边滤波方形窗口边长；控制对深度信息变化的敏感程度，为包围盒内深度信息的中位数。
9.如权利要求1所述的一种像素级物体分割方法，其特征在于：于步骤S4中，将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行与操作，获得最终的像素级目标分割结果。
10.一种像素级物体分割装置，包括：
图像预处理单元，用于对初始获得的深度图像和彩色图像进行预处理，获得粗糙的前景物体分割结果以及其所在的包围盒区域；
下采样单元，用于对包围盒区域中的彩色图像和深度图像进行预设尺度下的下采样，得到金字塔分辨率下的多组图像；
联合双边滤波单元，基于图像像素距离，结合不同分辨率下的深度图像和彩色图像，从低分辨率到高分辨率依次对物体分割结果进行联合双边滤波；
融合处理单元，用于将经联合双边滤波处理后得到的二值化物体分割结果与初始获得的深度图像和彩色图像进行融合处理，获得最终的像素级目标分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811061721.8A CN109377499B (zh) | 2018-09-12 | 2018-09-12 | 一种像素级物体分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811061721.8A CN109377499B (zh) | 2018-09-12 | 2018-09-12 | 一种像素级物体分割方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109377499A true CN109377499A (zh) | 2019-02-22 |
| CN109377499B CN109377499B (zh) | 2022-04-15 |
Family
ID=65405147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811061721.8A Active CN109377499B (zh) | 2018-09-12 | 2018-09-12 | 一种像素级物体分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109377499B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503704A (zh) * | 2019-08-27 | 2019-11-26 | 北京迈格威科技有限公司 | 三分图的构造方法、装置和电子设备 |
| WO2020192212A1 (zh) * | 2019-03-25 | 2020-10-01 | 上海幻电信息科技有限公司 | 图片处理方法、图集处理方法、计算机设备和存储介质 |
| CN112767412A (zh) * | 2020-12-31 | 2021-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN113139983A (zh) * | 2021-05-17 | 2021-07-20 | 北京华捷艾米科技有限公司 | 一种基于rgbd的人像分割方法及装置 |
| CN116612146A (zh) * | 2023-07-11 | 2023-08-18 | 淘宝（中国）软件有限公司 | 图像处理方法、装置、电子设备以及计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299260A (zh) * | 2014-09-10 | 2015-01-21 | 西南交通大学 | 一种基于sift和lbp的点云配准的接触网三维重建方法 |
| CN104933711A (zh) * | 2015-06-10 | 2015-09-23 | 南通大学 | 一种肿瘤病理图像自动快速分割方法 |
| US20170032222A1 (en) * | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
| CN106408513A (zh) * | 2016-08-25 | 2017-02-15 | 天津大学 | 深度图超分辨率重建方法 |
| CN106485720A (zh) * | 2016-11-03 | 2017-03-08 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
| US20170154204A1 (en) * | 2015-12-01 | 2017-06-01 | Intel Corporation | Method and system of curved object recognition using image matching for image processing |
-
2018
- 2018-09-12 CN CN201811061721.8A patent/CN109377499B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104299260A (zh) * | 2014-09-10 | 2015-01-21 | 西南交通大学 | 一种基于sift和lbp的点云配准的接触网三维重建方法 |
| CN104933711A (zh) * | 2015-06-10 | 2015-09-23 | 南通大学 | 一种肿瘤病理图像自动快速分割方法 |
| US20170032222A1 (en) * | 2015-07-30 | 2017-02-02 | Xerox Corporation | Cross-trained convolutional neural networks using multimodal images |
| US20170154204A1 (en) * | 2015-12-01 | 2017-06-01 | Intel Corporation | Method and system of curved object recognition using image matching for image processing |
| CN106408513A (zh) * | 2016-08-25 | 2017-02-15 | 天津大学 | 深度图超分辨率重建方法 |
| CN106485720A (zh) * | 2016-11-03 | 2017-03-08 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020192212A1 (zh) * | 2019-03-25 | 2020-10-01 | 上海幻电信息科技有限公司 | 图片处理方法、图集处理方法、计算机设备和存储介质 |
| US12045946B2 (en) | 2019-03-25 | 2024-07-23 | Shanghai Hode Information Technology Co., Ltd. | Rotating and cropping images for various forms of media including animation, comics, film, or television |
| CN110503704A (zh) * | 2019-08-27 | 2019-11-26 | 北京迈格威科技有限公司 | 三分图的构造方法、装置和电子设备 |
| CN112767412A (zh) * | 2020-12-31 | 2021-05-07 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN112767412B (zh) * | 2020-12-31 | 2024-04-12 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆部件级分割方法、装置以及电子设备 |
| CN113139983A (zh) * | 2021-05-17 | 2021-07-20 | 北京华捷艾米科技有限公司 | 一种基于rgbd的人像分割方法及装置 |
| CN116612146A (zh) * | 2023-07-11 | 2023-08-18 | 淘宝（中国）软件有限公司 | 图像处理方法、装置、电子设备以及计算机存储介质 |
| CN116612146B (zh) * | 2023-07-11 | 2023-11-17 | 淘宝（中国）软件有限公司 | 图像处理方法、装置、电子设备以及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109377499B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377499A (zh) | 一种像素级物体分割方法及装置 | |
| CN110956094B (zh) | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 | |
| CN110929578B (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| El Amin et al. | Zoom out CNNs features for optical remote sensing change detection | |
| CN113591795B (zh) | 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和*** | |
| CN104166861B (zh) | 一种行人检测方法 | |
| CN108510451B (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| CN110020606A (zh) | 一种基于多尺度卷积神经网络的人群密度估计方法 | |
| CN109344701A (zh) | 一种基于Kinect的动态手势识别方法 | |
| CN109508710A (zh) | 基于改进YOLOv3网络的无人车夜间环境感知方法 | |
| CN108960404B (zh) | 一种基于图像的人群计数方法及设备 | |
| CN107220603A (zh) | 基于深度学习的车辆检测方法及装置 | |
| CN110163818A (zh) | 一种用于海事无人机的低照度视频图像增强方法 | |
| CN111476188B (zh) | 基于特征金字塔的人群计数方法、***、介质及电子设备 | |
| CN108446694A (zh) | 一种目标检测方法及装置 | |
| CN107194946B (zh) | 一种基于fpga的红外显著物体检测方法 | |
| CN109685045A (zh) | 一种运动目标视频跟踪方法及*** | |
| CN112950477A (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
| CN107767416A (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN109360179A (zh) | 一种图像融合方法、装置及可读存储介质 | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN109241814A (zh) | 基于yolo神经网络的行人检测方法 | |
| CN106295657A (zh) | 一种视频数据结构化过程中提取人体高度特征的方法 | |
| CN111027440A (zh) | 一种基于神经网络的人群异常行为检测装置和检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |