CN103390268B - 物体区域分割方法和装置 - Google Patents

物体区域分割方法和装置 Download PDF

Info

Publication number
CN103390268B
CN103390268B CN201210147434.5A CN201210147434A CN103390268B CN 103390268 B CN103390268 B CN 103390268B CN 201210147434 A CN201210147434 A CN 201210147434A CN 103390268 B CN103390268 B CN 103390268B
Authority
CN
China
Prior art keywords
point
object area
rough
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210147434.5A
Other languages
English (en)
Other versions
CN103390268A (zh
Inventor
鲁耀杰
游赣梅
师忠超
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201210147434.5A priority Critical patent/CN103390268B/zh
Priority to EP13165616.7A priority patent/EP2677462B1/en
Priority to JP2013099444A priority patent/JP6119409B2/ja
Publication of CN103390268A publication Critical patent/CN103390268A/zh
Application granted granted Critical
Publication of CN103390268B publication Critical patent/CN103390268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

公开了物体区域分割方法和装置，其中获得包括物体在内的场景的视差图；获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；获得每个粗略物体区域内的物体的视差范围；对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。

Description

物体区域分割方法和装置
技术领域
本申请涉及图像处理领域，更具体地涉及物体区域分割方法和装置。
背景技术
物体分割处理是物体识别以及许多图像处理的重要预处理之一。精确的物体分割可能对后续的图像理解及处理有很大的帮助。比如目前日渐普及的驾驶辅助***中，需要在道路环境中对包括行人、车辆、路标等的物体或物体区域进行分割识别。除此之外，在办公室环境下，可能需要对包括办公桌椅、电脑设备等的物体或物体区域进行分割识别。
本发明所提及的物体或者物体区域包含所有的不限定性状的物体或障碍物。概括而言，物体分割包括从场景中分割出物体。
目前已经提出了一些分割或检测物体的方法。在美国专利US7,046,822中，公开了在道路车辆范围内检测对象的方法，其中通过具有类似距离值的特征来确定三维对象，并通过具有类似高度值的特征来确定平面对象。但是，在该方法中，未能划分或检测近处的对象。
在专利申请公开WO2009/013636A2中公开了一种自动的物体边界分割方法，在该方法中采用了两阶段的分割。在第一阶段中对图像滤波以识别物体边缘候选。第二阶段中移除大多数伪边缘，沿径向扫描图像，并且仅保持第一阶段检测到的边界候选，通过使图像点满足多项式来移除其与的一些伪边缘像素，并从满足的点中移除具有最大距离的点，由此得到的候选边缘形成初始模型，并使用离散动态轮廓（DDC）模型变形以获得物体边界的闭合轮廓。但是，此方法并未考虑场景中物体的远近关系，未利用距离信息，其检测准确度低。
在实际检测环境中，许多物体可能连接在一起或非常接近，比如并肩行走的几个人，有时甚至几个连接在一起的物体（比如行人）的图像特征看起来与汽车的外形很像。另外，也可能存在远近不同但是从观看者的角度看去可能部分重叠的若干物体。
例如，图1（a）和（b）示出了包含连接在一起的物体的场景，其中图1（a）在椭圆框中示出了两个物体相连的情况，图1（b）在椭圆框中示出了多个物体连接在一起的情况。对于这些情况，现有的识别或分割方法很难将连接的物体分割开，从而导致检测结果不准确。
除此之外，在传统的物体分割方法中，通常利用灰度图或者彩色图进行物体分割，复杂的视觉特性也限制了物体分割的精度。
发明内容
鉴于现有技术中的上述问题，提出了本发明。
根据本发明的一个方面，提供了一种物体区域分割方法，可以包括以下步骤：获得包括物体在内的场景的视差图；获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；获得每个粗略物体区域内的物体的视差范围；对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的所述物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。
获得物体分隔区域的步骤可以包括：将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为该物体分隔区域。
获得物体分隔区域的步骤还可以包括：对于该粗略物体区域内的无视差值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中。
获得物体分隔区域的步骤还可以包括：对于该粗略物体区域内的视差值大于物体的视差范围的最大值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中。
利用该物体分隔区域对该粗略物体区域进行分割的步骤可以包括：基于该粗略物体区域内的视差值在所述视差范围内的点，获得该粗略物体区域内的可能物体区域；以及利用该物体分隔区域对该可能物体区域进行分割。
获得可能物体区域的步骤可以包括：将在该粗略物体区域内的视差值在所述视差范围内的点形成的区域作为该可能物体区域。
获得可能物体区域的步骤还可以包括：对于该粗略物体区域内的视差值大于物体的视差范围的最大值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中。
获得可能物体区域的步骤还可以包括：对于该粗略物体区域内的无视差值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中。
利用该物体分隔区域对该可能物体区域进行分割的步骤可以包括：（a）从该可能的物体区域中减去该物体分隔区域，将得到的连通域作为新的可能的物体区域；（b）对于该新的可能的物体区域，获取其上边缘位置信息，得到位置的波谷点；（c）检测该波谷点的高度值是否小于预设阈值，如果该波谷点的高度小于预设阈值，则根据该波谷点将该新的可能的物体区域分割为两个区域，并将这两个区域作为新的可能的物体区域；以及（d）对所有新的可能的物体区域重复以上步骤（b）到（c），直到不能再次分割。
该预设阈值可以是绝对阈值，也可以是基于所述上边缘位置值计算的相对阈值。
本发明的另一方面提供了一种用视差图进行物体区域分割的装置，该装置可以包括：视差图获得单元，用于获得包括物体在内的场景的视差图；粗略物体区域获得单元，用于获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；视差范围获得单元，用于获得每个粗略物体区域内的物体的视差范围；物体分隔区域获得单元，对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；分割单元，利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。
该物体分隔区域获得单元可以将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为该物体分隔区域。
本发明的物体区域分割方法和装置考虑了反映在视差图内的物体的距离信息以及物体之间的遮挡关系，使用较远物体的信息作为剪裁标准来进行分割，因此能够将可能相连或靠近的物体分隔开，从而实现精确的分割，同时也具有很强的抗噪声能力。
更进一步，本发明还可以对近处物体进行处理，使得对于部分被遮挡的物体也能够获得良好的分割结果。
附图说明
图1（a）和（b）是示出在待检测场景中存在两个或多个连接的物体的情况的示意图。
图2是根据本发明一个实施例的道物体区域分割方法200的整体流程图。
图3是根据本发明的一个实施例的图2的步骤S240中获得物体分隔区域的方法300的流程图。
图4是根据本发明的一个实施例的图2的步骤S250中利用物体分隔区域对该粗略物体区域进行分割的方法400的流程图。
图5是根据本发明的一个实施例的方法400的步骤S410中获得可能物体区域的方法500的流程图。
图6（a）和（b）示出了根据本发明的物体区域分割方法所获得的物体区域分割结果。
图7是根据本发明的一个实施例的进一步优化分割结果的方法700的流程图。
图8是根据本发明实施例的物体区域分割装置800的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
将按如下顺序进行描述：
1、发明思想概述和基本概念介绍
2、实施例
2.1、物体区域分割的流程
2.2、获得物体分隔区域
2.3、利用物体分隔区域进行分割
2.4、分割结果的进一步优化
2.5、物体分割装置
3、总结
<1、发明思想概述和基本概念介绍>
在具体描述之前，首先总体介绍一下本发明的思想，以便本领域人员更好地理解本发明：在待检测场景中，经常出现多个待检测物体连接在一起或彼此靠近的情况以及较近的物体遮挡了较远物体的部分的情况。因为大多数情况下物体是不透明的，我们不能透过物体看到其后面的物体，因此如果我们看到了更远的物体，那么在场景中在该更远物体的两侧很可能是属于两个不同的物体。为此，本发明考虑到视差图中的距离信息来进行物体分割。
下面介绍一下基本概念，以便于理解。
视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景以及其中的物体的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。获得场景的视差图的方法在现有技术中是已知的。
<2、实施例>
<2.1物体区域分割的流程>
图2是根据本发明一个实施例的道物体区域分割方法200的整体流程图。
如图2所示，在步骤S210中，获得包括物体在内的场景的视差图。如前面所述，可以通过双目相机、多目相机、立体相机拍摄得到包括物体的视差图；或者从立体视图中获得深度图，根据深度图得到视差图。获得场景的视差图的方法在现有技术中是已知的。
在步骤S220中，获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域。对于在步骤S220中获得的视差图，可以利用任意的物体分割方法得到粗略的物体区域分割结果（PRES），如以下公式（1）所示：
PRES={obj1,obj2...ojbn} 公式（1）
其中obji表示分割后的粗略物体区域。
在获得粗略物体区域之后，在步骤S230中，获得每个粗略物体区域内的目标物体的视差范围。如以下公式（2）所示，每个分割后的粗略物体区域中包含如下信息：物体区域信息（areai）以及物体视差范围（disprangei）：
obji=(areai,disprangei) 公式（2）
关于物体区域信息areai，通常在粗略划分时，由于目标物体的大致轮廓是不规则的形状，所以可以取将该大致轮廓包含在内的一个外接矩形作为粗略划分的物体区域信息。如图1（a）和（b）中的矩形框区域可以看作是多个粗略物体区域。当然，本领域技术人员很清楚，该粗略物体区域的形状不限于矩形，并且可以是圆形、椭圆形等等。
关于物体视差范围disprangei，通常可以取在相应areai的物体大致轮廓内的90%的点作为有效点来计算该areai内的目标物体的视差范围disprangei。该视差范围是一个区间值，比如[mini,maxi)，其中mini是粗略物体区域areai内的目标物体的最小视差值，maxi是该粗略物体区域areai内的目标物体的最大视差值，从而该视差范围反映了该目标物体的距离以及厚度。
当然，本领域技术人员很清楚，用于计算视差范围的点不限于上述90%的点，也可以是95%，等等。替代地，可以根据其他方法来计算物体视差范围，比如UV视差图方法。例如，由Yingping Huang等人发表于EURASIPJournal on Applied Signal Processing 2005:14,2322–2329页的题为“Stereovision-Based Object Segmentation for Automotive Applications”的文献公开了利用UV视差图获得上述物体区域信息（areai）以及物体视差范围（disprangei）的方法。
需要说明的是，除了通过现有分割方法来获得一个或多个粗略物体区域之外，也可以由用户在视差图中指定一个或多个粗略物体区域，并根据现有技术方法得到每个区域的物体区域信息（areai）以及物体视差范围（disprangei）。
在步骤S240中，对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域。
对于在步骤S220中获得的每个粗略物体区域，如上所述，由于该区域是通过取大致物体轮廓的外接矩形而获得，所以该区域内可能存在在该区域范围内但是不属于该区域内的目标物体的点。考虑到在视差图内的点的视差值能够反映距离信息的特性，在粗略物体区域areai内可能存在以下四种类型的点：
C1：该点的视差值在该区域areai的目标物体的视差范围[mini,maxi)内，这表明该点很可能是该目标物体上的点；
C2：该点的视差值小于该目标物体的最小视差值mini，这表明该点很可能是更远物体上的点；
C3：该点的视差值大于目标物体的最大视差值maxi，这表明该点很可能是较近物体上的点；
C4：该点无视差值，这表明该点的值可能和邻近点的值一样。通常由于一些原因而导致某些点没有视差值，比如由于拍摄图像时的相机缺陷造成，或者由于这些点所属的物体没有纹理信息而在视差图中反映为黑色，等等。
如之前在发明思想概述中所描述的，大多数情况下物体是不透明的，我们不能透过物体看到其后面的物体，因此如果在粗略物体区域中包括了属于更远物体的点（C2类的点），那么该更远的点的两侧很可能是属于两个不同的物体，因此可以以该更远的点作为分割点来对该粗略物体区域进行进一步划分。
因此，对于在步骤S220中获得的粗略物体区域，可以基于该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点（C2类的点）得到物体分隔区域，用于分隔开该粗略物体区域内的物体。
在步骤S250中，利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。由此，可以去除粗略物体区域中不属于目标物体的点，对连接在一起或靠近的物体进行分割。
<2.2、获得物体分隔区域>
下面参考附图3描述根据本发明的一个实施例的图2的步骤S240中获得物体分隔区域的方法300。
如图3所示，在步骤S310中，对于每个粗略物体区域，将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为物体分隔区域。
可选地，该方法还可以包括步骤S320。在步骤S320中，对于该粗略物体区域内的无视差值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中。
这是因为，对于该粗略物体区域中的无视差值的点，也就是该点的距离未知，如果该点与具有视差值的某点连接，那么该点的距离很可能与连接的该点的视差值相同。因此，如果无视差值的点与该物体分隔区域中的点在垂直方向上相邻，则该点很可能也属于较远物体，因此将该点也加入物体分隔区域中。
之所以只考虑垂直方向相邻而未考虑水平方向上相邻是因为考虑到通常物体（比如行人、汽车）不会上下摞在一起而是左右地（水平方向上）相邻，因此一般仅需要从垂直方向上进行分割而无需在水平方向上分割。
至于检测点是否在垂直方向上相邻的检测方法，可以使用现有技术中的二连通方法通过检测各点的坐标值来实现。
可选地，该方法还可以包括步骤S330。在步骤S330中，对于该粗略物体区域内的视差值大于物体的视差范围的最大值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中。
这是因为，对于该粗略物体区域中的视差值大于目标物体的视差范围内的最大视差值maxi的点（属于C3类的点），如上所述它们属于更近的物体的点，但是有可能遮挡了更远物体，那么被遮挡部分的点的距离也是未知的。因此如果该点与该物体分隔区域中的点在垂直方向上相邻，则被该点遮挡的点具有与该相邻的点相同的视差值，也就是说被该点遮挡的点很可能也属于较远物体上的点，因此将该点也加入物体分隔区域中。
由此，在方法200中的步骤250中利用在步骤S330中得到的物体分隔区域对该粗略物体区域进行分割，可以实现更精确的物体区域分割。
不过，需要指出的是，仅通过步骤S310获得的物体分隔区域（即在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域）也可以直接用作方法200中的步骤S240中获得的物体分隔区域。在此情况下，能够通过利用较远物体的信息而实现对粗略物体区域的再次分割，分隔开可能相邻的物体。
<2.3、利用物体分隔区域进行分割>
以下参考附图4描述根据本发明的一个实施例的图2的步骤S250中利用物体分隔区域对该粗略物体区域进行分割的方法400。
如图4所示，在步骤S410中，基于该粗略物体区域内的、视差值在该区域的目标物体的视差范围内的点，获得该粗略物体区域内的可能物体区域。
如上所述，因为视差值在目标物体的视差范围内的点很可能在该目标物体上，因此可以基于这样的点获得在该粗略物体区域内的、目标物体最可能存在的可能物体区域。稍后将参考图5详细说明获得可能物体区域的一个实施例。
该方法还包括步骤S420。在步骤S420中，利用获得的物体分隔区域对该可能物体区域进行分割。由此，能够通过利用较远物体的信息而实现对粗略物体区域的再次分割，分隔开可能相邻的物体。
图5示出根据本发明的一个实施例的步骤S410中的获得可能物体区域的方法500。
如图5所示，在步骤S510中，将该粗略物体区域内的、视差值在该区域内的目标物体的视差范围内的点（C1类的点）形成的区域作为该可能物体区域。
可选地，该方法还可以包括步骤S520。在步骤S520中，对于该粗略物体区域内的无视差值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中。
如上所述，对于该粗略物体区域中的无视差值的点（C4类的点），也就是该点的距离未知，如果该点与具有视差值的某点相邻，那么该点的距离很可能与相邻的点的视差值相同。因此，如果无视差值的点与该可能物体区域中的点相邻，则该点很可能也属于目标物体，因此将该点也加入该可能物体区域中。
对于步骤S520的检测，由于无视差值的点可能在垂直方向上与该可能物体区域中的点相邻，也可能在水平方向上与该点相邻，因此可以采用现有的四连通方法来在水平方向和垂直方向上检测是否相邻。替换地，也可以采用八连通方法在八个可能的方向上更精确地进行检测。
可选地，该方法还可以包括步骤S530。在步骤S530中，对于该粗略物体区域内的视差值大于物体的视差范围的最大值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中。
如上所述，对于该粗略物体区域中的视差值大于目标物体的视差范围内的最大视差值maxi的点（属于C3类的点），它们属于更近的物体的点，但也有可能遮挡了目标物体，那么被遮挡部分的点的距离也是未知的。因此如果该点与该可能物体区域中的点相邻，则被该点遮挡的点具有与该相邻的点相同的视差值，也就是说被该点遮挡的点很可能也属于目标物体上的点，因此将该点也加入该可能物体区域中。
由此，得到粗略物体区域内目标物体最可能存在的可能物体区域。从该可能物体区域中减去所获得的物体分隔区域，可以得到精确分割的物体区域。因此，能够通过利用较远物体的信息而实现对粗略物体区域的再次分割，分隔开可能相邻的物体。
不过，需要指出的是，仅通过步骤S510获得的可能物体区域（即该粗略物体区域内的、视差值在该区域内的目标物体的视差范围内的点形成的区域）也可以直接用作方法400中的步骤S440中获得的可能物体区域。在此情况下，从该可能物体区域中减去所获得的物体分隔区域，同样能够通过利用较远物体的信息而实现对粗略物体区域的再次分割，分隔开可能相邻的物体。
根据以上所述的本发明的物体区域分割方法考虑到物体之间的遮挡关系以及反映在视差图中的物体的距离信息，使用较远物体的信息作为剪裁标准来进行分割，能够分隔开相邻或靠近的物体从而进行精确的分割，同时也具有很强的抗噪声能力。更进一步，该方法还对近处物体进行了处理，使得对于部分被遮挡的物体也能够获得良好的分割结果。
图6（a）和（b）示出了根据上述物体区域分割方法所获得的物体区域分割结果。图6（a）示出了其中包括了靠近或相连的几个行人的粗略物体区域，图6（b）是通过上述物体区域分割方法对图6（a）的粗略物体区域进行分割而得到的物体区域分割结果，其中几个不规则的条形区域是上述物体分隔区域的例子。从图6（b）可以看出，相连的人被准确地分隔开。
<2.4、分割结果的进一步优化>
基于以下事实可以对根据上述方法的分割结果进行进一步的优化：大多数情况下，物体很少飞在空中，因此如果有远处的物体飞在空中，那么需要从路面开始分割物体区域。对于根据本发明的上述物体区域分割方法获得的分割结果，如果分割后的物体区域中存在看起来上部分分开但下部分仍连在一起的物体，那么可能需要对该物体区域进一步分割。
图7示出了根据本发明的一个实施例的进一步优化分割结果的方法700的流程图。
如图7所示，在步骤S710，将从该可能的物体区域中减去该物体分隔区域得到的连通域作为新的可能的物体区域。
在步骤S720，对于该新的可能的物体区域，获取其上边缘位置信息，得到位置的波谷点。
在步骤S730，检测所述波谷点的高度值是否小于预设阈值，如果小于则根据该波谷点将该新的可能的物体区域分割为两个区域，并将这两个区域作为新的可能的物体区域。
在步骤S740，对在步骤S730中获得的所有新的可能的物体区域重复以上步骤S720-S730，直到不能再次分割。
对于该预设阈值，本领域技术人员可以根据需要对其进行设置，其可以是绝对阈值，比如预先设置的某个固定值。替换地，该阈值可以是基于所述上边缘位置值计算的相对阈值，比如a×Mean(OUB)，其中a是可以在0到1之间取值的系数因子，Mean()表示取平均值，OUB表示上述上边缘位置高度值。当然，本领域技术人员很清楚，根据实际应用情况，该阈值可以取其他适当的值。
根据上述方法700，能够对包含部分相连的物体的物体区域进行进一步分割。
<2.5、物体分割装置>
图8示出了根据本发明实施例的物体区域分割装置800的框图。
如图8所示，该物体区域分割装置800可以包括：视差图获得单元810、粗略物体区域获得单元820、视差范围获得单元830、物体分隔区域获得单元840以及分割单元850。
该视差图获得单元810获得包括物体在内的场景的视差图。该粗略物体区域获得单元820获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域。该视差范围获得单元830获得每个粗略物体区域内的物体的视差范围。该物体分隔区域获得单元840对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域。该分割单元850利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。
该物体分隔区域获得单元可以将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为该物体分隔区域。
<3、总结>
上文描述了物体区域分割方法和装置，其中获得包括物体在内的场景的视差图；获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；获得每个粗略物体区域内的物体的视差范围；对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果。
本发明考虑了反映在视差图内的物体的距离信息以及物体之间的遮挡关系，使用较远物体的信息作为剪裁标准来进行分割，因此能够将可能相连或靠近的物体分隔开，从而实现精确的分割，同时也具有很强的抗噪声能力。更进一步，由于对近处物体也进行了处理，因此对于部分被遮挡的物体也能够获得良好的分割结果。
虽然上述实施例以道路画面为例描述了本发明的物体区域分割方法和装置，但是本领域技术人员应当清楚，本发明同样适用于其他环境中，比如办公环境下。
可以通过双目相机、多目相机、立体相机拍摄得到包括物体在内的场景的视差图。或者，从立体视图中获得深度图，根据深度图得到视差图。获得场景的视差图的方法在现有技术中是已知的。
可以通过现有分割方法来获得一个或多个粗略物体区域。替换地，可以由用户在视差图中指定一个或多个粗略物体区域，并根据现有技术方法得到每个区域的物体区域信息以及物体视差范围。
可以将在粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为物体分隔区域。可选地，如果该粗略物体区域内的无视差值的点与该物体分隔区域中的点在垂直方向上相邻，则将该点也加入该物体分隔区域中。可选地，如果该粗略物体区域内的视差值大于物体的视差范围的最大值的点与该物体分隔区域中的点在垂直方向上相邻，则将该点也加入该物体分隔区域中。
可以将粗略物体区域内的视差值在该区域内的目标物体的视差范围内的点形成的区域作为可能物体区域。可选地，如果该粗略物体区域内的无视差值的点与该可能物体区域中的点相邻，则将该点也加入该可能物体区域中。可选地，如果该粗略物体区域内的视差值大于物体的视差范围的最大值的点与该可能物体区域中的点相邻，则将该点也加入该可能物体区域中。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行，例如，标准激光点/区域特征值的获取步骤和候选激光点/区域的生成步骤之间是独立，可以并行或以任意先后顺序进行。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种物体区域分割方法，包括以下步骤：
获得包括物体在内的场景的视差图；
获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；
获得每个粗略物体区域内的物体的视差范围；
对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；
利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果，
其中利用该物体分隔区域对该粗略物体区域进行分割的步骤包括：
基于该粗略物体区域内的视差值在所述视差范围内的点，获得该粗略物体区域内的可能物体区域；以及
利用该物体分隔区域对该可能物体区域进行分割。
2.根据权利要求1的方法，其中获得物体分隔区域的步骤包括：
将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为该物体分隔区域。
3.根据权利要求2的方法，其中获得物体分隔区域的步骤还包括：
对于该粗略物体区域内的无视差值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中；以及
对于该粗略物体区域内的视差值大于物体的视差范围的最大值的点，检测该点是否与该物体分隔区域中的点在垂直方向上相邻，如果相邻则将该点也加入该物体分隔区域中。
4.根据权利要求1的方法，其中获得可能物体区域的步骤包括：
将在该粗略物体区域内的、视差值在所述视差范围内的点形成的区域作为该可能物体区域。
5.根据权利要求4的方法，其中获得可能物体区域的步骤还包括：
对于该粗略物体区域内的无视差值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中；以及
对于该粗略物体区域内的、视差值大于物体的视差范围的最大值的点，检测该点是否与该可能物体区域中的点相邻，如果相邻则将该点也加入该可能物体区域中。
6.根据权利要求1的方法，其中利用该物体分隔区域对该可能物体区域进行分割的步骤包括：
(a)从该可能的物体区域中减去该物体分隔区域，将得到的连通域作为新的可能的物体区域；
(b)对于该新的可能的物体区域，获取其上边缘位置信息，得到位置的波谷点；
(c)检测该波谷点的高度值是否小于预设阈值，如果小于则根据该波谷点将该新的可能的物体区域分割为两个区域，并将这两个区域作为新的可能的物体区域；以及
(d)对由此获得的所有新的可能的物体区域重复以上步骤(b)到(c)，直到不能再次分割。
7.根据权利要求6的方法，其中该预设阈值是绝对阈值或者基于所述上边缘位置值计算的相对阈值。
8.一种物体区域分割装置，该装置包括：
视差图获得单元，用于获得包括物体在内的场景的视差图；
粗略物体区域获得单元，用于获得该视差图中的包括物体轮廓在内的一个或多个粗略物体区域；
视差范围获得单元，用于获得每个粗略物体区域内的物体的视差范围；
物体分隔区域获得单元，对于每个粗略物体区域，基于在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点，获得用于分隔开该粗略物体区域内的物体的物体分隔区域；
分割单元，利用该物体分隔区域对该粗略物体区域进行分割，得到物体区域分割结果，
其中所述分割单元基于该粗略物体区域内的视差值在所述视差范围内的点，获得该粗略物体区域内的可能物体区域；以及利用该物体分隔区域对该可能物体区域进行分割。
9.如权利要求8的装置，其中该物体分隔区域获得单元将在该粗略物体区域内的、视差值小于该区域内的物体的视差范围的最小值的点形成的区域作为该物体分隔区域。
CN201210147434.5A 2012-05-11 2012-05-11 物体区域分割方法和装置 Active CN103390268B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210147434.5A CN103390268B (zh) 2012-05-11 2012-05-11 物体区域分割方法和装置
EP13165616.7A EP2677462B1 (en) 2012-05-11 2013-04-26 Method and apparatus for segmenting object area
JP2013099444A JP6119409B2 (ja) 2012-05-11 2013-05-09 対象物領域分割方法及び対象物領域分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210147434.5A CN103390268B (zh) 2012-05-11 2012-05-11 物体区域分割方法和装置

Publications (2)

Publication Number Publication Date
CN103390268A CN103390268A (zh) 2013-11-13
CN103390268B true CN103390268B (zh) 2016-11-23

Family

ID=48326120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210147434.5A Active CN103390268B (zh) 2012-05-11 2012-05-11 物体区域分割方法和装置

Country Status (3)

Country Link
EP (1) EP2677462B1 (zh)
JP (1) JP6119409B2 (zh)
CN (1) CN103390268B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105277169B (zh) * 2015-09-25 2017-12-22 安霸半导体技术（上海）有限公司 基于图像分割的双目测距方法
CN106886997A (zh) * 2015-12-15 2017-06-23 株式会社理光 识别堆叠物体的方法和装置
EP3327624A1 (en) * 2016-11-25 2018-05-30 Ricoh Company Ltd. Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means
JP7062904B2 (ja) * 2016-11-25 2022-05-09 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
CN109254579B (zh) * 2017-07-14 2022-02-25 上海汽车集团股份有限公司 一种双目视觉相机硬件***、三维场景重建***及方法
CN111666824B (zh) * 2020-05-14 2023-12-15 浙江工业大学 移动机器人的基于颜色属性和机器学习的指示灯识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024260A (zh) * 2010-12-30 2011-04-20 浙江工商大学 基于局部Gamma拟合的活动轮廓SAR图像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP2002170118A (ja) * 2000-12-04 2002-06-14 Olympus Optical Co Ltd 背景分離装置及び背景分離方法
US8520947B2 (en) * 2007-05-22 2013-08-27 The University Of Western Ontario Method for automatic boundary segmentation of object in 2D and/or 3D image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024260A (zh) * 2010-12-30 2011-04-20 浙江工商大学 基于局部Gamma拟合的活动轮廓SAR图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A layerd stereo algorithm using image segmentation and global visibility constraints;Michael Bleyer等;《2004 International Conference on Image Processing (ICIP)》;20041024;第2997-3000页 *
基于视差和变化检测的立体视频对象分割;高欣 等;《上海大学学报（自然科学版）》;20060430;第12卷(第2期);第116-119,124页 *

Also Published As

Publication number Publication date
CN103390268A (zh) 2013-11-13
JP2013239167A (ja) 2013-11-28
EP2677462A1 (en) 2013-12-25
JP6119409B2 (ja) 2017-04-26
EP2677462B1 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6496987B2 (ja) 目標検出方法及び目標検出装置
Chang et al. Argoverse: 3d tracking and forecasting with rich maps
CN103390268B (zh) 物体区域分割方法和装置
JP6439820B2 (ja) 対象識別方法、対象識別装置、及び分類器訓練方法
EP3251090B1 (en) Occlusion handling for computer vision
CN104715471B (zh) 目标定位跟踪方法及其装置
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
JP6340781B2 (ja) 視差図による視差方向連続型物体検知方法及び装置
Xiao et al. Change detection in 3D point clouds acquired by a mobile mapping system
KR20150070629A (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
JP2013239168A (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
EP2757529B1 (en) Systems and methods for 3D data based navigation using descriptor vectors
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
CN106327558B (zh) 点云立面提取方法和装置
Hu et al. Robust object tracking via multi-cue fusion
CN117315210B (zh) 一种基于立体成像的图像虚化方法及相关装置
CN108399630B (zh) 一种复杂场景下感兴趣区域内目标快速测距方法
Kim et al. Tree and building detection in dense urban environments using automated processing of IKONOS image and LiDAR data
EP2757526B1 (en) Systems and methods for 3D data based navigation using a watershed method
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
CN103714528B (zh) 物体分割装置和方法
Crosby et al. Object identification in 3D flash lidar images
Abdullah et al. Automatic segmentation of LiDAR point cloud data at different height levels for 3D building extraction
KR20160052256A (ko) 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant