CN102622768B - 一种平面视频的深度图求取方法 - Google Patents
一种平面视频的深度图求取方法 Download PDFInfo
- Publication number
- CN102622768B CN102622768B CN201210067349.8A CN201210067349A CN102622768B CN 102622768 B CN102622768 B CN 102622768B CN 201210067349 A CN201210067349 A CN 201210067349A CN 102622768 B CN102622768 B CN 102622768B
- Authority
- CN
- China
- Prior art keywords
- moving object
- depth
- video
- foreground moving
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001914 filtration Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 238000004040 coloring Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种平面视频的深度图求取方法，包括以下步骤：对原始平面视频中的前景运动物体进行检测和提取，计算前景运动物体的遮挡关系，得到前景运动物体的掩膜图像；根据前景运动物体的掩膜图像对原始平面视频进行背景重构，以得到去除前景运动物体的背景视频序列；对背景视频序列求取背景深度图序列；对原始平面视频求取初始深度图序列；根据初始深度图序列中前景运动物体的初始深度信息，以及背景深度图序列中的前景运动物体的几何信息，得到平面原始视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于背景重构及运动检测的平面视频的深度图求取方法。
背景技术
在立体视频处理技术中，平面视频的深度图生成是指通过平面视频得到标识场景立体信息的深度图序列。
目前常用的深度图生成方法主要是利用平面视频的几何信息，摄像机参数，平面视频中物体的颜色特征等进行全局求取。另外可以通过关键帧图像及对应的深度图对非关键帧的深度图进行计算，计算方法主要包括深度扩散或轮廓跟踪等方法。该方法在关键帧和非关键帧变化较小的场景有较好的效果。
背景重构和运动检测是视频处理中的关键技术，背景重构是指从具有运动物体的场景中恢复静态的背景。目前常用的方法是利用参数或非参数建模方法，对视频中每个像素点建立模型，通过匹配模型对大量采样进行判断和参数变更。主要利用了像素的颜色信息以及视频帧间的关联性。运动检测是指从有运动物体的视频中提取运动物体的信息。目前常用的方法是将运动信息，颜色信息和物体的几何形状信息相结合，从而提取出前景物体。
现有的深度图生成方法往往只能处理包含简单场景和运动模式的平面视频，对于具有复杂场景的处理缺乏鲁棒性(robustness)，从而导致生成的深度图精确度不高。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是提供一种能够精确求取平面视频中每一帧的深度图像的方法。
为达到上述目的，本发明提供一种平面视频的深度图求取方法，包括以下步骤：S1：对原始平面视频中的前景运动物体进行检测和提取，计算所述前景运动物体的遮挡关系，得到所述前景运动物体的掩膜图像；S2：根据所述前景运动物体的掩膜图像对所述原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列；S3：对所述背景视频序列求取背景深度图序列；S4：对所述原始平面视频求取初始深度图序列；S5：根据所述初始深度图序列中所述前景运动物体的初始深度信息，以及所述背景深度图序列中的所述前景运动物体的几何信息，得到所述平面原始视频的深度图序列。
在本发明的一个实施例中，所述步骤S01进一步包括以下步骤：S11：通过运动检测方法检测并提取所述原始平面视频中的所述前景运动物体；S12：计算所述前景运动物体的面积，并将其中面积较小的物体去除；S13：根据所述前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。
在本发明的一个实施例中，步骤S2进一步包括以下步骤：S21：根据所述前景运动物体的掩膜图像，得到去除所述前景运动物体的背景视频序列；S22：根据图像相邻像素的相似性对所述背景视频序列进行图像修补；S23：根据所述前景运动物体的运动信息和所述背景视频序列帧间的像素关联，填补所述背景视频序列中的空白区域；S24：根据图像相邻像素的相似性对所述背景视频序列进行插值和平滑操作。
在本发明的一个实施例中，步骤S22中所述图像修补的算法包括：inpaint算法、patch-match算法。
在本发明的一个实施例中，步骤S3包括：对所述背景视频序列使用静态场景的深度图生成算法，以得到所述背景深度图序列。
在本发明的一个实施例中，静态场景的深度图生成算法包括Bundle算法。
在本发明的一个实施例中，步骤S4包括：使用深度估计算法对所述原始平面视频进行深度估计，以得到所述初始深度图序列。
在本发明的一个实施例中，所述深度估计算法包括BP算法。
在本发明的一个实施例中，步骤S5进一步包括以下步骤：S51：由所述前景运动物体的掩膜图像和所述初始深度图序列得到所述前景运动物体的初始深度图；S52：结合所述背景深度图序列的信息和所述前景运动物体的空间位置信息，对每一帧所述前景运动物体的初始深度图进行修正，以得到包含所述前景运动物体和背景的深度图序列；S53：对包含所述前景运动物体和背景的深度图序列进行滤波处理。
在本发明的一个实施例中，步骤S52进一步包括：计算摄像机参数，结合所述前景运动物体的空间位置信息估计所述前景运动物体所处的运动平面；在所述背景深度图序列中，提取所述运动平面的深度信息，对每一帧所述前景运动物体的初始深度图进行修正。
在本发明的一个实施例中，步骤S53中所述滤波处理包括：双边滤波，高斯滤波。
在本发明的一个实施例中，步骤S5之后还包括：对所述平面原始视频的深度图序列进行平滑后处理。
本发明提供一种平面视频的深度图求取方法。通过运动检测得到视频的前景运动物体的掩膜图像，根据该掩膜图像对视频进行背景重构得到去除前景运动物体的背景视频，然后对背景视频进行深度图求取以及对原视频进行初始的深度图估计，再结合二者的信息以及前景运动物体的运动信息和几何信息，最终得到优化的原视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。此外，根据本发明实施例的平面视频的深度图求取方法能够处理具有多个运动物体的复杂场景，适应性强，应用广泛。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的平面视频的深度图求取方法流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
图1为本发明实施例的平面视频的深度图求取方法流程图，该方法包括以下步骤：
步骤S1：对原始平面视频中的前景运动物体进行检测和提取，计算前景运动物体的遮挡关系，得到前景运动物体的掩膜图像。具体地，可以包括以下步骤：
步骤S11：通过运动检测方法检测并提取原始平面视频中的前景运动物体，以得到初始前景掩膜图像。例如，利用运动信息，颜色信息等，通过背景建模，轮廓跟踪等运动检测方法对原始平面视频中的运动物体进行检测并提取。需指出的是，本发明实施例可以运用于具有多个运动物体的复杂场景，故在该步骤中，可以检测提取原始平面视频中所有的前景运动物体。
步骤S12：计算前景运动物体的面积，并将其中面积较小的物体去除。在检测中，由于抖动、光线变化等原因可能造成背景中某个物体的部分微小运动，而该微小运动也可能被认定为前景运动，从而导致误检测。由于这类微小运动往往面积较小，故通过面积检测可以修正背景物体微小运动导致的误检测。
步骤S13：根据前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。当两个物体出现遮挡时，被遮挡物体将出现明显的颜色跳变，从而根据前景运动物体的颜色信息，可以计算原始平面视频中可能存在的多个物体遮挡关系。步骤S12和S12是对步骤S11得到的初始前景掩膜图像进行修正。
步骤S2：根据前景运动物体的掩膜图像对原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列。具体地，可以包括以下步骤：
步骤S21：根据步骤S14的结果，去除原始平面视频每一帧中的前景运动物体部分，得到初始背景视频序列；
步骤S22：根据图像相邻像素的相似性，例如颜色相关性，对初始背景视频序列的每一帧进行图像修补，得到粗略的背景图像。在本实施例中，图像修补算法可以是inpaint算法，patch-match算法等。
步骤S23：在步骤S22得到的背景图像的基础上，根据前景运动物体的运动信息和背景视频序列帧间的像素关联，填补该背景图像中的空白区域。在本实施例中，运动信息包括原始平面视频中的运动物体的运动方向和位移，对于具有复杂运动的物体，其运动信息包括物体每个部分的运动信息；帧间的像素关联包括帧间的时间和空间连续性。
步骤S24：再次根据图像相邻像素的相似性对该背景图像进行插值和平滑操作，得到仅包括背景信息的背景视频序列。在本发明实施例中，通过将原始平面视频中的前景信息和背景信息分离，以对前景视频和背景视频分开处理，从而降低处理难度，并且提高生成深度图的精度。
步骤S3：对背景视频序列求取背景深度图序列。在本发明实施例中，可以对步骤S24得到的背景视频序列，使用静态场景的深度图生成算法，如Bundle算法等，计算得到背景深度图序列。
步骤S4：对原始平面视频求取初始深度图序列。在本发明实施例中，可以使用深度估计算法，如BP算法等，对原始平面视频进行深度估计。
步骤S5：根据初始深度图序列中前景运动物体的初始深度信息，以及背景深度图序列中的前景运动物体的几何信息，得到平面原始视频的深度图序列。具体地，可以包括以下步骤：
步骤S51：结合前景运动物体的掩膜图像和原始平面视频的初始深度图序列，得到前景运动物体的初始深度图。
步骤S52：结合背景深度图序列的信息和前景运动物体的运动信息和几何信息，对每一帧前景运动物体的初始深度图进行修正，以得到包含前景运动物体和背景的深度图序列。例如在本实施例中，该步骤可以通过以下方式实现：首先，计算摄像机参数，结合前景运动物体的运动信息和几何信息估计该前景运动物体所处的运动平面，其中，几何信息包括场景中的前景和背景的三维空间位置，三维空间结构等；然后，在背景深度图序列中，提取该运动平面的深度信息，与初始深度图中的初始深度信息进行融合，优化前景运动物体的深度信息，即对每一帧前景运动物体的初始深度图进行修正。
步骤S53：对包含前景运动物体和背景的深度图序列进行滤波处理，以保持深度图序列中前景运动物体深度的时间和空间的连续性。在本实施例中，滤波处理的方法包括双边滤波，高斯滤波等。
在本发明优选的实施例中，在步骤S53之后还包括：对平面原始视频的深度图序列进行平滑后处理，以提高深度图的平滑性能。
本发明提供一种平面视频的深度图求取方法。通过运动检测得到视频的前景运动物体的掩膜图像，根据该掩膜图像对视频进行背景重构得到去除前景运动物体的背景视频，然后对背景视频进行深度图求取以及对原视频进行初始的深度图估计，再结合二者的信息以及前景运动物体的运动信息和几何信息，最终得到优化的原视频的深度图序列。根据本发明实施例的方法能够精确求取平面视频中每一帧的深度图，并且所求取的深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。此外，根据本发明实施例的平面视频的深度图求取方法能够处理具有多个运动物体的复杂场景，应用前景广泛。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (11)
1.一种平面视频的深度图求取方法，其特征在于，包括以下步骤：
S1：对原始平面视频中的前景运动物体进行检测和提取，计算所述前景运动物体的遮挡关系，得到所述前景运动物体的掩膜图像；
S2：根据所述前景运动物体的掩膜图像对所述原始平面视频进行背景重构，以得到去除所述前景运动物体的背景视频序列；
S3：对所述背景视频序列求取背景深度图序列；
S4：对所述原始平面视频求取初始深度图序列；
S5：根据所述初始深度图序列中所述前景运动物体的初始深度信息，以及所述背景深度图序列中的所述前景运动物体的几何信息，得到所述平面原始视频的深度图序列，步骤S5进一步包括以下步骤：
S51：由所述前景运动物体的掩膜图像和所述初始深度图序列得到所述前景运动物体的初始深度图；
S52：结合所述背景深度图序列的信息和所述前景运动物体的空间位置信息，对每一帧所述前景运动物体的初始深度图进行修正，以得到包含所述前景运动物体和背景的深度图序列；
S53：对包含所述前景运动物体和背景的深度图序列进行滤波处理。
2.如权利要求1所述的平面视频的深度图求取方法，其特征在于，所述步骤S1进一步包括以下步骤：
S11：通过运动检测方法检测并提取所述原始平面视频中的所述前景运动物体；
S12：计算所述前景运动物体的面积，并将其中面积较小的物体去除；
S13：根据所述前景运动物体的颜色信息，判断可能存在的多个所述前景物体之间的遮挡关系。
3.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S2进一步包括以下步骤：
S21：根据所述前景运动物体的掩膜图像，得到去除所述前景运动物体的背景视频序列；
S22：根据图像相邻像素的相似性对所述背景视频序列进行图像修补；
S23：根据所述前景运动物体的运动信息和所述背景视频序列帧间的像素关联，填补所述背景视频序列中的空白区域；
S24：根据图像相邻像素的相似性对所述背景视频序列进行插值和平滑操作。
4.如权利要求3所述的平面视频的深度图求取方法，其特征在于，步骤S22中所述图像修补的算法包括：inpaint算法、patch-match算法。
5.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S3包括：对所述背景视频序列使用静态场景的深度图生成算法，以得到所述背景深度图序列。
6.如权利要求5所述的平面视频的深度图求取方法，其特征在于，静态场景的深度图生成算法包括Bundle算法。
7.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S4包括：使用深度估计算法对所述原始平面视频进行深度估计，以得到所述初始深度图序列。
8.如权利要求7所述的平面视频的深度图求取方法，其特征在于，所述深度估计算法包括BP算法。
9.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S52进一步包括：
计算摄像机参数，结合所述前景运动物体的空间位置信息估计所述前景运动物体所处的运动平面；
在所述背景深度图序列中，提取所述运动平面的深度信息，对每一帧所述前景运动物体的初始深度图进行修正。
10.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S53中所述滤波处理包括：双边滤波，高斯滤波。
11.如权利要求1所述的平面视频的深度图求取方法，其特征在于，步骤S5之后还包括：对所述平面原始视频的深度图序列进行平滑后处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210067349.8A CN102622768B (zh) | 2012-03-14 | 2012-03-14 | 一种平面视频的深度图求取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210067349.8A CN102622768B (zh) | 2012-03-14 | 2012-03-14 | 一种平面视频的深度图求取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102622768A CN102622768A (zh) | 2012-08-01 |
| CN102622768B true CN102622768B (zh) | 2014-04-09 |
Family
ID=46562669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210067349.8A Active CN102622768B (zh) | 2012-03-14 | 2012-03-14 | 一种平面视频的深度图求取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102622768B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248906B (zh) * | 2013-04-17 | 2015-02-18 | 清华大学深圳研究生院 | 一种双目立体视频序列的深度图获取方法与*** |
| CN103268606B (zh) * | 2013-05-15 | 2016-03-30 | 华为技术有限公司 | 一种运动模糊图像的深度信息补偿方法和装置 |
| CN104715446B (zh) * | 2015-02-28 | 2019-08-16 | 努比亚技术有限公司 | 一种移动终端及其将摄像中运动的目标移除的方法和装置 |
| CN107368188B (zh) * | 2017-07-13 | 2020-05-26 | 河北中科恒运软件科技股份有限公司 | 介导现实中的基于多重空间定位的前景抽取方法及*** |
| GB2576574B (en) * | 2018-08-24 | 2023-01-11 | Cmr Surgical Ltd | Image correction of a surgical endoscope video stream |
| CN114007058A (zh) * | 2020-07-28 | 2022-02-01 | 阿里巴巴集团控股有限公司 | 深度图校正、视频处理、视频重建方法及相关装置 |
| CN113808251B (zh) * | 2021-08-09 | 2024-04-12 | 杭州易现先进科技有限公司 | 一种基于语义分割的稠密重建的方法、***、装置和介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101257641A (zh) * | 2008-03-14 | 2008-09-03 | 清华大学 | 基于人机交互的平面视频转立体视频的方法 |
| CN101873509A (zh) * | 2010-06-30 | 2010-10-27 | 清华大学 | 消除深度图序列背景和边缘抖动的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI420413B (zh) * | 2010-07-15 | 2013-12-21 | Chunghwa Picture Tubes Ltd | 深度圖強化方法及其電腦可讀媒體 |
-
2012
- 2012-03-14 CN CN201210067349.8A patent/CN102622768B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101257641A (zh) * | 2008-03-14 | 2008-09-03 | 清华大学 | 基于人机交互的平面视频转立体视频的方法 |
| CN101873509A (zh) * | 2010-06-30 | 2010-10-27 | 清华大学 | 消除深度图序列背景和边缘抖动的方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于背景重构的视频分割技术及应用;范小聪;《液晶与显示》;20110430;第26卷(第2期);229-233 * |
| 真正射影像生成中遮蔽区域的补偿;边馥苓;《测绘科学》;20090531;第34卷(第3期);81-83 * |
| 范小聪.基于背景重构的视频分割技术及应用.《液晶与显示》.2011,第26卷(第2期),229-233. |
| 边馥苓.真正射影像生成中遮蔽区域的补偿.《测绘科学》.2009,第34卷(第3期),81-83. |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102622768A (zh) | 2012-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102622768B (zh) | 一种平面视频的深度图求取方法 | |
| KR101758058B1 (ko) | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 | |
| Concha et al. | Using superpixels in monocular SLAM | |
| US9142011B2 (en) | Shadow detection method and device | |
| US20200380711A1 (en) | Method and device for joint segmentation and 3d reconstruction of a scene | |
| KR20120066300A (ko) | 3차원 제스처 처리 방법 및 장치 | |
| KR20090062440A (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
| US9661307B1 (en) | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D | |
| KR20170015299A (ko) | 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치 | |
| Abrams et al. | The episolar constraint: Monocular shape from shadow correspondence | |
| Jang et al. | Discontinuity preserving disparity estimation with occlusion handling | |
| CN104778673B (zh) | 一种改进的高斯混合模型深度图像增强方法 | |
| KR20110021500A (ko) | 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치 | |
| CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
| CN105791795B (zh) | 立体图像处理方法、装置以及立体视频显示设备 | |
| Azartash et al. | An integrated stereo visual odometry for robotic navigation | |
| CN105335934A (zh) | 视差图计算方法和装置 | |
| Wang et al. | Improving deep stereo network generalization with geometric priors | |
| CN111860643A (zh) | 基于调频模型的视觉模板匹配的鲁棒性提升方法 | |
| CN105825161B (zh) | 图像的肤色检测方法及其*** | |
| Fan et al. | Collaborative three-dimensional completion of color and depth in a specified area with superpixels | |
| Plakas et al. | Uncalibrated vision for 3-D underwater applications | |
| Xu et al. | DOS-SLAM: A real-time dynamic object segmentation visual SLAM system | |
| CN109360174B (zh) | 基于相机位姿的三维场景重建方法及*** | |
| KR101717381B1 (ko) | 스테레오 카메라 기반의 주행 가능 영역 추정 장치 및 방법과 이에 관한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |