CN110853086A - 基于散斑投影的深度图像生成方法及*** - Google Patents
基于散斑投影的深度图像生成方法及*** Download PDFInfo
- Publication number
- CN110853086A CN110853086A CN201911000440.6A CN201911000440A CN110853086A CN 110853086 A CN110853086 A CN 110853086A CN 201911000440 A CN201911000440 A CN 201911000440A CN 110853086 A CN110853086 A CN 110853086A
- Authority
- CN
- China
- Prior art keywords
- pixel point
- point
- image block
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于散斑投影的深度图像生成方法及***。该方法包括：获取左目散斑图像和右目散斑图像；对每个左像素点进行如下处理：根据左像素点对应的左图像块得到左二值图像块；确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；将多个差异值中的最小值对应的搜索像素点作为左像素点对应的匹配点；根据左像素点与左像素点对应的匹配点，计算左像素点对应的深度；将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以快速实现图像匹配。
Description
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种基于散斑投影的深度图像生成方法及***。
背景技术
深度图估计是计算机视觉中的一个重要研究方向，广泛应用在自动驾驶，工业测量、生物医学成像以及人机交互等领域。近些年来，基于散斑投影和双目相机的深度图估计方法由于较高的估计精度和场景适应能力获得了广泛关注。该方法利用散斑投射模块把精细散斑图案投影到场景物体表面，投射瞬间利用两个事先标定好的相机拍摄带有散斑图案的物体图像，通过图像匹配获取两张图像之间稠密的匹配像素点，最后利用匹配像素点结合相机的标定参数解算出场景深度图。
图像匹配是深度图估计过程中的重要环节，传统的匹配方法大多基于灰度运算，易受到环境光强的影响，计算代价较大，不利于实时实现。
发明内容
本发明实施例的主要目的在于提供一种基于散斑投影的深度图像生成方法及***，以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
为了实现上述目的，本发明实施例提供一种基于散斑投影的深度图像生成方法，包括：
获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
对每个左像素点进行如下处理：
选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块；
确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点；
选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度；
分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个；
确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；
根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离；
根据左像素点对应的亚像素距离，计算左像素点对应的深度；
将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
本发明实施例还提供一种基于散斑投影的深度图像生成***，包括：
获取模块，用于获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
左二值图像块模块，用于选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块；
搜索区域模块，用于确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点；
右二值图像块模块，用于选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度；
差异值模块，用于分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个；
匹配点模块，用于确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；
亚像素距离模块，用于根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离；
深度模块，用于根据左像素点对应的亚像素距离，计算左像素点对应的深度；
深度图像模块，用于将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
本发明实施例的基于散斑投影的深度图像生成方法及***对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中基于散斑投影的深度图像生成方法的流程图；
图2是本发明实施例中S107的流程图；
图3是本发明实施例中左目相机与右目相机的位置示意图；
图4是本发明实施例中基于散斑投影的深度图像生成***的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
鉴于现有技术大多基于灰度运算，易受到环境光强的影响，计算代价较大，不利于实时实现，本发明实施例提供一种基于散斑投影的深度图像生成方法，以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。以下结合附图对本发明进行详细说明。
图1是本发明实施例中基于散斑投影的深度图像生成方法的流程图。如图1所示，基于散斑投影的深度图像生成方法包括：
S101：获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应。
每个右像素点均与每个左像素点对应是指每个左像素点在左目散斑图像上的位置与对应的右像素点在右目散斑图像上的位置相同。
对每个左像素点进行如下处理：
S102：选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块。
S103：确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点。
S104：选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度。
S105：分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个。
S106：确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点。
S107：根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离。
S108：根据左像素点对应的亚像素距离，计算左像素点对应的深度。
一实施例中，当左目散斑图像和右目散斑图像均经过极线校正时，通过如下公式计算左像素点对应的深度：
其中，Zp为左像素点对应的深度，Δxs为亚像素距离的x分量，b为获取左目散斑图像的相机(左目相机)与获取右目散斑图像的相机(右目相机)之间的距离，f为相机的焦距(像素量纲)。
S109：将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
其中，深度图像与左目相机对应。
图1所示的基于散斑投影的深度图像生成方法的执行主体可以为计算机。由图1所示的流程可知，本发明实施例的基于散斑投影的深度图像生成方法对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
图2是本发明实施例中S107的流程图。如图2所示，S107包括：
S201：根据左像素点与左像素点对应的匹配点，计算左像素点对应的像素距离。
S202：确定左像素点对应的匹配点在横向上的左相邻点和右相邻点。
S203：确定左相邻点的差异值和右相邻点的差异值。
S204：根据左像素点对应的匹配点的差异值、左相邻点的差异值、右相邻点的差异值和左像素点对应的像素距离，计算左像素点对应的亚像素距离。
一实施例中，当左目散斑图像和右目散斑图像均经过极线校正时，通过如下公式计算左像素点对应的亚像素距离：
ds＝(Δxs,0)；
其中，ds为亚像素距离，Δxs为亚像素距离的x分量，Δx为左像素点对应的像素距离，cqm1为左相邻点的差异值，cqm2为右相邻点的差异值，cqm为左像素点对应的匹配点的差异值。
本发明实施例的具体流程如下：
1、获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应。
对每个左像素点进行如下处理：
2、选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块。
例如，对于左目散斑图像中的每个左像素点p(x,y)，以该像素点为中心，选取大小为M×N的左图像块Gp，并对左图像块进行二值化处理，获得一个大小为M×N的左二值图像块Bp。
3、确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点。
例如，在右目散斑图像中找到与左像素点p(x,y)位置相同的右像素点q(x,y)，在右像素点附近选择搜索区域A:[x-Δ1～x+Δ2,y-Δ3～y+Δ4]。
4、选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度。
例如，对搜索区域A中的任意搜索像素点qi，以该搜索像素点为中心，选取大小为M×N的右图像块Gqi，对右图像块进行二值化处理，获得一个大小为M×N的右二值图像块Bqi。对搜索区域A中的所有像素执行此操作，使搜索区域A中的每个搜索像素点qi(i＝1,…,n)都对应一个右二值图像块Bqi(i＝1,…,n)。
5、分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点。
例如，采用逻辑异或的方式计算分别计算Bqi(i＝1,…,n)与Bp之间的差异值cqi，选择最小异值对应的搜索像素点qm(x’,y’)作为左像素点p(x,y)的匹配点。
6、根据左像素点与左像素点对应的匹配点，计算左像素点对应的像素距离。
具体实施时，d＝(x-x’,y-y’)＝(Δx,Δy)。d为左像素点对应的像素距离。
7、确定左像素点对应的匹配点在横向上的左相邻点和右相邻点。确定左相邻点的差异值和右相邻点的差异值。
8、根据左像素点对应的匹配点的差异值、左相邻点的差异值、右相邻点的差异值和左像素点对应的像素距离，计算左像素点对应的亚像素距离。
例如，左像素点对应的匹配点的差异值为：左像素点对应的像素距离d和匹配点qm的搜索区域内像素点对应的差异值。
左目散斑图像和右目散斑图像均经过极线校正，即左目散斑图像某一行中的每个点都出现在右目散斑图像对应的行上，此时Δy＝0，Δx>0。
9、根据左像素点对应的亚像素距离，计算左像素点对应的深度。
其中，左目散斑图像和右目散斑图像均经过极线校正。
图3是本发明实施例中左目相机与右目相机的位置示意图。图中的b为左目相机与右目相机之间的距离，f为相机(左目相机和右目相机)的焦距，p为左像素点，qm为p的匹配点，P为左像素点对应的空间点，Zp为左像素点的深度。
10、将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
综上，本发明实施例的基于散斑投影的深度图像生成方法对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
基于同一发明构思，本发明实施例还提供了一种基于散斑投影的深度图像生成***，由于该***解决问题的原理与基于散斑投影的深度图像生成方法相似，因此该***的实施可以参见方法的实施，重复之处不再赘述。
图4是本发明实施例中基于散斑投影的深度图像生成***的结构框图。如图4所示，基于散斑投影的深度图像生成***包括：
获取模块，用于获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
左二值图像块模块，用于选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块；
搜索区域模块，用于确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点；
右二值图像块模块，用于选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度；
差异值模块，用于分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个；
匹配点模块，用于确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；
亚像素距离模块，用于根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离；
深度模块，用于根据左像素点对应的亚像素距离，计算左像素点对应的深度；
深度图像模块，用于将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
在其中一种实施例中，亚像素距离模块具体用于：
根据左像素点与左像素点对应的匹配点，计算左像素点对应的像素距离；
确定左像素点对应的匹配点在横向上的左相邻点和右相邻点；
确定左相邻点的差异值和右相邻点的差异值；
根据左像素点对应的匹配点的差异值、左相邻点的差异值、右相邻点的差异值和左像素点对应的像素距离，计算左像素点对应的亚像素距离。
在其中一种实施例中，亚像素距离模块具体用于：
当左目散斑图像和右目散斑图像均经过极线校正时，通过如下公式计算左像素点对应的亚像素距离：
ds＝(Δxs,0)；
其中，ds为亚像素距离，Δxs为亚像素距离的x分量，Δx为左像素点对应的像素距离，cqm1为左相邻点的差异值，cqm2为右相邻点的差异值，cqm为左像素点对应的匹配点的差异值。
在其中一种实施例中，深度模块具体用于：当左目散斑图像和右目散斑图像均经过极线校正时，通过如下公式计算左像素点对应的深度：
其中，Zp为左像素点对应的深度，Δxs为亚像素距离的x分量，b为获取左目散斑图像的相机与获取右目散斑图像的相机之间的距离，f为相机的焦距。
综上，本发明实施例的基于散斑投影的深度图像生成***对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时可以实现基于散斑投影的深度图像生成方法的全部或部分内容，例如，处理器执行计算机程序时可以实现如下内容：
获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
对每个左像素点进行如下处理：
选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块；
确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点；
选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度；
分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个；
确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；
根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离；
根据左像素点对应的亚像素距离，计算左像素点对应的深度；
将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
综上，本发明实施例的计算机设备对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现基于散斑投影的深度图像生成方法的全部或部分内容，例如，处理器执行计算机程序时可以实现如下内容：
获取左目散斑图像和右目散斑图像；左目散斑图像包括多个左像素点，右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
对每个左像素点进行如下处理：
选取左像素点对应的左图像块，并对左图像块进行二值化处理，得到左二值图像块；
确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；搜索区域包括多个搜索像素点；
选取每个搜索像素点对应的右图像块，并对右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；右图像块的长度等于左图像块的长度，右图像块的宽度等于左图像块的宽度；
分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值；差异值的数量为多个；
确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；
根据左像素点与左像素点对应的匹配点，计算左像素点对应的亚像素距离；
根据左像素点对应的亚像素距离，计算左像素点对应的深度；
将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
综上，本发明实施例的计算机可读存储介质对左目散斑图像的每个左像素点进行如下处理：先根据左像素点对应的左图像块得到左二值图像块；再确定左像素点对应的右像素点，并在右目散斑图像上选取右像素点对应的搜索区域；接着根据每个搜索像素点对应的右图像块得到每个搜索像素点对应的右二值图像块；然后分别计算左二值图像块对应的每个右二值图像块与左二值图像块之间的差异值，确定多个差异值中的最小值，将最小值对应的搜索像素点作为左像素点对应的匹配点；最后根据左像素点与左像素点对应的匹配点计算左像素点对应的深度，并将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像，可以较好地避免环境光强的影响，同时可以快速实现图像匹配，具有较高的匹配精度。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于散斑投影的深度图像生成方法，其特征在于，包括：
获取左目散斑图像和右目散斑图像；所述左目散斑图像包括多个左像素点，所述右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
对每个左像素点进行如下处理：
选取所述左像素点对应的左图像块，并对所述左图像块进行二值化处理，得到左二值图像块；
确定所述左像素点对应的右像素点，并在所述右目散斑图像上选取所述右像素点对应的搜索区域；所述搜索区域包括多个搜索像素点；
选取每个搜索像素点对应的右图像块，并对所述右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；所述右图像块的长度等于所述左图像块的长度，所述右图像块的宽度等于所述左图像块的宽度；
分别计算所述左二值图像块对应的每个右二值图像块与所述左二值图像块之间的差异值；所述差异值的数量为多个；
确定多个所述差异值中的最小值，将所述最小值对应的搜索像素点作为所述左像素点对应的匹配点；
根据所述左像素点与所述左像素点对应的匹配点，计算所述左像素点对应的亚像素距离；
根据所述左像素点对应的亚像素距离，计算所述左像素点对应的深度；
将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
2.根据权利要求1所述的基于散斑投影的深度图像生成方法，其特征在于，计算所述左像素点对应的亚像素距离包括：
根据所述左像素点与所述左像素点对应的匹配点，计算所述左像素点对应的像素距离；
确定所述左像素点对应的匹配点在横向上的左相邻点和右相邻点；
确定所述左相邻点的差异值和所述右相邻点的差异值；
根据所述左像素点对应的匹配点的差异值、所述左相邻点的差异值、所述右相邻点的差异值和所述左像素点对应的像素距离，计算所述左像素点对应的亚像素距离。
3.根据权利要求2所述的基于散斑投影的深度图像生成方法，其特征在于，当所述左目散斑图像和所述右目散斑图像均经过极线校正时，通过如下公式计算所述左像素点对应的亚像素距离：
ds＝(Δxs,0)；
其中，ds为亚像素距离，Δxs为亚像素距离的x分量，Δx为左像素点对应的像素距离，cqm1为左相邻点的差异值，cqm2为右相邻点的差异值，cqm为左像素点对应的匹配点的差异值。
4.根据权利要求1所述的基于散斑投影的深度图像生成方法，其特征在于，当所述左目散斑图像和所述右目散斑图像均经过极线校正时，通过如下公式计算所述左像素点对应的深度：
其中，Zp为左像素点对应的深度，Δxs为亚像素距离的x分量，b为获取左目散斑图像的相机与获取右目散斑图像的相机之间的距离，f为所述相机的焦距。
5.一种基于散斑投影的深度图像生成***，其特征在于，包括：
获取模块，用于获取左目散斑图像和右目散斑图像；所述左目散斑图像包括多个左像素点，所述右目散斑图像包括多个右像素点，每个右像素点均与每个左像素点对应；
左二值图像块模块，用于选取所述左像素点对应的左图像块，并对所述左图像块进行二值化处理，得到左二值图像块；
搜索区域模块，用于确定所述左像素点对应的右像素点，并在所述右目散斑图像上选取所述右像素点对应的搜索区域；所述搜索区域包括多个搜索像素点；
右二值图像块模块，用于选取每个搜索像素点对应的右图像块，并对所述右图像块进行二值化处理，得到每个搜索像素点对应的右二值图像块；所述右图像块的长度等于所述左图像块的长度，所述右图像块的宽度等于所述左图像块的宽度；
差异值模块，用于分别计算所述左二值图像块对应的每个右二值图像块与所述左二值图像块之间的差异值；所述差异值的数量为多个；
匹配点模块，用于确定多个所述差异值中的最小值，将所述最小值对应的搜索像素点作为所述左像素点对应的匹配点；
亚像素距离模块，用于根据所述左像素点与所述左像素点对应的匹配点，计算所述左像素点对应的亚像素距离；
深度模块，用于根据所述左像素点对应的亚像素距离，计算所述左像素点对应的深度；
深度图像模块，用于将每个左像素点对应的深度赋值到每个左像素点上，生成深度图像。
6.根据权利要求5所述的基于散斑投影的深度图像生成***，其特征在于，所述亚像素距离模块具体用于：
根据所述左像素点与所述左像素点对应的匹配点，计算所述左像素点对应的像素距离；
确定所述左像素点对应的匹配点在横向上的左相邻点和右相邻点；
确定所述左相邻点的差异值和所述右相邻点的差异值；
根据所述左像素点对应的匹配点的差异值、所述左相邻点的差异值、所述右相邻点的差异值和所述左像素点对应的像素距离，计算所述左像素点对应的亚像素距离。
7.根据权利要求6所述的基于散斑投影的深度图像生成***，其特征在于，所述亚像素距离模块具体用于：
当所述左目散斑图像和所述右目散斑图像均经过极线校正时，通过如下公式计算所述左像素点对应的亚像素距离：
ds＝(Δxs,0)；
其中，ds为亚像素距离，Δxs为亚像素距离的x分量，Δx为左像素点对应的像素距离，cqm1为左相邻点的差异值，cqm2为右相邻点的差异值，cqm为左像素点对应的匹配点的差异值。
8.根据权利要求5所述的基于散斑投影的深度图像生成***，其特征在于，所述深度模块具体用于：当所述左目散斑图像和所述右目散斑图像均经过极线校正时，通过如下公式计算所述左像素点对应的深度：
其中，Zp为左像素点对应的深度，Δxs为亚像素距离的x分量，b为获取左目散斑图像的相机与获取右目散斑图像的相机之间的距离，f为所述相机的焦距。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的基于散斑投影的深度图像生成方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述的基于散斑投影的深度图像生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911000440.6A CN110853086A (zh) | 2019-10-21 | 2019-10-21 | 基于散斑投影的深度图像生成方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911000440.6A CN110853086A (zh) | 2019-10-21 | 2019-10-21 | 基于散斑投影的深度图像生成方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110853086A true CN110853086A (zh) | 2020-02-28 |
Family
ID=69597708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911000440.6A Pending CN110853086A (zh) | 2019-10-21 | 2019-10-21 | 基于散斑投影的深度图像生成方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853086A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540004A (zh) * | 2020-04-16 | 2020-08-14 | 北京清微智能科技有限公司 | 单相机极线校正方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| CN103796004A (zh) * | 2014-02-13 | 2014-05-14 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
| CN104065947A (zh) * | 2014-06-18 | 2014-09-24 | 长春理工大学 | 一种集成成像***的深度图获取方法 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
| CN106780590A (zh) * | 2017-01-03 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及*** |
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN108846858A (zh) * | 2018-06-01 | 2018-11-20 | 南京邮电大学 | 一种计算机视觉的立体匹配算法 |
| CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
| CN109448036A (zh) * | 2019-01-23 | 2019-03-08 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于双目图像确定视差图的方法及装置 |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
| CN109801325A (zh) * | 2019-01-11 | 2019-05-24 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种双目立体视觉***获取视差图的方法及装置 |
| CN109993781A (zh) * | 2019-03-28 | 2019-07-09 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及*** |
| CN110049305A (zh) * | 2017-12-18 | 2019-07-23 | 西安交通大学 | 一种智能手机的结构光深度相机自校正方法及装置 |
-
2019
- 2019-10-21 CN CN201911000440.6A patent/CN110853086A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908230A (zh) * | 2010-07-23 | 2010-12-08 | 东南大学 | 一种基于区域深度边缘检测和双目立体匹配的三维重建方法 |
| CN103796004A (zh) * | 2014-02-13 | 2014-05-14 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
| CN104065947A (zh) * | 2014-06-18 | 2014-09-24 | 长春理工大学 | 一种集成成像***的深度图获取方法 |
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| CN106447661A (zh) * | 2016-09-28 | 2017-02-22 | 深圳市优象计算技术有限公司 | 一种深度图快速生成方法 |
| CN106780590A (zh) * | 2017-01-03 | 2017-05-31 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及*** |
| CN110049305A (zh) * | 2017-12-18 | 2019-07-23 | 西安交通大学 | 一种智能手机的结构光深度相机自校正方法及装置 |
| CN108898575A (zh) * | 2018-05-15 | 2018-11-27 | 华南理工大学 | 一种新型自适应权重立体匹配方法 |
| CN108846858A (zh) * | 2018-06-01 | 2018-11-20 | 南京邮电大学 | 一种计算机视觉的立体匹配算法 |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及*** |
| CN109801325A (zh) * | 2019-01-11 | 2019-05-24 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种双目立体视觉***获取视差图的方法及装置 |
| CN109448036A (zh) * | 2019-01-23 | 2019-03-08 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种基于双目图像确定视差图的方法及装置 |
| CN109993781A (zh) * | 2019-03-28 | 2019-07-09 | 北京清微智能科技有限公司 | 基于双目立体视觉匹配的视差图像生成方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 张国良，姚二亮著: "《西安：西安交通大学出版社》", 31 October 2018 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111540004A (zh) * | 2020-04-16 | 2020-08-14 | 北京清微智能科技有限公司 | 单相机极线校正方法及装置 |
| CN111540004B (zh) * | 2020-04-16 | 2023-07-14 | 北京清微智能科技有限公司 | 单相机极线校正方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103824318B (zh) | 一种多摄像头阵列的深度感知方法 | |
| US9946955B2 (en) | Image registration method | |
| CN108225216B (zh) | 结构光***标定方法及装置、结构光***及移动设备 | |
| KR101259835B1 (ko) | 깊이 정보를 생성하기 위한 장치 및 방법 | |
| US10142612B2 (en) | One method of binocular depth perception based on active structured light | |
| CN109751973B (zh) | 三维测量装置、三维测量方法以及存储介质 | |
| CN111288925B (zh) | 一种基于数字对焦结构照明光场的三维重建方法和装置 | |
| CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN104182982A (zh) | 双目立体视觉摄像机标定参数的整体优化方法 | |
| CN106709865B (zh) | 一种深度图像合成方法及装置 | |
| CN113129430B (zh) | 基于双目结构光的水下三维重建方法 | |
| JP6598673B2 (ja) | データ処理装置およびその方法 | |
| CN104111038A (zh) | 利用相位融合算法修复饱和产生的相位误差的方法 | |
| CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
| CN112184811A (zh) | 单目空间结构光***结构校准方法及装置 | |
| CN104807405A (zh) | 一种基于光线角度标定的三维坐标测量方法 | |
| CN116363226A (zh) | 一种实时的多相机多投影仪3d成像处理方法及装置 | |
| CN102881040A (zh) | 一种数码相机移动拍摄三维重建方法 | |
| JP2018179577A (ja) | 位置計測装置 | |
| CN110853086A (zh) | 基于散斑投影的深度图像生成方法及*** | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及*** | |
| CN117495975A (zh) | 一种变焦镜头的标定方法、装置及电子设备 | |
| Hu et al. | A robust and accurate calibration method for out-of-focus camera | |
| CN104677911A (zh) | 用于机器视觉检验的检验设备和方法 | |
| Kawahara et al. | Underwater 3d surface capture using multi-view projectors and cameras with flat housings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |