CN113902652A - 散斑图像校正方法、深度计算方法、装置、介质及设备 - Google Patents

散斑图像校正方法、深度计算方法、装置、介质及设备 Download PDF

Info

Publication number
CN113902652A
CN113902652A CN202111502716.8A CN202111502716A CN113902652A CN 113902652 A CN113902652 A CN 113902652A CN 202111502716 A CN202111502716 A CN 202111502716A CN 113902652 A CN113902652 A CN 113902652A
Authority
CN
China
Prior art keywords
speckle
image
detection window
ellipse
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111502716.8A
Other languages
English (en)
Other versions
CN113902652B (zh
Inventor
熊斌
郭振民
黄振伟
白福炀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202111502716.8A priority Critical patent/CN113902652B/zh
Publication of CN113902652A publication Critical patent/CN113902652A/zh
Application granted granted Critical
Publication of CN113902652B publication Critical patent/CN113902652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种散斑图像校正方法、深度计算方法、装置、介质及设备，该散斑图像校正方法包括：获取散斑图像，并对散斑图像进行椭圆检测，以得到散斑图像中各个散斑的椭圆参数；遍历散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个散斑的椭圆参数计算当前检测窗口对应的重投影矩阵，检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵；根据重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将当前检测窗口校正为新的检测窗口。本发明根据计算出的重投影矩阵对窗口进行校正得到校正后的窗口，从而提高图像匹配精度。

Description

散斑图像校正方法、深度计算方法、装置、介质及设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种散斑图像校正方法、深度计算方法、装置、介质及设备。
背景技术
单目散光结构光深度相机的原理和双目深度相机类似，都是通过计算视差，然后利用三角测量法来计算每个像素的深度值，从而获得深度图。双目相机依赖于左右两个相机拍摄的图像中的纹理信息来进行深度重建，但是在纹理不明显的场景下，比如纯色的物体，双目相机无法进行深度重建。单目散斑结构光相机中，由散斑投射器投射出细密且位置随机分布的散斑，起到为环境增加独特的纹理信息的作用，并且散斑的密度和随机性保证了成像图的每个窗口中存在多个散斑，这些散斑的分布随机且在整幅成像图中唯一，这样大大提升了窗口匹配的准确性和效率。因此单目散斑结构光相机在实际应用越来越受到重视。
单目散光结构光深度相机是在成像图和参考图之间进行窗口匹配。即在参考图中寻找成像图中的某个窗口的匹配窗口。窗口通常是N*N个像素，N的大小通常为根据实际情况确定的一个常数。当找到该窗口的匹配窗口时，根据这两个窗口的相对位置差异就可以计算该窗口的视差，从而根据三角测量法计算出深度值。
在实际环境中，当被拍摄物体的表面与标定平面存在一定角度时（即与投射器不垂直），投射到物体表面的散斑图案产生拉伸或压扁等变形效果。当物体平面与标定平面角度较小时，变形效果不明显，该物体在成像图中对应窗口与参考图像中的匹配窗口的匹配精度几乎没有影响。当物体平面与标定平面角度较大时，变形效果明显，该物体在成像图中对应窗口与参考图像中的匹配窗口的匹配精度将受到明显的影响，造成匹配不上或无匹配的情况，从而深度图在该位置产生空洞或异常点。
发明内容
鉴于上述状况，有必要针对现有技术中图像的散斑图案变形导致与参考图像匹配精度低的问题，提供一种散斑图像校正方法、深度计算方法、装置、介质及设备。
一种散斑图像校正方法，应用于单目深度相机，所述散斑图像校正方法包括：
获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
进一步的，上述散斑图像校正方法，其中，所述获取散斑图像，对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数的步骤包括：
获取散斑图像，对所述散斑图像进行梯度计算，得到对应的梯度图；
对所述梯度图进行二值化处理，得到包含各个散斑轮廓的散斑轮廓图像；
对所述散斑轮廓图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数。
进一步的，上述散斑图像校正方法，其中，所述对所述散斑轮廓图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数的步骤包括：
以所述散斑轮廓图像中，当前像素为中心，取Rmax*Rmax大小的计算窗口，Rmax为最大散斑半径；
判断当前像素是否为当前散斑的中心；
若是，根据所述计算窗口中各个有效像素的相对坐标，计算所述当前散斑的椭圆参数，所述相对坐标为相对于所述当前像素的坐标，所述有效像素为所述散斑轮廓图像中所述散斑边缘上的像素。
进一步的，上述散斑图像校正方法，其中，判断当前像素是否为散斑中心的步骤包括：
确定所述计算窗口中的有效像素的相对坐标；
判断各个有效像素的相对坐标之和是否为零；
若是，则确定当前像素为散斑的中心。
进一步的，上述散斑图像校正方法，其中，所述根据所述计算窗口中各个有效像素的相对坐标，计算所述当前散斑的椭圆参数的步骤包括：
将所述当前散斑的轮廓中各个像素的相对坐标代入椭圆公式中，并进行最小二乘拟合，得到
Figure 434194DEST_PATH_IMAGE001
，其中
Figure 910306DEST_PATH_IMAGE002
，
Figure 170386DEST_PATH_IMAGE003
为计算的椭圆参数，
Figure 514779DEST_PATH_IMAGE004
；
计算得到所述当前散斑的椭圆参数为
Figure 402970DEST_PATH_IMAGE005
，其中
Figure 846721DEST_PATH_IMAGE006
为各个像素的相对坐标，
Figure 328517DEST_PATH_IMAGE007
，
Figure 742181DEST_PATH_IMAGE008
为参考图像中所有散斑的平均半径。
进一步的，上述散斑图像校正方法，其中，所述根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤之前还包括：
根据当前检测窗口中的各个所述散斑的椭圆参数分别计算出对应的变形系数；
计算所述变形系数的平均值，并判断所述平均值是否超过阈值范围；
若是，则执行根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤。
进一步的，上述散斑图像校正方法，其中，所述根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤包括：
对所述当前检测窗口中各个所述散斑的椭圆参数求平均值，得到椭圆参数均值；
根据所述椭圆参数均值计算所述当前检测窗口对应的重投影矩阵，其中，
所述重投影矩阵F的计算公式为：
Figure 484878DEST_PATH_IMAGE009
；
Figure 693006DEST_PATH_IMAGE010
；
其中，
Figure 662099DEST_PATH_IMAGE011
为从椭圆投影为标准圆需要旋转的角度，
Figure 223661DEST_PATH_IMAGE012
和
Figure 227389DEST_PATH_IMAGE013
分别为从椭圆投影为标准圆时，椭圆x轴和y轴分别缩放的倍数，
Figure 340839DEST_PATH_IMAGE014
，
Figure 921862DEST_PATH_IMAGE015
，
Figure 677328DEST_PATH_IMAGE016
为椭圆参数的平均值。
进一步的，上述散斑图像校正方法，其中，所述对所述散斑图像进行椭圆检测的步骤之前还包括：
对所述散斑图像去畸变、进行滤波和归一化处理。
进一步的，上述散斑图像校正方法，其中，所述判断所述平均值是否超过阈值范围的步骤之前还包括：
对参考图像中的各个散斑进行椭圆检测，得到所述参考图像中各个散斑的轴长参数；
根据得到的轴长参数确定所述参考图像中散斑的最大畸变系数和最小畸变系数；
根据所述最大畸变系数和所述最小畸变系数确定所述阈值范围；
其中，所述最大畸变系数为
Figure 145350DEST_PATH_IMAGE017
，所述最小畸变系数为
Figure 695280DEST_PATH_IMAGE018
，
Figure 52615DEST_PATH_IMAGE019
和
Figure 346194DEST_PATH_IMAGE020
为轴长参数，分别为所述参考图像中第i个椭圆x轴的长度和
Figure 793355DEST_PATH_IMAGE022
轴的长度。
本发明还公开了一种散斑图像深度计算方法，应用于单目深度相机，所述方法包括：
获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
本发明还公开了一种散斑图像校正装置，应用于单目深度相机，所述散斑图像校正装置包括：
椭圆检测模块，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
进一步的，上述散斑图像校正装置，还包括：
变形系数计算模块，用于根据当前检测窗口中的各个所述散斑的椭圆参数分别计算出对应的变形系数；
判断模块，用于计算所述变形系数的平均值，并判断所述平均值是否超过阈值范围，若是，则所述矩阵计算模块执行根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤。
进一步的，上述散斑图像校正装置，还包括：
预处理模块，用于对所述散斑图像去畸变、进行滤波和归一化处理。
本发明还公开了一种散斑图像深度计算装置，应用于单目深度相机，所述散斑图像深度计算装置包括：
椭圆检测模块，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
深度计算模块，用于将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
本发明还公开了一种电子设备，包括存储器和处理器，所述存储器存储有程序，所述程序被所述处理器执行时实现上述任一所述的方法。
本发明还公开了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的方法。
本发明通过估算散斑图像中各个窗口内散斑的椭圆参数，并根据该椭圆参数计算出变形后的窗口到表面与投射器垂直情况下的窗口的变形矩阵，用变形矩阵对窗口进行校正得到校正后的窗口，用校正后的窗口与参考图像的窗口进行匹配。从而提高了匹配的精度，减少了无匹配或匹配失效的情况，提高了深度相机进行深度重建的效果。
附图说明
图1为本发明第一实施例中的散斑图像校正方法的流程图；
图2为本发明实施例中重投影效果示意图；
图3为本发明第二实施例中的散斑图像校正方法的流程图；
图4为本发明实施例中散斑的质心判断意图；
图5为本发明第三实施例中的散斑图像深度计算方法的流程图；
图6为本发明第四实施例中的散斑图像校正装置的结构框图；
图7为本发明第五实施例中的散斑图像深度计算装置的结构框图
图8为本发明实施例中电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
本发明中的图像处理中通常是对一个像素的处理，都是对以该像素为中心，大小为N*N的一个邻域进行运算，这个邻域称为窗口，后续的阐述中，以N代表窗口大小。单目散斑结构光相机与双目深度相机的的工作原理类似，均是通过窗口的匹配来计算视差的。双目深度相机的匹配的过程是在左视图中寻找右视图某个窗口的匹配窗口，或者在右视图中寻找左视图某个窗口的匹配窗口。单目散斑结构光相机是在参考图像中寻找与散斑图像中某个窗口的匹配窗口。窗口通常是N*N个像素，即长宽尺寸相等的窗口，当然该窗口的长宽尺寸也可以不等。
窗口中含有环境成像的纹理信息，当散斑图像的某个监测窗口和参考图像中的一窗口中含有相同的纹理信息时，认为这两个窗口匹配。当在参考图像中找到与该窗口匹配的窗口时，根据这两个窗口的相对位置差异就可以计算该窗口的视差，从而根据三角测量法计算出深度值。
单目散斑结构光相机包括散斑投射器，散斑投射器发出的散斑图案是由衍射光学元件（DOE）决定的。目前大多DOE为了工艺实现的原因，将散斑形状设计了圆形。在本实施例方案中，也以圆形散斑为例阐述本方案。为了保证本方案实现的效果，所选取或设计的DOE元件应该尽量保证散斑为圆形，散斑能量分布集中。这是为了使得算法能够更方便地提取散斑边缘轮廓。合理设计DOE光学器件使得有效视场范围内的畸变较小，从而使得散斑轮廓具有较好的一致性。
当物体表面与散斑投射器不垂直，则散斑图像中物体表面的散斑存在变形，则散斑会由原型拉伸或压缩为一个椭圆，它长短轴与成像的x，y轴可能不平行，存在一定的夹角。本发明通过计算散斑的椭圆参数来估算变形矩阵，从而将窗口进行重投影校正。
请参阅图1，为本发明第一实施例中的散斑图像校正方法，包括步骤S11~S13。
步骤S11，获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数。
该散斑图像为散斑投射器投射散斑图案至物体上时，进行拍照得到的图像，最直观的应用为单目散光结构光深度相机，即通过单目散光结构光深度相机所采集的物体的图像。
由于深度图重建需要实时地运行，必须考虑运行效率，所以本实施例中椭圆检测采用了一种简化后的最优化方法。常用的最小二乘法拟合椭圆有5个参数
Figure 389553DEST_PATH_IMAGE023
，本实施例中，进行散斑检测时，以当前像素为中心，即只需要检测以当前像素为中心的椭圆，因此中心偏移量为0，这样可以将椭圆公式简化为3个参数的公式，
Figure 820534DEST_PATH_IMAGE024
。这样计算量大大简化，简单高效。
以简化后椭圆来对该散斑图像进行椭圆参数的计算，得到散斑图像中各个散斑的椭圆参数，该椭圆参数为A，B和C。
对该散斑图像进行椭圆检测时，首先对该散斑图像进行散斑轮廓检测得到散斑轮廓图像，再对该散斑轮廓图像进行椭圆检测，得到该散斑图像中各个散斑的椭圆参数。椭圆检测算法有很多，常用的有hough变换，最优化方法和基于圆弧的方法等。
步骤S12，遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵。
其中，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口。该窗口为N*N个像素大小，对于散斑图像E(x,y)其包含有L个窗口，每个窗口又包含了k个散斑。具体实施时，可以对每个窗口进行进行重投影计算，以对散斑图像中各个窗口进行校正。
该重投影矩阵为散斑从椭圆投影为标准圆所经历的变形矩阵，即如图2所示，重投影矩阵的作用是将散斑从椭圆投影为标准圆。由于重投影是对每个检测窗口进行，对于一个检测窗口来说其含有k个散斑，因此，为了避免计算误差或噪声，可以取该检测窗口中k个散斑的椭圆参数的平均值，根据平均椭圆参数
Figure 652224DEST_PATH_IMAGE025
，
Figure 78526DEST_PATH_IMAGE026
和
Figure 970259DEST_PATH_IMAGE027
，来计算该检测窗口的重投影矩阵。其中，
Figure 888536DEST_PATH_IMAGE028
；
Figure 133704DEST_PATH_IMAGE029
；
Figure 555458DEST_PATH_IMAGE030
；
Ai，Bi和Ci为当前检测窗口中第i个散斑的椭圆参数。
具体的，重投影矩阵的计算过程如下：
椭圆方程：
Figure 618092DEST_PATH_IMAGE031
；
圆的方程：
Figure 882720DEST_PATH_IMAGE032
；
需要说明的是，为了计算方便，对椭圆公式乘以了系数
Figure 321792DEST_PATH_IMAGE033
，该
Figure 598052DEST_PATH_IMAGE008
可以为参考图像中检测出的散斑的平均半径，即
Figure 831587DEST_PATH_IMAGE034
，
Figure 334244DEST_PATH_IMAGE035
和
Figure 45848DEST_PATH_IMAGE036
分别为参考图像中，第i个椭圆的x轴的长度和y轴的长度。
从椭圆投影为标准圆需要经过先旋转
Figure 832407DEST_PATH_IMAGE037
角度再x轴缩放
Figure 971265DEST_PATH_IMAGE038
，y轴缩放
Figure 85851DEST_PATH_IMAGE039
的过程，其变换矩阵即重投影矩阵为：
Figure 601146DEST_PATH_IMAGE040
；
代入圆的公式得到：
Figure 727365DEST_PATH_IMAGE041
；
展开有：
Figure 302703DEST_PATH_IMAGE042
；
有
Figure 904586DEST_PATH_IMAGE043
三个未知数，有以下三个方程约束，
Figure 348205DEST_PATH_IMAGE044
，
求解得到：
Figure 453565DEST_PATH_IMAGE045
。
从而得到了
Figure 465383DEST_PATH_IMAGE046
，
Figure 898769DEST_PATH_IMAGE047
，
Figure 21446DEST_PATH_IMAGE048
的值，将其代入重投影矩阵F中，从而得到了重投影矩阵F。
步骤S13，根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
对于散斑图像E(x,y)的当前检测窗口中的每一个像素的坐标进行重投影计算，可以理解的，该像素的坐标为相对于散斑的中心的相对坐标。该当前检测窗口中的各个像素的坐标为
Figure 981312DEST_PATH_IMAGE049
，根据重投影矩阵计算新的坐标
Figure 288665DEST_PATH_IMAGE050
。其中，新的坐标为
Figure 599561DEST_PATH_IMAGE051
，根据新的坐标生成了一个新的检测窗口，该新的检测窗口中的像素的坐标分别为
Figure 260350DEST_PATH_IMAGE052
，可以理解的，该新的检测窗口中，各个新的坐标的像素的灰度值可以是与原像素的灰度值保持不变。
进一步的，为了提高散斑图像的质量，在本发明的另一实施例中，对所述散斑图像进行椭圆检测之前，还需要对所述散斑图像去畸变、滤波和归一化处理。
去畸变处理是根据相机的光学畸变系数对整幅图像进行校正，光学畸变模型通常用径向畸变（桶形畸变和枕型畸变）和切向畸变两类模型，畸变矫正的方法也有很多，常用的有利用棋盘网格的张正友标定法等，这里不做详细阐述。
归一化处理可以有效去除环境中不同表面反射或吸收光线的影响，去除背景亮度，从而更稳定可靠地检测散斑。如果拍摄的散斑图像上有明显的噪点，为了使得散斑轮廓检测更稳定，可以先对图像低通滤波处理再进行归一化。
本实施例通过估算散斑图像中各个窗口内散斑的椭圆参数，并根据该椭圆参数计算出变形后的窗口到表面与投射器垂直情况下的窗口的变形矩阵，用变形矩阵对窗口进行校正得到校正后的窗口，用校正后的窗口与参考图像的窗口进行匹配。从而提高了匹配的精度，减少了无匹配或匹配失效的情况，提高了深度相机进行深度重建的效果。
由于单目散斑结构光相机的主要原理是在参考图像中寻找拍摄得到的散斑图像各个窗口的匹配窗口，过窗口的匹配来计算视差，继而计算窗口所在像素对应的深度值。因此，本发明第二实施例中的散斑图像校正方法中，对拍摄的成像图像（即散斑图像）进行校正时，需要预先对参考图像进行处理。
该参考图像在距离相机预设距离（一般为工作距离范围内，比如1m），且平行相机成像平面处放置一个大白板（即标定平面），并投影散斑后拍摄得到的图像。对该图像进行去畸变处理和归一化处理，将处理后的图像作为参考图进行存储。
对参考图像
Figure 215667DEST_PATH_IMAGE053
进行去畸变处理得到图像
Figure 569288DEST_PATH_IMAGE054
，去畸变采用通用的径向和切向畸变模型。对去畸变得到的图像
Figure 101901DEST_PATH_IMAGE055
做归一化处理，这里采用去均值归一化法。图像
Figure 691014DEST_PATH_IMAGE056
上的每一个像素
Figure 625472DEST_PATH_IMAGE057
，计算以它为中心，N*N邻域的窗口的均值为
Figure 415573DEST_PATH_IMAGE058
，标准差为
Figure 45269DEST_PATH_IMAGE059
，得到
Figure 579018DEST_PATH_IMAGE060
。该像素归一化后的值为
Figure 367983DEST_PATH_IMAGE061
。从而得到归一化后的图像
Figure 922461DEST_PATH_IMAGE062
即为用来与散斑图匹配的参考图像。
进一步的，如果参考图像上有明显的噪点，为了使得散斑轮廓检测更稳定，可以先对图像
Figure 695245DEST_PATH_IMAGE063
进行低通滤波处理后再进行归一化处理。
最后对参考图像
Figure 501527DEST_PATH_IMAGE064
进行检测散斑，本实施例中，检测散斑的方法采用椭圆检测。椭圆检测算法有很多，常用的有hough变换，最优化方法，基于圆弧的方法等等。由于参考图像只需要在前期处理一次，在实际运行中不需要处理，因此我们采用基于圆弧的方法可以得到更高的精度。为了得到更高的检测精度，甚至可以多次迭代。检测到的每个椭圆
Figure 20364DEST_PATH_IMAGE066
，需保存3个参数
Figure 886689DEST_PATH_IMAGE067
。其中
Figure 881190DEST_PATH_IMAGE068
是椭圆x轴的长度，
Figure 615796DEST_PATH_IMAGE069
是椭圆y轴的长度，
Figure 644932DEST_PATH_IMAGE070
可以用于评价散斑圆形的畸变程度。由于标定平面和投射器光轴垂直，这里椭圆的长短轴应该与坐标轴重合。该
Figure 416579DEST_PATH_IMAGE071
在没有畸变的情况下为1，但是由于DOE的加工误差，成像误差和检测算法的计算误差等因素，会导致其偏离1。
定义散斑的平均半径
Figure 773742DEST_PATH_IMAGE072
，表示所有散斑的平均半径；
定义散斑的最大半径
Figure 921827DEST_PATH_IMAGE073
，表示所有散斑的最大可能半径；
定义散斑的最大畸变系数，
Figure 539890DEST_PATH_IMAGE074
；
定义散斑的最小畸变系数，
Figure 872651DEST_PATH_IMAGE075
。
系数
Figure 576165DEST_PATH_IMAGE076
和
Figure 527941DEST_PATH_IMAGE077
描述的是散斑拉伸和压缩畸变的误差范围。
具体的，请参阅图3，本发明第二实施例中的散斑图像校正方法，包括步骤S21~S27。
步骤S21，获取散斑图像，对所述散斑图像进行梯度计算，得到对应的梯度图。
对环境拍摄图像，并对拍摄的图像进行去畸变处理、低通滤波处理和归一化处理，得到最终的散斑图像E(x,y)。对处理后的散斑图像E(x,y)进行椭圆检测，具体实施时，首先，计算散斑图像E(x,y)的梯度图G(x,y)。梯度图G (x,y)上的每个像素
Figure 510DEST_PATH_IMAGE078
可以表达为，
Figure 520484DEST_PATH_IMAGE079
，其中，
Figure 711294DEST_PATH_IMAGE080
，
Figure 201181DEST_PATH_IMAGE081
，
Figure 918471DEST_PATH_IMAGE082
代表散斑图像E(x,y)在（x,y）像素位置处的x轴方向上的灰度梯度,
Figure 468401DEST_PATH_IMAGE083
表示散斑图像E(x,y)在（x,y）像素位置处的
Figure 146507DEST_PATH_IMAGE022
轴方向上的灰度梯度，
Figure 315451DEST_PATH_IMAGE084
表示散斑图像E(x,y)在（x,y）像素的灰度值。
步骤S22，对所述梯度图进行二值化处理，得到包含各个散斑轮廓的散斑轮廓图像。
步骤S23，对所述散斑轮廓图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数。
对梯度图G (x,y)用阈值进行二值化处理即可得到散斑轮廓图像P(x,y)，散斑轮廓图像P(x,y)为散斑图像E(x,y)中各个散斑的轮廓的图像。由于散斑图像已经做过滤波和归一化操作，因此采用全局阈值进行二值化处理即可。进行二值化处理后的散斑轮廓图中，所有像素的像素值为0或1。
根据二值化后的散斑轮廓图像进行椭圆检测得到散斑的椭圆系数，以获得散斑图像上的各个散斑及散斑参数。
具体的，所述对所述散斑轮廓图像进行椭圆检测，以得到各个所述散斑的椭圆参数的步骤包括：
以所述散斑轮廓图像中，当前像素为中心，取Rmax*Rmax大小的计算窗口，Rmax为最大散斑半径；
判断当前像素是否为当前散斑的中心；
若是，根据所述计算窗口中各个有效像素的相对坐标，计算所述当前散斑的椭圆参数，所述相对坐标为相对于所述当前像素的坐标。
本实施例中，椭圆检测时，采用的是简化后的椭圆公式，它描述的是以当前像素为中心的椭圆。所以需要先检测当前像素是否为一个散斑轮廓的中心。判断像素是否为散斑轮廓的中心，只需要得到当前像素周围的轮廓上的点相对于当前像素的坐标，将这些坐标累加得到质心，质心就是散斑轮廓的中心，再判断质心是否与当前像素重合即可。
在二值后的散斑轮廓图像P(x,y)上以像素
Figure 762613DEST_PATH_IMAGE085
为当前像素，以它为中心取Rmax*Rmax大小的窗口作为计算窗口。Rmax为一个散斑可能的最大半径，可以认为在该计算窗口中仅可能包含一个完整的散斑，具体实施时，Rmax取参考图像中检测到的散斑的最大半径。该计算窗口中所有m个有效像素（像素值为1），相对于像素（x,y）的相对坐标为
Figure 749023DEST_PATH_IMAGE086
。
根据质心的定义有
Figure 39059DEST_PATH_IMAGE087
，S就是质心，即散斑轮廓的中心，
Figure 870749DEST_PATH_IMAGE088
是S相对于当前像素
Figure 172417DEST_PATH_IMAGE089
的坐标。简化的椭圆公式只能描述以当前像素为中心的轮廓，因此要先判断当前像素是否为椭圆中心。
如图4所示，当
Figure 64150DEST_PATH_IMAGE090
时该散斑轮廓完整且以当前像素为质心，即（x,y）像素为散斑中心，则进行椭圆检测；当
Figure 326635DEST_PATH_IMAGE091
时该轮廓不完整或不以当前像素为质心，即（x,y）像素不是散斑的中心，不需要进行椭圆检测，从而避免了不必要的计算。
当
Figure 227595DEST_PATH_IMAGE092
时，即（x,y）像素为散斑中心时，计算该散斑的椭圆系数，具体方法如下：
根据椭圆公式
Figure 649349DEST_PATH_IMAGE093
进行最小二乘拟合，得到：
Figure 102196DEST_PATH_IMAGE094
，为书写方便记为
Figure 976611DEST_PATH_IMAGE095
，其中，
Figure 150104DEST_PATH_IMAGE096
，
Figure 567310DEST_PATH_IMAGE097
为待求得椭圆参数，
Figure 800845DEST_PATH_IMAGE098
。
由此，得到当前散斑的椭圆参数为
Figure 162556DEST_PATH_IMAGE099
，根据该方法可以得到散斑图像E(x,y)上的各个散斑的椭圆参数A，B，C。
需要说明的是，上述的椭圆公式乘以了
Figure 529952DEST_PATH_IMAGE100
系数，以方便后面的计算。
步骤S24，遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数分别计算出对应的变形系数。其中，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口。
步骤S25，计算所述变形系数的平均值，并判断所述平均值是否超过阈值范围。
步骤S26，若是，根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵。
该当前检测窗口中当前散斑的变形系数的计算公式为：
Figure 926299DEST_PATH_IMAGE101
。
根据散斑图像上每个检测窗口的散斑的平均变形系数判断该窗口的变形程度，并确定是否需要重投影。
对于散斑图像E(x,y)的每个检测窗口，其中包含了k个散斑，该当前检测窗口的平均变形系数为
Figure 471681DEST_PATH_IMAGE102
。
当该当前检测窗口的平均变形系数超过阈值范围时，则说明该当前检测窗口有明显畸变，则需要进行重投影校正。需要说明的是，该阈值范围根据参考图像中定义的两个最大畸变系数
Figure 55109DEST_PATH_IMAGE103
和
Figure 835983DEST_PATH_IMAGE104
来确定。具体实施时，
当
Figure 86836DEST_PATH_IMAGE105
时，变形系数在参考图像的误差范围内，则认为该窗口没有变形，不需要进行重投影计算法；
当
Figure 52386DEST_PATH_IMAGE106
或
Figure 123111DEST_PATH_IMAGE107
，说明窗口有一定变形，但变形系数的影响在容许范围内，也不需要进行重投影计算；
当
Figure 442096DEST_PATH_IMAGE108
或
Figure 422822DEST_PATH_IMAGE109
时，则认为该窗口有明显畸变，需要进行重投影计算。
c1为小于1.0的常数，c2为大于1.0的常数，c1和c2的取值可以根据实际情况尝试，比如可以为c1=0.7和c2=1.3。
需要说明的是，在本发明的其他实施例中，该阈值范围也可以采用经验值。
步骤S27，根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
为了避免计算误差或噪声，取当前检测窗口中的k个散斑的平均椭圆参数
Figure 434640DEST_PATH_IMAGE110
来计算当前检测窗口的重投影矩阵，其中，
Figure 648453DEST_PATH_IMAGE111
，
Figure 505550DEST_PATH_IMAGE112
，
Figure 996575DEST_PATH_IMAGE113
。
重投影矩阵的具体计算方法可参数第一实施例，此处不予赘述。
由于参考图像是在整个平面与投射器垂直的情况下拍摄的，参考图像上的散斑都非常接近理想的圆形。而工作环境下有许多物体，物体的表面与投射器的夹角千差万别，其中许多表面与投射器严重不垂直，造成了散斑图像上这些表面上的散斑会变形为椭圆。从而影响散斑图像的窗口与参考图像的窗口匹配。本实施例通过估算散斑图像中各个窗口内散斑的椭圆参数，并根据该椭圆参数计算出变形后的窗口到表面与投射器垂直情况下的窗口的变形矩阵，用变形矩阵对窗口进行校正得到校正后的窗口，用校正后的窗口与参考图像的窗口进行匹配。从而提高了匹配的精度，减少了无匹配或匹配失效的情况，提高了深度相机进行深度重建的效果。
请参阅图5，在本发明第三实施例中的散斑图像深度计算方法，包括步骤S31~S34。
步骤S31，获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
步骤S32，遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵。其中，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵；
步骤S33，根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
步骤S34，将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
本实施例中对采集到的物体的散斑图像进行检测窗口的重投影计算，从而对各个检测窗口进行校正。其散斑图像中检测窗口的校正方法可参考第一实施例或第二实施例中的方法，此处不予赘述。
参考图像中N*N大小的窗口定义为标定窗后，利用重投影矩阵校正后的散斑图像与参考图像进行匹配，确定与各个检测窗口匹配的标定窗口，并计算视差，继而计算该散斑图的检测窗口所在像素对应的深度值。本实施例中的窗口的匹配和普通双目视觉的窗口匹配或者单目散斑结构光的窗口匹配原理相同，通常的匹配算法有去均值归一化相关系数，Census变换，代价计算方法等等。这里不做详细阐述。需要注意的是，校正后的新窗口有可能不再为正方形，从而无法与参考图像的窗口每个像素一一对应，只需要对两个窗口存在对应像素的重合部分进行匹配计算即可。
请参阅图6，为本发明第四实施例中的散斑图像校正装置，其应用于单目深度相机，包括：
椭圆检测模块41，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块42，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块43，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
进一步的，上述散斑图像校正装置，还包括：
变形系数计算模块，用于根据当前检测窗口中的各个所述散斑的椭圆参数分别计算出对应的变形系数；
判断模块，用于计算所述变形系数的平均值，并判断所述平均值是否超过阈值范围，若是，则所述矩阵计算模块执行根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤。
进一步的，上述散斑图像校正装置，还包括：
预处理模块，用于对所述散斑图像去畸变、进行滤波和归一化处理。
本发明实施例所提供的散斑图像校正装置，其实现原理及产生的技术效果和前述散斑图像校正方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
请参阅图7，为本发明第五实施例中的散斑图像深度计算装置，应用于单目深度相机，该装置包括：
椭圆检测模块51，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块52，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块53，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
深度计算模块54，用于将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
本发明实施例所提供的散斑图像深度计算装置，其实现原理及产生的技术效果和前述散斑图像深度计算方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明另一方面还提出一种电子设备，请参阅图8，包括处理器10、存储器20以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的方法。
其中，所述电子设备可以为但不限于计算机、服务器等。处理器10在一些实施例中可以是一中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的硬盘。存储器20在另一些实施例中也可以是电子设备的外部存储装置，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（FlashCard）等。进一步地，存储器20还可以既包括电子设备的内部存储单元也包括外部存储装置。存储器20不仅可以用于存储安装于电子设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
可选地，该电子设备还可以包括用户接口、网络接口、通信总线等，用户接口可以包括显示器（Display）、输入单元比如键盘（Keyboard），可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。网络接口可选的可以包括标准的有线接口、无线接口（如WI-FI接口），通常用于在该装置与其他电子装置之间建立通信连接。通信总线用于实现这些组件之间的连接通信。
需要指出的是，图8示出的结构并不构成对电子设备的限定，在其它实施例当中，该电子设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中的方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置取指令并执行指令的***）使用，或结合这些指令执行***、装置而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或结合这些指令执行***、装置而使用的设备。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种散斑图像校正方法，应用于单目深度相机，其特征在于，所述散斑图像校正方法包括：
获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
2.如权利要求1所述的散斑图像校正方法，其特征在于，所述获取散斑图像，对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数的步骤包括：
获取散斑图像，对所述散斑图像进行梯度计算，得到对应的梯度图；
对所述梯度图进行二值化处理，得到包含各个散斑轮廓的散斑轮廓图像；
对所述散斑轮廓图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数。
3.如权利要求2所述的散斑图像校正方法，其特征在于，所述对所述散斑轮廓图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数的步骤包括：
以所述散斑轮廓图像中，当前像素为中心，取Rmax*Rmax大小的计算窗口，Rmax为最大散斑半径；
判断当前像素是否为当前散斑的中心；
若是，根据所述计算窗口中各个有效像素的相对坐标，计算所述当前散斑的椭圆参数，所述相对坐标为相对于所述当前像素的坐标，所述有效像素为所述散斑轮廓图像中所述散斑边缘上的像素。
4.如权利要求3所述的散斑图像校正方法，其特征在于，所述根据所述计算窗口中各个有效像素的相对坐标，计算所述当前散斑的椭圆参数的步骤包括：
将所述当前散斑的轮廓中各个像素的相对坐标代入椭圆公式中，并进行最小二乘拟合，得到
Figure 992600DEST_PATH_IMAGE001
，其中
Figure 909740DEST_PATH_IMAGE002
，
Figure 610849DEST_PATH_IMAGE003
为计算的椭圆参数，
Figure 271637DEST_PATH_IMAGE004
；
计算得到所述当前散斑的椭圆参数为
Figure 86009DEST_PATH_IMAGE005
，其中
Figure 580576DEST_PATH_IMAGE006
为各个像素的相对坐标，
Figure 378768DEST_PATH_IMAGE007
，
Figure 843247DEST_PATH_IMAGE008
为参考图像中所有散斑的平均半径。
5.如权利要求1所述的散斑图像校正方法，其特征在于，所述根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤之前还包括：
根据当前检测窗口中的各个所述散斑的椭圆参数分别计算出对应的变形系数；
计算所述变形系数的平均值，并判断所述平均值是否超过阈值范围；
若是，则执行根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤。
6.如权利要求1所述的散斑图像校正方法，其特征在于，所述根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵的步骤包括：
对所述当前检测窗口中各个所述散斑的椭圆参数求平均值，得到椭圆参数均值；
根据所述椭圆参数均值计算所述当前检测窗口对应的重投影矩阵，其中，
所述重投影矩阵F的计算公式为：
Figure 636759DEST_PATH_IMAGE009
；
Figure 426861DEST_PATH_IMAGE010
；
其中，
Figure 446770DEST_PATH_IMAGE011
为从椭圆投影为标准圆需要旋转的角度，
Figure 590306DEST_PATH_IMAGE012
和
Figure 644850DEST_PATH_IMAGE013
分别为从椭圆投影为标准圆，椭圆x轴和y轴分别缩放的倍数，
Figure 464907DEST_PATH_IMAGE014
，
Figure 706533DEST_PATH_IMAGE015
，
Figure 512815DEST_PATH_IMAGE016
为椭圆参数的平均值。
7.一种散斑图像深度计算方法，应用于单目深度相机，其特征在于，所述散斑图像深度计算方法包括：
获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
8.一种散斑图像校正装置，应用于单目深度相机，其特征在于，所述散斑图像校正装置包括：
椭圆检测模块，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口。
9.一种散斑图像深度计算装置，应用于单目深度相机，其特征在于，所述散斑图像深度计算装置包括：
椭圆检测模块，用于获取散斑图像，并对所述散斑图像进行椭圆检测，以得到所述散斑图像中各个散斑的椭圆参数；
矩阵计算模块，用于遍历所述散斑图像中的每一个检测窗口，并根据当前检测窗口中的各个所述散斑的椭圆参数计算所述当前检测窗口对应的重投影矩阵，所述检测窗口为散斑图像和参考图像之间进行匹配所用的窗口，所述重投影矩阵为所述散斑从椭圆转变为标准圆所经历的变形矩阵，所述参考图像为在距离拍摄镜头预设距离且平行于成像面的标定平面上，进行散斑投影后拍摄得到的图像；
窗口计算模块，用于根据所述重投影矩阵对当前检测窗口中的各个像素的坐标进行重投影计算，并根据重投影计算得到的新坐标将所述当前检测窗口校正为新的检测窗口；
深度计算模块，用于将所述散斑图像中重新确定的检测窗口与参考图像中的标定窗口进行匹配，并根据匹配成功的所述检测窗口和所述标定窗口的视差计算深度值。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有程序，所述程序被所述处理器执行时实现如权利要求1至7任一所述的方法。
11.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7任一所述的方法。
CN202111502716.8A 2021-12-10 2021-12-10 散斑图像校正方法、深度计算方法、装置、介质及设备 Active CN113902652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111502716.8A CN113902652B (zh) 2021-12-10 2021-12-10 散斑图像校正方法、深度计算方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111502716.8A CN113902652B (zh) 2021-12-10 2021-12-10 散斑图像校正方法、深度计算方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN113902652A true CN113902652A (zh) 2022-01-07
CN113902652B CN113902652B (zh) 2022-03-08

Family

ID=79025528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111502716.8A Active CN113902652B (zh) 2021-12-10 2021-12-10 散斑图像校正方法、深度计算方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN113902652B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294187A (zh) * 2022-10-08 2022-11-04 合肥的卢深视科技有限公司 深度相机的图像处理方法、电子设备及存储介质
CN115294375A (zh) * 2022-10-10 2022-11-04 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、***、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100296061A1 (en) * 2009-05-21 2010-11-25 Silverstein Barry D Projection with curved speckle reduction element surface
US20130016092A1 (en) * 2011-06-16 2013-01-17 The Medipattern Coproration Method and system of generating a 3d visualization from 2d images
JP2013217826A (ja) * 2012-04-11 2013-10-24 National Institute Of Advanced Industrial & Technology レーザー光により表面の変化を検出する装置
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及***
WO2019205890A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法
CN111540004A (zh) * 2020-04-16 2020-08-14 北京清微智能科技有限公司 单相机极线校正方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100296061A1 (en) * 2009-05-21 2010-11-25 Silverstein Barry D Projection with curved speckle reduction element surface
US20130016092A1 (en) * 2011-06-16 2013-01-17 The Medipattern Coproration Method and system of generating a 3d visualization from 2d images
JP2013217826A (ja) * 2012-04-11 2013-10-24 National Institute Of Advanced Industrial & Technology レーザー光により表面の変化を検出する装置
WO2019205890A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及***
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影***标定及深度估计方法
CN111540004A (zh) * 2020-04-16 2020-08-14 北京清微智能科技有限公司 单相机极线校正方法及装置
WO2021208933A1 (zh) * 2020-04-16 2021-10-21 北京清微智能科技有限公司 用于相机的图像校正方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F. WANG等: ""Adapted Anisotropic Gaussian SIFT Matching Strategy for SAR Registration"", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
QIHAN ZHAO等: ""Digital image correlation based on variable circle template in dual camera matching"", 《OPTICAL ENGINEERING》 *
王涛等: ""基于散斑视觉测量的叶片模型重构"", 《激光与光电子学进展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294187A (zh) * 2022-10-08 2022-11-04 合肥的卢深视科技有限公司 深度相机的图像处理方法、电子设备及存储介质
CN115294375A (zh) * 2022-10-10 2022-11-04 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、***、电子设备及存储介质
CN115294375B (zh) * 2022-10-10 2022-12-13 南昌虚拟现实研究院股份有限公司 一种散斑深度估算方法、***、电子设备及存储介质

Also Published As

Publication number Publication date
CN113902652B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN108932698B (zh) 图像畸变的校正方法、装置、电子设备和存储介质
CN113902652B (zh) 散斑图像校正方法、深度计算方法、装置、介质及设备
US8786700B2 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP5612916B2 (ja) 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
CN111127422A (zh) 图像标注方法、装置、***及主机
CN109716348B (zh) 独立地处理多个所关注的区域
JP6570296B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN107592449B (zh) 三维模型建立方法、装置和移动终端
CN107871329B (zh) 一种相机光学中心的快速标定方法及装置
US11417080B2 (en) Object detection apparatus, object detection method, and computer-readable recording medium
CN104111038A (zh) 利用相位融合算法修复饱和产生的相位误差的方法
CN109191516B (zh) 结构光模组的旋转纠正方法、装置及可读存储介质
JP2019518276A (ja) 破損分析装置及び方法
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111080542B (zh) 图像处理方法、装置、电子设备以及存储介质
Mei et al. Radial lens distortion correction using cascaded one-parameter division model
US11450140B2 (en) Independently processing plurality of regions of interest
CN109587463A (zh) 投影仪的校准方法、投影仪及校准***
CN113744307A (zh) 一种基于阈值动态调整的图像特征点跟踪方法和***
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及***
CN109902695B (zh) 一种面向像对直线特征匹配的线特征矫正与提纯方法
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
CN111368675B (zh) 手势深度信息的处理方法、装置、设备及存储介质
EP2953096B1 (en) Information processing device, information processing method, system and carrier means

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant