CN113099120B - 深度信息获取方法、装置、可读存储介质及深度相机 - Google Patents

深度信息获取方法、装置、可读存储介质及深度相机 Download PDF

Info

Publication number
CN113099120B
CN113099120B CN202110394765.8A CN202110394765A CN113099120B CN 113099120 B CN113099120 B CN 113099120B CN 202110394765 A CN202110394765 A CN 202110394765A CN 113099120 B CN113099120 B CN 113099120B
Authority
CN
China
Prior art keywords
pixel
image
pixel point
depth
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110394765.8A
Other languages
English (en)
Other versions
CN113099120A (zh
Inventor
熊斌
郭振民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202110394765.8A priority Critical patent/CN113099120B/zh
Publication of CN113099120A publication Critical patent/CN113099120A/zh
Application granted granted Critical
Publication of CN113099120B publication Critical patent/CN113099120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种深度信息获取方法、装置、可读存储介质及深度相机，该方法包括：检测物体与深度相机的最近距离，并判断改最近距离是否在深度相机的工作距离范围内；若是，采集物体的当前图像，并确定在该最近距离时标定平面的图像相对于参考图像的像素偏移；修改深度相机的像素偏移范围；针对当前图像中的每一个像素点，遍历所述参考图像中该像素偏移范围内的所有参考像素点，以查找与当前图像中各个像素点对应的参考像素点；根据像素点的坐标和对应的参考像素点的坐标，确定像素点的目标像素偏移量，并计算像素点的深度值。该方法提高了图像深度信息的获取效率。

Description

深度信息获取方法、装置、可读存储介质及深度相机
技术领域
本发明涉及深度相机领域，特别是涉及一种深度信息获取方法、装置、可读存储介质及深度相机。
背景技术
深度相机可以用于获取目标物体的深度信息以此实现3D扫描、场景重建、识别和交互等。深度相机根据原理不同主要可分为结构光深度相机、双目视觉深度相机、飞行时间深度相机等。其中结构光深度相机是一种技术较为成熟且应用广泛的一种深度相机。
现有的结构光深度相机一般包括红外投射器和图像传感器，红外投射器用于向物体投射红外光束，投射至物体上的红外光束被反射到图像传感器中，经过，经过一系列的处理后获取该物体的深度信息。目前的结构光深度相机普遍存在的问题是，处理信息的过程会消耗很多的计算资源和时间，导致效率较低，影响用户使用。
发明内容
鉴于上述状况，有必要针对现有技术中结构光深度相机获取物体深度信息的效率低的问题，提供一种深度信息获取方法、装置、可读存储介质及深度相机。
一种深度信息获取方法，包括：
检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内；
若是，采集所述物体的当前图像，以及确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像；
修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量，所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定；
针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点；
根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
进一步的，上述深度信息获取方法，其中，所述遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点的步骤包括：
计算所述像素点分别与所述参考图像中所述像素偏移范围内的各个参考像素点之间的相关度；
将相关度值最大的一个确定为所述像素点对应的参考像素点。
进一步的，上述深度信息获取方法，其中，所述像素点与所述参考图像中的参考像素点之间的相关度S的计算公式为：
；
其中，为以参考像素点为中心N*N大小的窗口中像素灰度值的平均值，为以当前图像的像素点为中心N*N大小的窗口中像素灰度值的平均值，Amn为参考图像中N*N窗口中m行n列的像素的灰度值，Bmn是指当前图像中N*N窗口中m行n列的像素的灰度值，N为窗口的尺寸。
进一步的，上述深度信息获取方法，其中，所述判断所述最近距离是否在所述深度相机的工作距离范围内的步骤之后还包括：
当所述最近距离超出所述工作距离范围时，控制所述深度相机休眠。
进一步的，上述深度信息获取方法，其中，所述检测物体与深度相机的最近距离的步骤包括;
通过距离传感器检测所述物体与深度相机的最近距离，所述距离传感器的波束角与所述深度相机的视场角相当。
进一步的，上述深度信息获取方法，其中，所述像素点的深度值的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离，为所述像素点的目标像素偏移量。
进一步的，上述深度信息获取方法，其中，所述确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离， d min为所述最近距离。
本发明还公开了一种深度信息获取装置，包括：
检测模块，用于检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内；
采集模块，用于采集所述物体的当前图像；
确定模块，用于确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像；
修改模块，用于修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量，所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定；
查找模块，用于针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点；
计算模块，用于根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
进一步的，上述深度信息获取装置，其中，所述遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点的步骤包括：
计算所述像素点分别与所述参考图像中所述像素偏移范围内的各个参考像素点之间的相关度；
将相关度值最大的一个确定为所述像素点对应的参考像素点。
进一步的，上述深度信息获取装置，还包括：
控制模块，用于当所述最近距离超出所述工作距离范围时，控制所述深度相机休眠。
本发明还公开了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的深度信息获取方法。
本发明还公开了一种深度相机，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的深度信息获取方法。
本发明中，深度相机的图像的深度信息根据采集的当前图像中各个像素点的像素偏移量来计算。即根据当前图像的各像素点与参考图像中对应的参考像素点之间的坐标来确定该当前图像的各像素点的偏移量，并根据偏移量计算各像素点的深度值，从而得到该当前图像的深度信息。并且通过检测物体与深度相机的最近距离来缩小该深度相机的像素偏移范围，从而使查询参考图像中与当前图像的像素点对应的参考像素点的过程大大缩短，提高了当前图像的深度信息的获取效率。
附图说明
图1为本发明第一实施例中的深度信息获取方法的流程图；
图2为本发明第二实施例中的深度信息获取方法的流程图；
图3为深度相机的视场角和距离传感器的波束角之间关系的示意图；
图4为当前图像中以像素点为中心，N*N大小的窗口的示意图；
图5为N*N大小的窗口的示意图；
图6为本发明第三实施例中的深度信息获取装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发明第一实施例中的深度信息获取方法，包括步骤S11~S15。
步骤S11，检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内。
本实施例中的深度信息获取方法应用于深度相机中，用于获取拍摄物体的深度信息。该深度相机具体为结构光深度相机，其结构光可通过散斑、掩模、光栅或线激光等技术来实现。本实施例中的深度相机相较于传统的结构光相机，具有测距功能，即该深度相机中增加一个距离传感器，该深度相机可通过距离传感器来检测物体与自身的距离。该距离传感器例如为超声波传感器，毫米波测距传感器等。以超声波传感器为例，超声波传感器实时发射超声脉冲，并检测回波，根据接收到的第一个有效的回波的时间来计算物体与深度相机之间的最近距离，当该最近距离在该深度相机的工作距离范围内时，执行步骤S12。
步骤S12，当所述最近距离在所述工作距离范围内时，采集所述物体的当前图像，以及确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像。
步骤S13，修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量。所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定。
深度相机出厂之前，需要预先设置一参考图像来作为后续拍摄的图像的参考标准，以此进行像素偏移量的计算。该参考图像即为与相机平行且距离为参考深度时，采集的标定平面的图像。该参考深度可根据实际需要进行设置，可以取该深度相机的工作距离范围的中间值，例如工作距离范围为50cm~150cm，该参考深度为100cm，该参考深度下对应的像素偏移量定义为0。当标定物偏离该参考深度时，采集到的该标定平面的图像的像素相对于参考图像有一定的偏移，即确定对应的像素偏移量。
以在散斑结构光深度相机为例，相机工作时，散斑投射器会向外发射出散斑结构光。散斑结构光相机出厂之前需要在距相机平行平面上的一个标定平面上，拍一幅散斑的灰度图作为参考图像。当标定平面与相机距离变化时，相机发出的散斑会在平面物体上发生移动，通过观察散斑与参考图像散斑的偏移（表现为横向偏移），就能计算出标定平面与相机的距离，也就是深度。物体在靠近相机时，散斑向一侧偏移，当相机远离相机时，散斑向另一侧偏移。
在本实施例中，可根据像素偏移关系式计算出标定平面在不同深度时的像素偏移量，此处所说的深度为拍摄的物体与深度相机之间的距离。像素偏移量和深度的关系可由深度相机的设计参数和三角测量原理计算得出，具体的，当标定平面在该最近距离时该标定平面的图像相对于参考图像的像素偏移量的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离， d min为所述最近距离。
每个深度相机具有一定的工作距离范围，即相机能够拍摄的有效范围，通常为几十厘米至两米。当该标定平面分别位于相机的最近工作距离和最远工作距离时，得到的两个极限偏移值，即为该深度相机的像素偏移范围的两个端点值，例如工作距离为50cm~150cm的深度相机对应的像素偏移范围为（-20，59）。
当确定该物体与深度相机的最近距离时，计算标定平面在该最近距离时采集的标定平面的图像相对于参考图像的像素偏移量。之后，对该深度相机的像素偏移量的范围进行修改，以将计算得到的像素偏移量作为该像素偏移量范围的上限值。例如，检测到该物体与深度相机的最近距离为110cm，经计算得到对应的像素偏移量为-4，即修改后的像素偏移范围即为（-20，-4）。若该物***置变化后重新采集图像时，则根据重新检测到的物体的最近距离重新修改像素偏移范围。
步骤S14，针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点。
步骤S15，根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
深度相机采集的物体的当前图像一般为灰度图像。针对该当前图像中的每一像素点遍历该参考图像中该像素偏移范围内的所有参考像素点，以查找与该参考图像中与该当前图像中的每个像素点对应的参考像素点。为了与当前图像区分开，本实施例中将参考图像中的像素点定义为参考像素点。具体实施时，当前图像的像素点与参考图像中的参考像素点的对应关系可通过相关度来衡量，相关度最大的参考像素点即确定为对应的参考像素点。根据当前图像中的像素点与对应的参考像素点之间的坐标差即可确定当前图像的各个像素点相对于该参考图像的目标像素偏移量。
具体的，对于当前图像中的每一个像素点，例如像素点B（i,j）即第i行,第j列的像素，深度相机的算法会遍历参考图像中位于该偏移范围-20~-4内的所有的参考像素点，即17个像素，分别为像素A(i, j-4), 像素A(i, j-5), …, 像素A（i, j-20），从而查找出于像素点B（i,j）对应的参考像素点，例如该对应的参考像素点为A(i, j-p)，则该目标像素偏移量∆p=p。
将像素偏移量转化为深度，通过三角测量法，计算该像素与深度相机的距离d，即获得该像素的深度值。具体的，该像素点的深度值的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离，为所述像素点的目标像素偏移量。
本实施例中，深度相机的图像的深度信息根据采集的当前图像中各个像素点的像素偏移量来计算。即根据当前图像的各像素点与参考图像中对应的参考像素点之间的坐标来确定该当前图像的各像素点的偏移量，并根据偏移量计算各像素点的深度值，从而得到该当前图像的深度信息。并且通过检测物体与深度相机的最近距离来缩小该深度相机的像素偏移范围，从而使查询参考图像中与当前图像的像素点对应的参考像素点的过程大大缩短，提高了当前图像的深度信息的获取效率。
请参阅图2，为本发明第二实施例中的深度信息获取方法，包括步骤S21~S27。
步骤S21，通过距离传感器检测所述物体与深度相机的最近距离，所述距离传感器的波束角与所述深度相机的视场角相当。
为了使距离传感器的检测范围覆盖深度相机的视场范围，如图3所示，本实施例中的深度相机所使用的距离传感器为大波束角的传感器，例如超声波传感器，其波束角与深度相机的视场角相当，约60°，这样深度相机检测范围内的物体都能被距离传感器检测到。
可以理解的，在本发明的其他实施例中，也可以通过设置多个小波束角的距离传感器来模拟大波束角的距离传感器。
超声波传感器实时发出声波脉冲并检测回波，没有收到回波时，深度相机处于休眠状态；若收到有效的回波，则确定第一个有效回波的时间。如t0时刻发出的声波脉冲，t1时刻检测到第一个有效回波，则物体与相机的最近距离dmin=C*(t1–t0)，其中C为声速340m/s。
步骤S22，判断所述最近距离是否在所述深度相机的工作距离范围内。
步骤S23，当所述最近距离在所述工作距离范围内时，启动所述深度相机，并采集所述物体的当前图像。
每个深度相机均设置有对应的工作距离范围d0~d1，通常为几十厘米至两米，如本实施例中为50cm~150cm。如果最近距离dmin< d0，说明物体距相机距离太近，出于安全考虑关闭深度相机的投射器，相机休眠，并重复进行超声波传感器实时发出声波脉冲并检测回波的步骤。如果最近距离dmin> d1，物体距深度相机较远，深度相机休眠，并重复进行超声波传感器实时发出声波脉冲并检测回波的步骤。
如果回波距离dmin在深度相机工作距离范围d0~d1内，深度相机启动，深度相机的图像传器获取红外图像，得到当前图像。
步骤S24，计算标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像。
像素偏移量和深度的关系可由深度相机的设计参数和三角测量原理计算得出，具体的，当标定平面在该最近距离时该标定平面的图像相对于参考图像的像素偏移量的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离， d min为所述最近距离。
步骤S25，修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于计算得到的像素偏移量。
该深度相机的像素偏移范围的两个端点的初始值分别为标定平面的深度在该深度相机的两个极限工作距离时，测得的像素点偏移量的值，如深度相机其像素偏移范围为(-20，59)。深度相机获取到当前拍摄的物体的最近距离后，计算该最近距离下对应的像素偏移量，并根据计算得到的像素偏移量修改该像素偏移范围的上限值，使该范围缩小。例如，检测到该物体与深度相机的最近距离为110cm，则深度范围50cm~110cm对应的像素偏移范围是不可能的值，根据计算得到对应的像素偏移量为-4，即修改后的像素偏移范围即为（-20，-4）。
需要说明的是，本实施例中采集所述物体的当前图像和修改该像素偏移范围这两个步骤并无先后顺序，在本发明的其他实施例中，当确定到该最近距离在预设的距离范围内后，可先进行像素偏移范围的修改再采集物体的当前图像，即采集物体的当前图像步骤可在步骤S24之后进行。
步骤S26，针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点。
为了确定当前图像中各像素点的偏移量，就需要知道当前图像的各像素点在参考图像中的对应的参考像素，这种对应关系是可以通过相关度来衡量的，将相关度最大的参考像素确定为对应像素，像素的偏移量就由两个对应像素的坐标差来计算。
为了得到相关度最大的参考像素，就需要把偏移范围内所有像素与当前图像像素的相关系数都计算出来，若该偏移范围缩小，则可以提高该过程的计算的效率。如修改后的像素偏移范围为-20~-4 ，则参考图图像中，该范围内有17个像素，即像素A(i, j-4)，像素点A(i, j-5)，…，像素点A(i, j-20)。这17个像素点逐个与像素点B(i, j)进行相关度计算，仅需要进行17次计算，得到17个相关系数S，得到相关度最大的像素，相较于初始的像素偏移范围，其计算量大大降低（初始像素范围需计算80次）。假设得到的该参考图像的像素点A (i, j-p)，则为该像素点B(i, j)对应的参考像素点，则该像素点B(i, j)的目标像素偏移量∆p=p。
相关度的计算有多种，例如去均值相关度算法，该算法中，将参考图像和当前图像中的各个像素点所在的区域进行窗口划分，即得到以各个像素点为中心，N*N大小的窗口（如图4和图5所示），计算当前图像与参考图像的对应像素点的相关度S的计算公式为：
；
其中，为以参考像素点为中心N*N大小的窗口中像素灰度值的平均值，为以当前图像的像素点为中心N*N大小的窗口中像素灰度值的平均值，Amn为参考图像中N*N窗口中m行n列的像素的灰度值，Bmn是指当前图像中N*N窗口中m行n列的像素的灰度值，N为窗口的尺寸。
步骤S27，根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
将像素偏移量转化为深度，通过三角测量法，计算该像素与深度相机的距离d，即获得该像素的深度值。具体的，该像素点的深度值的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离，为所述像素点的目标像素偏移量。
请参阅图6，为本发明第三实施例中的深度信息获取装置，包括：
检测模块10，用于检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内；
采集模块20，用于采集所述物体的当前图像；
确定模块30，用于确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像；
修改模块40，用于修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量，所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定；
查找模块50，用于针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点；
计算模块60，用于根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
进一步的，上述深度信息获取装置，其中，所述遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点的步骤包括：
计算所述像素点分别与所述参考图像中所述像素偏移范围内的各个参考像素点之间的相关度；
将相关度值最大的一个确定为所述像素点对应的参考像素点。
进一步的，上述深度信息获取装置，还包括：
控制模块，用于当所述最近距离超出所述工作距离范围时，控制所述深度相机休眠。
本发明实施例所提供的深度信息获取装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的深度信息获取方法。
本发明实施例还提供了一种深度相机，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的深度信息获取方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种深度信息获取方法，其特征在于，包括：
检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内；
若是，采集所述物体的当前图像，以及确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像；
修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量，所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定，所述像素偏移范围为（p1，p2），其中p1为所述标定平面在所述深度相机的最小工作距离时，所述标定平面的图像相对于参考图像的像素偏移量，p2为所述定标定平面在所述最近距离时，所述标定平面的图像相对于参考图像的像素偏移量；
针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点；
根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
2.如权利要求1所述的深度信息获取方法，其特征在于，所述遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点的步骤包括：
计算所述像素点分别与所述参考图像中所述像素偏移范围内的各个参考像素点之间的相关度；
将相关度值最大的一个确定为所述像素点对应的参考像素点。
3.如权利要求2所述的深度信息获取方法，其特征在于，所述像素点与所述参考图像中的参考像素点之间的相关度S的计算公式为：
；
其中，为以参考像素点为中心N*N大小的窗口中像素灰度值的平均值，为以当前图像的像素点为中心N*N大小的窗口中像素灰度值的平均值，Amn为参考图像中N*N窗口中m行n列的像素的灰度值，Bmn是指当前图像中N*N窗口中m行n列的像素的灰度值，N为窗口的尺寸。
4.如权利要求1所述的深度信息获取方法，其特征在于，所述检测物体与深度相机的最近距离的步骤包括：
通过距离传感器检测所述物体与深度相机的最近距离，所述距离传感器的波束角与所述深度相机的视场角相当。
5.如权利要求1所述的深度信息获取方法，其特征在于，所述像素点的深度值的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离，为所述像素点的目标像素偏移量。
6.如权利要求1所述的深度信息获取方法，其特征在于，所述确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量的计算公式为：
；
其中，为参考图像与深度相机的距离，为深度相机的焦距，为投射器与图像传感器的距离，d min为所述最近距离。
7.一种深度信息获取装置，其特征在于，包括：
检测模块，用于检测物体与深度相机的最近距离，并判断所述最近距离是否在所述深度相机的工作距离范围内；
采集模块，用于采集所述物体的当前图像；
确定模块，用于确定标定平面在所述最近距离时所述标定平面的图像相对于参考图像的像素偏移量，所述参考图像为标定平面在参考深度时采集的图像；
修改模块，用于修改所述深度相机的像素偏移范围，以使所述像素偏移范围的上限值等于确定的所述像素偏移量，所述像素偏移范围的初始值根据所述标定平面在所述深度相机的两个极限工作距离时采集的所述标定平面的图像相对于参考图像的像素偏移量来确定，所述像素偏移范围为（p1，p2），其中p1为所述标定平面在所述深度相机的最小工作距离时，所述标定平面的图像相对于参考图像的像素偏移量，p2为所述定标定平面在所述最近距离时，所述标定平面的图像相对于参考图像的像素偏移量；
查找模块，用于针对所述当前图像中的每一个像素点，遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点；
计算模块，用于根据所述像素点的坐标和对应的参考像素点的坐标，确定所述像素点的目标像素偏移量，并根据所述目标像素偏移量计算所述像素点的深度值。
8.如权利要求7所述的深度信息获取装置，其特征在于，所述遍历所述参考图像中所述像素偏移范围内的所有参考像素点，以查找与所述当前图像中各个像素点对应的参考像素点的步骤包括：
计算所述像素点分别与所述参考图像中所述像素偏移范围内的各个参考像素点之间的相关度；
将相关度值最大的一个确定为所述像素点对应的参考像素点。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－6任一所述的深度信息获取方法。
10.一种深度相机，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－6任意一项所述的深度信息获取方法。
CN202110394765.8A 2021-04-13 2021-04-13 深度信息获取方法、装置、可读存储介质及深度相机 Active CN113099120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110394765.8A CN113099120B (zh) 2021-04-13 2021-04-13 深度信息获取方法、装置、可读存储介质及深度相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110394765.8A CN113099120B (zh) 2021-04-13 2021-04-13 深度信息获取方法、装置、可读存储介质及深度相机

Publications (2)

Publication Number Publication Date
CN113099120A CN113099120A (zh) 2021-07-09
CN113099120B true CN113099120B (zh) 2023-04-18

Family

ID=76676750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110394765.8A Active CN113099120B (zh) 2021-04-13 2021-04-13 深度信息获取方法、装置、可读存储介质及深度相机

Country Status (1)

Country Link
CN (1) CN113099120B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822920B (zh) * 2021-09-29 2022-05-31 合肥的卢深视科技有限公司 结构光相机获取深度信息的方法、电子设备及存储介质
CN115019157B (zh) * 2022-07-06 2024-03-22 武汉市聚芯微电子有限责任公司 目标物检测方法、装置、设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011265379A1 (en) * 2011-12-20 2013-07-04 Canon Kabushiki Kaisha Single shot image based depth mapping
CN104636709A (zh) * 2013-11-12 2015-05-20 ***通信集团公司 一种定位监控目标的方法及装置
WO2015163350A1 (ja) * 2014-04-22 2015-10-29 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
CN110049305A (zh) * 2017-12-18 2019-07-23 西安交通大学 一种智能手机的结构光深度相机自校正方法及装置
CN110088563A (zh) * 2019-03-13 2019-08-02 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量***
CN110657785A (zh) * 2019-09-02 2020-01-07 清华大学 一种高效的场景深度信息获取方法及***
WO2020185351A1 (en) * 2019-03-08 2020-09-17 Interdigital Vc Holdings, Inc. Depth map processing
WO2020188120A1 (en) * 2019-03-21 2020-09-24 Five AI Limited Depth extraction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317923B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Stereo vision apparatus and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011265379A1 (en) * 2011-12-20 2013-07-04 Canon Kabushiki Kaisha Single shot image based depth mapping
CN104636709A (zh) * 2013-11-12 2015-05-20 ***通信集团公司 一种定位监控目标的方法及装置
WO2015163350A1 (ja) * 2014-04-22 2015-10-29 株式会社ニコン 画像処理装置、撮像装置及び画像処理プログラム
CN110049305A (zh) * 2017-12-18 2019-07-23 西安交通大学 一种智能手机的结构光深度相机自校正方法及装置
WO2020185351A1 (en) * 2019-03-08 2020-09-17 Interdigital Vc Holdings, Inc. Depth map processing
CN110088563A (zh) * 2019-03-13 2019-08-02 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量***
WO2020188120A1 (en) * 2019-03-21 2020-09-24 Five AI Limited Depth extraction
CN110657785A (zh) * 2019-09-02 2020-01-07 清华大学 一种高效的场景深度信息获取方法及***

Also Published As

Publication number Publication date
CN113099120A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP4691701B2 (ja) 人数検出装置及び方法
JP6058072B2 (ja) 物体識別装置
JP6396714B2 (ja) 物体認識装置
US10223793B1 (en) Laser distance measuring method and system
JP5540217B2 (ja) レーザースキャンセンサ
TW201817215A (zh) 影像掃描系統及其方法
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
Santos et al. Underwater place recognition using forward‐looking sonar images: A topological approach
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
CN108780149B (zh) 通过传感器的间接测量来改进对机动车辆周围的至少一个物体的检测的方法，控制器，驾驶员辅助***和机动车辆
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
JP6753383B2 (ja) 物体検知装置
JP2011145924A (ja) 移動装置及び方法
US20240077586A1 (en) Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method
CN115047472B (zh) 确定激光雷达点云分层的方法、装置、设备及存储介质
JP7348414B2 (ja) ライダー計測においてブルーミングを認識するための方法及び装置
CA3074628C (en) Method and device for optical distance measurement
Portugal-Zambrano et al. Robust range finder through a laser pointer and a webcam
JP6894356B2 (ja) 船舶追尾システム
CN113014899B (zh) 一种双目图像的视差确定方法、装置及***
KR20230158474A (ko) 센싱 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant