CN110874852A - 深度图像的确定方法、图像处理器及存储介质 - Google Patents

深度图像的确定方法、图像处理器及存储介质 Download PDF

Info

Publication number
CN110874852A
CN110874852A CN201911075635.7A CN201911075635A CN110874852A CN 110874852 A CN110874852 A CN 110874852A CN 201911075635 A CN201911075635 A CN 201911075635A CN 110874852 A CN110874852 A CN 110874852A
Authority
CN
China
Prior art keywords
depth
information
depth image
image
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911075635.7A
Other languages
English (en)
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911075635.7A priority Critical patent/CN110874852A/zh
Publication of CN110874852A publication Critical patent/CN110874852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种深度图像的确定方法、图像处理器及存储介质，该方法包括：针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，第一深度图像中携带有第一深度信息和第一准确度信息，第二深度图像中携带有第二深度信息和第二准确度信息，第一准确度信息用于表征第一深度信息的准确程度，第二准确度信息用于表征第二深度信息的准确程度；根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。

Description

深度图像的确定方法、图像处理器及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种深度图像的确定方法、图像处理器及存储介质。
背景技术
三维(Three Dimensions，3D)结构光模组对于近距离的物体，具有良好的深度感知特性，但是对于远距离的物体，却无法得到精确的深度信息。而且当3D结构光受到强光的影响时，其深度图像成像的精度也将会受到较大影响。
可见，目前的解决方案中，3D结构光模组在深度图像成像时会存在一些缺陷，比如3D结构光可能会受到强光的影响，而且3D结构光还不适用于远距离的物体，使得深度图像的精度偏低。
发明内容
本申请实施例提出一种深度图像的确定方法、图像处理器及存储介质，能够提高深度图像的精确度，同时能够提升目标图像的成像质量。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种深度图像的确定方法，该方法包括：
针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
第二方面，本申请实施例提供了一种图像处理器，该图像处理器包括第一获取单元和融合单元，其中，
第一获取单元，配置为针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
融合单元，配置为根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
第三方面，本申请实施例提供了一种图像处理器，该图像处理器包括第一存储器和第一处理器；其中，
第一存储器，用于存储能够在所述第一处理器上运行的计算机程序；
第一处理器，用于在运行所述计算机程序时，执行如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如第一方面所述的方法。
本申请实施例所提供的一种深度图像的确定方法、图像处理器及存储介质，针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，第一深度图像中携带有第一深度信息和第一准确度信息，第二深度图像中携带有第二深度信息和第二准确度信息，第一准确度信息用于表征第一深度信息的准确程度，第二准确度信息用于表征第二深度信息的准确程度；然后根据第一深度信息、第一准确度信息、第二深度信息和第二准确度信息，对第一深度图像和第二深度图像进行融合处理，得到待拍摄物体的目标深度图像；这样，本申请实施例中，首先从结构光模组和双目视觉模组分别获取第一深度图像和第二深度图像，然后再对第一深度图像和第二深度图像进行融合处理，如此所得到的目标深度图像中，不仅拓宽了深度图像的距离范围，能够获得更多距离范围的深度图像，而且由于还考虑了双目视觉模组所获得的第二深度图像，能够避免深度图像在结构光模组受到强光影响时的低精度现象，从而提高了深度图像的精确度，有利于捕捉到更为真实的目标图像，并且还提升了目标图像的成像质量。
附图说明
图1为本申请实施例提供的一种图像处理***的结构示意图；
图2为本申请实施例提供的本申请实施例提供的一种深度图像的确定方法的详细流程示意图；
图3为本申请实施例提供的一种深度图像的确定方法的应用场景示意图；
图4为本申请实施例提供的一种深度图像的确定方法的流程示意图；
图5为本申请实施例提供的另一种深度图像的确定方法的流程示意图；
图6为本申请实施例提供的又一种深度图像的确定方法的流程示意图；
图7为本申请实施例提供的一种图像处理器的组成结构示意图；
图8为本申请实施例提供的一种图像处理器的具体硬件结构示意图；
图9为本申请实施例提供的一种结构光模组的组成结构示意图；
图10为本申请实施例提供的一种结构光模组的具体硬件结构示意图；
图11为本申请实施例提供的一种双目视觉模组的组成结构示意图；
图12为本申请实施例提供的一种双目视觉模组的具体硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
三维(Three Dimensions，3D)结构光模组包括一个编码器光斑发射器、光斑接收器和光斑解码器。编码光斑发射器给目标物体连续发送已编码的光斑信号，并用光斑接收器接收从目标物体返回的光斑信号，在光斑解码器中，根据光斑的模板匹配接收到的光斑信号，解码得到该目标物体的深度信号。3D结构光模组对于近距离的物体，有良好的深度感知特性，但是对于更远距离的物体，却无法得到精确的深度信息。而且当3D结构光受到外界噪声和环境光的影响时，其深度图像成像的精度将会受到较大影响。
双目视觉模组仿照人眼特性，通过对左右两幅图像的特征点匹配，利用双视点对同一物体成像造成的视差，通过几何计算得到该物体的深度信号。在实际应用中，由于物体的特征点匹配不准确，成为双目视觉模组获取高精度深度值的最大障碍。
可见，3D结构光可能会受到强光的影响，使得深度图像的精度不高；而双目视觉模组可能由于特征点匹配不准确，造成深度图像的计算错误；另外，3D结构光模组仅适用于近距离，双目视觉模组适用于远距离；也就是说，目前的解决方案中，无论是3D结构光模组还是双目视觉模组，在深度图像成像时各自无法兼顾更多的距离范围，而且所得到深度图像的精度也不高。
为了提高深度图像的精确度，本申请实施例提供了一种深度图像融合方法，首先从结构光模组和双目视觉模组分别获取第一深度图像和第二深度图像，然后再对第一深度图像和第二深度图像进行融合处理，如此所得到的目标深度图像中，综合考虑了从结构光模组所得到的第一深度信息和第一准确度信息以及从双目视觉模组所得到的第二深度信息和第二准确度信息，这样，不仅拓宽了深度图像的距离范围，而且还提高了深度图像的精确度，有利于捕捉到更为真实的目标图像，同时提升了目标图像的成像质量。
下面将结合附图对本申请各实施例进行详细说明。
参见图1，其示出了本申请实施例提供的一种图像处理***的结构示意图。如图1所示，该图像处理***包括：结构光模组11、双目视觉模组12和图像处理器13，其中，结构光模组11与图像处理器13之间建立有通信连接，双目视觉模组12与图像处理器13之间建立有通信连接。
在该图像处理***中，结构光模组11通常是指3D结构光模组，能够向待拍摄物体连续发送已编码的光斑信号，并接收从待拍摄物体返回的光斑信号，然后根据光斑的模板匹配接收到的光斑信号，解码得到该物体的深度信息。但是结构光模组11所确定的深度信息仅对近距离的物体具有良好的深度感知特性，但是对远距离或者超远距离的物体，无法得到精确的深度值，且结构光还容易受到外界强光的影响，从而影响深度图像的精确度。而双目视觉模组12能够通过对左右两幅图像的特征点匹配，利用双视点对同一物体成像造成的视差，然后通过几何计算得到待拍摄物体的深度信息，但是在实际应用中，由于特征点匹配容易不准确，也将会影响深度图像的精确度。
本申请实施例中，图像处理器13可以用于分别从结构光模组11和双目视觉模组12采集深度值，对采集到的多个深度值进行处理，以确定出目标深度图像更为精确的深度值。这里，图像处理器13也可以称为图像处理装置或者图像融合装置，它可以是硬件实体装置，也可以是虚拟装置，本申请实施例不作具体限定。
基于图1所示的图像处理***，参见图2，其示出了本申请实施例提供的一种深度图像的确定方法的详细流程示意图。如图2所示，该方法可以包括：
S201：结构光模组11确定待拍摄物体的第一深度图像；
为了克服结构光模组11对远距离或者超远距离的物体无法得到精确的深度值，以及双目视觉模组12特征点匹配不准确而对深度值的精度造成影响，这里，利用结构光模组11可以确定出待拍摄物体的第一深度图像，利用双目视觉模组12可以确定出待拍摄物体的第二深度图像，然后使得图像处理器13能够结合第一深度图像和第二深度图像来确定目标深度图像。
结构光模组为了确定出第一深度图像，在具体实施过程中，结构光模组11为了确定出待拍摄物体的第一深度图像，S201可以包括：
S2011：结构光模组11获取待拍摄物体的第一深度信息；
具体来说，结构光模组11通过向待拍摄物体连续发送已编码的光斑信号，并接收从待拍摄物体返回的光斑信号，然后根据光斑的模板匹配接收到的光斑信号，解码得到该待拍摄物体的第一深度信息。
S2012：结构光模组11根据第一深度信息，确定与第一深度信息对应的第一准确度信息；
需要说明的是，结构光模组11获取到第一深度信息之后，可以根据第一深度信息计算得到与第一深度信息对应的第一准确度信息；也可以从预先存储的深度信息与准确度信息之间的对应关系中，查询得到与第一深度信息对应的第一准确度信息，本申请实施例不作具体限定。
在实际应用中，准确度信息用于表征目标区域所对应的深度图像的可信度；这里，准确度信息的单位可以是像素级别，也可以是块级，还可以是行级，甚至还可以是帧级，本申请实施例不作具体限定。其中，由于结构光模组11针对近距离物体的深度图像的精确度偏高，这样，获取到第一深度信息之后，如果第一深度信息中的深度值越小，表明了待拍摄物体与结构光模组11的距离越近，那么第一准确度信息就越高；如果第一深度信息中的深度值越大，表明了待拍摄物体与结构光模组11的距离越远，那么第一准确度信息就越低。这样，根据所获取的第一深度信息，结构光模组11可以确定出与第一深度信息对应的第一准确度信息。
S2013：结构光模组11利用第一深度信息和第一准确度信息形成第一深度图像。
其中，第一准确度信息用于表征第一深度信息的准确程度。如此，结构光模组11所确定出的第一深度图像中不仅携带有第一深度信息，还携带有与第一深度信息对应的第一准确度信息，这里，准确度信息的含义为该区域所对应深度信息的可信度。
S202：结构光模组11发送第一深度图像至图像处理器13；
在S202中，结构光模组11将携带有第一深度信息和第一准确度信息的第一深度图像发送至图像处理器13，使得图像处理器13可以获取来自结构光模组11所采集到的第一深度信息和第一深度信息的可信度，有利于图像处理器13能够更加准确地确定出目标深度图像。
S203：双目视觉模组12确定待拍摄物体的第二深度图像；
双目视觉模组12为了确定出第二深度图像，在具体实施过程中，双目视觉模组12为了确定出待拍摄物体的第二深度图像，S203可以包括：
S2031：双目视觉模组12获取待拍摄物体的第一目视觉图像和第二目视觉图像，并确定第一目视觉图像的特征点和第二目视觉图像的特征点；
具体来说，双目视觉模组12通过对左右两幅图像中物体的特征点匹配，利用双视点对同一物体成像造成的视差，通过几何计算得到自身与待拍摄物体的距离，即可以得到待拍摄物体的第二深度信息。
双目视觉模组12在获取到第一目视觉图像和第二目视觉图像之后，需要先确定出双目图像中第一目视觉图像的特征点和第二目视觉图像的特征点，该特征点可以反映出图像的本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。
S2032：将所述第一目视觉图像的特征点与所述第二目视觉图像的特征点进行视差匹配，确定视差值；根据所述视差值进行深度计算，得到所述待拍摄物体的第二深度信息；
这里，双目视觉模组12将第一目视觉图像的特征点与第二目视觉图像的特征点进行视差匹配，可以确定出视差值；然后利用预设算法对该视差值进行深度计算，这里，预设算法可以是三角测距算法；从而能够得到待拍摄物体的第二深度信息。
S2033：双目视觉模组12根据第二深度信息，确定与第二深度信息对应的第二准确度信息；
需要说明的是，双目视觉模组12获取到第二深度信息之后，可以根据第二深度信息计算得到与第二深度信息对应的第二准确度信息；也可以从预先存储的深度信息与准确度信息之间的对应关系中，查询得到与第二深度信息对应的第二准确度信息，本申请实施例不作具体限定。
在实际应用中，准确度信息用于表征目标区域所对应的深度图像的可信度；这里，准确度信息的单位可以是像素级别，也可以是块级，还可以是行级，甚至还可以是帧级，本申请实施例不作具体限定。其中，由于双目视觉模组12针对远距离物体的深度图像的精确度偏高，这样，获取到第二深度信息之后，如果第二深度信息中的深度值越大，表明了待拍摄物体与双目视觉模组12的距离越远，那么第二准确度信息就越高；如果第二深度信息中的深度值越小，表明了待拍摄物体与双目视觉模组12的距离越近，那么第二准确度信息就越低。这样，根据所获取的第二深度信息，双目视觉模组12可以确定出与第二深度信息对应的第二准确度信息。
S2034：双目视觉模组12利用第二深度信息和第二准确度信息形成第二深度图像。
需要说明的是，第二准确度信息用于表征第二深度信息的准确程度。如此，双目视觉模组12所确定出的第二深度图像中不仅携带有第二深度信息，还携带有与第二深度信息对应的第二准确度信息，这里，准确度信息的含义为该区域所对应深度信息的可信度。
其中，第一准确度信息与第二准确度信息可以大小不同，表示单位不同，单位可以是像素级，块级，行级或帧级等。
S204：双目视觉模组12发送第二深度图像至图像处理器13；
在S204中，双目视觉模组12将携带有第二深度信息和第二准确度信息的第二深度图像发送至图像处理器13，使得图像处理器13可以获取来自双目视觉模组12所采集得到的第二深度信息和第二深度信息的可信度，有利于图像处理器13能够更加准确地确定出目标深度图像。
还需要说明的是，结构光模组11确定第一深度图像的过程与双目视觉模组12确定第二深度图像的过程之间可以是并行执行的，也可以是先后执行的，当先后执行时，可以是结构光模组11确定第一深度图像的过程先于双目视觉模组12确定第二深度图像的过程，也可以是双目视觉模组12确定第二深度图像的过程先于结构光模组11确定第一深度图像的过程，这里，本申请实施例不作具体限定。
S205：图像处理器13分别对第一深度图像和第二深度图像进行缩放处理；
在具体实施过程中，S205可以包括：
图像处理器13按照预设分辨率，分别对第一深度图像和第二深度图像进行缩放处理，得到处理后的第一深度图像和处理后的第二深度图像；使得处理后的第一深度图像和处理后的第二深度图像与最终输出的目标深度图像同分辨率。
也就是说，当获取到的第一深度图像的分辨率与预设分辨率不同，第二深度图像的分辨率与预设分辨率不同时，需要对第一深度图像和第二深度图像进行缩放处理，使得第一深度图像的分辨率和第二图像深度的分辨率均与预设分辨率相同，从而得到处理后的第一深度图像和处理后的第二深度图像；其中，处理后的第一深度图像中携带有处理后的第一深度信息和处理后的第一准确度信息，处理后的第二深度图像中携带有处理后的第二深度信息和处理后的第二准确度信息。
S206：图像处理器13确定待拍摄物体的目标深度图像。
在具体实施过程中，S206可以包括：
图像处理器13根据处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息，对第一深度图像和第二深度图像进行融合处理，得到待拍摄物体的目标深度图像。
需要说明的是，对第一深度图像和第二深度图像进行融合处理，具体可以是将处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息输入预设计算模型，根据预设计算模型输出目标深度图像中每一像素位置对应的深度值，然后根据每一像素位置对应的深度值，得到最终的目标深度图像。
还需要说明的是，如果获取到的第一深度图像的分辨率与预设分辨率相同，且第二深度图像的分辨率与预设分辨率也相同时，本申请实施例还可以省略步骤S205。这时候，对第一深度图像和第二深度图像进行融合处理，具体可以是将第一深度信息、第一准确度信息、第二深度信息和第二准确度信息输入预设计算模型，根据预设计算模型输出目标深度图像中每一像素位置对应的深度值，然后根据每一像素位置对应的深度值，得到最终的目标深度图像。
这里，图像处理器13为了确定出更为精确地深度值，可以将处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息输入到预设计算模型，根据该预设计算模型就可以得到最终的目标深度图像。其中，预设计算模型可以是加权算法模型，也可以是其他能够实现融合处理的算法模型，本申请实施例不作具体限定。
当预设计算模型是加权算法模型时，将处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息输入到预设计算模型，通过预设计算模型的加权计算，可以得到目标深度图像中每一像素位置对应的深度值。
具体来说，假设行坐标为i，列坐标为j，结构光模组11生成的第一深度图像中，第一深度信息用P_3D表示，第一准确度信息用A_3D表示；双目视觉模组12生成的第二深度图像中，第二深度信息用P_BV表示，第二准确度信息用A_BV表示，图像处理器13所生成的目标深度图像在第i行第j列像素位置对应的深度值Oi,j计算如下：
Figure BDA0002262342400000071
其中，式(1)为预设计算模型，在该预设计算模型中，K为结构光模组11中第一准确度信息的像素补偿值，T为双目视觉模组12中第二准确度信息的像素补偿值，K和T可以根据实际情况进行设定；F为整体补偿值，可以根据器件和场景进行配置，a和b为信任度取值，可以根据不同距离的深度值设置不同的值。
这样，首先针对结构光模组11生成的第一深度图像(包括第一深度信息和第一准确度信息)和双目视觉模组12生成的第二深度图像(包括第二深度信息和第二准确度信息)进行缩放处理，比如进行比例放大，使得处理后的第一深度图像和处理后的第二深度图像与最终输出的目标深度图像同分辨率，并且可以得到处理后的第一深度信息和处理后的第一准确度信息以及处理后的第二深度信息和处理后的第二准确度信息；然后将处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息输入预设计算模型，即代入式(1)进行加权计算，就可以得到目标深度图像中每一像素位置对应的深度值，然后根据每一像素位置对应的深度值，得到最终的目标深度图像。
另外，图像处理器13还可以根据结构光模组11所得到的第一准确度信息与预设阈值进行比较，根据比较的结果来确定目标深度图像。
在一些实施例中，在S204之后，该方法还可以包括：
图像处理器13从第一准确度信息中，获取每一像素位置对应的准确度值；将每一像素位置对应的准确度值与预设阈值进行比较；然后根据比较的结果，确定目标深度图像中每一像素位置对应的深度值，并根据所确定的每一像素位置对应的深度值，得到目标深度图像。
具体地，针对每一像素位置中的某一像素位置，若某一像素位置对应的准确度值大于预设阈值，则图像处理器13确定目标深度图像中所述某一像素位置对应的深度值为第一深度信息中所述某一像素位置对应的深度值；若某一像素位置对应的准确度值小于或等于预设阈值，则图像处理器13确定目标深度图像中所述某一像素位置对应的深度值为第二深度信息中所述某一像素位置对应的深度值；然后根据每一像素位置的比较结果，得到目标深度图像中每一像素位置对应的深度值。
需要说明的是，在根据结构光模组11生成的第一深度图像(包括第一深度信息和第一准确度信息)和双目视觉模组12生成的第二深度图像(包括第二深度信息和第二准确度信息)之后，可以根据结构光模组11在不同区域或不同距离处的准确度信息，即每一个像素位置对应的准确度值，将其与预设阈值进行比较，如果该像素位置对应的准确度值大于预设阈值，表明了这时候结构光模组所得到的第一深度信息更准确，那么可以将结构光模组所得到的第一深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值；如果该像素位置对应的准确度值小于或等于预设阈值，表明了这时候结构光模组所得到的第一深度信息不准确，那么可以将双目视觉模组所得到的第二深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值。如此，无需对第一深度图像和第二深度图像进行复杂的融合处理(比如通过预设计算模型进行加权计算等)，也可以得到最终的目标深度图像。
具体来说，根据结构光模组11在不同区域或不同距离的准确度信息(用Ci,j,z表示)，也可以直接得到最终的目标深度图像。其中，i表示行坐标，j表示列坐标，z表示距离，结构光模组11生成的第一深度图像中，第一深度信息用P_3D表示；双目视觉模组12生成的第二深度图像中，第二深度信息用P_BV表示；如此，图像处理器13所生成的目标深度图像在第i行第j列像素位置对应的深度值Oi,j计算如下：
Figure BDA0002262342400000081
这里，thr为预设阈值，thr可以根据实际情况进行设定，本申请实施例不作具体限定。
这样，在获取结构光模组11生成的第一深度图像(包括第一深度信息和第一准确度信息)和双目视觉模组12生成的第二深度图像(包括第二深度信息和第二准确度信息)之后，无需对第一深度图像和第二深度图像进行复杂的融合处理(比如通过预设计算模型进行加权计算等)，只需要将第一准确度信息中每一个像素位置对应的准确度值与预设阈值进行比较，如果该像素位置对应的准确度值大于预设阈值，那么可以将第一深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值；如果该像素位置对应的准确度值小于或等于预设阈值，那么可以将第二深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值，如式(2)所示，如此也可以得到目标深度图像中每一像素位置对应的深度值，然后根据每一像素位置对应的深度值，得到最终的目标深度图像。
进一步地，由于结构光模组适用于近距离，且近距离下所获得的深度图像的精度还较高，这时候在获取到待拍摄物体与结构光模组之间的距离之后，还可以将所获得的距离值与预设距离阈值进行比较；这样，当距离值小于预设距离阈值，表明了这时候结构光模组所得到的第一深度信息更准确，那么可以将结构光模组所得到的第一深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值；如果距离值大于或等于预设距离阈值，表明了这时候结构光模组所得到的第一深度信息不准确，那么可以将双目视觉模组所得到的第二深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值。如此，无需对第一深度图像和第二深度图像进行复杂的融合处理(比如通过预设计算模型进行加权计算等)，也可以得到最终的目标深度图像。
下面将列举实例来对上述一个或多个实施例中所述的深度图像的确定方法进行说明。
实例1：首先，图像处理器将从结构光模组和双目视觉模组得到的第一深度图像和第二深度图像进行缩放，与最终输出的目标深度图像同分辨率，生成新的第一深度图像和新的第二深度图像；
其次，假设行列坐标为i和j，结构光模组11生成新的第一深度图像中，第一深度信息用P_3D表示，第一准确度信息用A_3D表示；双目视觉模组12生成新的第二深度图像中，第二深度信息用P_BV表示，第二准确度信息用A_BV表示，图像处理器利用上述的预设计算模型(如式(1)所示)，可以计算得到目标深度图像在第i行第j列像素位置对应的深度值Oi,j，以得到最终的目标深度图像。
实例2：图像处理器从结构光模组和双目视觉模组得到第一深度图像和第二深度图像之后，根据结构光模组11在不同区域或不同距离的准确度信息(用Ci,j,z表示)，即每一个像素位置对应的准确度值，将其与预设阈值(用thr表示)进行比较，如此图像处理器利用上述的预设比较模型(如式(2)所示)，可以得到目标深度图像在第i行第j列像素位置对应的深度值Oi,j，以得到最终的目标深度图像。
实例3：图3为本申请实施例提供的一种深度图像的确定方法的应用场景示意图，如图3所示，A物体为近景物体，B物体为远景物体，根据结构光模组和双目视觉模组对A物体的深度判断，以结构光模组为根据，通过校正双目视觉模组中B物体的深度从b1到b2；最终深度图像合成时，近景物体采用结构光模组的深度信息，远景物体采用双目视觉模组的深度信息。
基于图3所示的应用场景，虚化景深拍照中，结构光模组的有效距离有限，并不能获取到较远距离或超远距离的物体深度信息。本申请实施例通过采用双目视觉模组可以弥补这一特性，根据双目视觉模组判断较远距离或超远距离的物体深度信息，最终合成的目标深度图像可以获得的精确度更高，而且深度细节更丰富，可以用于虚化景深的拍照。
通过上述实例，将结构光模组和双目视觉模组获得的第一深度图像和第二深度图像进行融合处理(也可以称为联合处理)，不仅可以有效避免两种技术各自的缺点，而且可以获得更多距离范围的深度图像，对于近距离物体的深度图像可以采用结构光模组和双目视觉模组的深度图像合成，超远距离可以采用双目视觉模组的深度图像，如此可以得到更精准的目标深度图像。
例如，在强光下拍摄人像，可以通过结构光模组和双目视觉模组的配合；其中，对于近景人像，能够有效避免强光导致的近景深度图像所获取的精度不高问题，对于远景人像，依赖双目视觉模组获取得到更多的深度信息。
例如，结构光模组在有效距离范围内的物体拍摄，先通过结构光模组获取准确的低分辨率的深度图像，然后基于该深度图像，采用双目视觉模组进行深度细节的扩充，可以达到更高分辨率的深度图像。
本申请实施例中，采用结构光技术和双目视觉技术进行联合处理，通过两种深度图像各自的深度信息和对应的准确度信息，利用权重等处理手段，可以获取得到更加精确的目标深度图像。其中，不但利用了结构光技术和双目视觉技术各自的优点，可以在中近距离获得更高精度的深度信息，而且也可以获取远距离及超远距离的深度信息，最终实现了任何视距下深度信息的感知获取。
本实施例提供了一种深度图像的确定方法，针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，第一深度图像中携带有第一深度信息和第一准确度信息，第二深度图像中携带有第二深度信息和第二准确度信息，第一准确度信息用于表征第一深度信息的准确程度，第二准确度信息用于表征第二深度信息的准确程度；然后根据第一深度信息、第一准确度信息、第二深度信息和第二准确度信息，对第一深度图像和第二深度图像进行融合处理，得到待拍摄物体的目标深度图像；这样，本申请实施例中，首先从结构光模组和双目视觉模组分别获取第一深度图像和第二深度图像，然后再对第一深度图像和第二深度图像进行融合处理，如此所得到的目标深度图像中，不仅拓宽了深度图像的距离范围，能够获得更多距离范围的深度图像，而且由于还考虑了双目视觉模组所获得的第二深度图像，能够避免深度图像在结构光模组受到强光影响时的低精度现象，从而提高了深度图像的精确度，有利于捕捉到更为真实的目标图像，并且提升了目标图像的成像质量，同时还提高了用户的体验度。
下面以图像处理***中所部属的各个设备侧对上述图像的深度值的确定方法进行说明。
首先，以图像处理器侧对上述深度图像的确定方法进行描述。
参见图4，其示出了本申请实施例提供的一种深度图像的确定方法的流程示意图。如图4所示，该方法可以包括：
S401：针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，第一深度图像中携带有第一深度信息和第一准确度信息，第二深度图像中携带有第二深度信息和第二准确度信息；
其中，第一准确度信息用于表征第一深度信息的准确程度，第二准确度信息用于表征第二深度信息的准确程度。
需要说明的是，第一深度图像是从结构光模组获得的；也就是说，在结构光模组中，可以得到第一深度信息和第一准确度信息所形成的第一深度图像。因此，在一些实施例中，对于S401来说，所述针对待拍摄物体，从结构光模组获取第一深度图像，可以包括：
通过所述结构光模组确定所述待拍摄物体的第一深度信息以及与所述第一深度信息对应的第一准确度信息；
在所述结构光模组利用所述第一深度信息和所述第一准确度信息形成第一深度图像后，接收所述结构光模组所发送的所述第一深度图像。
这里，通过结构光模组，可以确定出待拍摄物体的第一深度信息，还可以确定出与第一深度信息对应的第一准确度信息；具体确定过程可以详见后续针对结构光模组侧的相关描述。如此，在得到第一深度信息和第一准确度信息之后，通过结构光模组可以形成第一深度图像，然后可以由图像处理器接收该结构光模组所发送的第一深度图像。
还需要说明的是，第二深度图像是从双目视觉模组获得的；也就是说，在双目视觉模组中，可以得到第二深度信息和第二准确度信息所形成的第二深度图像。因此，在一些实施例中，对于S401来说，所述针对待拍摄物体，从双目视觉模组获取第二深度图像，包括：
通过所述双目视觉模组确定所述待拍摄物体的第二深度信息以及与所述第二深度信息对应的第二准确度信息；
在所述双目视觉模组利用所述第二深度信息和所述第二准确度信息形成第二深度图像后，接收所述双目视觉模组所发送的所述第二深度图像。
这里，通过双目视觉模组，可以确定出待拍摄物体的第二深度信息，还可以确定出与第二深度信息对应的第二准确度信息；具体确定过程可以详见后续针对双目视觉模组侧的相关描述。如此，在得到第二深度信息和第二准确度信息之后，通过双目视觉模组可以形成第二深度图像，然后可以由图像处理器接收该双目视觉模组所发送的第二深度图像。
S402：根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
在一些实施例中，S402可以包括：
将所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
根据所述每一像素位置对应的深度值，得到所述目标深度图像。
需要说明的是，预设计算模型可以是加权算法模型，也可以是其他能够实现融合处理的算法模型，本申请实施例不作具体限定。
还需要说明的是，图像处理器对第一深度图像和第二深度图像的融合处理，具体可以是将第一深度信息、第一准确度信息、第二深度信息和第二准确度信息输入预设计算模型(如式(1)所示)，可以得到目标深度图像中每一像素位置对应的深度值(可以用Oi,j表示)，然后根据每一像素位置对应的深度值，以得到最终的目标深度图像。
进一步地，如果图像处理器获取到的第一深度图像和第二深度图像的分辨率与预设分辨率不同，那么还需要对第一深度图像和第二深度图像进行缩放处理，使得第一深度图像的分辨率和第二图像深度的分辨率均与预设分辨率相同。因此，在一些实施例中，S401之后，该方法还可以包括：
按照预设分辨率对所述第一深度图像和所述第二深度图像分别进行缩放处理，得到处理后的第一深度图像和处理后的第二深度图像；其中，所述处理后的第一深度图像中携带有处理后的第一深度信息和处理后的第一准确度信息，所述处理后的第二深度图像中携带有处理后的第二深度信息和处理后的第二准确度信息；
相应地，S402可以包括：
将所述处理后的第一深度信息、所述处理后的第一准确度信息、所述处理后的第二深度信息和所述处理后的第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
根据所述每一像素位置对应的深度值，得到所述目标深度图像。
需要说明的是，当获取到的第一深度图像的分辨率与预设分辨率不同，第二深度图像的分辨率与预设分辨率不同时，需要对第一深度图像和第二深度图像进行缩放处理，使得第一深度图像的分辨率和第二图像深度的分辨率均与预设分辨率相同，从而得到处理后的第一深度图像和处理后的第二深度图像；其中，处理后的第一深度图像中携带有处理后的第一深度信息和处理后的第一准确度信息，处理后的第二深度图像中携带有处理后的第二深度信息和处理后的第二准确度信息；然后将处理后的第一深度信息、处理后的第一准确度信息、处理后的第二深度信息和处理后的第二准确度信息输入到预设计算模型，根据该预设计算模型就可以得到最终的目标深度图像。
进一步地，图像处理器还可以根据所得到的第一准确度信息与预设阈值进行比较，根据比较的结果来确定目标深度图像。因此，在一些实施例中，S401之后，该方法还可以包括：
从所述第一准确度信息中，获取每一像素位置对应的准确度值；
将每一像素位置对应的准确度值与预设阈值进行比较；
根据比较的结果，确定目标深度图像中每一像素位置对应的深度值；
根据所确定的每一像素位置对应的深度值，得到所述目标深度图像。
进一步地，所述根据比较的结果，确定目标深度图像中每一像素位置对应的深度值，可以包括：
针对每一像素位置中的某一像素位置，若所述某一像素位置对应的准确度值大于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第一深度信息中所述某一像素位置对应的深度值；
若所述某一像素位置对应的准确度值小于或等于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第二深度信息中所述某一像素位置对应的深度值；
根据每一像素位置的比较结果，得到目标深度图像中每一像素位置对应的深度值。
需要说明的是，在从结构光模组获取到第一深度图像(包括第一深度信息和第一准确度信息)和从双目视觉模组获取到第二深度图像(包括第二深度信息和第二准确度信息)之后，可以根据结构光模组在不同区域或不同距离处的准确度信息，即每一个像素位置对应的准确度值，将其与预设阈值进行比较，如果该像素位置对应的准确度值大于预设阈值，那么可以将第一深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值；如果该像素位置对应的准确度值小于或等于预设阈值，那么可以将第二深度信息中该像素位置对应的深度值作为目标深度图像中该像素位置对应的深度值；如此无需对第一深度图像和第二深度图像进行融合处理，也可以得到最终的目标深度图像。
其次，以结构光模组侧对上述深度图像的确定方法进行描述。
参见图5，其示出了本申请实施例提供的另一种深度图像的确定方法的流程示意图。如图5所示，该方法可以包括：
S501：获取待拍摄物体的第一深度信息；
S502：根据第一深度信息，确定与第一深度信息对应的第一准确度信息；
S503：利用第一深度信息和第一准确度信息形成第一深度图像；
S504：将第一深度图像发送至图像处理器，以使得所述图像处理器确定待拍摄物体的目标深度图像。
需要说明的是，结构光模组通过向待拍摄物体连续发送已编码的光斑信号，并接收从待拍摄物体返回的光斑信号，然后根据光斑的模板匹配接收到的光斑信号，解码得到该待拍摄物体的第一深度信息。
这样，结构光模组获取到第一深度信息之后，可以根据第一深度信息计算得到与第一深度信息对应的第一准确度信息；也可以从预先存储的深度信息与准确度信息之间的对应关系中，查询得到与第一深度信息对应的第一准确度信息，本申请实施例不作具体限定。如此，在得到第一深度信息和第一准确度信息之后，结构光模组可以将携带有第一深度信息和第一准确度信息的第一深度图像发送至图像处理器，使得图像处理器可以获取来自结构光模组所采集到的第一深度信息和第一深度信息的可信度，有利于图像处理器能够更加准确地确定出目标深度图像。
再次，以双目视觉模组侧对上述深度图像的确定方法进行描述。
参见图6，其示出了本申请实施例提供的又一种深度图像的确定方法的流程示意图。如图6所示，该方法可以包括：
S601：获取待拍摄物体的第一目视觉图像和第二目视觉图像，并确定所述第一目视觉图像的特征点和所述第二目视觉图像的特征点；
S602：将第一目视觉图像的特征点与第二目视觉图像的特征点进行视差匹配，确定视差值；根据所述视差值进行深度计算，得到待拍摄物体的第二深度信息；
S603：根据第二深度信息，确定与第二深度信息对应的第二准确度信息；
S604：利用第二深度信息和第二准确度信息形成第二深度图像；
S605：将第二深度图像发送至图像处理器，以使得所述图像处理器确定待拍摄物体的目标深度图像。
需要说明的是，双目视觉模组在获取到第一目视觉图像和第二目视觉图像之后，通过对两幅图像中的特征点匹配，利用双视点对同一物体成像造成的视差，利用预设算法计算得到自身与待拍摄物体的距离，即可以得到待拍摄物体的第二深度信息。
这样，双目视觉模组获取到第二深度信息之后，可以根据第二深度信息计算得到与第二深度信息对应的第二准确度信息；也可以从预先存储的深度信息与准确度信息之间的对应关系中，查询得到与第二深度信息对应的第二准确度信息，本申请实施例不作具体限定。如此，在得到第二深度信息和第二准确度信息之后，双目视觉模组可以将携带有第二深度信息和第二准确度信息的第二深度图像发送至图像处理器，使得图像处理器可以获取来自双目视觉模组所采集得到的第二深度信息和第二深度信息的可信度，有利于图像处理器能够更加准确地确定出目标深度图像。
通过上述实施例，对前述实施例的具体实现进行了详细阐述，从中可以看出，根据前述实施例的技术方案，采用结构光技术和双目视觉技术进行联合处理，首先，通过结构光模组可以得到第一深度图像(包括第一深度信息和第一准确度信息)，通过双目视觉模组可以得到第二深度图像(包括第二深度信息和第二准确度信息)，然后将第一深度图像和第二深度图像发送给图像处理器，由图像处理器对第一深度图像和第二深度图像进行融合处理，如此所得到的目标深度图像中，不仅利用了结构光技术和双目视觉技术各自的优点，拓宽了深度图像的距离范围，而且还提高了深度图像的精确度，有利于捕捉到更为真实的目标图像，从而提升了目标图像的成像质量，还提高了用户的体验度。
基于前述实施例相同的发明构思，参见图7，其示出了本申请实施例提供的一种图像处理器的组成结构示意图。如图7所示，该图像处理器70可以包括：第一获取单元701和融合单元702，其中，
第一获取单元701，配置为针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
融合单元702，配置为根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
在上述方案中，融合单元702，具体配置为将所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
第一获取单元701，还配置为根据所述每一像素位置对应的深度值，得到所述目标深度图像。
在上述方案中，参见图7，图像处理器70还可以包括缩放单元703，配置为按照预设分辨率对所述第一深度图像和所述第二深度图像分别进行缩放处理，得到处理后的第一深度图像和处理后的第二深度图像；其中，所述处理后的第一深度图像中携带有处理后的第一深度信息和处理后的第一准确度信息，所述处理后的第二深度图像中携带有处理后的第二深度信息和处理后的第二准确度信息；
融合单元702，还配置为将所述处理后的第一深度信息、所述处理后的第一准确度信息、所述处理后的第二深度信息和所述处理后的第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
第一获取单元701，还配置为根据所述每一像素位置对应的深度值，得到所述目标深度图像。
在上述方案中，参见图7，图像处理器70还可以包括比较单元704，其中，
第一获取单元701，还配置为从所述第一准确度信息中，获取每一像素位置对应的准确度值；
比较单元704，配置为将每一像素位置对应的准确度值与预设阈值进行比较；以及根据比较的结果，确定目标深度图像中每一像素位置对应的深度值；
第一获取单元701，还配置为根据所确定的每一像素位置对应的深度值，得到所述目标深度图像。
在上述方案中，比较单元704，具体配置为针对每一像素位置中的某一像素位置，若所述某一像素位置对应的准确度值大于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第一深度信息中所述某一像素位置对应的深度值；以及若所述某一像素位置对应的准确度值小于或等于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第二深度信息中所述某一像素位置对应的深度值；
第一获取单元701，还配置为根据每一像素位置的比较结果，得到目标深度图像中每一像素位置对应的深度值。
在上述方案中，第一获取单元701，具体配置为通过所述结构光模组，确定所述待拍摄物体的第一深度信息以及与所述第一深度信息对应的第一准确度信息；以及在所述结构光模组利用所述第一深度信息和所述第一准确度信息形成第一深度图像后，接收所述结构光模组所发送的所述第一深度图像。
在上述方案中，第一获取单元701，具体配置为通过所述双目视觉模组，确定所述待拍摄物体的第二深度信息以及与所述第二深度信息对应的第二准确度信息；以及在所述双目视觉模组利用所述第二深度信息和所述第二准确度信息形成第二深度图像后，接收所述双目视觉模组所发送的所述第二深度图像。
可以理解地，在本申请实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本申请实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现前述实施例中任一项所述的方法。
基于上述图像处理器70的组成以及计算机存储介质，参见图8，其示出了本申请实施例提供的图像处理器70的具体硬件结构，可以包括：第一通信接口801、第一存储器802和第一处理器803；各个组件通过第一总线***804耦合在一起。可理解，第一总线***804用于实现这些组件之间的连接通信。第一总线***804除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为第一总线***804。
其中，
第一通信接口801，用于在与其他外部网元(包括结构光模组和双目视觉模组)之间进行收发信息过程中，信号的接收和发送；
第一存储器802，用于存储能够在第一处理器803上运行的计算机程序；
第一处理器803，用于在运行所述计算机程序时，执行：
针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
可以理解，本申请描述的第一存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本申请描述的***和方法的第一存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
而第一处理器803可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过第一处理器803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器803可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器802，第一处理器803读取第一存储器802中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，第一处理器803还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法。
本实施例提供了一种图像处理器，该图像处理器可以包括第一获取单元、和融合单元。其中，通过结构光模组可以得到第一深度图像(包括第一深度信息和第一准确度信息)，通过双目视觉模组可以得到第二深度图像(包括第二深度信息和第二准确度信息)，然后将第一深度图像和第二深度图像发送给图像处理器，由图像处理器对第一深度图像和第二深度图像进行融合处理，如此所得到的目标深度图像中，不仅利用了结构光技术和双目视觉技术各自的优点，拓宽了深度图像的距离范围，而且还提高了深度图像的精确度，有利于捕捉到更为真实的目标图像，从而提升了目标图像的成像质量，还提高了用户的体验度。
基于前述实施例相同的发明构思，参见图9，其示出了本申请实施例提供的一种结构光模组的组成结构示意图。如图9所示，该结构光模组90可以包括：第二获取单元901、第一确定单元902、第一形成单元903和第一发送单元904，其中，
第二获取单元901，配置为获取待拍摄物体的第一深度信息；
第一确定单元902，配置为根据所述第一深度信息，确定与所述第一深度信息对应的第一准确度信息；
第一形成单元903，配置为利用所述第一深度信息和所述第一准确度信息形成第一深度图像；
第一发送单元904，配置为将所述第一深度图像发送至图像处理器，以使得所述图像处理器确定所述待拍摄物体的目标深度图像。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被第二处理器执行时实现前述实施例中任一项所述的方法。
基于结构光模组90的组成以及计算机存储介质，参见图10，其示出了本申请实施例提供的结构光模组90的具体硬件结构，可以包括：第二通信接口1001、第二存储器1002和第二处理器1003；各个组件通过第二总线***1004耦合在一起。可理解，第二总线***1004用于实现这些组件之间的连接通信。第二总线***1004除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为第二总线***1004。其中，
第二通信接口1001，用于在与图像处理器之间进行收发信息过程中，信号的接收和发送；
第二存储器1002，用于存储能够在第二处理器1003上运行的计算机程序；
第二处理器1003，用于在运行所述计算机程序时，执行：
获取待拍摄物体的第一深度信息；
根据所述第一深度信息，确定与所述第一深度信息对应的第一准确度信息；
利用所述第一深度信息和所述第一准确度信息形成第一深度图像；
将所述第一深度图像发送至图像处理器，以使得所述图像处理器确定所述待拍摄物体的目标深度图像。
可以理解，第二存储器1002与第一存储器802的硬件功能类似，第二处理器1003与第一处理器803的硬件功能类似；这里不再详述。
本实施例提供了一种结构光模组，该结构光模组可以包括第二获取单元、第一确定单元、第一形成单元和第一发送单元。其中，结构光模组在得到第一深度信息和第一准确度信息之后，可以将携带有第一深度信息和第一准确度信息的第一深度图像发送至图像处理器，使得图像处理器可以获取来自结构光模组所采集到的第一深度信息和第一深度信息的可信度，如此有利于图像处理器能够更加准确地确定出目标深度图像。
基于前述实施例相同的发明构思，参见图11，其示出了本申请实施例提供的一种双目视觉模组的组成结构示意图。如图11所示，该双目视觉模组110可以包括：第三获取单元1101、第二确定单元1102、匹配单元1103、第二形成单元1104和第二发送单元1105，其中，
第三获取单元1101，配置为获取待拍摄物体的第一目视觉图像和第二目视觉图像；
第二确定单元1102，配置为确定所述第一目视觉图像的特征点和所述第二目视觉图像的特征点；
匹配单元1103，配置为将所述第一目视觉图像的特征点与所述第二目视觉图像的特征点进行视差匹配，确定视差值；根据所述视差值进行深度计算，得到所述待拍摄物体的第二深度信息；
第二确定单元1102，还配置为根据所述第二深度信息，确定与所述第二深度信息对应的第二准确度信息；
第二形成单元1104，配置为利用所述第二深度信息和所述第二准确度信息形成第二深度图像；
第二发送单元1105，配置为将所述第二深度图像发送至图像处理器，以使得所述图像处理器确定所述待拍摄物体的目标深度图像。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被第三处理器执行时实现前述实施例中任一项所述的方法。
基于上述双目视觉模组110的组成以及计算机存储介质，参见图12，其示出了本申请实施例提供的双目视觉模组110的具体硬件结构，可以包括：第三通信接口1201、第三存储器1202和第三处理器1203；各个组件通过第三总线***1204耦合在一起。可理解，第三总线***1204用于实现这些组件之间的连接通信。第三总线***1204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为第三总线***1204。其中，
第三通信接口1201，用于在与图像处理器之间进行收发信息过程中，信号的接收和发送；
第三存储器1202，用于存储能够在第三处理器1203上运行的计算机程序；
第三处理器1203，用于在运行所述计算机程序时，执行：
获取待拍摄物体的第一目视觉图像和第二目视觉图像，并确定所述第一目视觉图像的特征点和所述第二目视觉图像的特征点；
将所述第一目视觉图像的特征点与所述第二目视觉图像的特征点进行视差匹配，确定视差值；根据所述视差值进行深度计算，得到所述待拍摄物体的第二深度信息；
根据所述第二深度信息，确定与所述第二深度信息对应的第二准确度信息；
利用所述第二深度信息和所述第二准确度信息形成第二深度图像；
将所述第二深度图像发送至图像处理器，以使得所述图像处理器确定所述待拍摄物体的目标深度图像。
可以理解，第三存储器1202与第一存储器802的硬件功能类似，第三处理器1203与第一处理器803的硬件功能类似；这里不再详述。
本实施例提供了一种双目视觉模组，该双目视觉模组可以包括第三获取单元、第二确定单元、匹配单元、第二形成单元和第二发送单元。其中，双目视觉模组在得到第二深度信息和第二准确度信息之后，可以将携带有第二深度信息和第二准确度信息的第二深度图像发送至图像处理器，使得图像处理器可以获取来自双目视觉模组所采集到的第二深度信息和第二深度信息的可信度，如此有利于图像处理器能够更加准确地确定出目标深度图像。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种深度图像的确定方法，其特征在于，所述方法包括：
针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像，包括：
将所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
根据所述每一像素位置对应的深度值，得到所述目标深度图像。
3.根据权利要求1所述的方法，其特征在于，在所述从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像之后，所述方法还包括：
按照预设分辨率对所述第一深度图像和所述第二深度图像分别进行缩放处理，得到处理后的第一深度图像和处理后的第二深度图像；其中，所述处理后的第一深度图像中携带有处理后的第一深度信息和处理后的第一准确度信息，所述处理后的第二深度图像中携带有处理后的第二深度信息和处理后的第二准确度信息；
相应地，所述根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像，包括：
将所述处理后的第一深度信息、所述处理后的第一准确度信息、所述处理后的第二深度信息和所述处理后的第二准确度信息输入预设计算模型，根据所述预设计算模型输出目标深度图像中每一像素位置对应的深度值；
根据所述每一像素位置对应的深度值，得到所述目标深度图像。
4.根据权利要求1所述的方法，其特征在于，在所述从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像之后，所述方法还包括：
从所述第一准确度信息中，获取每一像素位置对应的准确度值；
将每一像素位置对应的准确度值与预设阈值进行比较；
根据比较的结果，确定目标深度图像中每一像素位置对应的深度值；
根据所确定的每一像素位置对应的深度值，得到所述目标深度图像。
5.根据权利要求4所述的方法，其特征在于，所述根据比较的结果，确定目标深度图像中每一像素位置对应的深度值，包括：
针对每一像素位置中的某一像素位置，若所述某一像素位置对应的准确度值大于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第一深度信息中所述某一像素位置对应的深度值；
若所述某一像素位置对应的准确度值小于或等于预设阈值，则确定目标深度图像中所述某一像素位置对应的深度值为所述第二深度信息中所述某一像素位置对应的深度值；
根据每一像素位置的比较结果，得到目标深度图像中每一像素位置对应的深度值。
6.根据权利要求1所述的方法，其特征在于，所述针对待拍摄物体，从结构光模组获取第一深度图像，包括：
通过所述结构光模组确定所述待拍摄物体的第一深度信息以及与所述第一深度信息对应的第一准确度信息；
在所述结构光模组利用所述第一深度信息和所述第一准确度信息形成第一深度图像后，接收所述结构光模组所发送的所述第一深度图像。
7.根据权利要求1所述的方法，其特征在于，所述针对待拍摄物体，从双目视觉模组获取第二深度图像，包括：
通过所述双目视觉模组确定所述待拍摄物体的第二深度信息以及与所述第二深度信息对应的第二准确度信息；
在所述双目视觉模组利用所述第二深度信息和所述第二准确度信息形成第二深度图像后，接收所述双目视觉模组所发送的所述第二深度图像。
8.一种图像处理器，其特征在于，所述图像处理器包括第一获取单元和融合单元，其中，
所述第一获取单元，配置为针对待拍摄物体，从结构光模组获取第一深度图像，以及从双目视觉模组获取第二深度图像；其中，所述第一深度图像中携带有第一深度信息和第一准确度信息，所述第二深度图像中携带有第二深度信息和第二准确度信息，所述第一准确度信息用于表征第一深度信息的准确程度，所述第二准确度信息用于表征第二深度信息的准确程度；
所述融合单元，配置为根据所述第一深度信息、所述第一准确度信息、所述第二深度信息和所述第二准确度信息，对所述第一深度图像和所述第二深度图像进行融合处理，得到所述待拍摄物体的目标深度图像。
9.一种图像处理器，其特征在于，所述图像处理器包括第一存储器和第一处理器；其中，
所述第一存储器，用于存储能够在所述第一处理器上运行的计算机程序；
所述第一处理器，用于在运行所述计算机程序时，执行如权利要求1至7任一项所述的方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如权利要求1至7任一项所述的方法。
CN201911075635.7A 2019-11-06 2019-11-06 深度图像的确定方法、图像处理器及存储介质 Pending CN110874852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075635.7A CN110874852A (zh) 2019-11-06 2019-11-06 深度图像的确定方法、图像处理器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075635.7A CN110874852A (zh) 2019-11-06 2019-11-06 深度图像的确定方法、图像处理器及存储介质

Publications (1)

Publication Number Publication Date
CN110874852A true CN110874852A (zh) 2020-03-10

Family

ID=69717231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075635.7A Pending CN110874852A (zh) 2019-11-06 2019-11-06 深度图像的确定方法、图像处理器及存储介质

Country Status (1)

Country Link
CN (1) CN110874852A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611425A (zh) * 2020-04-13 2020-09-01 四川深瑞视科技有限公司 基于深度信息的原料处理方法、装置、电子设备及***
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像***和方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和***
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113269823A (zh) * 2021-05-18 2021-08-17 Oppo广东移动通信有限公司 深度数据获取方法、装置、存储介质与电子设备
WO2021218201A1 (zh) * 2020-04-27 2021-11-04 北京达佳互联信息技术有限公司 一种图像处理方法及装置
CN113766284A (zh) * 2020-06-02 2021-12-07 云米互联科技(广东)有限公司 音量调节方法、电视机和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3273387A1 (en) * 2016-07-19 2018-01-24 Siemens Healthcare GmbH Medical image segmentation with a multi-task neural network system
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及***
CN110335211A (zh) * 2019-06-24 2019-10-15 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3273387A1 (en) * 2016-07-19 2018-01-24 Siemens Healthcare GmbH Medical image segmentation with a multi-task neural network system
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN108881717A (zh) * 2018-06-15 2018-11-23 深圳奥比中光科技有限公司 一种深度成像方法及***
CN110335211A (zh) * 2019-06-24 2019-10-15 Oppo广东移动通信有限公司 深度图像的校正方法、终端设备以及计算机存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611425A (zh) * 2020-04-13 2020-09-01 四川深瑞视科技有限公司 基于深度信息的原料处理方法、装置、电子设备及***
WO2021218201A1 (zh) * 2020-04-27 2021-11-04 北京达佳互联信息技术有限公司 一种图像处理方法及装置
CN113766284A (zh) * 2020-06-02 2021-12-07 云米互联科技(广东)有限公司 音量调节方法、电视机和存储介质
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像***和方法
CN112312113A (zh) * 2020-10-29 2021-02-02 贝壳技术有限公司 用于生成三维模型的方法、装置和***
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113269823A (zh) * 2021-05-18 2021-08-17 Oppo广东移动通信有限公司 深度数据获取方法、装置、存储介质与电子设备

Similar Documents

Publication Publication Date Title
CN110874852A (zh) 深度图像的确定方法、图像处理器及存储介质
CN109887087B (zh) 一种车辆的slam建图方法及***
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
US10455141B2 (en) Auto-focus method and apparatus and electronic device
CN110335211B (zh) 深度图像的校正方法、终端设备以及计算机存储介质
US11010924B2 (en) Method and device for determining external parameter of stereoscopic camera
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
TWI567693B (zh) 產生深度資訊的方法及其系統
CN107945105B (zh) 背景虚化处理方法、装置及设备
JP6245885B2 (ja) 撮像装置およびその制御方法
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
CN113343745B (zh) 基于双目相机的远距离目标检测方法、***和智能终端
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN111882655A (zh) 三维重建的方法、装置、***、计算机设备和存储介质
CN113965742B (zh) 基于多传感融合的稠密视差图提取方法、***和智能终端
JP2018009833A (ja) 自車位置特定装置、及び自車位置特定方法
CN109031333B (zh) 距离测量方法和装置、存储介质、电子设备
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN113269823A (zh) 深度数据获取方法、装置、存储介质与电子设备
CN109658459B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200310