CN106576159A - 一种获取深度信息的拍照设备和方法 - Google Patents

一种获取深度信息的拍照设备和方法 Download PDF

Info

Publication number
CN106576159A
CN106576159A CN201580021737.4A CN201580021737A CN106576159A CN 106576159 A CN106576159 A CN 106576159A CN 201580021737 A CN201580021737 A CN 201580021737A CN 106576159 A CN106576159 A CN 106576159A
Authority
CN
China
Prior art keywords
destination object
depth information
mode
photographing device
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580021737.4A
Other languages
English (en)
Other versions
CN106576159B (zh
Inventor
徐彧
符谋政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106576159A publication Critical patent/CN106576159A/zh
Application granted granted Critical
Publication of CN106576159B publication Critical patent/CN106576159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种获取深度信息的拍照设备和方法，通过结合了双目方式和结构光方式，避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷，并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷，能够同时获取到目标对象全深度的深度信息。该方法为：当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。

Description

一种获取深度信息的拍照设备和方法 技术领域
本发明涉及图像处理领域，尤其涉及一种获取深度信息的拍照设备和方法。
背景技术
深度图(英文：Depth map)是一种通过灰阶图、呈现由焦平面到图像上每一个点的距离的图像表现形式。例如，图1A所示为一张人物的三维视图，图1B所示为基于图1A得到的该人物的深度图，处于同一色阶的物体表示处于同一焦平面，灰色越浅表示该物体距离焦平面越近，灰色越深则表示该物体距离焦平面越远。描绘深度图时，通常需要测量或者计算拍摄瞬间，焦平面到物体每一点的距离，即深度信息。
通常获取深度信息的方式有以下三种：双摄像头/双目方式，结构光方式，飞行时间(英文：Time of Flight，简称：ToF)方式。
其中，双目方式使用2个以上的摄像头同时采集图像，并通过三角定位算法，计算出图像上的每个点距离焦平面的距离，从而获得深度信息。
但双目方式因为三角定位算法以及摄像头的结构布局上的原因，在目标对象与焦平面之间的距离小于一定值时，无法获取该目标对象的深度信息，该定值被称为盲距。
结构光方式通常使用红外光源对目标对象进行照明，通过投射特定的图案到目标对象上，通过图案的偏移，从而计算出每个像素点的深度信息。
但结构光方式需要一个红外摄像头及一个红外光源，并且结构光方式对投射的图案要求较高，容易受室外光源的感染，测量距离受照明光源影响，局限在室内和近距离的场景下使用，如3米(单位：m)的距离内。一旦目标对象距离焦平面超过一定距离时，则无法获取深度信息。
ToF方式是通过调制红外光源的相位，测量接收到的图像的相位偏移，从 而测量出深度信息。
ToF方式与结构光方式一样，同样需要一个红外摄像头及一个红外光源，并且局限在室内和近距离的场景下使用。
因此，因为双目方式、结构光方式和ToF方式各自的局限性，无论采取何种方式，都有可能出现获取不到目标对象的深度信息的情况。
发明内容
本发明实施例提供一种获取深度信息的拍照设备和方法，用以解决现有技术可能出现的无法获取目标对象的深度信息的问题。
第一方面，本发明提供了一种拍照设备，包括：
第一图像传感器、第二图像传感器、红外光源和处理器，其中，
第一图像传感器，用于采集红外光图像和可见光图像；所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素；
第二图像传感器，用于采集可见光图像；
所述红外光源，用于投射特定的图案到目标对象上；
所述处理器，用于执行以下操作：当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
结合第一方面，在第一方面的第一种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
使用所述双目方式获取所述目标对象的深度信息；
若使用所述双目方式不能获取所述目标对象的深度信息，则使用所述结构光方式获取所述目标对象的深度信息。
结合第一方面，在第一方面的第二种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
使用所述结构光方式获取所述目标对象的深度信息；
若使用所述结构光方式不能获取所述目标对象的深度信息，则使用所述双目方式获取所述目标对象的深度信息。
结合第一方面、第一方面的第一种或第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
测量所述目标对象与所述拍照设备之间的距离；
若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；
若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。
结合第一方面和第一方面的第一种至第三种可能的实现方式中的任意一种，在第一方面的第四种可能的实现方式中，所述使用双目方式获取所述目标对象的深度信息，包括：
通过所述第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像像素值等于Y；
根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
通过所述第二图像传感器，获取所述目标对象的第二参考图像，所述第 二参考图像为像素值等于X+Y的可见光图像；
根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
结合第一方面和第一方面的第一种至第四种可能的实现方式中的任意一种，在第一方面的第五种可能的实现方式中，所述使用结构光方式获取所述目标对象的深度信息，包括：
通过所述红外光源，投射特定图案到所述目标对象上；
通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
根据所述参考图案，计算所述目标对象的深度信息。
结合第一方面和第一方面的第一种至第五种可能的实现方式中的任意一种，在第一方面的第六种可能的实现方式中，所述M等于所述N的1/3。
结合第一方面和第一方面的第一种至第六种可能的实现方式中的任意一种，在第一方面的第七种可能的实现方式中，所述双目方式的有效作用距离为一米。
第二方面，本发明提供了一种深度信息获取方法，包括；
当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；
当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
结合第二方面，在第二方面的第一种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
使用所述双目方式获取所述目标对象的深度信息；
若使用所述双目方式不能获取所述目标对象的深度信息，则使用所述结 构光方式获取所述目标对象的深度信息。
结合第二方面，在第二方面的第二种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
使用所述结构光方式获取所述目标对象的深度信息；
若使用所述结构光方式不能获取所述目标对象的深度信息，则使用所述双目方式获取所述目标对象的深度信息。
结合第二方面、第二方面的第一种或第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
测量所述目标对象与所述拍照设备之间的距离；
若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；
若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。
结合第二方面和第二方面的第一种至第三种可能的实现方式中的任意一种，在第二方面的第四种可能的实现方式中，所述使用双目方式获取所述目标对象的深度信息，包括：
通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像的像素值等于Y；
根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；
根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述使用结构光方式获取所述目标对象的深度信息，包括：
通过红外光源，投射特定图案到所述目标对象上；
通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
根据所述参考图案，计算所述目标对象的深度信息。
结合第二方面的第四种或第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素，所述M等于所述N的1/3。
结合第二方面和第二方面的第一种至第六种可能的实现方式中的任意一种，在第二方面的第七种可能的实现方式中，所述双目方式的有效作用距离为一米。
第三方面，一种拍照设备，包括；
第一获取单元，用于当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；
第二获取单元，用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
结合第三方面，在第三方面的第一种可能的实现方式中，
所述第一获取单元使用所述双目方式获取所述目标对象的深度信息；
若所述第一获取单元使用所述双目方式不能获取所述目标对象的深度信息，则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
结合第三方面，在第三方面的第二种可能的实现方式中，
所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息；
若所述第二获取单元使用所述结构光方式不能获取所述目标对象的深度信息，则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息。
结合第三方面、第三方面的第一种或第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述拍照设备还包括：
测量单元，用于测量所述目标对象与所述拍照设备之间的距离；
若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息；
若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
结合第三方面和第三方面的第一种至第三种可能的实现方式中的任意一种，在第三方面的第四种可能的实现方式中，所述第一获取单元具体用于：
通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像的像素值等于Y；
根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；
根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
结合第三方面的第四种可能的实现方式，在第三方面的第五种可能的实现方式中，所述第二获取单元具体用于：
通过红外光源，投射特定图案到所述目标对象上；
通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
根据所述参考图案，计算所述目标对象的深度信息。
结合第三方面的第四种或第五种可能的实现方式，在第三方面的第六种可能的实现方式中，所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素，所述M等于所述N的1/3。
结合第三方面和第三方面的第一种至第六种可能的实现方式中的任意一种，在第三方面的第七种可能的实现方式中，所述双目方式的有效作用距离为一米。
本发明提供的方案，通过结合了双目方式和结构光方式，避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷，并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷，能够同时获取到目标对象全深度的深度信息。
附图说明
图1A为现有技术下三维视图的示意图；
图1B为现有技术下深度图的示意图；
图2为本发明实施例提供的一种拍照设备的示意图；
图3为本发明实施例提供的一种新型传感器的示意图；
图4为本发明实施例提供的一种RGB色彩模式的传感器的示意图；
图5为本发明实施例提供的一种获取深度信息的流程图；
图6为本发明实施例提供的一种拍照设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在 没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种获取深度信息的拍照设备和方法，通过结合了双目方式和结构光方式，避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷，并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷，能够同时获取到目标对象全深度的深度信息。
下面结合说明书附图和各实施例对本发明技术方案进行说明。
参阅图2所示，本发明实施例提供了一种拍照设备，所述拍照设备包括第一图像传感器21、第二图像传感器22、红外光源23和处理器24，其中，这些部件通过一个或多个通信总线或信号线25来通信。
下面就本实施例提供的用于指纹中断唤醒的终端设备进行详细的描述。
第一图像传感器21，为本发明实施例提出的一种新型传感器，用于采集红外光图像和可见光图像；所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素。
本发明实施例中，红外光感应像素和可见光感应像素需均匀分布，例如，当N：M＝3:1时，需要保证每4个像素内包含有1个红外光感应像素和3个可见光感应像素，而红外光感应像素在这4个像素内处于哪个位置本发明实施例并不作限定，其中的一种像素排布情况可以如图3所示，在每个由4个像素组成的区域内，左下角位置的深色色块表征红外光感应像素，其余位置的白色色块表征可见光感应像素。
本发明实施例提出的所述第一图像传感器21中的红外光感应像素M和可见光感应像素N可以是任何比值。较佳的，本发明实施例通过多次模拟试验发现，在红外光感应像素的像素值M等于可见光图像感应像素的像素值N的1/3时，能够较好的兼顾双目方式和结构光方式得到的深度信息的精度。
所述第二图像传感器22，用于采集可见光图像。
如图4所示为所述第二图像传感器22的一种RGB色彩图像感应像素示 例。
可选的，为了兼顾拍照设备所支持的有效作用总距离以及功耗情况，本发明实施例通过多次模拟试验发现，可以通过调节以上两个传感器的布局距离，将双目方式的有效作用距离设置为一米。
所述红外光源23，用于投射特定的图案到目标对象上。
所述处理器24，用于执行以下操作：
当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
所谓结构光方式的有效作用距离，指的是结构光方式的有效作用范围的最大值，所谓双目方式的有效作用距离，指的是双目方式的有效作用范围的最小值。
可选的，所述处理器可以先使用所述双目方式获取所述目标对象的深度信息；若使用所述双目方式不能获取所述目标对象的深度信息，则再使用所述结构光方式获取所述目标对象的深度信息。
可选的，所述处理器可以先使用所述结构光方式获取所述目标对象的深度信息；若使用所述结构光方式不能获取所述目标对象的深度信息，则再使用所述双目方式获取所述目标对象的深度信息。
可选的，所述处理器可以测量所述目标对象与所述拍照设备之间的距离；若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。
可选的，在使用双目方式获取所述目标对象的深度信息时，所述处理器24可以通过所述第一图像传感器21，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像像素值等于Y； 根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；以及通过所述第二图像传感器22，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；最后根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
由于所述第一图像传感器21包含红外光感应像素，因此所述第一图像传感器21可与所述红外光源23一起应用于结构光模式，负责采集所述结构光方式支持的近距离范围内的目标对象的深度信息；并且由于所述第一图像传感器21同时还包括可见光感应像素，因此所述第一图像传感器21也可与所述第二图像传感器22一起应用于双目方式，负责采集所述双目方式所支持的长距离范围内的目标对象的深度信息。
本发明实施例通过以上一个红外光源以及两个传感器，便可实现短至几毫米、长至几十米的范围内的目标对象的深度信息的获取。
参阅图5所示，本发明的一个实施例提供了一种所述拍照设备获取深度信息的实施流程：
步骤501：当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息。
其中，所述拍照设备使用双目方式获取所述目标对象的深度信息的一种具体方式如下：
所述拍照设备通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像的像素值等于Y；
其次，所述拍照设备根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像。
例如，所述拍照设备可以通过插值补偿方法获得所述第一参考图像。由于所述第一图像内包含了对于双目方式而言没有意义的红外光图像，因此需要取出该红外光图像，并根据插值补偿方法和像素值等于X的可见光图像， 估计原红外光图像所在的像素的亮度，从而得到像素值等于X+Y的可见光图像。
以及，所述拍照设备通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像。
最后，所述拍照设备根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息
步骤502：当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用结构光方式获取所述目标对象的深度信息。
其中，所述拍照设备使用结构光方式获取所述目标对象的深度信息的具体方式如下：
首先，所述拍照设备通过红外光源，投射特定图案到所述目标对象上。
然后，所述拍照设备通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案。
最后，所述拍照设备根据所述参考图案，以及初始的特定图案，计算出所述目标对象的深度信息。
在现有技术中，由于双目方式需要至少2个以上的传感器同时采集图像，而结构光方式需要1个额外的红外传感器，因此本发明实施例将双目方式和结构光方式结合，理论上至少需要3个传感器。但本发明实施例通过将红外光感应像素和可见光感应像素集成在一种新型传感器中，使得该新型传感器可以同时具备传统的传感器和红外传感器的功能，从而可以实现仅通过2个传感器便能同时启动双目方式和结构光方式去获取目标对象全深度的深度信息。
本发明实施例并不限定步骤501和步骤502的先后顺序，例如，所述拍照设备可以先使用所述双目方式获取所述目标对象的深度信息；若使用所述双目方式不能获取所述目标对象的深度信息，则使用所述结构光方式获取所述目标对象的深度信息。
或者，所述拍照设备也可以先使用所述结构光方式获取所述目标对象的 深度信息；若使用所述结构光方式不能获取所述目标对象的深度信息，则使用所述双目方式获取所述目标对象的深度信息。
可选的，所述拍照设备可以测量所述目标对象与所述拍照设备之间的距离；若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。所述拍照设备可以通过激光测距、雷达测距或者其他测距方法测量所述拍照设备到所述目标对象之间的距离。所述第一预设值和所述第二预设值可以相等也可以不相等。
本发明实施例提出的新型传感器中的红外光感应像素M和可见光感应像素N可以是任何比值。较佳的，本发明实施例通过多次模拟试验发现，在红外光感应像素的像素值M等于可见光感应像素的像素值N的1/3时，能够较好的兼顾双目方式和结构光方式得到的深度信息的精度。
例如，假设一新型传感器中红外光感应像素：可见光感应像素＝1:3，且该新型传感器的的总像素值为3百万，那么这3百万的像素值中包括了75万的红外光感应像素和225万的可见光感应像素。
可选的，为了减小所述拍照设备的功率消耗情况，可以将所述结构光方式的有效作用范围的最大值设置为所述双目方式的有效作用范围的最小值。
例如，假设一拍照设备使用结构光方式时可用于获取A～B(A<B)范围内的目标对象的深度信息，使用双目方式时可用于获取C～D(C<D)范围内的目标对象的深度信息，则可以通过调节该拍照设备的红外投影仪的功率，使得所述B等于所述C，此时该拍照设备结合结构光算法与双目算法可获取A～B/C～D范围内的景物深度信息，而其中的A～B/C即为双目方式的盲点区，B/C～D即为结构光方式无法检测的深度区。
当拍照设备上两个传感器的布局距离越远，所述双目方式的有效作用距离将越大，但相应的双目方式的盲点区也会增大，从而需要提高结构光方式的功率，扩大结构光方式的有效作用距离。为了兼顾拍照设备所支持的有效 作用总距离以及功耗情况，本发明实施例通过多次模拟试验发现，可以通过调节两个传感器的布局距离，将所述双目方式的有效作用距离设置为一米。
参阅图6所示，本发明实施例提供了一种拍照设备，用于实现本发明图5所示的一种获取深度信息的方法，该拍照设备包括：
第一获取单元601，用于当目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息。
第二获取单元602，用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
可选的，所述第一获取单元601可以先使用所述双目方式获取所述目标对象的深度信息；若所述第一获取单元601使用所述双目方式不能获取所述目标对象的深度信息，则所述第二获取单元602再使用所述结构光方式获取所述目标对象的深度信息。
可选的，所述第二获取单元602可以先使用所述结构光方式获取所述目标对象的深度信息；若所述第二获取单元602使用所述结构光方式不能获取所述目标对象的深度信息，则所述第一获取单元601再使用所述双目方式获取所述目标对象的深度信息。
可选的，所述拍照设备还可以包括：
测量单元，用于测量所述目标对象与所述拍照设备之间的距离。
若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则所述第一获取单元601使用所述双目方式获取所述目标对象的深度信息；
若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则所述第二获取单元602使用所述结构光方式获取所述目标对象的深度信息。
可选的，所述第一获取单元601具体用于：通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X， 所述红外光图像的像素值等于Y；根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
可选的，所述第二获取单元602具体用于：通过红外光源，投射特定图案到所述目标对象上；通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；根据所述参考图案，计算所述目标对象的深度信息。
可选的，所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素，所述M等于所述N的1/3。
可选的，所述双目方式的有效作用距离为一米。
综上所述，本发明实施例提供的技术方案，提出了一种包含有红外光感应像素和可见光感应像素的新型传感器，结合一个红外光源以及另外的传感器，便可实现双目方式和结构光方式的结合，从而避免了结构光算法在户外阳光或自然界光源的干扰下无法获取远距离的目标对象的深度信息的缺陷，并且避免了双目方式无法获取近距离的盲区内的目标对象的深度信息的缺陷，能够同时获取到短至几毫米、长至几十米的范围内的景物的深度信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可使用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可使用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、 嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (24)

  1. 一种拍照设备，其特征在于，包括：
    第一图像传感器、第二图像传感器、红外光源和处理器，其中，
    第一图像传感器，用于采集红外光图像和可见光图像；所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素；
    第二图像传感器，用于采集可见光图像；
    所述红外光源，用于投射特定的图案到目标对象上；
    所述处理器，用于执行以下操作：当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
  2. 如权利要求1所述的拍照设备，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    使用所述双目方式获取所述目标对象的深度信息；
    若使用所述双目方式不能获取所述目标对象的深度信息，则使用所述结构光方式获取所述目标对象的深度信息。
  3. 如权利要求1所述的拍照设备，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    使用所述结构光方式获取所述目标对象的深度信息；
    若使用所述结构光方式不能获取所述目标对象的深度信息，则使用所述 双目方式获取所述目标对象的深度信息。
  4. 如权利要求1-3中任一项所述的拍照设备，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    测量所述目标对象与所述拍照设备之间的距离；
    若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；
    若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。
  5. 如权利要求1-4中任一项所述的拍照设备，其特征在于，所述使用双目方式获取所述目标对象的深度信息，包括：
    通过所述第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像像素值等于Y；
    根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
    通过所述第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；
    根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
  6. 如权利要求1-5中任一项所述的拍照设备，其特征在于，所述使用结构光方式获取所述目标对象的深度信息，包括：
    通过所述红外光源，投射特定图案到所述目标对象上；
    通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
    根据所述参考图案，计算所述目标对象的深度信息。
  7. 如权利要求1-6中任一项所述的拍照设备，其特征在于，所述M等于所述N的1/3。
  8. 如权利要求1-7中任一项所述的拍照设备，其特征在于，所述双目方式的有效作用距离为一米。
  9. 一种深度信息获取方法，其特征在于，包括；
    当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；
    当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
  10. 如权利要求9所述的方法，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    使用所述双目方式获取所述目标对象的深度信息；
    若使用所述双目方式不能获取所述目标对象的深度信息，则使用所述结构光方式获取所述目标对象的深度信息。
  11. 如权利要求9所述的方法，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    使用所述结构光方式获取所述目标对象的深度信息；
    若使用所述结构光方式不能获取所述目标对象的深度信息，则使用所述双目方式获取所述目标对象的深度信息。
  12. 如权利要求9-11中任一项所述的方法，其特征在于，所述当所述目标对象与所述拍照设备之间的距离大于结构光方式的有效作用距离时，使用 双目方式获取所述目标对象的深度信息，当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息，包括：
    测量所述目标对象与所述拍照设备之间的距离；
    若所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则使用所述双目方式获取所述目标对象的深度信息；
    若所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则使用所述结构光方式获取所述目标对象的深度信息。
  13. 如权利要求9-12中任一项所述的方法，其特征在于，所述使用双目方式获取所述目标对象的深度信息，包括：
    通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像的像素值等于Y；
    根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
    通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；
    根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
  14. 如权利要求13所述的方法，其特征在于，所述使用结构光方式获取所述目标对象的深度信息，包括：
    通过红外光源，投射特定图案到所述目标对象上；
    通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
    根据所述参考图案，计算所述目标对象的深度信息。
  15. 如权利要求13或14所述的方法，其特征在于，所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素，所述M等于所述N的1/3。
  16. 如权利要求9-15中任一项所述的方法，其特征在于，所述双目方式的有效作用距离为一米。
  17. 一种拍照设备，其特征在于，包括；
    第一获取单元，用于当目标对象与拍照设备之间的距离大于结构光方式的有效作用距离时，使用双目方式获取所述目标对象的深度信息；
    第二获取单元，用于当所述目标对象与所述拍照设备之间的距离小于所述双目方式的有效作用距离时，使用所述结构光方式获取所述目标对象的深度信息。
  18. 如权利要求17所述的拍照设备，其特征在于，
    所述第一获取单元使用所述双目方式获取所述目标对象的深度信息；
    若所述第一获取单元使用所述双目方式不能获取所述目标对象的深度信息，则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
  19. 如权利要求17所述的拍照设备，其特征在于，
    所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息；
    若所述第二获取单元使用所述结构光方式不能获取所述目标对象的深度信息，则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息。
  20. 如权利要求17-19中任一项所述的拍照设备，其特征在于，所述拍照设备还包括：
    测量单元，用于测量所述目标对象与所述拍照设备之间的距离；
    若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离大于第一预设值，则所述第一获取单元使用所述双目方式获取所述目标对象的深度信息；
    若所述测量单元确定所述所述目标对象与所述拍照设备之间的距离小于第二预设值，则所述第二获取单元使用所述结构光方式获取所述目标对象的深度信息。
  21. 如权利要求17-20中任一项所述的拍照设备，其特征在于，所述第一获取单元具体用于：
    通过第一图像传感器，获取所述目标对象的可见光图像和红外光图像，所述可见光图像的像素值等于X，所述红外光图像的像素值等于Y；
    根据所述可见光图像和所述红外光图像获得像素值等于X+Y的第一参考图像；
    通过第二图像传感器，获取所述目标对象的第二参考图像，所述第二参考图像为像素值等于X+Y的可见光图像；
    根据所述第一参考图像和所述第二参考图像，通过三角定位算法，计算所述目标对象的深度信息。
  22. 如权利要求21所述的拍照设备，其特征在于，所述第二获取单元具体用于：
    通过红外光源，投射特定图案到所述目标对象上；
    通过所述第一图像传感器，获取所述特定图案被投射到所述目标对象上后被所述目标对象的深度调制形成的参考图案；
    根据所述参考图案，计算所述目标对象的深度信息。
  23. 如权利要求21或22所述的拍照设备，其特征在于，所述第一图像传感器包括M个红外光感应像素和N个可见光感应像素，所述M等于所述N的1/3。
  24. 如权利要求17-23中任一项所述的拍照设备，其特征在于，所述双目方式的有效作用距离为一米。
CN201580021737.4A 2015-06-23 2015-06-23 一种获取深度信息的拍照设备和方法 Active CN106576159B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/082134 WO2016206004A1 (zh) 2015-06-23 2015-06-23 一种获取深度信息的拍照设备和方法

Publications (2)

Publication Number Publication Date
CN106576159A true CN106576159A (zh) 2017-04-19
CN106576159B CN106576159B (zh) 2018-12-25

Family

ID=57586138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021737.4A Active CN106576159B (zh) 2015-06-23 2015-06-23 一种获取深度信息的拍照设备和方法

Country Status (6)

Country Link
US (1) US10560686B2 (zh)
EP (1) EP3301913A4 (zh)
JP (1) JP2018522235A (zh)
KR (1) KR20180018736A (zh)
CN (1) CN106576159B (zh)
WO (1) WO2016206004A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769649A (zh) * 2018-06-28 2018-11-06 Oppo广东移动通信有限公司 深度处理器和三维图像设备
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像***和方法
CN112066907A (zh) * 2019-06-11 2020-12-11 深圳市光鉴科技有限公司 深度成像装置
CN112068144A (zh) * 2019-06-11 2020-12-11 深圳市光鉴科技有限公司 光投射***及3d成像装置
US11423557B2 (en) 2018-06-28 2022-08-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Depth processor and three-dimensional image device
WO2023098323A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 深度图像的获取方法及装置、***、计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136183B (zh) * 2018-02-09 2021-05-18 华为技术有限公司 一种图像处理的方法、装置以及摄像装置
CN108495113B (zh) * 2018-03-27 2020-10-27 百度在线网络技术（北京）有限公司 用于双目视觉***的控制方法和装置
CN109190484A (zh) * 2018-08-06 2019-01-11 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
CN109005348A (zh) * 2018-08-22 2018-12-14 Oppo广东移动通信有限公司 电子装置和电子装置的控制方法
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置
CN117560480B (zh) * 2024-01-09 2024-05-31 荣耀终端有限公司 一种图像深度估计方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005072358A2 (en) * 2004-01-28 2005-08-11 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
WO2006036398A2 (en) * 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130329052A1 (en) * 2011-02-21 2013-12-12 Stratech Systems Limited Surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
CN104581124A (zh) * 2013-10-29 2015-04-29 汤姆逊许可公司 产生场景的深度图的方法和装置
CN204392458U (zh) * 2015-02-05 2015-06-10 吉林纪元时空动漫游戏科技股份有限公司 采用双目立体视觉方法获取三维立体视觉的***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005072358A2 (en) * 2004-01-28 2005-08-11 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
WO2006036398A2 (en) * 2004-08-23 2006-04-06 Sarnoff Corporation Method and apparatus for producing a fused image
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20130329052A1 (en) * 2011-02-21 2013-12-12 Stratech Systems Limited Surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
CN104581124A (zh) * 2013-10-29 2015-04-29 汤姆逊许可公司 产生场景的深度图的方法和装置
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103971405A (zh) * 2014-05-06 2014-08-06 重庆大学 一种激光散斑结构光及深度信息的三维重建方法
CN204392458U (zh) * 2015-02-05 2015-06-10 吉林纪元时空动漫游戏科技股份有限公司 采用双目立体视觉方法获取三维立体视觉的***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769649A (zh) * 2018-06-28 2018-11-06 Oppo广东移动通信有限公司 深度处理器和三维图像设备
US11423557B2 (en) 2018-06-28 2022-08-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Depth processor and three-dimensional image device
CN112066907A (zh) * 2019-06-11 2020-12-11 深圳市光鉴科技有限公司 深度成像装置
CN112068144A (zh) * 2019-06-11 2020-12-11 深圳市光鉴科技有限公司 光投射***及3d成像装置
CN112066907B (zh) * 2019-06-11 2022-12-23 深圳市光鉴科技有限公司 深度成像装置
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像***和方法
WO2023098323A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 深度图像的获取方法及装置、***、计算机可读存储介质

Also Published As

Publication number Publication date
EP3301913A4 (en) 2018-05-23
US10560686B2 (en) 2020-02-11
EP3301913A1 (en) 2018-04-04
KR20180018736A (ko) 2018-02-21
CN106576159B (zh) 2018-12-25
JP2018522235A (ja) 2018-08-09
WO2016206004A1 (zh) 2016-12-29
US20180184071A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
US10194135B2 (en) Three-dimensional depth perception apparatus and method
JP6946188B2 (ja) 複数技術奥行きマップ取得および融合のための方法および装置
US10750141B2 (en) Automatic calibration projection system and method
US8451535B2 (en) Display apparatus and method
CN104299215B (zh) 一种特征点标定和匹配的图像拼接方法
KR102524559B1 (ko) 외부 디스플레이 장치의 화면 보정 장치 및 방법
US20150237317A1 (en) Projection system and projection method
EP2685312A1 (en) Image correction system and method for multi-projection
US20190156563A1 (en) Image processing apparatus
WO2020038255A1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
CN108259877B (zh) 一种白平衡处理方法及装置
US10129471B2 (en) Method, apparatus and system for detecting location of laser point on screen
CN104657970B (zh) 一种全自动双目内窥镜的标定方法及标定***
CN105142447A (zh) 试衣间镜子
CN103533277A (zh) 一种曲面多投影拼接方法
CN102568352B (zh) 一种投影显示***及方法
JP6191019B2 (ja) 投影装置及び投影方法
CN110880161A (zh) 一种多主机多深度摄像头的深度图像拼接融合方法及***
CN104869375B (zh) 一种图像边缘融合中的三维平滑曲面颜色校正***及方法
CN104034729A (zh) 用于电路板分选的五维成像***及其成像方法
JP2003319388A (ja) 画像処理方法及び装置
CN112433641A (zh) 一种多rgbd深度传感器的自动校准桌面道具互动***的实现方法
CN109102548B (zh) 一种用于标识跟踪范围的方法及***
WO2013186960A1 (ja) 画像データ処理装置及び画像データ処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant