CN108961194A - 用以融合多深度图的深度图产生装置 - Google Patents

用以融合多深度图的深度图产生装置 Download PDF

Info

Publication number
CN108961194A
CN108961194A CN201810255869.9A CN201810255869A CN108961194A CN 108961194 A CN108961194 A CN 108961194A CN 201810255869 A CN201810255869 A CN 201810255869A CN 108961194 A CN108961194 A CN 108961194A
Authority
CN
China
Prior art keywords
depth map
image
depth
generation device
maps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810255869.9A
Other languages
English (en)
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eys 3d Co Ltd
Original Assignee
Eys 3d Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eys 3d Co Ltd filed Critical Eys 3d Co Ltd
Publication of CN108961194A publication Critical patent/CN108961194A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少三图像获取器、一深度图产生器及一混合器。所述至少三图像获取器用以形成至少二图像获取对；所述深度图产生器耦接于所述至少三图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图；所述混合器耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。

Description

用以融合多深度图的深度图产生装置
技术领域
本发明涉及一种用以融合多深度图的深度图产生装置，尤其涉及一种可融合至少二不同的特性的深度图以用以融合多深度图的深度图产生装置。
背景技术
一般说来，具有较高准确度(例如对应一长基线)的深度图的有效区会较具有较低准确度(例如对应一短基线)的深度图的有效区窄，所以一用户可能因为需要较大的有效区而选择具有较低准确度的深度图(也就是具有较高准确度的深度图将会被舍弃)。因此，现有技术公开一种深度引擎可通过预定的判断条件扩展所述深度引擎所产生的深度图的有效区。例如所述深度引擎可通过所述预定的判断条件使所述深度引擎所产生的深度图具有较低准确度，其中所述预定的判断条件是对应深度图的准确度和有效区范围之间的取舍(tradeoff)。也就是说所述深度引擎可通过所述预定的判断条件不是使所述深度引擎所产生的深度图具有较大的有效区范围(但具有较低准确度)，就是使所述深度引擎所产生的深度图具有较小的有效区范围(但具有较高准确度)，也就是说所述深度引擎不能通过所述预定的判断条件产生同时兼顾不同特性(例如准确度和范围)的深度图。因此，现有技术对所述用户而言仍然不是一个好的技术解决方案。
发明内容
本发明的一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少三图像获取器、一深度图产生器及一混合器。所述至少三图像获取器用以形成至少二图像获取对；所述深度图产生器耦接于所述至少三图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图；所述混合器耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
本发明的另一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少二图像获取器、一光源、一深度图产生器和一混合器。所述光源是用以发出一结构光，其中所述光源分别和所述至少二图像获取器形成至少二图像获取对；所述深度图产生器是耦接于所述至少二图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的包含所述结构光的图像产生对应所述每一图像获取对的一深度图；所述混合器是耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
本发明的另一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含一图像获取模块、一深度图产生器和一混合器。所述图像获取模块包含至少二图像获取对，且所述至少二图像获取对中的每一图像获取对是由二图像获取器所组成或由一图像获取器及一光源所组成；所述深度图产生器是耦接于所述图像获取模块，用以根据所述至少二图像获取对所撷取的图像产生对应所述至少二图像获取对的至少二深度图；所述混合器是耦接于所述深度图产生器，用以融合对应所述至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
本发明公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置利用至少三图像获取器(或至少二图像获取器与一光源)产生对应至少二基线的至少二深度图，其中对应所述至少二基线的至少二深度图具有至少二特性。然后，本发明可融合具有上述具有至少二特性的至少二深度图，产生一最终深度图。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。
附图说明
图1是本发明的第一实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。
图2是说明对应二不同基线的深度图的有效范围的示意图。
图3是说明第一基线和第二基线不互相平行的示意图。
图4是说明深度图产生装置另包含光源的示意图。
图5A是说明第一编码图案的示意图。
图5B是说明第二编码图案的示意图。
图6是说明第三编码图案的示意图。
图7是本发明的第二实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。
图8是本发明的第三实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。
其中，附图标记说明如下：
100、500、600 深度图产生装置
102、104、106 图像获取器
108 深度图产生器
110 混合器
112 印刷电路板
402、404 区块
502、602、702 光源
BL1 第一基线
BL2 第二基线
DP1、DP2 深度图
D1、D2 距离
FIDP 最终深度图
IVA1 无效区
VA1、VA2 有效区
具体实施方式
请参照图1，图1是本发明的第一实施例所公开的一种用以融合多深度图的深度图产生装置100的示意图，图2是说明对应二不同分辨率的深度图的有效范围的示意图。如图1所示，深度图产生装置100包含三图像获取器102、104、106、一深度图产生器108和一混合器110。但本发明并不受限于深度图产生装置100只包含三图像获取器102、104、106，也就是说深度图产生装置100可包含四个以上的图像获取器。如图1所示，图像获取器102和图像获取器106之间具有一第一基线BL1(例如12公分)以及图像获取器102和图像获取器104之间具有一第二基线BL2(例如3公分)，其中图像获取器102、104、106、深度图产生器108和混合器110是设置在一印刷电路板112之上，但为了简化图1，印刷电路板112上仅显示图像获取器102、104、106。
图像获取器102、104、106用以形成二图像获取对，其中图像获取器102、106为一第一图像获取对以及图像获取器102、104为一第二图像获取对。如图1所示，深度图产生器108电连接图像获取器102、104、106，用以根据所述第一图像获取对以及所述第二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图，也就是说深度图产生器108将会产生对应所述第一图像获取对以及所述第二图像获取对的二深度图DP1、DP2。如图2所示，因为第一基线BL1的长度大于第二基线BL2的长度，所以深度图DP1的准确度较深度图DP2的准确度高，但深度图DP1的有效区范围较深度图DP2的有效区范围窄，也就是说对应深度图DP1的最大视差(disparity)的距离D1会大于对应深度图DP2的最大视差的距离D2。
在深度图产生器108产生对应所述第一图像获取对以及所述第二图像获取对的二深度图DP1、DP2后，电连接深度图产生器108的混合器110可根据一第一规则融合深度图DP1、DP2以产生一最终深度图FIDP，其中混合器110可以是一具有上述混合器110的功能的现场可程序逻辑门阵列或是一具有上述混合器110的功能的特殊应用集成电路。所述第一规则包含对应第一基线BL1的深度图DP1的无效区(invalid area)IVA1(对应距离D1)是由对应第二基线BL2的深度图DP2的有效区VA2取代(如图2所示)。本发明实施例所述的深度图的无效区可由视角(FOV)大小、基线(baseline)长短等因素所决定。例如深度图DP1的视差d可根据式(1)所决定：
d＝RES*BL/(Z*2tan(FOV/2)) (1)
其中RES是深度图DP1的分辨率，BL是图像获取器102、106之间的基线(也就是第一基线BL1)，FOV是图像获取器102、106的视角，以及Z是一对象在深度图DP1的距离。也就是说将对应深度图DP1的最大视差(disparity)、深度图DP1的分辨率和图像获取器102、106之间的基线代入式(1)，即可求出对应深度图DP1的无效区的深度(距离D1)。
但在本发明的另一实施例中，所述第一规则包含深度图DP1中的无效区IVA1和深度图DP1中邻近无效区IVA1的预定毗连区是由深度图DP2的相对应有效区取代以避免混合器110因为深度图DP1中的无效区IVA1的误差而产生包含深度图DP1的部分无效区的最终深度图FIDP，其中所述预定毗连区的范围可依设计需求或使用情境而调整。此外，因为第一基线BL1的长度(例如12公分)大于第二基线BL2的长度(例如3公分)，所以当深度图DP1、DP2是用视差表示时，深度图DP2的有效区VA2的视差必须被执行一正规化动作，也就是说深度图DP2的有效区VA2的视差必须乘上一正规化比例以匹配深度图DP1的视差，其中所述正规化比例是由式(2)所决定：
NRA＝BL1/BL2 (2)
其中NRA为所述正规化比例、BL1为第一基线BL1的长度以及BL2为第二基线BL2的长度。因此，最终深度图FIDP将包含深度图DP1的有效区VA1和深度图DP2的有效区VA2，其中有效区VA2的视差是一正规化后的视差。
另外，当第一基线BL1和第二基线BL2不互相平行(如图3所示)时，所述第一规则另包含一几何校正。在本发明的一实施例中，所述几何校正是一旋转校正，且混和器110可利用旋转矩阵来对深度图DP1或DP2的至少其中之一进行几何转换，以使第一基线BL1和第二基线BL2可互相平行。例如，混合器110可利用第一旋转矩阵来旋转深度图DP1，或也可利用第一、第二旋转矩阵分别旋转深度图DP1、DP2。上述第一旋转矩阵和所述第二旋转矩阵是对应第一基线BL1和第二基线BL2的其中一基线或对应不同于第一基线BL1和第二基线BL2的一参考直线。
另外，在本发明的另一实施例中，当深度图DP1和深度图DP2是用距离表示时，虽然深度图DP1和深度图DP2的准确度不同(深度图DP1的准确度大于深度图DP2的准确度)，但因为所述距离的单位相同(例如公尺)，所以深度图DP2不需做任何正规化转换以匹配深度图DP1。
另外，在本发明的另一实施例中，混合器110是根据深度图DP1和深度图DP2的平滑度，产生最终深度图FIDP。例如，在本发明的一实施例中，当深度图DP1中一第一区块边缘的平滑度比深度图DP2中一第一对应区块边缘的平滑度佳时，混合器110所产生的最终深度图FIDP将包含深度图DP1中的所述第一区块，其中所述第一区块包含至少一像素；当深度图DP1中一第二区块边缘的平滑度比深度图DP2中一第二对应区块边缘的平滑度差时，混合器110所产生的最终深度图FIDP将包含深度图DP2中的所述第二对应区块，其中所述第二区块也包含至少一像素。另外，混合器110可在深度图DP2被执行上述正规化之前或之后比较深度图DP1的平滑度和深度图DP2的平滑度。另外，在本发明的另一实施例中，当深度图DP2的视差被执行所述正规化动作后，当深度图DP1中一第三区块所对应的平均深度和深度图DP2中一第三对应区块所对应的平均深度之间的差异大于一预定值时，混合器110所产生的最终深度图FIDP将包含深度图DP2中所述第三对应区块(因为当深度图DP1中所述第三区块所对应的平均深度和深度图DP2中所述第三对应区块所对应的平均深度之间的差异大于所述预定值时，意味着深度图DP1中所述第三区块位在深度图DP1无效区IVA1)，其中所述第三区块和所述第三对应区块包含至少一像素；当深度图DP1中一第四区块所对应的平均深度和深度图DP2中一第四对应区块所对应的平均深度之间的差异小于所述预定值时，混合器110所产生的最终深度图FIDP将包含深度图DP1中所述第四区块(因为深度图DP1的准确度高于深度图DP2的准确度)，其中所述第四区块和所述第四对应区块也包含至少一像素。另外，在本发明的另一实施例中，混合器110是根据深度图DP1的每一区块和深度图DP2的每一区块的平滑度，深度图DP1的每一区块和深度图DP2的每一区块的平均深度，以及深度图DP1和深度图DP2的有效区/无效区的其中至少一项，产生最终深度图FIDP。
另外，深度图产生器108可以是一具有上述深度图产生器108的功能的现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)，或是一具有上述深度图产生器108的功能的特殊应用集成电路(Application-specific integrated circuit,ASIC)或是一具有上述深度图产生器108的功能的软件模块。另外，混合器110可以是一具有上述混合器110的功能的现场可程序逻辑门阵列，或是一具有上述混合器110的功能的特殊应用集成电路或或是一具有上述混合器110的功能的软件模块。另外，在本发明的另一实施例中，深度图产生器108和混合器110整合成为一第一处理器，其中所述第一处理器可以是一具有上述深度图产生器108的功能和上述混合器110的功能的现场可程序逻辑门阵列或是一具有上述深度图产生器108的功能和上述混合器110的功能的特殊应用集成电路。
另外，当深度图产生装置100包含至少四图像获取器(可形成至少三图像获取对)时，所述第一规则包含对应一第N基线的深度图的无效区是由对应一第N+1基线的深度图的有效区取代，以及对应所述第N基线的深度图的视差乘上一第N正规化比例和对应所述第N+1基线的深度图的视差乘上一第N+1正规化比例以使对应所述第N基线的深度图的正规化视差和对应所述第N+1基线的深度图的正规化视差匹配对应第一基线BL1的深度图的视差，其中第一基线BL1的长度大于对应所述至少三图像获取对的基线中不同于第一基线BL1的其他基线的长度，所述第N基线的长度大于所述第N+1基线的长度，以及N为一正整数。
请参照图4，图4是说明深度图产生装置另包含光源的示意图。如图4所示，深度图产生装置100包含图像获取器102、104、106，光源702、深度图产生器108和混合器110，其中光源702例如是一红外线光源，用以发出一结构光(或一随机图案(random pattern))，且光源702的目的是使深度图产生装置100所产生的深度图DP1、DP2的质量提高。但本发明并不受限于光源702是一红外线光源，也就是说光源702可以是其他形式的光源(例如光源702可以是一可见光源)。或者在本发明的另一实施例中，深度图产生装置100也可包含至少一红外线雷射光源。以深度图产生装置100为例，光源702可根据深度图产生装置100所处环境的亮度、深度图DP1(或深度图DP2)的质量对应光源702开启与关闭时的差异的其中至少一项开启。
当光源702是根据深度图产生装置100所处环境的亮度开启时，一控制器(未绘示于图4)可根据图像获取器(例如图像获取器102、104或106)目前所设定的一快门时间、一曝光时间和一ISO感亮度(增益)的其中至少一项，判断深度图产生装置100所处环境的亮度。以所述曝光时间为例，在本发明的一实施例中，当图像获取器102的快门时间固定(或无快门)时，所述控制器可根据式(3)所产生的值GEX，决定是否开启光源702：
GEX＝gain*EXPT (3)
其中gain为对应图像获取器102的增益以及EXPT为对应图像获取器102的曝光时间。当值GEX大于一高临界值时，意味着深度图产生装置100所处环境的亮度太暗，所以所述控制器开启光源702；当值GEX小于一低临界值时，意味着深度图产生装置100所处环境的亮度够亮，所以所述控制器关闭光源702，其中所述高临界值大于所述低临界值。另外，当值GEX的一最大值(对应图像获取器102的最大曝光时间与最大增益)都无法大于所述高临界值时，所述控制器会根据深度图产生装置100所处环境的目前亮度，开启光源702。
当光源702是根据深度图DP1的质量开启时，所述控制器可根据对应深度图DP1内具有无效值的像素数目和对应深度图DP1的平滑度的其中至少一项，判断深度图DP1的质量。例如，在本发明的一实施例中，所述控制器可根据式(4)所产生的成本值COST，决定是否开启光源702：
COST＝a*mean(HPF(x))+b*invalid_cnt(x) (4)
其中HPF(x)为对应一高通滤波器的响应(因为深度图DP1的平滑度是有关深度图DP1的高频区域)，mean(HPF(x))为对应所述高通滤波器的响应的平均值(但在本发明的另一实施例中，mean(HPF(x))可被对应所述高通滤波器的响应的总和取代)，invalid_cnt(x)为深度图DP1内具有无效值的像素数目，x为深度图DP1，以及a、b为系数。当成本值COST大于一临界值时，意味着深度图产生装置100所处环境的亮度太暗或是深度图DP1中的被摄对象无纹理，所以所述控制器开启光源702。另外，在光源702开启一预定时间后，所述控制器可尝试关闭光源702使图像获取器102撷取至少一图像，然后所述控制器可根据式(4)计算出对应所述至少一图像的成本值。如果对应所述至少一图像的成本值仍然大于所述临界值，则所述控制器重新开启光源702直到所述预定时间后再次重复上述动作；如果对应所述至少一图像的成本值小于所述临界值，则所述控制器关闭光源702直到对应所述至少一图像的成本值再次大于所述临界值。
另外，所述控制器可开启与关闭光源702，并根据深度图DP1对应光源702开启与关闭时的差异，判断深度图DP1的质量。如果深度图DP1对应光源702开启与关闭时的差异小于一参考值，意味着光源702的开启与关闭并不会影响深度图DP1的质量，所以所述控制器可关闭光源702。
另外，当光源702开启后，所述控制器可根据对应图像获取器102、104、106所撷取的多个图像的亮度和一目标值选择性地调整光源702的强度，其中所述目标值是根据一人体皮肤对光源702的发射光的反射系数而设定。例如所述控制器可根据所述多个图像产生对应所述多个图像的亮度分布图，以及根据所述亮度分布图中大于所述目标值的至少一亮度值中的最大亮度值所在的面积占所述深度信息的百分比，选择性地调整光源702的强度。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像产生对应所述多个图像的平均亮度，以及根据所述平均亮度和所述目标值，选择性地调整光源702的强度。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像产生对应于所述多个图像的多个像素的亮度直方图，以及根据所述亮度直方图的中位数和所述目标值或所述亮度直方图的四分位数和所述目标值，选择性地调整光源702的强度。
另外，在本发明的另一实施例中，当光源702开启后，所述控制器可根据所述多个图像中的至少一预定对象与图像获取器(例如图像获取器102、104或106)之间的距离和一第一查阅表，选择性地动态调整光源702的强度，其中所述第一查阅表储存对象距离与光源702的强度之间的关系。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像中的至少一预定对象与图像获取器(例如图像获取器102、104或106)之间的距离和一第一相关公式，选择性地动态调整光源702的强度。
另外，在本发明的另一实施例中，所述控制器一直检测在光源702关闭的情况下深度图产生装置100所处环境的亮度，当所述环境的亮度越亮时，则根据一第二查阅表增加光源702开启时的强度，其中所述第二查阅表储存光源702开启时的强度与所述环境的亮度之间的关系。另外，在本发明的另一实施例中，当所述环境的亮度越亮时，所述控制器是根据一第二相关公式增加光源702开启时的强度。
另外，在本发明的另一实施例中，所述控制器先关闭光源702后，检测所述环境的亮度。然后根据本发明领域的技术人员所公知的自动曝光(AE)算法，利用图像获取器(例如图像获取器102、104或106)的曝光时间(或快门时间、曝光时间和ISO感亮度(增益)的其中至少一项)将所述环境的亮度降低至不会干扰图像获取器(例如图像获取器102、104或106)，并固定当下的图像获取器(例如图像获取器102、104或106)的曝光时间。然后所述控制器开启光源702并检测光源702的强度直到一目标值。
另外，在本发明的一实施例中，上述光源702所提供的所述结构光为一编码图案(coding pattern，也就是和随机数有关的图案)。但在本发明的另一实施例中，所述结构光可结合一第一编码图案与一第二编码图案。请参照图5A、5B图，图5A是说明所述第一编码图案的示意图，图5B是说明所述第二编码图案的示意图。如图5A所示，所述第一编码图案根据所述第二编码图案分割成多个区块，然后所述多个区块采用所述第二编码图案以形成所述结构光。例如，如图5B所示，当所述多个区块的一区块402采用所述第二编码图案时，区块402内的像素的亮度必须被降低，也就是说只有区块402内的已经点亮的像素的亮度必须被降低，以及区块402内其他未被点亮的像素则维持暗的。另外，如图5B所示，当所述多个区块的一区块404采用所述第二编码图案时，区块404内的像素的亮度必须被增加，也就是说只有区块404内的已经点亮的像素的亮度必须被增加，以及区块404内的未被点亮的像素内其他未被点亮的像素则维持暗的，以形成所述结构光。另外，在本发明的另一实施例中，当所述多个区块采用所述第二编码图案时，所述多个区块的每一区块内的已经点亮的像素的亮度可具有多阶变化。另外，在本发明的另一实施例中，如图6所示的一第三编码图案也可套用至所述第一编码图案(如图5A所示)以形成所述结构光。
请参照图7，图7是本发明的第二实施例所公开的一种用以融合多深度图的深度图产生装置500的示意图，其中深度图产生装置500包含二图像获取器104、106、一光源502、一深度图产生器108和一混合器110。但本发明并不受限于深度图产生装置500只包含二图像获取器104、106，也就是说深度图产生装置500可包含三个以上的图像获取器。另外，光源502分别和图像获取器104、106形成二图像获取对，其中光源502和图像获取器106为一第一图像获取对以及光源502和图像获取器104为一第二图像获取对。如图7所示，光源502和图像获取器106之间具有第一基线BL1(例如12公分)以及光源502和图像获取器104之间具有第二基线BL2(例如3公分)。如图7所示，深度图产生器108电连接图像获取器104、106，用以根据所述第一图像获取对以及所述第二图像获取对中每一图像获取对所撷取的包含所述结构光的图像产生对应所述每一图像获取对的一深度图，也就是说深度图产生器108将会产生对应所述第一图像获取对以及所述第二图像获取对的二深度图(其中对应所述第一图像获取对以及所述第二图像获取对的二深度图的有效范围可参照图2)。另外，深度图产生装置500的深度图产生器108和混合器110的操作原理可参照深度图产生装置100的深度图产生器108和混合器110的操作原理，在此不再赘述。另外，光源502的操作原理也可参照光源702的操作原理，在此也不再赘述。
另外，请参照图8，图8是本发明的第三实施例所公开的一种用以融合多深度图的深度图产生装置800的示意图，其中深度图产生装置800包含图像获取器102、104、106、一光源602、一深度图产生器108和一混合器110，其中深度图产生器108耦接于图像获取器102、104、106，且图像获取器102、104、106和光源602构成一图像获取模块。但在本发明的另一实施例中，深度图产生装置800可包含至少三图像获取器和至少一光源。如图8所示，图像获取器102、104、106形成二第一图像获取对，以及光源602分别和图像获取器102、104、106形成三第二图像获取对，其中所述三第二图像获取对是用以撷取包含光源602所产生的结构光的图像。因此，深度图产生器108可用以根据所述二第一图像获取对和所述三第二图像获取对的其中至少二图像获取对所撷取的图像产生对应所述至少二图像获取对的至少二深度图。另外，所述三第二图像获取对的操作原理可参照图7所示的深度图产生装置500中的所述第一图像获取对(由光源502和图像获取器106组成)和深度图产生装置500中的所述第二图像获取对(由光源502和图像获取器104组成)的操作原理，在此不再赘述。另外，所述二第一图像获取对的操作原理可参照深度图产生装置100中的所述第一图像获取对(由图像获取器102、106组成)以及深度图产生装置100中的所述第二图像获取对(由图像获取器102、104组成)的操作原理，在此不再赘述。另外，深度图产生装置600的其余操作原理可参照深度图产生装置500、100的操作原理，在此不再赘述。
综上所述，本发明所公开的用以融合多深度图的深度图产生装置利用至少三图像获取器(或至少二图像获取器与一光源)产生对应至少二基线的至少二深度图，其中对应所述至少二基线的至少二深度图具有至少二特性。然后，本发明可根据具有上述具有至少二特性的至少二深度图，产生一最终深度图。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种用以融合多深度图的深度图产生装置，其特征在于包含：
至少三图像获取器，用以形成至少二图像获取对；
一深度图产生器，耦接于所述至少三图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图；及
一混合器，耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
2.如权利要求1所述的深度图产生装置，其特征在于：所述每一图像获取对具有一基线，且所述至少二深度图对应至少二基线。
3.如权利要求2所述的深度图产生装置，其特征在于：所述混合器将所述至少二深度图中的第一深度图的无效区由所述至少二深度图中的第二深度图的相对应的有效区取代，以产生所述最终深度图。
4.如权利要求3所述的深度图产生装置，其特征在于：所述混合器对所述至少二深度图的至少其中之一执行一正规化动作，以使所述至少二深度图的视差互相匹配。
5.如权利要求4所述的深度图产生装置，其特征在于：当所述第二深度图被执行所述正规化动作时，所述第二深度图的相对应的有效区的视差乘上一正规化比例，且所述正规化比例等于对应所述第一深度图的第一基线的长度除以对应所述第二深度图的第二基线的长度。
6.如权利要求4所述的深度图产生装置，其特征在于：当所述至少二基线不互相平行时，所述混合器更对所述至少二深度图的其中至少一执行一几何校正。
7.如权利要求6所述的深度图产生装置，其特征在于：所述几何校正是一旋转校正。
8.如权利要求1所述的深度图产生装置，其特征在于：所述混合器根据所述至少二深度图中的第一深度图的每一区块的平滑度和所述至少二深度图中的第二深度图的一对应区块的平滑度，融合所述第一深度图和所述第二深度图以产生所述最终深度图，以及所述每一区块和所述对应区块都包含至少一像素。
9.如权利要求1所述的深度图产生装置，其特征在于另包含：
至少一光源，其中所述至少一光源中的每一光源是用以发出一结构光，
且所述结构光包含至少二编码图案。
10.一种用以融合多深度图的深度图产生装置，其特征在于包含：
至少二图像获取器；
一光源，用以发出一结构光，其中所述光源分别和所述至少二图像获取器形成至少二图像获取对；
一深度图产生器，耦接于所述至少二图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的包含所述结构光的图像产生对应所述每一图像获取对的一深度图；及
一混合器，耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
11.如权利要求10所述的深度图产生装置，其特征在于：所述每一图像获取对具有一基线，且所述至少二深度图对应至少二基线。
12.如权利要求10所述的深度图产生装置，其特征在于：所述混合器根据所述至少二深度图中的第一深度图的每一区块的平滑度和所述至少二深度图中的第二深度图的一对应区块的平滑度，融合所述第一深度图和所述第二深度图以产生所述最终深度图，以及所述每一区块和所述对应区块都包含至少一像素。
13.一种用以融合多深度图的深度图产生装置，其特征在于包含：
一图像获取模块，包含至少二图像获取对，且所述至少二图像获取对中的每一图像获取对是由二图像获取器所组成或由一图像获取器及一光源所组成；
一深度图产生器，耦接于所述图像获取模块，用以根据所述至少二图像获取对所撷取的图像产生对应所述至少二图像获取对的至少二深度图；及
一混合器，耦接于所述深度图产生器，用以融合对应所述至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。
14.如权利要求13所述的深度图产生装置，其特征在于：所述光源另用以发出一结构光，且当所述每一图像获取对是由所述图像获取器及所述光源所组成时，所述每一图像获取对是用以撷取包含所述结构光的图像。
15.如权利要求13所述的深度图产生装置，其特征在于：所述至少二图像获取对包括一第一图像获取对及一第二图像获取对，且当所述第一图像获取对及所述第二图像获取对都是由二图像获取器所组成时，所述第一图像获取对共享所述第二图像获取对中的一图像获取器。
16.如权利要求13所述的深度图产生装置，其特征在于：所述至少二图像获取对包括一第一图像获取对及一第二图像获取对，以及当所述第一图像获取对由二图像获取器所组成且所述第二图像获取对由一图像获取器及所述光源所组成时，所述第一图像获取对中的一图像获取器是所述第二图像获取对的所述图像获取器。
17.如权利要求13所述的深度图产生装置，其特征在于：所述混合器根据所述至少二深度图中的第一深度图的每一区块的平滑度和所述至少二深度图中的第二深度图的一对应区块的平滑度，融合所述第一深度图和所述第二深度图以产生所述最终深度图，以及所述每一区块和所述对应区块都包含至少一像素。
CN201810255869.9A 2017-03-31 2018-03-27 用以融合多深度图的深度图产生装置 Pending CN108961194A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31

Publications (1)

Publication Number Publication Date
CN108961194A true CN108961194A (zh) 2018-12-07

Family

ID=63671146

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810255869.9A Pending CN108961194A (zh) 2017-03-31 2018-03-27 用以融合多深度图的深度图产生装置
CN201810261129.6A Active CN108718392B (zh) 2017-03-31 2018-03-28 用以融合多深度图的深度图产生装置
CN201810283351.6A Active CN108718373B (zh) 2017-03-31 2018-04-02 影像装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201810261129.6A Active CN108718392B (zh) 2017-03-31 2018-03-28 用以融合多深度图的深度图产生装置
CN201810283351.6A Active CN108718373B (zh) 2017-03-31 2018-04-02 影像装置

Country Status (3)

Country Link
US (5) US10699432B2 (zh)
CN (3) CN108961194A (zh)
TW (3) TWI672677B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537276A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的融合方法与融合***

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
CN111837144A (zh) 2018-03-13 2020-10-27 奇跃公司 使用机器学习的增强图像深度感测
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
CN110996041A (zh) * 2019-10-15 2020-04-10 安徽清新互联信息科技有限公司 一种图像采集设备的自动巡检方法及***
JP2021086189A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
US11488348B1 (en) * 2021-12-09 2022-11-01 Unity Technologies Sf Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761758A (zh) * 2011-04-29 2012-10-31 承景科技股份有限公司 深度图产生装置与立体图像产生方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
US20150116460A1 (en) * 2013-10-29 2015-04-30 Thomson Licensing Method and apparatus for generating depth map of a scene
US20150235351A1 (en) * 2012-09-18 2015-08-20 Iee International Electronics & Engineering S.A. Depth image enhancement method
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
CN205123933U (zh) * 2013-06-06 2016-03-30 钰创科技股份有限公司 用以决定深度图像内无效深度信息的图像装置
CN105472372A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于生成3d全景图像的图像生成装置及方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
CN1878317A (zh) * 2005-06-07 2006-12-13 朱河东 一种渐变式立体影像及其制作方法
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
CN100588250C (zh) 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及***
CN100556153C (zh) * 2007-12-05 2009-10-28 宁波大学 一种多视点图像的预处理方法
BRPI0924076B1 (pt) * 2009-05-12 2021-09-21 Huawei Device (Shenzhen) Co., Ltd. Sistema de telepresença e método de telepresença
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和***
TWI445398B (zh) * 2010-07-09 2014-07-11 Novatek Microelectronics Corp 影像校正裝置及影像校正方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP2013038602A (ja) 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
RU2014118585A (ru) * 2011-10-10 2015-11-20 Конинклейке Филипс Н.В. Обработка карты глубины
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN102609974B (zh) 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
WO2013166656A1 (zh) 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
CN103777454A (zh) * 2012-10-25 2014-05-07 耿征 真三维图像显示***及显示方法
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
US8730299B1 (en) * 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
CN103942756B (zh) 2014-03-13 2017-03-29 华中科技大学 一种深度图后处理滤波的方法
CN105007475B (zh) 2014-04-17 2017-08-04 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
TWI540897B (zh) * 2015-05-08 2016-07-01 光寶電子（廣州）有限公司 深度相機的控制方法
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
US10212409B2 (en) * 2015-12-18 2019-02-19 Boe Technology Group Co., Ltd Method, apparatus, and non-transitory computer readable medium for generating depth maps
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
CN105744239B (zh) * 2016-05-11 2018-10-19 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761758A (zh) * 2011-04-29 2012-10-31 承景科技股份有限公司 深度图产生装置与立体图像产生方法
US20150235351A1 (en) * 2012-09-18 2015-08-20 Iee International Electronics & Engineering S.A. Depth image enhancement method
CN205123933U (zh) * 2013-06-06 2016-03-30 钰创科技股份有限公司 用以决定深度图像内无效深度信息的图像装置
US20150116460A1 (en) * 2013-10-29 2015-04-30 Thomson Licensing Method and apparatus for generating depth map of a scene
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103996174A (zh) * 2014-05-12 2014-08-20 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
CN105472372A (zh) * 2014-09-26 2016-04-06 三星电子株式会社 用于生成3d全景图像的图像生成装置及方法
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘怡光 等: "《一种新的大场景3维重建算法》", 《四川大学学报(工程科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537276A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的融合方法与融合***

Also Published As

Publication number Publication date
TWI692967B (zh) 2020-05-01
US10699432B2 (en) 2020-06-30
TW201843652A (zh) 2018-12-16
US11120567B2 (en) 2021-09-14
US20180293749A1 (en) 2018-10-11
US20210201521A1 (en) 2021-07-01
CN108718392B (zh) 2021-07-16
US20200234460A1 (en) 2020-07-23
US20180293748A1 (en) 2018-10-11
TWI660327B (zh) 2019-05-21
CN108718392A (zh) 2018-10-30
US10977817B2 (en) 2021-04-13
US20180288397A1 (en) 2018-10-04
US10650542B2 (en) 2020-05-12
CN108718373B (zh) 2022-11-15
TWI672677B (zh) 2019-09-21
TW201837785A (zh) 2018-10-16
TW201837860A (zh) 2018-10-16
CN108718373A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108961194A (zh) 用以融合多深度图的深度图产生装置
Adams et al. The southampton-york natural scenes (syns) dataset: Statistics of surface attitude
Sarbolandi et al. Kinect range sensing: Structured-light versus Time-of-Flight Kinect
TW201933176A (zh) 實物識別方法及驗證方法
Wijntjes et al. Illusory gloss on Lambertian surfaces
US20140268160A1 (en) Specular object scanner for measuring reflectance properties of objects
AU2020417796B2 (en) System and method of capturing and generating panoramic three-dimensional images
KR20050096187A (ko) 사칭 검출 장치 및 사칭 검출 방법
CN104574355B (zh) 立体摄像机的校准***和立体摄像机的校准方法
CN103593641B (zh) 基于立体摄像机的物体检测方法和装置
CN104751407A (zh) 一种用于对图像进行虚化的方法和装置
CN104616348A (zh) 基于多目立体视觉的织物外观重建方法
AU2019226134A1 (en) Environment map hole-filling
CN108986721A (zh) 一种用于显示面板检测的检测图形生成方法
CN106235486A (zh) 基于三维人体扫描仪的个性化制衣方法
Sun et al. Two operational modes in the perception of shape from shading revealed by the effects of edge information in slant settings
CN108711186A (zh) 目标物体制图的方法与装置、身份识别装置和电子设备
Wiebel et al. Testing the role of Michelson contrast for the perception of surface lightness
Schuett et al. Perception of light source distance from shading patterns
Ledda et al. HDR displays: a validation against reality
JP2010271152A (ja) 形状推定システム、撮影装置、形状推定方法、プログラム及び記録媒体
CN106650521B (zh) 用于测试二维码解码算法的测试装置及测试方法
CN109145549A (zh) 身份鉴权方法、身份鉴权装置及电子设备
CN108764214A (zh) 身份鉴权方法、身份鉴权装置及电子设备
CN208781287U (zh) 用于目标物体制图的装置、身份识别装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination