CN104641395A - 图像处理设备及图像处理方法 - Google Patents

图像处理设备及图像处理方法 Download PDF

Info

Publication number
CN104641395A
CN104641395A CN201380048338.8A CN201380048338A CN104641395A CN 104641395 A CN104641395 A CN 104641395A CN 201380048338 A CN201380048338 A CN 201380048338A CN 104641395 A CN104641395 A CN 104641395A
Authority
CN
China
Prior art keywords
phase difference
pixel
image processing
anaglyph
difference cloth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380048338.8A
Other languages
English (en)
Other versions
CN104641395B (zh
Inventor
早坂健吾
井藤功久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104641395A publication Critical patent/CN104641395A/zh
Application granted granted Critical
Publication of CN104641395B publication Critical patent/CN104641395B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

[问题]为了提供能够提高距离计算精度的图像处理设备。[解决方案]该图像处理设备包括视差信息生成单元。该视差信息生成单元使用第一视差图像和第二视差图像作为目标并且基于在像素单元中生成的第一相位差分布和基于第一相位差分布在子像素单元中生成的第二相位差分布来生成视差信息。

Description

图像处理设备及图像处理方法
技术领域
本技术涉及能够获取测量对象的距离信息的图像处理设备及图像处理方法。
背景技术
已知如下技术：通过使用具有不同视点的多个图像来测量到测量对象的距离。例如，下面的专利文献1公开了使用称作立体匹配的技术的距离计算方法。
在这样的立体匹配技术中，在根据沿着图像的水平方向(H方向)或垂直方向(V方向)的多个视差图像计算距离的情况下，可以获得视差图像之间的相位差。在获得相位差的处理中，沿水平方向依次移动比较目标的局部区域(单位区域)，并且获得单位区域中的视差图像之间的位移(像素位移、视差)作为相位差，该位移具有比较范围内的最高相关性。还可以根据沿着图像的任意角度方向的多个视差图像来计算距离。
专利文献1：日本专利申请2011-171858号公报
发明内容
本发明要解决的问题
在立体匹配中，对象与相机之间的距离取决于视差图像之间的相位差的测量精度。具体地，存在以下问题：由于相机噪声、干扰等的影响，随着对象与相机之间的距离变得越远，相位差的测量精度下降越多，于是，距离计算精度也降低。
鉴于上述情况，本技术的目的是提供能够提高距离计算精度的图像处理设备及图像处理方法。
解决问题的方法
为了实现上述目的，根据本技术的实施方式，提供包括视差信息生成单元的图像处理设备。
视差信息生成单元基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以第一视差图像和第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
在图像处理设备中，基于以逐像素为单位生成的第一相位差分布和使用第一相位差分布以逐子像素为单位生成的第二相位差分布来生成视差信息。所以，可以获取对干扰如相机噪声更鲁棒且精度高的视差信息。
在此，子像素有时用于指代颜色像素，但在本说明书中，子像素指代比一个像素更小的像素单位。所以，当将每个颜色像素假定为一个像素时，子像素指代比一个像素更小的像素单位。
图像处理设备还可以包括相位差计算单元，该相位差计算单元基于第一相位差分布来生成第二相位差分布。
相位差计算单元可以通过使用从第一相位差分布检测的边缘信息对第一相位差分布进行校正来生成第二相位差分布。
由于亮度差在边缘部分附近较大，所以容易执行以逐子像素为单位的相位差的估计。
在这种情况下，可以通过对关于第一视差图像计算的边缘部分的局部亮度分布和关于第二视差图像计算的边缘部分的局部亮度分布执行匹配处理来生成第二相位差分布。
于是，可以高精度地检测以逐子像素为单位的相位差。
另一方面，相位差计算单元可以通过计算第一像素组的亮度分布和第二像素组的亮度分布之间的相关值来生成第二相位差分布，第一像素组形成第一视差图像，第二像素组形成第二视差图像并且对应于第一像素组。
同样通过这样的方法，可以检测以逐子像素为单位的相位差。
在这种情况下，可以使用在第一像素组和第二像素组以逐像素为单位相互叠加时、与彼此相邻的多个像素之间的亮度差有关的评估函数。
可以将折线的长度用作评估函数，当连接多个像素的亮度值时获得折线。可替选地，可以将预定三维表面的表面面积用作评估函数，当连接多个像素的亮度值时获得预定三维表面。
视差信息通常是测量对象的距离信息。于是，可以执行基于距离信息的各种类型的信息处理。
图像处理设备还可以包括控制单元，该控制单元通过使用由视差信息生成单元生成的距离信息来生成重新聚焦的图像。
于是，可以高精度地生成期望的重新聚焦的图像。
图像处理设备还可以包括成像单元，该成像单元获取具有不同视点的多个视差图像。
在这种情况下，视差信息生成单元可以使用由成像单元获取的多个视差图像来生成视差信息。
根据本技术的另一实施方式，提供一种图像处理方法，其包括获取第一视差图像和第二视差图像。
基于第一相位差分布和第二相位差分布生成视差信息，以第一视差图像和第二视差图像为对象以逐像素为单位生成第一相位差分布，基于第一相位差分布以逐子像素为单位生成第二相位差分布。
第一视差图像和第二视差图像可以是预先准备的图像，或者可以是由成像设备等捕获的视差图像。
发明的效果
如上所述，根据本技术，可以获取对干扰更鲁棒且精度高的视差信息。
附图说明
[图1]图1是根据本技术的一种实施方式的成像设备的示意性配置图；
[图2]图2是示出了图1中所示的控制单元的示意性配置的功能框图；
[图3]图3是用于描述控制单元的动作的流程图；
[图4]图4是示出了成像设备中获取的视差图像的示例的示意图，其中，(A)示出了左视点图像，而(B)示出了右视点图像；
[图5]图5是用于描述在控制单元中生成第一相位差分布的方法的图；
[图6]图6是用于描述在控制单元中生成第二相位差分布的方法的图；
[图7]图7是用于描述生成第二相位差分布的处理过程的图；
[图8]图8是用于描述如何设置图7中所示的采样轴的图；
[图9]图9是用于描述生成第二相位差分布的处理过程的图；
[图10]图10是用于描述生成第二相位差分布的处理过程的图；
[图11]图11是用于描述生成第二相位差分布的处理过程的图；
[图12]图12是用于描述比较示例中的相位差检测方法的图；
[图13]图13是用于描述本技术的第二实施方式中生成第二相位差分布的方法的图，其中，(A)示出了左视点图像的主要部分的亮度分布，而(B)示出了右视点图像的主要部分的亮度分布；
[图14]图14是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[图15]图15是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[图16]图16是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[图17]图17是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[图18]图18是用于描述根据第二实施方式生成第二相位差分布的处理过程的图；
[图19]图19是用于描述本技术的第三实施方式中生成第二相位差分布的方法以及描述生成第二相位差分布的处理过程的图；
[图20]图20是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[图21]图21是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[图22]图22是用于描述根据第三实施方式生成第二相位差分布的处理过程的图；
[图23]图23是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[图24]图24是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[图25]图25是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图；
[图26]图26是用于描述根据第三实施方式生成第二相位差分布的处理过程的修改示例的图。
具体实施方式
在下文中，将参考附图来描述本技术的实施方式。
<第一实施方式>
图1是示出根据本技术的一种实施方式的成像设备的整体配置的示意图。成像装置1对成像目标(受摄体)2进行成像并且执行预定的图像处理，以生成和输出图像数据(成像数据)Dout。
[整体配置]
成像设备1包括成像单元10和控制单元20。
成像单元10包括两个相机11和12，并且能够通过这些相机11和12获取具有不同视点的多个视差图像。相机的数量不限于两个，而可以是三个或更多个。多个相机不限于被线性排列，而也可以按照矩阵被排列。
相机11和相机12每个通常由沿水平方向和垂直方向排列多个像素的二维固态成像装置如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)形成。相机11和相机12生成受摄体2的成像数据D0并且将成像数据D0输出至控制单元20。
控制单元20具有作为图像处理单元的功能。控制单元20对由成像单元10获取的成像数据D0执行预定的图像处理，以生成包括视差信息的图像数据Dout。
应当注意，本实施方式中的图像处理方法由控制单元20来实现，下面还将描述控制单元20。此外，本实施方式中的图像处理程序对应于作为软件实现控制单元20中的图像处理功能的程序。在这种情况下，软件由使计算机执行图像处理功能的程序组形成。例如，可以预先将每个程序合并到专用硬件中，或者可以将每个程序从网络或记录介质安装到通用个人计算机等中以便使用。
控制单元20生成以逐像素为单位的多个视差图像之间的第一相位差分布，并且基于第一相位差分布生成以逐子像素为单位的多个视差图像之间的第二相位差分布。控制单元20基于第一相位差分布和第二相位差分布生成视差信息。
[控制单元]
接下来，将参照图2描述控制单元20的详细配置。图2示出了控制单元20的功能框配置。控制单元20包括缺陷校正单元21、钳位处理单元22、距离信息获取单元23和存储单元24。
缺陷校正单元21对缺陷如包括在成像数据D0中的堆积的(blocked-up)阴影(由相机11和相机12的异常引起的缺陷)进行校正。
在缺陷校正单元21进行缺陷校正之后，钳位处理单元22对成像数据的每个像素数据项的黑电平执行设置处理(钳位处理)。应当注意，还可以对钳位处理之后的成像数据执行颜色插值处理如去马赛克处理。
距离信息获取单元23基于从钳位处理单元22提供的成像数据D1来获取预定的距离信息。距离信息获取单元23包括相位差计算单元231和视差信息生成单元232。
相位差计算单元231基于成像数据D1生成(计算)第一相位差分布DM1和第二相位差分布DM2。具体地，相位差计算单元231生成具有不同视点的第一视差图像和第二视差图像之间的以逐像素为单位的第一相位差分布DM1，并且基于第一相位差分布生成第一视差图像和第二视差图像之间的以逐子像素为单位的第二相位差分布DM2。
视差信息生成单元232基于第一相位差分布DM1和第二相位差分布DM2计算包括距离信息的视差信息d。
存储单元24由例如ROM(只读存储器)或RAM(随机存取存储器)形成，并且存储形成控制单元20的上述各个单元的计算所必需的程序、计算数据、设置参数等。存储单元24可以被设置在控制单元20外部。在这种情况下，存储单元24由控制单元20控制。此外，存储单元24可以由外部存储装置如硬盘驱动器形成。
控制单元20可以基于预先准备的第一相位差分布和第二相位差分布生成视差信息。在这种情况下，第一相位差分布和第二相位差分布被存储在存储单元24中。
[成像设备的操作]
随后，将描述控制单元20的细节连同本实施方式的成像设备1的操作。
本实施方式中的图像处理方法包括以下步骤：获取第一视差图像和第二视差图像；以及基于第一相位差分布和第二相位差分布生成视差信息，以第一视差图像和第二视差图像为对象以逐像素为单位生成第一相位差分布，基于第一相位差分布以逐子像素为单位生成第二相位差分布。
图3是示出了控制单元20(相位差计算单元231)的处理过程的流程图。控制单元20具有视差图像输入步骤(步骤1)、边缘识别步骤(步骤2)、相同边缘估计步骤(步骤3)、边缘角度估计步骤(步骤4)、匹配处理步骤(步骤5)和视差校正步骤(步骤6)。
相机11获取左图像PL作为第一视差图像，而相机12获取右图像PR作为第二视差图像。通过同时对同一受摄体2进行成像来获取左图像PL和右图像PR。
控制单元20从成像单元10接收两个视差图像左图像PL和右图像PR的成像数据D0的输入(步骤1)。在控制单元20中，缺陷校正单元21对成像数据D0执行缺陷校正，然后钳位处理单元22对缺陷校正之后的成像数据执行钳位处理。因此，钳位处理之后的成像数据D1被输入至距离信息获取单元23，并且在距离信息获取单元23中生成第一相位差分布DM1和第二相位差分布DM2。
(第一相位差分布的生成)
相位差计算单元231通过边缘处理、颜色识别、以逐像素为单位的测距等对这两个视差图像执行边缘处理(步骤2)。
图4(A)示出了成像单元10中获取的左图像PL的部分区域，图4(B)示出了成像单元10中获取的右图像PR的部分区域。通过对同一受摄体(在该示例中，房屋)2进行成像来获取两个图像，并且图像的明亮与黑暗之间的边界被识别为边缘部分EL和ER。
相位差计算单元231计算左图像PL与右图像PR之间的相位差、生成以逐像素为单位的第一相位差分布。由于相机11和相机12在水平方向具有不同的视点，所以左图像PL的边缘部分EL和右图像PR的边缘部分ER关于像素在水平方向上的位置互不相同，并且这样的差异对应于相位差、即视差。
当检测到左图像PL与右图像PR之间的相位差时，例如使用下面的立体匹配技术。该立体匹配技术是如下技术：通过依次比较局部区域(获取表示图像之间的相似性的相关值(像素相关值))中的两个视差图像来获取对象的运动量(视差图像之间的相位差)。
具体地，在获得如图5中示出的沿水平方向(H方向)的两个视差图像DC与DH之间的相位差的情况下，如下生成相位差分布DM。首先，一个视差图像DC的单位区域(图5的部分图像C1：中心坐标(x1，y1))被提取，并且其位置是固定的。随后，提取其他视差图像DH中作为比较目标的单位区域(图5的部分图像H1：中心坐标(x1，y1))。沿着比较范围H10内的水平方向依次移动部分图像H1的位置来依次计算校正值。获取比较范围H10内的具有最高相关性的部分像素C1和H1的位移(像素位移)作为相位差(视差)。此外，当部分图像C1的位置改变时，对视差图像DC和DH的整个表面重复执行这样的计算处理，从而获得第一相位差分布DM1。
对于第一相位差分布DM1的生成，也可以获得垂直方向(V方向)上的相位差。同样，在这种情况下，如上所述，一个视差图像的单位区域可以是固定的，并且可以沿比较范围内的垂直方向依次移动其他视差图像中的比较目标的单位区域，从而计算校正值。
可以使用用于校正值的各种计算方法，但是作为典型的方法，SAD(绝对差的和)、SSD(平方差的和)、NCC(归一化互相关)等可以用作相关值。在SAD和SSD中的每个中，较小的值(较接近于0)表示较高的相关性，而较大的值(较接近于∞)表示较低的相关性。同时，在NCC中，较接近于1的值表示较高的相关性，而较接近于0的值表示较低的相关性。
以这样的方式，生成左图像PL和右图像PR之间的以逐像素为单位的第一相位差分布DM1。在本实施方式中，当生成第一相位差分布DM1时，对左图像PL和右图像PR执行边缘处理。因此，可以容易地计算相位差。
(第二相位差分布的生成)
随后，相位差计算单元231生成第二相位差分布DM2。在本实施方式中，基于第一相位差分布DM1来检测边缘信息，并且使用边缘信息来校正第一相位差分布DM1，以生成第二相位差分布DM2(步骤3至步骤6)。
相位差计算单元231基于第一相位差分布DM1假定边缘部分EL和边缘部分ER是同一目标，并且确定执行子像素检测的区域(步骤3)。在此，包括边缘部分EL和ER的5×5的像素区域被确定为如图4的(A)和(B)中所示的检测区域。
在本实施方式中，相位差计算单元231对关于第一视差图像(左图像PL)计算的边缘部分EL的局部亮度分布和关于第二视差图像(右图像PR)计算的边缘部分ER的局部亮度分布执行匹配处理，来生成第二相位差分布(步骤4和步骤5)。
在下文中，将对其细节进行描述。
相位差计算单元231测量左图像PL和右图像PR中的每个的同一检测区域中的每个像素的亮度。图6示出了左图像PL的检测区域中的亮度分布。水平坐标表示X轴，垂直坐标表示Y轴。沿着与X轴和Y轴正交的Z轴表示亮度的大小。
图6中示出的五个曲线L1、L2、L3、L4和L5每个是通过以逐行为单位(Y1、Y2、Y3、Y4或Y5)连接检测区域中的各个像素的亮度值而获得的近似曲线，并且曲线L1至L5中的每个在边缘部分EL中具有亮度梯度。由于边缘部分EL与各个行的像素相交，所以不能以逐像素为单位高精度地检测边缘部分EL的相位差。就这一点而言，在本实施方式中，通过下面的处理来检测子像素级的相位差。
首先，相位差计算单元231根据上述检测区域的亮度分布来估计边缘部分EL的边缘角度(步骤4)。
在本实施方式中，如图7和图8中所示，设置与亮度轴正交(或与XY平面平行)的采样轴S。改变由采样轴S和平行于Y轴的参考轴(Y)形成的角度θ，并且将沿着采样轴S的轴方向实际上采样的曲线L1至曲线L5的亮度值彼此一致(或者最接近)的角度θans估计为边缘角度。在此，穿过位于坐标(X3，Y3)处的像素的轴被设置为采样轴S，但是采样轴S不限于此。
图9中的(A)至(C)示出了当θ＝0、θ1和θ2(θ2>θ1)时曲线L1至L5的采样结果。在该图中，垂直轴表示亮度，水平轴对应于垂直坐标和水平坐标相组合的复合轴(X-Ytanθ)。作为评估的结果，当θ＝θ2时曲线L1至曲线L5的亮度值彼此一致，并且θ2被估计为边缘角度(θans)(图9(B))。以这样的方式，在下文中将被估计为边缘角度(θans)的复合图称为“用于评估的亮度分布”。
对左图像PL和右图像PR中的每个执行如上所述的边缘角度(θans)的估计。通过任意计算等式对关于左图像PL和右图像PR中的每个所获取的用于评估的亮度分布的每个点的亮度进行归一化。因此，可以消除由于相机11和相机12之间的个体差异而产生的影响。
不对归一化计算等式进行特别限定，并且在本实施方式中使用下面的计算等式。
左图像的亮度(左值)＝左亮度×(左最大值/左最小值)
右图像的亮度(右值)＝右亮度×(右最大值/右最小值)
在此，在如图10(A)中所示的用于评估的亮度分布中，“左最大值”和“左最小值”分别对应于亮度的最大值和最小值。类似地，在如图10(B)中所示的用于评估的亮度分布中，“右最大值”和“右最小值”分别对应于亮度的最大值和最小值。
接下来，相位差计算单元231通过使用用于左图像PL的评估的亮度分布和用于右图像PR的评估的亮度分布来执行对左图像PL和右图像PR两者的匹配处理(步骤5)。
图11是示出了匹配处理的示例的示例性图。在该示例中，左图像的任意坐标(X-Ytanθ)处的像素(坐标)d被聚焦，并且从右图像中搜索与像素(坐标)d具有相同亮度的(X-Ytanθ)坐标。在图11的示例中，具有与左图像中的像素d的亮度相同的亮度的右图像的(X-Ytanθ)坐标不是d而是与d间隔“dsub”的坐标。“dsub”对应于以逐子像素为单位的相位差。在整个图像上执行这样的匹配，并且由此获得坐标系的相位差分布。
当生成第二相位差分布时，为了抑制包括在相机图像中的噪声的影响，可以对用于各个图像的评估的亮度分布执行拟合处理如线性插值(在以高采样率采样的边缘处)。
随后，相位差计算单元231又将在整个图像上获取的“dsub”的坐标值转换成原始的X-Y坐标系中的坐标值，并且对相位差分布进行校正(步骤S6)。如上所述，生成以逐子像素为单位的第二相位差分布DM2。
(视差信息的生成)
相位差计算单元231中生成的第一相位差分布DM1和第二相位差分布DM2被输入至视差信息生成单元232。相位差计算单元231可以将通过对第一相位差分布DM1和第二相位差分布DM2进行组合而获得的相位差分布输入至视差信息生成单元232。视差信息生成单元232基于第一相位差分布DM1和第二相位差分布D2生成视差信息d。
视差信息d包括距离信息。距离信息指代从相机11和相机12(成像镜头)到与成像数据D0对应的捕获的图像中的任意参考位置的距离的信息。距离信息包括从相机11和相机12到参考位置的距离信息，或成像镜头的物体侧的焦距。
控制单元20被形成为能够将包括视差信息d的图像数据Dout输出至信息处理设备。信息处理设备基于图像数据Dout来获取关于受摄体2的距离等的数据，因此可以生成图像(重新聚焦的图像)，在重新聚焦的图像中例如以高精度对受摄体2的任意位置进行聚焦。此外，受摄体不限于静止主体，还可以是相对于成像设备1运动的动态主体。在这种情况下，由于可以检测关于动态主体的位置、距离、运动速度和运动方向的信息，所以可以将成像设备1形成为使信息处理设备根据动态主体的运动执行预定处理的输入设备。
如上所述，在本实施方式中，基于以逐像素为单位生成的第一相位差分布D1并且基于通过使用第一相位差分布D1以逐子像素为单位生成的第二相位差分布D2来生成视差信息d。所以，可以获取对干扰如相机噪声较鲁棒且精度高的视差信息d。
例如，如图12中所示，在仅使用以逐像素为单位的视差获取距离信息的方法中，根据以逐像素为单位获取的相关值分布来估计具有最高相关性的视差(dsub)，但是由于相机噪声的影响，相关值的分布变化较大。
与此相反，在本实施方式中，使用检测区域中的多个像素计算以逐子像素为单位的相位差。这较少受到噪声的影响，因此可以获得具有高精度的距离信息。
此外，在本实施方式中，由于靠近边缘部分的多个像素被用作检测区域，所以可以确保像素之间的亮度差，并且可以容易地估计以逐子像素为单位的相位差。
<第二实施方式>
接下来，将描述本技术的第二实施方式。本实施方式与上述第一实施方式不同之处在于：在控制单元20(相位差计算单元231)中生成第二相位差分布(DM2)的方法。在下文中，将主要描述与第一实施方式的配置不同的配置，并且与上述实施方式的配置类似的配置由相同的附图标记来表示，从而将省略或简化对类似配置的描述。
首先，使用现有技术如立体匹配来检测以逐像素为单位的相位差。
接下来，在执行以逐子像素为单位的视差(相位差)检测的所有目标像素中执行下面的处理。
具体地，相位差计算单元231计算形成第一视差图像的第一像素组的亮度分布与形成第二视差图像并且对应于第一像素组的第二像素组的亮度分布之间的相关值，以生成第二相位差分布。
图13是表示三维结构的局部区域的像素亮度值的图，其中(A)表示左图像的像素组的亮度分布，(B)表示右图像的像素组的亮度分布。在此，可以使用基于参考图6所描述的视差图像的边缘信息的像素亮度值。如图13中所示，在一个像素级上匹配的像素R32和L32中，它们周围的像素被用作匹配的评估目标数据。
图14示出了当左图像的像素组的像素亮度值和右图像的像素组的像素亮度值以逐像素为单位相互叠加时的数据。
如图14所示，假定像素R32与像素L32之间的子像素级的视差为Δx、Δy，则使用以像素R32为中心的第(2n+1)行和第(2n+1)列(n为0或更大的整数)上的右视点匹配评估数据(R21、R22、R23、R31、R32、R33、R41、R42和R43)，以及围绕R32的第(2n)行和第(2n)列或第2(n+1)行和第2(n+1)列上的左视点匹配评估数据(L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43和L44)。
在将n的值设置得较大的情况下，可以提高视差检测的准确度，但是在两个视差图像之间的差异较大(遮挡等)的部分中容易出现错误。所以，考虑计算成本来设置适当的值。
在任意Δx、Δy处，当将用于评估子像素级的匹配度的评估函数定义为f(Δx，Δy)时，仅需要获取f(Δx，Δy)被评估为最高的Δx、Δy。此时，在一个像素的视差检测准确度在Δx、Δy的搜索范围内足够高的情况下，仅需要在±0.5像素的范围内执行搜索。在低性能的情况下，在±若干像素的范围内执行搜索。
当第一像素组和第二像素组以逐像素为单位相互叠加时，相位差计算单元231通过使用与彼此相邻的多个像素之间的亮度差有关的评估函数来计算上述相关值。在本实施方式中，当连接多个像素的亮度值时所获取的折线的长度被用作评估函数。
如图15中所示，在任意Δx、Δy处的匹配评估数据(R21、R22、R23、R31、R32、R33、R41、R42、R43、L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43和L44)被转换成从观察轴θ观察的投影图像，使用线来连接相邻的亮度值，并且生成如图16中所示的折线形状。观察轴θ指代由平行于X轴(水平轴)的参考轴和平行于XY平面的观察轴形成的角度，但是参考轴可以任意地被设置，而不限于图中示出的示例。
当两个视差图像在子像素级上彼此一致并且观察轴θ为适当的角度时，可以预期折线形状被平滑连接、而没有不规则性。所以，仅需要评估平滑连接的折线形状。通过没有不规则性的平滑性，折线的长度变为最短，因此仅需要将折线形状的长度用作评估函数。图17和图18示出了其中获取子像素级的匹配并且长度变为最短的情况的示例。
在图15至图18的示例中，当将所有匹配的评估数据(R21、R22、R23、R31、R32、R33、R41、R42、R43、L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43和L44)关于R32旋转(-θ)度并且描绘在xz平面上时，获得从观察轴θ所观察的投影图像。假定某个评估数据的初始坐标是(x+Δx，y+Δy)，则通过下面的表达式来获取旋转之后的坐标(xr，yr)。实际上，仅使用了xr，因此不计算yr。
xr＝(x+Δx)cos(-θ)-(y+Δy)sin(-θ)
yr＝(x+Δx)sin(-θ)+(y+Δy)cos(-θ)
接下来，示出了通过连接投影的亮度值获得折线的长度的方法。例如，假定对L11和R21进行旋转之后的x坐标为xL11和xR21，则亮度值是B1和B2，并且连接L11和R21的线段的长度是D1，D1可以通过下面的表达式来表示。
D1＝√((xL11-xR21)2+(a(B1-B2))2)
在该表达式中使用了系数a。系数a是用于将亮度转换成空间距离信息的参数并且影响评估函数的性能。所以，必须经过充分考虑来确定该值以便提高评估函数的性能。以这样的方式，获得所有线段(D1，D2，D3，…D3和D24)的长度，并且计算以R32为中心仅在(2n+1)的宽度范围内的折线的长度来作为评估函数f(Δx，Δy)。
通过折线长度最小化方法进行的评估是基于如下假设的评估方法：捕获的图像的局部区域是沿某个方向被定向的边缘的聚集。虽然很难评估无边缘的区域，但是无边缘的区域首先缺少用于获得子像素的信息。所以，可以消除这样的区域以不将这样的区域考虑为评估目标。
如上所述，生成以逐子像素为单位的第二相位差分布。在第一实施方式中，分别评估左图像和右图像中的边缘角度，然后对这两个图像执行匹配处理以生成第二相位差分布。在本实施方式中，通过右图像和左图像相互叠加，生成基于边缘信息的第二相位差分布。同样在本实施方式中，可以获得与第一实施方式的效果和动作相同的效果和动作。
<第三实施方式>
接下来，将描述本技术的第三实施方式。该实施方式与上述第一和第二实施方式不同之处在于：在控制单元20(相位差计算单元231)中生成第二相位差分布(DM2)的方法。在下文中，将主要描述与第一实施方式和第二实施方式的配置不同的配置，并且与上述实施方式的配置类似的配置将由相同的附图标记来表示，从而将省略或简化对类似配置的描述。
如在第二实施方式中，相位差计算单元231计算形成第一视差图像的第一像素组的亮度分布与形成第二视差图像并且对应于第一像素组的第二像素组的亮度分布之间的相关值，以生成第二相位差分布。当第一像素组和第二像素组以逐像素为单位相互叠加时，相位差计算单元231通过使用与彼此相邻的多个像素之间的亮度差有关的评估函数来计算上述相关值。该实施方式与第二实施方式不同在于：当连接多个像素的亮度值时获得的预定三维表面的表面面积被用作评估函数。
如图19中所示，在任意Δx、Δy处的匹配评估数据(R21、R22、R23、R31、R32、R33、R41、R42、R43、L11、L12、L13、L14、L21、L22、L23、L24、L31、L32、L33、L34、L41、L42、L43和L44)在三维空间上被连接，并且生成如图20中所示的三维表面形状。
当两个视差图像在子像素级上彼此一致时，可以预期三维表面形状被平滑连接而没有不规则性。所以，仅需要评估平滑连接的三维表面形状。由于没有不规则性的平滑性，表面面积变为最小，因此仅需要将三维表面形状的表面面积用作评估函数。图21和图22示出了获得子像素级的匹配并且面积变为最小的情况的示例。
此处，示出了通过连接三维空间上的匹配评估数据来获得表面面积的方法的示例。在图19至图22的示例中，根据预定规则形成三角形，例如，匹配评估数据L11、R21和L21形成的三角形的面积由S11表示，而匹配评估数据L11、R21和L12形成的三角形的面积由S12表示。可以确定从S11至S94总共36个三角形的面积，以获得这36个三角形面积的和。
接下来，示出了确定三角形面积的方法。例如，假定L11、R21和L21的亮度值分别是B1、B2和B3，则连接L11和R21的线段的长度是D1，连接R21和L21的线段的长度是D2，连接L21和L11的线段的长度是D3，D1、D2和D3可以通过下面的表达式来表示。
D1＝√(Δx2+(1-Δy)2+(a(B1-B2))2)
D2＝√(Δx2+Δy2+(a(B2-B3))2)
D3＝√(1+(a(B3-B1))2)
在这些表达式中使用了系数a。系数a是用于将亮度转换成空间距离信息的参数并且影响评估函数的性能。所以，需要经过充分考虑来确定该值，以便提高评估函数的性能。基于以这样的方式获得的线段的长度D1、D2和D3，可以使用海伦公式获得三角形的面积S11。
S11＝√(s(s-D1)(s-D2)(s-D3))
其中，s＝(D1+D2+D3)/2
通过类似的方法获得其他三角形的面积(S12至S94)。
如上所述，评估函数f(Δx，Δy)如下。
f(Δx,Δy)＝S11+S12+S13+S14+S21+……+S84+S91+S92+S93+S94
如上所述，生成以逐子像素为单位的第二相位差分布。同样在本实施方式中，可以获得与第一实施方式和第二实施方式的效果和动作相同的效果和动作。具体地，在本实施方式中，由于预定三角形的面积被用作评估函数，所以与预定折线的长度被用作评估函数的第二实施方式相比，可以以更高精度获得相关值。
(修改的示例)
随后，将描述第三实施方式的修改示例。
在上述第三实施方式中，控制单元20显影由成像单元10获取的成像数据D0，并且基于多个显影的视差图像生成以逐子像素为单位的第二相位差分布。替代上述，可以使用显影成像数据D0之前的图像即RAM图像执行匹配处理、以生成第二相位差分布。
在使用RAM数据执行匹配评估的情况下，可以将颜色分量相互分开，可以对于每种颜色获得当连接多个像素的亮度值时所获得的立体的表面面积，并且可以将各种颜色的表面面积的组合值用作评估函数。
图23至图26是示出了RAM图像的匹配评估的示例的图。在该示例中，将描述在一个像素中布置四个颜色像素(RGGB)的示例。
图23示出了当左图像的像素组中的各个颜色的像素亮度值和右图像的像素组中的各个颜色的像素亮度值以逐像素为单位相互叠加时的数据。对于每种颜色，通过与上述技术类似的技术来计算图像之间的亮度分布的相关值。图24示出了由R像素形成的三维表面的示例，图25示出了G像素形成的三维表面的示例，图26示出了由B像素形成的三维表面的示例。
接下来，计算Δx、Δy，在Δx、Δy处，由R像素形成的三维表面的表面面积的评估函数fR(Δx，Δy)、由G像素形成的三维表面的表面面积的评估函数fG(Δx，Δy)、由B像素形成的三维表面的表面面积的评估函数fB(Δx，Δy)的组合值变为最小。作为子像素的第二相位差分布生成如上所述计算的Δx、Δy。
如上所述，已经描述了本技术的实施方式，但是本技术不限于上述实施方式，从而当然可以在不脱离本技术的精神的情况下进行各种修改。
例如，在上述实施方式中，已举例说明包括两个相机11和12的成像单元10。然而，具有在单个相机的光接收表面上布置微透镜阵列的结构的成像设备可以用作成像单元。此外，替代微透镜阵列12，可以使用能够对来自液晶透镜阵列、液体透镜阵列、衍射透镜阵列等的光束进行分类的光学装置。
此外，在上述实施方式中，已经描述了在成像设备中包括图像处理单元的示例，但是上述实施方式不限于此。图像处理单元可以由信息处理设备如PC(个人计算机)终端形成。在这种情况下，以有线或无线方式接收通过多视图相机获取的多个视点的图像数据，并且通过上述技术来计算测量对象的距离信息。
此外，在上述第三实施方式中，预定三角形的面积被用作评估函数。作为替代，可以将三角形的体积、多个相邻三角形的总面积等用作评估函数。
应当注意，本技术可以具有下面的配置。
(1)一种图像处理设备，包括：
视差信息生成单元，基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以第一视差图像和第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
(2)根据(1)所述的图像处理设备，还包括：
相位差计算单元，基于所述第一相位差分布生成所述第二相位差分布。
(3)根据(2)所述的图像处理设备，其中，
所述相位差计算单元通过以从所述第一相位差分布检测的边缘信息校正所述第一相位差分布，来生成所述第二相位差分布。
(4)根据(3)所述的图像处理设备，其中，
所述相位差计算单元通过对针对所述第一视差图像计算的边缘部分的局部亮度分布和针对所述第二视差图像计算的边缘部分的局部亮度分布执行匹配处理，来生成所述第二相位差分布。
(5)根据(2)所述的图像处理设备，其中，
所述相位差计算单元通过计算第一像素组的亮度分布和第二像素组的亮度分布之间的相关值来生成所述第二相位差分布，所述第一像素组形成所述第一视差图像，所述第二像素组形成所述第二视差图像并且对应于所述第一像素组。
(6)根据(5)所述的图像处理设备，其中，
当所述第一像素组和所述第二像素组以逐像素为单位相互叠加时，所述相位差计算单元通过使用与彼此相邻的多个像素之间的亮度差有关的评估函数来计算所述相关值。
(7)根据(6)所述的图像处理设备，其中，
所述相位差计算单元使用折线的长度作为所述评估函数，所述折线是当所述多个像素的亮度值被连接时而获得的。
(8)根据(6)所述的图像处理设备，其中，
所述相位差计算单元使用预定三维表面的表面面积作为所述评估函数，所述预定三维表面是当所述多个像素的亮度值被连接时而获得的。
(9)根据(1)至(8)中任一项所述的图像处理设备，其中，
所述视差信息生成单元生成测量对象的距离信息作为所述视差信息。(10)根据(9)所述的图像处理设备，还包括：
控制单元，通过使用由所述视差信息生成单元生成的所述距离信息来生成重新聚焦的图像。
(11)根据(1)至(10)中任一项所述的图像处理设备，还包括：
成像单元，获取具有不同视点的多个视差图像。
(12)一种图像处理方法，包括：
获取第一视差图像和第二视差图像；以及
基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以所述第一视差图像和所述第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
附图标记
1       成像设备
2       受摄体(成像目标)
10      成像单元
11、12  相机
20      控制单元
231     相位差计算单元
232     视差信息生成单元
EL、ER  边缘部分
PL      左图像
PR      右图像

Claims (12)

1.一种图像处理设备，包括：
视差信息生成单元，基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以第一视差图像和第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
2.根据权利要求1所述的图像处理设备，还包括：
相位差计算单元，基于所述第一相位差分布生成所述第二相位差分布。
3.根据权利要求2所述的图像处理设备，其中，
所述相位差计算单元通过以从所述第一相位差分布检测的边缘信息校正所述第一相位差分布，来生成所述第二相位差分布。
4.根据权利要求3所述的图像处理设备，其中，
所述相位差计算单元通过对针对所述第一视差图像计算的边缘部分的局部亮度分布和针对所述第二视差图像计算的边缘部分的局部亮度分布执行匹配处理，来生成所述第二相位差分布。
5.根据权利要求2所述的图像处理设备，其中，
所述相位差计算单元通过计算第一像素组的亮度分布和第二像素组的亮度分布之间的相关值来生成所述第二相位差分布，所述第一像素组形成所述第一视差图像，所述第二像素组形成所述第二视差图像并且对应于所述第一像素组。
6.根据权利要求5所述的图像处理设备，其中，
当所述第一像素组和所述第二像素组以逐像素为单位相互叠加时，所述相位差计算单元通过使用与彼此相邻的多个像素之间的亮度差有关的评估函数来计算所述相关值。
7.根据权利要求6所述的图像处理设备，其中，
所述相位差计算单元使用折线的长度作为所述评估函数，所述折线是当所述多个像素的亮度值被连接时而获得的。
8.根据权利要求6所述的图像处理设备，其中，
所述相位差计算单元使用预定三维表面的表面面积作为所述评估函数，所述预定三维表面是当所述多个像素的亮度值被连接时而获得的。
9.根据权利要求1所述的图像处理设备，其中，
所述视差信息生成单元生成测量对象的距离信息作为所述视差信息。
10.根据权利要求9所述的图像处理设备，还包括：
控制单元，通过使用由所述视差信息生成单元生成的所述距离信息来生成重新聚焦的图像。
11.根据权利要求1所述的图像处理设备，还包括：
成像单元，获取具有相互不同的视点的多个视差图像。
12.一种图像处理方法，包括：
获取第一视差图像和第二视差图像；以及
基于第一相位差分布和第二相位差分布生成视差信息，所述第一相位差分布是以所述第一视差图像和所述第二视差图像为对象以逐像素为单位生成的，所述第二相位差分布是基于所述第一相位差分布以逐子像素为单位生成的。
CN201380048338.8A 2012-10-24 2013-08-22 图像处理设备及图像处理方法 Expired - Fee Related CN104641395B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-235121 2012-10-24
JP2012235121 2012-10-24
PCT/JP2013/004965 WO2014064875A1 (ja) 2012-10-24 2013-08-22 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN104641395A true CN104641395A (zh) 2015-05-20
CN104641395B CN104641395B (zh) 2018-08-14

Family

ID=50544262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048338.8A Expired - Fee Related CN104641395B (zh) 2012-10-24 2013-08-22 图像处理设备及图像处理方法

Country Status (5)

Country Link
US (1) US10134136B2 (zh)
EP (1) EP2913793B1 (zh)
JP (1) JP6365303B2 (zh)
CN (1) CN104641395B (zh)
WO (1) WO2014064875A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866548A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 相位差的获取方法和装置、电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748264B2 (en) 2015-09-09 2020-08-18 Sony Corporation Image processing apparatus and image processing method
TWI676920B (zh) * 2018-11-22 2019-11-11 國家中山科學研究院 光斑影像精密比對定位方法
CN112866544B (zh) * 2019-11-12 2022-08-12 Oppo广东移动通信有限公司 相位差的获取方法、装置、设备及存储介质
CN115315720A (zh) 2020-03-31 2022-11-08 索尼集团公司 信息处理装置和方法以及程序

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221405A (ja) * 2001-01-26 2002-08-09 Sumitomo Electric Ind Ltd 三次元位置計測方法及び三次元位置計測装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2010175330A (ja) * 2009-01-28 2010-08-12 Mitsubishi Electric Corp レーダ画像信号処理装置
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及***
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002221405A (ja) * 2001-01-26 2002-08-09 Sumitomo Electric Ind Ltd 三次元位置計測方法及び三次元位置計測装置
WO2008050904A1 (fr) * 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
JP2009224982A (ja) * 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2010175330A (ja) * 2009-01-28 2010-08-12 Mitsubishi Electric Corp レーダ画像信号処理装置
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及***
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANGMING SUN: "Fast stereo matching using rectangular subregioning and 3D maximum-surface techniques", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
NURULFAJAR ABD MANAP,ETAL: "Disparity Refinement Based On Depth Image Layers Seperation for Stereo Matching Algorithms", 《JOURNAL OF TELECOMMUNICATION ELECTRONIC & COMPUTER ENGINEERING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866548A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 相位差的获取方法和装置、电子设备
CN112866548B (zh) * 2019-11-12 2022-06-14 Oppo广东移动通信有限公司 相位差的获取方法和装置、电子设备

Also Published As

Publication number Publication date
WO2014064875A1 (ja) 2014-05-01
US20150248766A1 (en) 2015-09-03
JP6365303B2 (ja) 2018-08-01
EP2913793B1 (en) 2020-06-03
JPWO2014064875A1 (ja) 2016-09-08
US10134136B2 (en) 2018-11-20
EP2913793A4 (en) 2016-08-10
CN104641395B (zh) 2018-08-14
EP2913793A1 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
US11570423B2 (en) System and methods for calibration of an array camera
US20230336707A1 (en) Systems and Methods for Dynamic Calibration of Array Cameras
US10043290B2 (en) Image processing to enhance distance calculation accuracy
JP4440341B2 (ja) キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP2014092461A (ja) 画像処理装置および方法、画像処理システム、並びにプログラム
CN104641395A (zh) 图像处理设备及图像处理方法
JP2020174331A (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
Li Real-time spherical stereo
JP2014038151A (ja) 撮像装置及び位相差検出方法
CN111998834B (zh) 一种裂缝监测方法及***
Chen et al. Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision
WO2016194179A1 (ja) 撮像装置、内視鏡装置及び撮像方法
CN113808070B (zh) 一种双目数字散斑图像相关的视差测量方法
JP2019032660A (ja) 撮像システム、撮像方法
JP5689693B2 (ja) 描画処理装置
Li Trinocular spherical stereo
Vasylenko et al. Image depth evaluation system by stream video
Zhong et al. A multi-view 3D reconstruction method based on pixel discretization model for robot pose tracking
Schmalenberg et al. Out-of-Focus Camera Calibration
CN117934577A (zh) 一种基于双目dvs实现微秒级3d探测的方法、***及装置
CN117915058A (zh) 图像透视方法、装置、存储介质、电子设备和xr设备
CN117636333A (zh) 一种基于多相机的果蔬分选方法、装置、计算机设备及可读存储介质
JP2021032724A (ja) 距離計測装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180814

Termination date: 20210822

CF01 Termination of patent right due to non-payment of annual fee