CN105683707B - 摄像装置和相位差检测方法 - Google Patents

摄像装置和相位差检测方法 Download PDF

Info

Publication number
CN105683707B
CN105683707B CN201480057925.8A CN201480057925A CN105683707B CN 105683707 B CN105683707 B CN 105683707B CN 201480057925 A CN201480057925 A CN 201480057925A CN 105683707 B CN105683707 B CN 105683707B
Authority
CN
China
Prior art keywords
image
value
pixel
pixel value
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480057925.8A
Other languages
English (en)
Other versions
CN105683707A (zh
Inventor
今出慎
今出慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN105683707A publication Critical patent/CN105683707A/zh
Application granted granted Critical
Publication of CN105683707B publication Critical patent/CN105683707B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R25/00—Arrangements for measuring phase angle between a voltage and a current or between voltages or currents
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

摄像装置具有：摄像部(10)，其拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像；以及相位差检测部(30)，其求出拍摄第1被摄体像得到的第1图像与拍摄第2被摄体像得到的第2图像之间的相关系数，根据该相关系数检测第1图像与第2图像之间的相位差。相位差检测部(30)对第1图像的像素值和第2图像的像素值进行归一化，求出该归一化后的第1图像的像素值和第2图像的像素值的平均值，根据将对归一化后的第1图像的像素值和第2图像的像素值进行减法处理后的值在平均值的减小区间内进行加法处理而得到的值、以及将对归一化后的第1图像的像素值和第2图像的像素值进行减法处理后的值在平均值的增大区间内进行加法处理而得到的值，求出相关系数。

Description

摄像装置和相位差检测方法
技术领域
本发明涉及摄像装置和相位差检测方法等。
背景技术
对位置偏移(存在相位差)的2个波形进行比较并求出相位差的检测法例如在立体图像3D计测中的视差量检测、以及使相位与电信号中的基准信号一致的控制(PLL控制)所需要的相位差检测等广阔领域中成为不可欠缺的重要技术。
一般而言，一边使2个相似的比较波形偏移一边确定最匹配的位置，检测偏移前的位置与取得匹配的位置之差(偏移量)作为相位差。以往，关于用于求出2个相似波形的相位差的匹配评价方法，例如提出了以ZNCC(Zero-mean Normalized Cross-Correlation)为代表的归一化相互相关运算法、基于相互的差分绝对值的合计的SAD(Sum of AbsoluteDifference)等各种方案。
在这种匹配评价中，如后所述，比较波形的噪声造成影响。作为减少该噪声的影响的方法，例如在专利文献1中公开了如下的方法：从包含噪声的比较波形(在文献中称为被搜索图像和模板图像)中，分别估计噪声成分并去除。在该方法中，任意选择对称的图像的微小区域，近似地求出该区域内的方差值作为噪声的方差值。在微小区域中，由于信号成分的变化较小，所以取大致固定值，因此，假设方差值的估计值大致表示噪声的方差值。使用该方差值，从比较波形中去除噪声成分，定义匹配评价值。
现有技术文献
专利文献
专利文献1：日本特开2001-22941号公报
发明内容
发明要解决的课题
另外，在ZNCC或SAD等匹配评价方法中，在原理上，如果比较波形的形状在振幅方向上具有相似关系，则在归一化后的比较波形彼此一致的位置处，相关系数示出极大或极小的峰值。
但是，当对比较波形的彼此施加使比较波形的相似性减弱的劣化要因时，即使是比较波形一致的位置，评价值也未必示出极大或极小的峰值。例如，具有随机性的噪声等劣化要因每当检测图像时变化，所以，极大峰值或极小峰值所示的相位差检测位置相对于正确位置包含误差偏差。误差偏差引起的检测位置的变动范围成为能够检测的匹配位置的检测分辨率或检测精度，所以，在现有的匹配评价方法中，存在劣化要因较大程度地影响匹配位置的检测分辨率或检测精度的课题。
根据本发明的若干个方式，能够提供能够减少相位差检测的误差偏差的摄像装置和相位差检测方法等。
用于解决课题的手段
本发明的一个方式涉及一种摄像装置，所述摄像装置具有：摄像部，其拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像；以及相位差检测部，其求出拍摄所述第1被摄体像得到的第1图像与拍摄所述第2被摄体像得到的第2图像之间的相关系数，根据所述相关系数检测所述第1图像与所述第2图像之间的相位差，所述相位差检测部对所述第1图像的像素值和所述第2图像的像素值进行归一化，求出所述归一化后的所述第1图像的像素值和所述第2图像的像素值的平均值，根据将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的减小区间内进行加法处理而得到的值、以及将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的增大区间内进行加法处理而得到的值，求出所述相关系数。
并且，本发明的另一个方式涉及一种相位差检测方法，该相位差检测方法具有以下步骤：拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像，针对拍摄所述第1被摄体像得到的第1图像的像素值和拍摄所述第2被摄体像得到的第2图像的像素值进行归一化，求出所述归一化后的所述第1图像的像素值和所述第2图像的像素值的平均值，根据将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的减小区间内进行加法处理而得到的值、以及将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的增大区间内进行加法处理而得到的值，求出相关系数，根据所述相关系数检测所述第1图像与所述第2图像之间的相位差。
附图说明
图1是匹配评价中的劣化要因的影响的说明图。
图2是摄像装置的结构例。
图3是基于改良SAD的匹配评价的说明图。
图4是相对于波形的SN比的相位差检测值的统计方差值的仿真结果。
图5是第2实施方式的摄像装置的结构例。
图6是基于光瞳分割方式的立体图像计测的基本原理的说明图。
图7是第3实施方式的摄像装置的结构例。
图8是光瞳分割滤波器和摄像元件的分光特性的例子。
图9是高密度化处理的说明图。
图10(A)～图10(D)是高密度化处理的说明图。
图11是高密度化处理的说明图。
图12(A)～图12(C)是基于高密度化处理的相位差检测的仿真结果。
图13是高密度化处理的说明图。
图14是采样数据的相似性的仿真结果。
图15是归一化方法的变形例的说明图。
具体实施方式
下面，对本发明的优选实施方式进行详细说明。另外，以下说明的本实施方式并非对权利要求书所记载的本发明的内容进行不当限定，作为本发明的解决手段，本实施方式中说明的结构不一定全部是必须的。
1.本实施方式的概要
在匹配评价中，有时对比较波形施加劣化要因。作为劣化要因，例如假设随机噪声、量化噪声、2个光瞳的点扩散函数非对称而引起的比较波形的相似性劣化、比较波形间的串扰等。下面，以施加随机噪声作为劣化要因的情况为例进行说明。并且，以将立体图像作为比较波形的情况为例进行说明，但是，只要是对存在相位差的2个信号波形进行比较，就能够应用本实施方式的匹配评价方法。
在现有的一般的匹配评价方法(ZNCC、SAD等)中，由于劣化要因而产生匹配位置的检测误差，很难得到较高的检测分辨率或检测精度。
如图1所示，比较波形的频率成分越成为低频，则噪声的影响表现得越显著。即，由于光学分辨率较小的图像的比较波形的相关系数是低频成分的波形，所以，相关系数的峰值与附近值的差异较小。因此，当附加噪声时，峰值的偏差显著增大，很难确定真的峰值。由此，作为高精度地求出相位差的条件，可以说是非常不利的状态。
实际上，在求出相位差的情况下，比较波形不一定是具有高频成分的波形。例如，在立体图像3D计测中，在对焦位置处具有较多的高频成分，但是，相对而言，在非对焦位置(模糊状态的位置)处仅具有低频成分。在3D计测中，需要在进深方向的规定计测范围内求出相位差，在此不得不利用模糊状态的图像，所以，即使比较波形是低频成分，也需要求出正确的相位差。为了实现高精度的相位差检测，尽可能排除噪声的影响成为课题。
在上述专利文献1中，从比较波形中去除所估计出的噪声，但是，根据对信号成分和噪声进行相加后的比较波形来估计噪声，所以，估计精度是否优良成为问题。该估计以信号成分在图像的微小区域内大致固定这样的假设为前提，但是，在对比度变化激烈的区域中，该假设不成立的情况很多。因此，可能强行将信号成分的一部分误估计为噪声成分，所以，实现高精度的匹配检测依然存在课题。
如上所述，解决如何不受噪声的影响而检测更加正确的匹配位置这样的课题在相位差检测中是重要的。
因此，在本实施方式中，如图2所示，摄像装置包括：摄像部10，其拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像；以及相位差检测部30，其求出拍摄第1被摄体像得到的第1图像与拍摄第2被摄体像得到的第2图像之间的相关系数，根据该相关系数检测第1图像与第2图像之间的相位差。
而且，相位差检测部30对第1图像的像素值和第2图像的像素值进行归一化，求出归一化后的第1图像的像素值和第2图像的像素值的平均值，根据将对归一化后的第1图像的像素值和第2图像的像素值进行减法处理后的值在平均值的减小区间内进行加法处理而得到的值、以及将对归一化后的第1图像的像素值和第2图像的像素值进行减法处理后的值在平均值的增大区间内进行加法处理而得到的值，求出相关系数。
例如，以后述第1实施方式为例，图3所示的左光瞳图像IL和右光瞳图像IR对应于第1图像和第2图像，求出对它们进行归一化后的左光瞳图像nIL和右光瞳图像nIR。如下式(4)、(6)所示，在平均值nI的减小区间Fa和增大区间Ra内，分别对归一化后的左光瞳图像nIL和右光瞳图像nIR进行相减。在各区间内对该相减后的值进行相加，对该相加后的值进行相加，求出相关系数ISAD。
这样，划分成减小区间Fa和增大区间Ra，对左光瞳图像nIL和右光瞳图像nIR的减法值进行相加，由此，如下式(3)、(5)所示，能够按照每个区间来改变相减的顺序，以使得比较波形的信号减法值D成为正值。或者，如下式(13)所示，即使不改变相减的顺序，通过在各区间内对减法值进行相加并分别取绝对值，也能够在各区间内进行相加后成为正值。
在这样求出的相关系数ISAD中，如下式(9)所示，比较波形的信号成分成为差分绝对值和(|IR-IL|的和)，比较波形的噪声成分成为简单的差分和(nR-nL的和)。由此，噪声成分成为通过相加效果而减少的值。由此，通过将该相关系数ISAD最小的位置评价为匹配位置，能够进行误差偏差较小的高分辨率或高精度的相位差检测。另外，下面将该方法称为改良SAD。
2.第1实施方式
2.1.基于改良SAD的匹配方法
接着，对改良SAD的详细情况进行说明。摄像装置的结构与上述图2的结构相同。另外，下面，以如下情况为例进行说明：将单镜头(単眼)的摄像光学***分割成左右的光瞳而产生视差，将左光瞳图像作为第1图像，将右光瞳图像作为第2图像。但是，本实施方式不限于此，例如还能够应用于使用双镜头(双眼)的摄像部的情况。
图3示出基于改良SAD(Improved Sum of Absolute Difference)的匹配评价的说明图。
IL、IR是进行摄像而得到的左右的光瞳图像的一部分轮廓(波形图案)。即，是通过穿过左右光瞳的光线而在摄像元件上形成的视差图像的、水平方向x(视差方向)上的像素值图案。在光瞳图像IL、IR中产生相位差δ的偏移。
由于光瞳图像IL、IR的振幅增益不一致，所以，使用规定运算区间w(相关系数的计算所使用的区间)的值进行归一化，使振幅增益一致。通过下式(1)求出归一化后的光瞳图像nIL、nIR。求和记号的“w”表示在规定运算区间w的范围内取和。
【数学式1】
接着，如下式(2)那样生成对归一化后的光瞳图像nIL、nIR进行相加而得到的合成波形nI。
【数学式2】
nI＝nIR+nIL (2)
接着，在规定运算区间w内检测光瞳图像nIL、nIR交叉的交叉点，求出相邻的交叉点与交叉点的区间。设区间内的合成波形nI处于增大倾向的情况为增大区间Ra，设处于减小倾向的情况为减小区间Fa。关于增减区间的判定，例如，在由交叉点划分的区间内对合成波形nI的相邻像素差分值(微分值)进行累积，正的情况下判断为增大区间，负的情况下判断为减小区间。
接着，按照每个增大区间Ra、减小区间Fa，根据下式(3)的规则，改变光瞳图像IL和IR的相减的顺序并求出减法值D。即，决定相减的顺序以使得在各区间内成为减法值D>0。
【数学式3】
如下式(4)所示，在不超过规定运算区间w的范围内对全部所求出的减法值D进行相加，求出ISAD评价值(匹配评价系数)。求和记号的“Ra”、“Fa”表示在规定运算区间w内的全部Ra、Fa的范围内取和。但是，在规定运算区间w内不存在交叉点的情况下，也判断规定运算区间w是增大区间还是减小区间，在规定运算区间w内求出ISAD评价值即可。
【数学式4】
在前焦点和后焦点中，光瞳图像IL和IR左右颠倒。与图3相反，在左光瞳图像IL移位到右光瞳图像IR的左侧的情况下，归一化后的光瞳图像nIL和nIR的大小关系颠倒，所以，如下式(5)那样求出减法值D。ISAD评价值成为下式(6)。
【数学式5】
【数学式6】
例如在各区间Ra、Fa内对光瞳图像nIL和nIR的像素值进行比较，判定光瞳图像nIL和nIR的大小关系。然后，根据该判定结果选择上式(4)或(6)，计算ISAD评价值。
不是如现有的SAD(Sum of Absolute Difference)那样不区分增减区间而取光瞳图像IL和IR的绝对值和的方法，在本实施方式中，对强制区分增减区间而取光瞳图像IL和IR的差分值和的理由进行说明。另外，下面，将归一化的波形简单表记为“IL”、“IR”等。
假设IL、IR是相似性极高的波形图案。如下式(7)所示，设独立地对它们附加了噪声成分nR、nL的波形为IL’、IR’。
【数学式7】
作为波形IL’、IR’的匹配评价，当尝试应用现有的SAD时，成为下式(8)。
【数学式8】
根据SAD评价值的定义可知，本来表示当比较波形一致时，该SAD评价值为零。但是，如上式(8)所示，SAD评价值具有除了波形IL和IR的差分绝对值和以外、还对噪声成分nR和nL的差分绝对值和进行相加而得到的值作为最大值。作为噪声成分nR、nL，假设随机噪声，但是，由于取绝对值，所以，即使相加也不会抵消。这意味着，即使是波形IL和IR一致的状态、即|IL-IR|＝0，在SAD评价值中也残留较多的噪声成分。即，即使是|IL-IR|＝0，评价值也不一定表示最小值，所以，无法判定正确的匹配位置。由此，可知在现有的SAD评价值中非常容易受到噪声的影响。
另一方面，当在由上式(4)定义的ISAD评价值中应用上式(7)时，得到下式(9)的关系。
【数学式9】
在ISAD评价值中，求出对波形IL和IR的差分绝对值和与不取绝对值的噪声成分nR和nL的简单差分和进行相加而得到的值。波形IL和IR的差分绝对值和在两者一致的情况下表示|IL-IR|＝0。由于噪声成分nR和nL的简单差分和不取绝对值，所以，由于随机噪声的相加效果，其成分值减小。在区间Ra和Fa中，噪声成分的差分的符号相反，但是，由于是随机噪声，所以不影响相加效果。根据该相加效果，在ISAD评价值中，能够在大幅降低噪声的状态下对波形IL和IR的匹配位置进行评价。这样，在ISAD评价值中，能够进行不容易受到噪声影响的匹配评价，与现有的SAD相比，可以说是非常优选的评价方法。
图4示出相对于波形IL’、IR’的SN比(SNR)的相位差检测值的统计方差值σ的仿真结果。
在波形IL’、IR’中使用边缘波形。在相位差检测值中使用匹配评价值成为峰值时的相位差。如下所述求出方差值σ。即，使噪声的功率相同，使噪声的出现图案随机不同，生成波形IL’、IR’。使用该波形IL’、IR’尝试进行多次的匹配，求出相位差。然后，求出该相位差与真的波形IL、IR所具有的相位差的真值之间的误差，根据该误差的产生分布求出方差值σ。
作为比较例，示出使用了基于现有的ZNCC(Zero-mean Normalized Cross-Correlation)的相关系数的情况下的方差值σ。针对相同的SN比，基于ISAD评价值的相位差检测值的误差偏差σ明显小于基于ZNCC评价值的相位差检测的误差偏差σ。即，可知ISAD评价值不容易受到噪声影响，相位差的检测分辨率较高。
例如，在低频率图像彼此的相关运算中，当施加噪声等劣化要因时，相关峰值的偏差增大，相位差的检测精度劣化。关于这点，根据本实施方式，在施加了噪声的情况下，与现有的方法相比，相关峰值的偏差σ也较小，能够进行高精度的相位差检测。
另外，通过将改良SAD与后述第2、第3实施方式进行组合，能够高效地进行更高精度的相位差检测。该情况下，摄像装置的结构与第2实施方式或第3实施方式相同。在第3实施方式的情况下，相位差微细检测部70进行本实施方式的相位差检测处理。
根据以上实施方式，相位差检测部30在第1图像IL(左光瞳图像)和第2图像(右光瞳图像)的核线上的规定区间w(规定运算区间)内，求出归一化后的第1图像nIL的像素值和第2图像nIR的像素值的交点，将由该交点对规定区间w进行划分而得到的多个区间中的平均值nI增大的区间设定为增大区间Ra，将平均值nI减小的区间设定为减小区间Fa。
这样，能够根据归一化后的第1图像nIL的像素值和第2图像nIR的像素值的平均值nI来决定该平均值nI的增大区间Ra和减小区间Fa。通过划分增大区间Ra和减小区间Fa进行，能够如上式(4)、(6)、(13)那样划分区间并对减法值进行相加，能够求出改良SAD的评价值。
这里，核线是指用于在进行立体拍摄而得到的2个图像中搜索对应点的直线。即，将与一个图像上的点对应的视线投影到另一个图像上而得到的线是核线，当在另一个图像上搜索与一个图像上的点对应的点时，其搜索范围限定在核线上。当在水平扫描方向上对后述图7这种单镜头的摄像光学***进行光瞳分割的情况下，成为平行立体，所以，核线成为水平扫描线。
并且，根据以上实施方式，相位差检测部30针对减小区间Fa和增大区间Ra的各区间判定归一化后的第1图像nIL的像素值和第2图像nIR的像素值的大小关系(上式(3)、(5))。然后，根据该判定出的大小关系，在各区间内对归一化后的第1图像nIL的像素值和第2图像nIR的像素值进行减法处理，以使得减法处理后的值成为正值，对该减法处理后的值进行加法处理，求出相关系数ISAD(上式(3)～(6))。
这样，如上式(3)、(5)中说明的那样，能够在增大区间Ra和减小区间Fa内决定第1图像nIL的波形和第2图像nIR的波形的大小关系，能够使用该大小关系决定对波形进行相减的顺序，以使得减法值D在各区间内为正。由此，如上式(9)中说明的那样，能够将相关系数ISAD的信号成分|IR-IL|作为绝对值和进行保留，并且，能够将噪声成分(nR-nL)作为单纯和而利用相加效果来减少。
2.2.归一化的变形例
光瞳图像IL、IR的归一化方法不限于上式(1)，例如也可以如下进行归一化。
图15的左图示出左右的光瞳图像IL、IR的一部分轮廓(波形图案)。如上所述，在进行本实施方式的匹配评价法(ISAD)时，需要对不同的光瞳图像IL、IR的电平进行归一化，得到图15的右图那样的波形图案。
当前，考虑对右光瞳图像IR的区间wR进行增益校正。假设光瞳图像IL和IR在区间w内为相似波形、且偏移量δU、δD非常小。该情况下，可知右光瞳图像IR的上峰值即x位置UR的像素值和左光瞳图像IL的上峰值即x位置UL的像素值对应。并且，可知右光瞳图像IR的下峰值即x位置DR的像素值和左光瞳图像IL的下峰值即x位置DL的像素值对应。
因此，首先，求出峰值位置UR、DR、UL、DL。然后，如下式(10)那样，在峰值位置UR和DR的范围内求出平均值Av(R)，在峰值位置UL和DL的范围内求出平均值Av(L)。
【数学式10】
根据平均值Av(R)、Av(L)求出校正增益，通过下式(11)进行区间wR中的归一化。通过该归一化，如图15的右图那样得到相同电平的左右的光瞳图像nIL、nIR的波形图案。
【数学式11】
另外，归一化的计算式不限于上式(11)，也可以如下式(12)那样计算为光瞳图像IL、IR双方的归一化波形。
【数学式12】
无论哪种情况下，在取得匹配的区间彼此(区间wR和wL)内进行增益校正，对光瞳图像IL、IR进行归一化，所以，对相同电平的波形进行比较并得到匹配评价值，是有效的。并且，当在光瞳图像ILIR接近、且偏移量非常小的状态下求出详细相位差时，能够利用相邻峰值处于对应关系这点，所以是合适的。
2.3.ISAD评价值的第2计算方法
ISAD评价值的计算方法不限于上式(4)、(6)，例如也可以使用下式(13)。
【数学式13】
在上式(13)中，相位差检测部30将对归一化后的第1图像nIL(左光瞳图像)的像素值和第2图像nIR(右光瞳图像)的像素值进行减法处理后的值在减小区间Fa内进行加法处理，求出其绝对值。并且，将对归一化后的第1图像nIL的像素值和第2图像nIR的像素值进行减法处理后的值在增大区间Ra内进行加法处理，求出其绝对值。然后，对各区间内的绝对值进行加法处理，求出相关系数ISAD。
在增大区间Ra或减小区间Fa中，光瞳图像nIR和nIL的减法值统一为正或负的值。当在各区间内对减法值进行累积时，得到正或负的值，但是，如果取其绝对值，则得到与上式(4)、(6)相同的ISAD评价值。在该方法中，减法值也可以不为正，所以，不需要颠倒光瞳图像nIR和nIL的相减顺序，维持固定即可。
例如，在左光瞳图像nIL移位到右光瞳图像nIR的右侧的情况下以及左光瞳图像nIL移位到右光瞳图像nIR的左侧的情况下，光瞳图像nIR和nIL的上下关系变化。因此，为了使减法值为正，需要判断光瞳图像nIR和nIL的值在各区间内的上下关系，自适应地改变相减的顺序，但是，如果使用上式(13)，则没有这种必要，所以是合适的。
3.第2实施方式
接着，对第2实施方式进行说明。在该实施方式中，通过图像处理进行采样间距的高密度化，使用该高密度化后的视差图像进行高精度的相位差检测。进而，通过与上述改良SAD进行组合，能够进行更高精度的相位差检测。
在现有的相位差检测中，根据采样像素的密度，决定相位差的检测分辨率，其中，该采样像素负责通过光瞳分割拍摄到的2个视差图像的各图像。即，如图13的左图所示，视差图像的波形图案作为通过采样像素进行采样得到的数据进行处理。在一边使这2个波形图案的相对位置从初始位置起移位一边求出相关系数时，得到2个波形图案的采样位置一致的相对位置处的相关系数。因此，匹配位置的检测分辨率由采样密度决定，初始位置与匹配位置之差即相位差的分辨率也由采样密度决定。
例如，考虑将相位差检测应用于测距的情况。如利用下式(15)后述的那样，距离分辨率Δz由相位差的检测分辨率Δs决定。即，当要实现高分辨率的测距时，需要更高的相位差检测分辨率。但是，近来，摄像元件的像素密度接近光学分辨率的极限，无法预见今后的像素密度的大幅改善。因此，如何能够使用所给出的摄像元件实现其像素密度以上的高密度采样成为重大课题。
图5示出能够解决该课题的本实施方式的摄像装置的结构例。摄像装置包括具有光学低通滤波器11的摄像部10、高密度化处理部20、相位差检测部30。
高密度化处理部20进行如下的处理：使第1图像和第2图像的像素数增加，假想地对第1被摄体像和第2被摄体像的采样间距进行高密度化。然后，相位差检测部30检测该高密度化后的第1图像和第2图像的相位差。
例如，在后述第3实施方式中，对单镜头的摄像光学***进行光瞳分割，使用拜尔排列的摄像元件取得视差图像。此时，利用红色像素对通过第1光瞳的第1被摄体像进行摄像，利用蓝色像素对通过第2光瞳的第2被摄体像进行摄像。然后，生成相对于摄像元件的像素密度(像素间距p)具有N倍的采样密度(像素间距p/N)的第1图像和第2图像。
这样，能够生成与摄像元件的像素密度相比、外观上的采样密度显著成为高密度的视差图像。即，通过使用该视差图像检测相位差，与现有的检测分辨率相比，能够飞跃性地进行高分辨率的相位差检测。例如，在上述例子中，能够以N倍的密度求出相关系数，所以，能够以以往的N倍的分辨率检测相位差。
4.第3实施方式
4.1.立体图像计测的方法
接着，将高密度化处理的详细情况作为第3实施方式进行说明。在该实施方式中，对单镜头的摄像部进行光瞳分割，对2个光瞳分配不同的颜色来取得视差图像，对该视差图像进行高密度化处理。
首先，使用图6对基于光瞳分割方式的立体图像计测的基本原理进行说明。另外，下面，以左右(水平扫描方向)分割光瞳的情况为例进行说明，但是，光瞳的分割方向不限于左右，只要是与光轴正交的任意方向即可。
来自被摄体面的反射光穿过成像透镜12(成像光学***)而在摄像元件面上形成像，通过摄像元件取得为图像信号。此时，设将被摄体的基准位置RP作为零的坐标轴为(x，y，z)，设将与其对应的摄像元件面的对焦位置RP’作为零的坐标轴为(x’，y’)。例如，x’轴对应于摄像元件的水平扫描方向，y’轴对应于摄像元件的垂直扫描方向。z轴对应于成像透镜12的光轴方向、即进深方向。
设从被摄体的基准位置RP到成像透镜12的中心的距离为a0，设从成像透镜12的中心到摄像元件面的距离为b0。该距离a0、b0是根据摄像部的设计而决定的距离。
进而，将成像透镜12的左半部分称为左光瞳，将右半部分称为右光瞳。GPL是左光瞳的重心位置，GPR是右光瞳的重心位置。当被摄体面从基准位置向z方向分离时，在摄像元件面得到的图像成为散焦状态，左光瞳的穿过图像IL和右光瞳的穿过图像IR(以下称为左光瞳图像、右光瞳图像)成为偏移的图像、即具有相位差s的图像。另外，这里为了便于说明，光瞳位置存在于透镜中心，但是，实际上，常识是光瞳位置存在于透镜以外的光圈等位置。
求出上述相位差s与被摄体面的位置z的关系。在摄像元件面得到的左右光瞳图像IL、IR的相位差s与被摄体面的位置z的关系由下式(14)决定。
【数学式14】
这里，M是基准对焦位置处的光学综合倍率。当设成像视野周径为摄像范围的视野周径为时，l是左光瞳的重心GPL与右光瞳的重心GPR之间的距离。另外，严格地讲，上式(14)针对光学***的轴上成立，但是，为了进行原理说明，省略轴外的关系式。
为了求出相位差s，必须能够分离而取得左光瞳图像IL和右光瞳图像IR，但是，其分离方法考虑各种方法。例如，在左光瞳位置设置透过红色的光学滤波器，在右光瞳位置设置透过蓝色的光学滤波器，将由摄像元件得到的红色图像分离为左光瞳图像，将蓝色图像分离为右光瞳图像。或者，如日本特开2009-145401所公开的那样，还存在根据入射到摄像元件面的光线角度来分离取得左右光瞳图像的方法。或者，还存在使用以往的双镜头照相机分别取得与左右光瞳图像相当的视差立体图像的方法。可以使用任意方法，只要根据目的、用途进行选择即可。
为了实现高精度的3D计测，如何提高z分辨率成为重要课题。对上式(14)进行变形，当利用相位差分辨率Δs表示z分辨率Δz时，成为下式(15)。
【数学式15】
根据上式(15)可知，为了提高z方向的测定分辨率，要求通过减小相位差分辨率Δs来减小z分辨率Δz。即，为了提高z分辨率Δz，涉及如何能够较精细地检测左右的光瞳图像的相位差，因此，需要提高基于摄像元件的左右光瞳图像的采样密度。但是，采样密度由摄像元件的像素间距限制，当前的像素间距大致接近极限，很难进一步大幅变细。
4.2.摄像装置
图7示出第3实施方式的摄像装置的结构例。摄像装置包括摄像部10、高密度化处理部20(高密度化计测用显影部)、相位差检测部30、光学特性存储部40、测距运算部80、立体形状输出处理部90。另外，针对与已经上述的结构要素相同的结构要素标注相同标号并适当省略说明。
摄像部10包括光学低通滤波器11、成像透镜12(成像光学***)、光瞳分割滤波器13、摄像元件14、摄像处理部15。
在光瞳分割滤波器13的左光瞳设置有R(红色)滤波器，在右光瞳设置有B(蓝色)滤波器。摄像元件14是拜尔像素排列的RGB彩色图像传感器。图8示出光瞳分割滤波器13和摄像元件14的分光特性。FL是左光瞳的R滤波器的分光特性，FR是右光瞳的B滤波器的分光特性。TB、TG、TR分别是B、G(绿色)、R的像素的分光特性。光瞳的分光特性FL、FR在R像素和B像素的分光特性TB、TR的交叉点(波长λc)处被分割，整体覆盖RGB的频带。分光特性FL、FR均成为透射G的成分(的一部分)的特性。
另外，关于分光特性{TB、TG、TR}，定义为不仅是按照摄像元件14的每个像素设置的滤色器的特性，还定义为对被摄体照射的外光或照明光的分光特性、对像素自身的分光特性进行合成后得到的特性。与分光特性有关的参数全部是针对波长λ的设定值(对应值)，但是，在本说明书中，省略作为从属变量的波长λ的表记。
来自被摄体的反射光通过成像透镜12、光瞳分割滤波器13、光学低通滤波器11而在摄像元件14上形成像。此时，作为R像素的像素值，得到对来自被摄体的反射光的分光特性乘以左光瞳的分光特性FL和R像素的分光特性TR而得到的成分值。并且，作为B像素的像素值，得到对来自被摄体的反射光的分光特性乘以右光瞳的分光特性FR和B像素的分光特性TB而得到的成分值。即，通过拜尔图像中的R图像得到左光瞳图像，通过B图像得到右光瞳图像。
摄像处理部15进行摄像动作的控制、摄像信号的处理。例如，将来自摄像元件14的像素信号转换为数字数据，输出拜尔排列的图像数据(所谓的RAW图像数据)。
高密度化处理部20进行用于以小于采样像素间距的分辨率检测R图像和B图像的相位差的采样密度的高密度化处理。通过该处理，采样密度成为N×N倍。N例如是100～10000。高密度化处理的详细情况在后面叙述。
另外，高密度化处理部20也可以根据光学特性存储部40中存储的分光特性FR、FL、TB、TG、TR进行R图像和B图像的高精度分离。例如，R像素的分光特性TB在左光瞳的分光特性FL的频带中也具有成分。因此，在应该是右光瞳图像的R图像中混入了左光瞳的成分。也可以进行根据分光特性FR、FL、TB、TG、TR减少这种左右光瞳的混合的处理。
相位差检测部30包括相位差粗略检测部50、可检测区域提取部60(可检测特征部位提取部)、相位差微细检测部70。
相位差粗略检测部50进行比相位差微细检测部70进行的相位差检测的密度更粗的相位差检测。例如，针对高密度化处理后的图像和高密度化处理前的拜尔图像，对像素进行间疏来进行相关运算。
可检测区域提取部60根据来自相位差粗略检测部50的相关系数判定是否能够进行相位差检测，根据该判定结果判断是否能够取得z方向的距离信息，将可检测区域的图像输出到相位差微细检测部70。例如，通过判定是否存在相关峰值，判定是否能够进行相位差检测。
在相位差微细检测部70中，针对高密度化处理后的图像进行相位差检测，以小于采样像素间距的分辨率精细地求出相位差。针对通过可检测区域提取部60判断为能够进行相位差检测的区域进行相位差的检测。
测距运算部80根据由相位差微细检测部70检测到的相位差，高分辨率地计算z方向的距离。立体形状输出处理部90根据z方向的距离信息构成立体形状数据，输出该立体形状数据。
4.3.高密度化处理
接着，对采样密度的高密度化处理进行详细说明。
通过彩色摄像元件14对通过光学低通滤波器11后的左右的R、B的光瞳图像进行采样。摄像元件14的R、B像素如图9那样配置。光学低通滤波器11是抗混叠滤波器，设置成在R、B的光瞳图像中不产生折返噪声。各光瞳图像的采样间距为2p，所以采样频率为1/(2p)，在与其对应地决定的奈奎斯特频率1/(4p)以下(包含该值)设定截止频率。
R、B图像的频率特性如图10(A)所示。即，在光学LPF的频率特性例如为1/(4p)的情况下，具有-1/(4p)～+1/(4p)的频带。虽然省略图示，但是，具有1/(2p)的重复周期。另外，虚线表示像素开口的频率特性。对应于开口宽度p，具有-1/p～+1/p的频带。
接着，针对由摄像元件14得到的R、B的光瞳图像的一个一个采样像素，生成如由1个像素以下(包含该值)的外观上的微小像素构成的数据。例如，在生成通过纵横0.1个像素进行采样的像素值的情况下，在纵横方向上分别对1个像素进行N＝10等分，假设1个像素由N×N＝100个微小像素构成。微小像素的像素值应用与原来的像素的值相等的值。在全部R像素和B像素中进行该上采样处理。
R、B图像的频率特性如图10(B)所示。由于仅对像素进行分割并复制数据，所以，频率特性与上采样前相同。即，例如具有-1/(4p)～+1/(4p)的频带，具有1/(2p)的重复周期。
接着，通过二维低通滤波器对由微小像素构成的采样数据进行滤波，包含未检测部分的像素在内再次构成摄像图像整面的微小像素。即，针对摄像元件14的像素间距p生成像素间距p/N的图像数据，得到外观上N倍的采样密度。二维低通滤波器的截止频率与光学低通滤波器同样设定为由R或B的采样间距2p决定的奈奎斯特频率1/(4p)以下(包含该值)。二维低通滤波器例如是高斯滤波器。
二维低通滤波器的频率特性例如如图10(C)所示。二维低通滤波器后的R、B图像的频率特性如图10(D)所示。对应于像素间距成为p/N，重复频率成为N/p。频带对应于对光学低通滤波器的频率特性乘以二维低通滤波器的频率特性而得到的频带。
如图11的左图所示，高密度化处理前的左右的R、B的光瞳图像IL、IR是以2p间距进行采样的图像。通过上述高密度化处理，如图11的右图所示，左右的R、B的光瞳图像IL、IR能够得到以大幅超过单纯利用摄像元件14采样的密度的密度(间距p/N)进行采样的图像数据。
图12(A)～图12(C)示出基于高密度化处理的相位差检测的仿真结果。横轴设相关运算中的初始位置为“0”，利用像素数来表示从该初始位置起的移位量。
图12(A)是求出相位差的波形。当设摄像元件的像素间距为p时，波形I(x)和I(x-δ)是具有相位差δ＝0.2p的波形，是以像素间距p进行采样的波形。
在图12(B)中，单纯以0.1p对采样波形I(x)、I(x-δ)进行上采样(将1个像素分割成0.1p，复制与该像素相同的值)，按照每0.1p进行移位并求出相互相关系数。本来必须在δ＝0.2p处检测到相关峰值，但是，由于采样波形仅具有1个像素单位的值，所以，在δ＝0处示出相关峰值，无法进行1个像素以下(包含该值)的分辨率的检测。
在图12(C)中，针对采样波形I(x)、I(x-δ)进行本实施方式的高密度化处理，求出相互相关系数。即，除了上述上采样以外，在施加截止频率1/(4p)以下(包含该值)的低通滤波器后，按照每0.1p进行移位并求出相互相关系数。可知在δ＝0.2p处明确示出相关峰值，得到0.1p单位的检测分辨率。
如上所述，通过本实施方式的上采样处理和二维低通滤波处理，能够实现摄像元件的像素间距以下的相位差检测分辨率。
并且，在通常的相位差检测中，由于采样位置不同，左右的R、B的光瞳图像采样数据的相似性劣化，但是，根据本实施方式，能够解决该课题。使用图13对这点进行说明。
如图13的左图所示，左右的R、B的光瞳图像IL、IR是大致相同的波形，具有相位差δ。如图13的右图所示，假设使光瞳图像IL、IR的波形一致。此时，光瞳图像IL、IR匹配，本来期望这样得到波形的相似性最高的位置处的相关系数。
但是，由于视差δ是任意的，所以，针对大致相同波形的光瞳图像IL、IR，R、B的像素的采样位置一般不相同。因此，例如，即使左右的R、B的光瞳图像IL、IR在光学上相同，所得到的采样数据也不同，如果利用采样数据进行观察，则相似性丧失。这意味着，在根据相关系数求出光瞳图像IL、IR的匹配位置时，没有求出准确的位置。
例如，设为使光瞳图像IL、IR按照1个采样像素1个采样像素的方式(即2p间距)偏移并求出相关系数。在光瞳图像IL、IR的像素(即实线箭头和虚线箭头)一致的各位置得到相关系数。即，在采样位置不同的光瞳图像IL、IR中，没有得到波形一致时的相关系数，产生相位差的检测误差。
关于这点，根据本实施方式，如图11的右图那样得到高密度地对光瞳图像IL、IR进行采样的数据，所以，能够确保采样数据的相似性，能够提高相位差的检测精度。并且，通过施加二维低通滤波器，抑制了R、B的光瞳图像IL、IR中重叠的噪声成分，得到抑制了基于噪声的匹配位置的检测误差偏差的效果。
图14示出对采样数据的相似性进行仿真的结果。上段的图示出采样位置。采样位置B2、B4、B6、B8是从采样位置A起各移位0.2p的位置。例如，在相位差为0.6p的情况下，左光瞳图像在采样位置A处进行采样，右光瞳图像在采样位置B6处进行采样。
中段的图示出采样数据。采样数据是在采样位置A、B2、B4、B6、B8处对传感器输入波形进行采样的数据。传感器输入波形是传感器面上成像的被摄体像的波形。在该时点，由于采样位置不同，所以，采样数据间的相似性降低。
在下段的图中，对各采样数据实施本实施方式的高密度化处理。波形数据As、Bs2、Bs4、Bs6、Bs8对应于采样位置A、B2、B4、B6、B8。波形数据As、Bs2、Bs4、Bs6、Bs8一致而无法识别，可知采样数据间的相似性较高。通过使用该相似性较高的采样数据，能够进行高精度的相位差检测。
根据以上实施方式，摄像部10具有在对第1被摄体像进行摄像的像素的间距和对第2被摄体像进行摄像的像素的间距为P的情况下、截止频率为1/(2P)以下(包含该值)的光学低通滤波器11。而且，作为高密度化处理，高密度化处理部20进行针对第1图像IL(左光瞳图像、R图像)和第2图像IR(右光瞳图像、B图像)的上采样处理、以及针对该上采样处理后的第1图像IL和第2图像IR的二维低通滤波处理。
如图9所示，在第3实施方式中，第1图像IL和第2图像IR的采样间距分别为P＝2p。然后，分别对第1图像IL和第2图像IR进行上采样处理以使它们成为N×N倍的像素数，对该图像进行二维低通滤波处理。
如上所述，能够得到相对于摄像元件的像素密度(像素间距p)而使外观上的采样密度(像素间距p/N)成为N倍的视差图像。如图12等中说明的那样，通过使用该视差图像检测相位差，与现有的检测分辨率相比，能够飞跃性地进行高分辨率的相位差检测。
并且，通过与上述改良SAD进行组合，能够进行更高精度的相位差检测。即，在高密度化处理中，通过二维LPF截止高频成分，所以成为低频成分的波形彼此的相位差检测，可能受到噪声的影响。关于这点，能够通过改良SAD来减少噪声的影响，所以，能够最大限度地活用基于高密度化处理的检测分辨率。
另外，在将本实施方式应用于双镜头的摄像部的情况下，例如，在双镜头的摄像光学***中分别设置摄像元件。该情况下，视差图像的采样间距P与摄像元件的像素间距p相同，成为P＝p。
根据以上的实施方式，摄像部10具有成像光学***(成像透镜12)、将成像光学***的光瞳分割成使第1被摄体像通过的第1光瞳(左光瞳)和使第2被摄体像通过的第2光瞳(右光瞳)的光瞳分割滤波器13、以及对由成像光学***成像的第1被摄体像和第2被摄体像进行摄像的摄像元件14。
这样，能够利用单镜头的摄像部10对视差图像进行摄像。而且，通过对该视差图像实施高密度化处理，即使是单镜头，也能够进行高分辨率的测距。即，如上式(15)所示，为了提高测距的分辨率Δz，需要增大光瞳的重心间距离l，但是，与双镜头相比，单镜头很难确保光瞳的重心间距离l。关于这点，在本实施方式中，由于能够通过高密度化处理来提高相位差的检测分辨率Δs，所以，根据上式(15)，在光瞳的重心间距离l较小的情况下，也能够实现高分辨率的测距。例如，在内窥镜(工业用、医疗用等)中需要使镜体成为细径，单镜头容易实现细径，并且，即使细径而使光瞳的重心间距离l较小，也能够通过高密度化处理进行高精度的测距。
并且，在本实施方式中，摄像元件14是原色拜尔排列的摄像元件。光瞳分割滤波器13具有透过与红色对应的波段的滤波器(图8的分光特性FL)作为第1光瞳，具有透过与蓝色对应的波段的滤波器(图8的分光特性FR)作为第2光瞳。而且，高密度化处理部20将由摄像元件14进行摄像而得到的拜尔排列的图像中的红色图像作为第1图像(左光瞳图像)，将蓝色图像作为第2图像(右光瞳图像)，进行高密度化处理。
这样，使用一般所使用的原色拜尔排列的彩色图像传感器，就能够实现高分辨率的相位差检测。***光瞳分割滤波器13，仅取出R、B图像就能够构成视差图像，所以，不用对现有的摄像部施加较大变更，就能够实现高分辨率的相位差检测。并且，仅在光学***中增加光瞳分割滤波器13，所以，能够紧凑地构成摄像部10，能够实现例如上述的细径的内窥镜等。
并且，在本实施方式中，在设摄像元件14的像素间距为p的情况下，对第1被摄体像进行摄像的红色的像素的间距和对第2被摄体像进行摄像的蓝色的像素的间距为P＝2p。而且，光学低通滤波器11的截止频率为1/(2P)＝1/(4p)以下(包含该值)。
在未进行光瞳分割的通常的拍摄中，与摄像元件的像素间距p对应的奈奎斯特频率为1/(2p)，将光学低通滤波器11的截止频率设定为1/(2p)以下(包含该值)。另一方面，在本实施方式中，由于分别对视差图像进行采样，所以，在与该采样间距2p对应的奈奎斯特频率1/(4p)以下(包含该值)设定截止频率。由此，能够抑制视差图像中的折返噪声。
并且，在本实施方式中，作为上采样处理，高密度化处理部20进行如下处理：将第1图像和第2图像的像素分割成N×N像素，在该N×N像素中复制原来的像素的像素值。
并且，在本实施方式中，二维低通滤波处理的截止频率为1/(2P)以下(包含该值)。
这样，通过将视差图像的像素分割成N×N像素并复制原来的像素的像素值，首先，能够在数据上准备微细的像素。然后，通过对该数据进行截止频率1/(2P)以下(包含该值)的二维低通滤波处理，能够生成好似以微细的像素进行采样的视差图像。视差图像的频带由光学低通滤波器11限制为1/(2P)以下(包含该值)，所以，与其对应地将二维低通滤波器的截止频率设定为1/(2P)以下(包含该值)，由此，能够保留视差图像的成分并减少该频带外的噪声。
另外，在以上实施方式中，以使用原色拜尔排列的彩色摄像元件的情况为例进行说明，但是，本实施方式不限于此，例如也可以使用补色的彩色摄像元件。该情况下，根据由补色的彩色摄像元件进行摄像而得到的YCrCb图像生成R图像、B图像并用作视差图像即可。
以上说明了应用本发明的实施方式及其变形例，但是，本发明不限于各实施方式及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过对上述各实施方式和变形例所公开的多个结构要素进行适当组合，能够形成各种发明。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同的用语。
标号说明
10：摄像部；11：光学低通滤波器；12：成像透镜；13：光瞳分割滤波器；14：摄像元件；15：摄像处理部；20：高密度化处理部；30：相位差检测部；40：光学特性存储部；50：相位差粗略检测部；60：可检测区域提取部；70：相位差微细检测部；80：测距运算部；90：立体形状输出处理部；FL、FR：分光特性；Fa：减小区间；IL：左光瞳图像；IR：右光瞳图像；P：采样间距；Ra：增大区间；TB、TG、TR：分光特性；nI：合成波形；nIL：归一化的左光瞳图像；nIR：归一化的右光瞳图像；p：像素间距；s：相位差；w：规定运算区间；x、y、z、x’、y’：坐标；Δs：相位差分辨率；Δz：距离分辨率；δ：相位差；σ：方差值。

Claims (11)

1.一种摄像装置，其特征在于，该摄像装置具有：
摄像部，其拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像；以及
相位差检测部，其求出拍摄所述第1被摄体像得到的第1图像与拍摄所述第2被摄体像得到的第2图像之间的相关系数，根据所述相关系数检测所述第1图像与所述第2图像之间的相位差，
所述相位差检测部对所述第1图像的像素值和所述第2图像的像素值进行归一化，求出所述归一化后的所述第1图像的像素值和所述第2图像的像素值的平均值，根据将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的减小区间内进行加法处理而得到的值、以及将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的增大区间内进行加法处理而得到的值，求出所述相关系数。
2.根据权利要求1所述的摄像装置，其特征在于，
所述相位差检测部在所述第1图像和所述第2图像的核线上的规定区间内，求出所述归一化后的所述第1图像的像素值和所述第2图像的像素值的交点，将由所述交点对所述规定区间进行划分而得到的多个区间中的所述平均值增大的区间设定为所述增大区间，将所述平均值减小的区间设定为所述减小区间。
3.根据权利要求1或2所述的摄像装置，其特征在于，
所述相位差检测部针对所述减小区间和所述增大区间的各区间判定所述归一化后的所述第1图像的像素值和所述第2图像的像素值的大小关系，根据该判定出的所述大小关系，在所述各区间内对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理，使得所述减法处理后的值成为正值，对该减法处理后的值进行加法处理，求出所述相关系数。
4.根据权利要求1或2所述的摄像装置，其特征在于，
所述相位差检测部对如下的值进行加法处理来求出所述相关系数：将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述减小区间内进行加法处理而得到的值的绝对值；以及将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述增大区间内进行加法处理而得到的值的绝对值。
5.根据权利要求1或2所述的摄像装置，其特征在于，
所述摄像装置具有高密度化处理部，该高密度化处理部进行如下的高密度化处理：使所述第1图像和所述第2图像的像素数增加，假想地对所述第1被摄体像和所述第2被摄体像的采样间距进行高密度化，
所述相位差检测部检测所述高密度化后的所述第1图像和所述第2图像之间的相位差。
6.根据权利要求5所述的摄像装置，其特征在于，
所述摄像部具有光学低通滤波器，在拍摄所述第1被摄体像的像素的间距和拍摄所述第2被摄体像的像素的间距为P的情况下，该光学低通滤波器的截止频率为1/(2P)以下，
作为所述高密度化处理，所述高密度化处理部进行针对所述第1图像和所述第2图像的上采样处理、以及针对所述上采样处理后的所述第1图像和所述第2图像的二维低通滤波处理。
7.根据权利要求5所述的摄像装置，其特征在于，
所述摄像部具有：
成像光学***；
光瞳分割滤波器，其将所述成像光学***的光瞳分割成使所述第1被摄体像通过的第1光瞳和使所述第2被摄体像通过的第2光瞳；以及
摄像元件，其拍摄由所述成像光学***形成的所述第1被摄体像和所述第2被摄体像。
8.根据权利要求7所述的摄像装置，其特征在于，
所述摄像元件是原色拜尔排列的摄像元件，
所述光瞳分割滤波器具有透过与红色对应的波段的滤波器作为所述第1光瞳，具有透过与蓝色对应的波段的滤波器作为所述第2光瞳，
所述高密度化处理部将通过所述摄像元件拍摄到的拜尔排列的图像中的红色图像作为所述第1图像、蓝色图像作为所述第2图像，进行所述高密度化处理。
9.根据权利要求6所述的摄像装置，其特征在于，
作为所述上采样处理，所述高密度化处理部进行如下处理：将所述第1图像和所述第2图像的像素分割成N×N像素，将原来的像素的像素值复制到所述N×N像素中。
10.根据权利要求6所述的摄像装置，其特征在于，
所述二维低通滤波处理的截止频率为1/(2P)以下。
11.一种相位差检测方法，其特征在于，该相位差检测方法具有以下步骤：
拍摄针对同一被摄体具有视差的第1被摄体像和第2被摄体像；
针对拍摄所述第1被摄体像得到的第1图像的像素值和拍摄所述第2被摄体像得到的第2图像的像素值进行归一化；
求出所述归一化后的所述第1图像的像素值和所述第2图像的像素值的平均值；
根据将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的减小区间内进行加法处理而得到的值、以及将对所述归一化后的所述第1图像的像素值和所述第2图像的像素值进行减法处理后的值在所述平均值的增大区间内进行加法处理而得到的值，求出相关系数；以及
根据所述相关系数检测所述第1图像与所述第2图像之间的相位差。
CN201480057925.8A 2013-10-23 2014-08-01 摄像装置和相位差检测方法 Expired - Fee Related CN105683707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-220023 2013-10-23
JP2013220023A JP6017399B2 (ja) 2013-10-23 2013-10-23 撮像装置及び位相差検出方法
PCT/JP2014/070303 WO2015059970A1 (ja) 2013-10-23 2014-08-01 撮像装置及び位相差検出方法

Publications (2)

Publication Number Publication Date
CN105683707A CN105683707A (zh) 2016-06-15
CN105683707B true CN105683707B (zh) 2019-03-01

Family

ID=52992581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480057925.8A Expired - Fee Related CN105683707B (zh) 2013-10-23 2014-08-01 摄像装置和相位差检测方法

Country Status (5)

Country Link
US (1) US20160224866A1 (zh)
EP (1) EP3062065A4 (zh)
JP (1) JP6017399B2 (zh)
CN (1) CN105683707B (zh)
WO (1) WO2015059970A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105092969B (zh) * 2015-07-23 2018-04-06 中国人民解放军后勤工程学院 一种相位差估计的相频匹配方法
WO2017057072A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP6881911B2 (ja) * 2016-08-01 2021-06-02 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN108076266A (zh) * 2016-11-11 2018-05-25 株式会社东芝 处理装置以及摄像装置
JP6873729B2 (ja) * 2017-02-14 2021-05-19 キヤノン株式会社 焦点検出装置、および撮像装置
JP7187875B2 (ja) * 2018-08-06 2022-12-13 株式会社リコー 情報処理装置、システム、移動体、情報処理方法およびプログラム
US11416461B1 (en) 2019-07-05 2022-08-16 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on binomial sketch data
US11561942B1 (en) 2019-07-05 2023-01-24 The Nielsen Company (Us), Llc Methods and apparatus to estimate audience sizes of media using deduplication based on vector of counts sketch data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215343B1 (en) * 1998-08-04 2001-04-10 U.S. Philips Corporation Delay locked loop
US6933978B1 (en) * 1999-10-28 2005-08-23 Canon Kabushiki Kaisha Focus detecting device with photoelectric conversion portion having microlens and with light blocking portion having first and second openings
CN1964668A (zh) * 2004-06-08 2007-05-16 佳能株式会社 使用两个图像的图像处理设备和方法
JP2008209275A (ja) * 2007-02-27 2008-09-11 Konica Minolta Holdings Inc 相関演算装置、相関演算方法及びプログラム
CN102906782A (zh) * 2010-06-30 2013-01-30 松下电器产业株式会社 立体图像处理装置及立体图像处理方法
CN103189715A (zh) * 2010-11-05 2013-07-03 松下电器产业株式会社 立体图像处理装置及立体图像处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817979B2 (ja) 1999-07-13 2006-09-06 株式会社日立製作所 テンプレートマッチング方法
JP4908668B2 (ja) * 2000-04-19 2012-04-04 キヤノン株式会社 焦点検出装置
JP2002271818A (ja) * 2001-03-06 2002-09-20 Olympus Optical Co Ltd 視差量測定装置
JP2006024141A (ja) * 2004-07-09 2006-01-26 Sony Corp 画像処理装置及び方法、プログラム
JP2009033582A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP4973478B2 (ja) 2007-12-11 2012-07-11 ソニー株式会社 撮像素子および撮像装置
JP2013044806A (ja) * 2011-08-22 2013-03-04 Olympus Corp 撮像装置
JP6000738B2 (ja) * 2012-08-08 2016-10-05 オリンパス株式会社 撮像装置及び撮像装置の合焦方向判定方法
JP2014038151A (ja) * 2012-08-13 2014-02-27 Olympus Corp 撮像装置及び位相差検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215343B1 (en) * 1998-08-04 2001-04-10 U.S. Philips Corporation Delay locked loop
US6933978B1 (en) * 1999-10-28 2005-08-23 Canon Kabushiki Kaisha Focus detecting device with photoelectric conversion portion having microlens and with light blocking portion having first and second openings
CN1964668A (zh) * 2004-06-08 2007-05-16 佳能株式会社 使用两个图像的图像处理设备和方法
JP2008209275A (ja) * 2007-02-27 2008-09-11 Konica Minolta Holdings Inc 相関演算装置、相関演算方法及びプログラム
CN102906782A (zh) * 2010-06-30 2013-01-30 松下电器产业株式会社 立体图像处理装置及立体图像处理方法
CN103189715A (zh) * 2010-11-05 2013-07-03 松下电器产业株式会社 立体图像处理装置及立体图像处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Algorithms for Subpixel Registraton》;QI TIAN AND MICHAEL N.HUHNS;《COMPUTER VISION,GRAPHICS,AND IMAGE PROCESSING》;19861231;第35卷(第2期);第221-222页2.1 Signal Registration

Also Published As

Publication number Publication date
EP3062065A4 (en) 2017-08-23
US20160224866A1 (en) 2016-08-04
EP3062065A1 (en) 2016-08-31
CN105683707A (zh) 2016-06-15
JP6017399B2 (ja) 2016-11-02
WO2015059970A1 (ja) 2015-04-30
JP2015082033A (ja) 2015-04-27

Similar Documents

Publication Publication Date Title
CN105683707B (zh) 摄像装置和相位差检测方法
CN106595528B (zh) 一种基于数字散斑的远心显微双目立体视觉测量方法
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN107077743A (zh) 用于阵列相机的动态校准的***和方法
GB2569656A (en) Method and system for generating a three-dimensional image of an object
CN109997170A (zh) 用于从视图中获得距离信息的设备和方法
CN109155070A (zh) 使用平面镜校准立体成像***的方法和计算机程序产品
CN104424640A (zh) 对图像进行虚化处理的方法和装置
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
CN103299343A (zh) 距离图像像素匹配方法
CN106170086B (zh) 绘制三维图像的方法及其装置、***
US20160301855A1 (en) Imaging device and phase difference detection method
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN107209061B (zh) 用于确定场景相关电磁场的复振幅的方法
Paramonov et al. Depth camera based on color-coded aperture
CN106471804A (zh) 用于图像捕捉和同时深度提取的方法及装置
KR20110071854A (ko) 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
JP6285686B2 (ja) 視差画像生成装置
CN105335959B (zh) 成像装置快速对焦方法及其设备
Wu et al. Freecam3d: Snapshot structured light 3d with freely-moving cameras
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
Tehrani et al. A practical method for fully automatic intrinsic camera calibration using directionally encoded light
Raj et al. A comparison of FFT and DCT based Phase Correlation function for focused and defocused images
KR101501591B1 (ko) 로컬 워핑과 텍스쳐 합성을 이용한 스테레오 영상의 초점 보정 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190301

Termination date: 20200801