CN104364608B - 距离测定装置以及距离测定方法 - Google Patents
距离测定装置以及距离测定方法 Download PDFInfo
- Publication number
- CN104364608B CN104364608B CN201480001527.4A CN201480001527A CN104364608B CN 104364608 B CN104364608 B CN 104364608B CN 201480001527 A CN201480001527 A CN 201480001527A CN 104364608 B CN104364608 B CN 104364608B
- Authority
- CN
- China
- Prior art keywords
- distance
- focusing position
- image
- photographing element
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 138
- 238000012937 correction Methods 0.000 claims abstract description 93
- 238000005259 measurement Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 181
- 238000012545 processing Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 240000002853 Nelumbo nucifera Species 0.000 claims description 3
- 235000006508 Nelumbo nucifera Nutrition 0.000 claims description 3
- 235000006510 Nelumbo pentapetala Nutrition 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 238000009790 rate-determining step (RDS) Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 15
- 230000006399 behavior Effects 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000005039 memory span Effects 0.000 description 3
- 238000013041 optical simulation Methods 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009021 linear effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
距离测定装置(10)具备:摄像元件(14),包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;光学***(11),用于使被摄体的像成像在摄像元件(14),并且光学***(11)的对焦位置能够被控制;摄像控制部(12A),将光学***(11)控制成使对焦位置等速移动,并且,通过在对焦位置等速移动的过程中使摄像元件依次拍摄被摄体,来获得多个模糊图像;距离测量部(16),利用与被摄体距离相对应的点扩散函数、以及多个模糊图像,测量从光学***(11)中的基准位置到被摄体的距离;以及校正部(17A),按照在获得多个模糊图像时以行或列进行曝光的期间中的对焦位置的移动范围,在进行距离的测量之前或之后,按照行或列进行针对距离的校正处理。
Description
技术领域
本发明涉及距离测定装置以及距离测定方法。
背景技术
DFD(Depth from Defocus:离焦深度)是从对焦位置不同的多张图像中,根据模糊信息来测量距离的方法。含有模糊的拍摄图像为,通过对经由透镜来表示的没有模糊状态的全焦点图像,进行作为被摄体距离的函数的点扩散函数的卷积而得到的图像。由于点扩散函数是将被摄体距离作为变数的函数,因此,在DFD中通过从模糊图像检测出模糊,从而能够求出被摄体距离。
此时,全焦点图像与被摄体距离为未知数。针对一张模糊图像,则有一个与模糊图像、全焦点图像、以及、被摄体距离有关的算式成立。通过重新拍摄对焦位置不同的模糊图像,从而得到新的算式,并通过解这些得到的多个算式,从而求出被摄体距离。算式的获得方法或解算式的方法等由专利文献1以及非专利文献1等公开。
(现有技术文献)
(专利文献)
专利文献1专利第2963990号公报
专利文献2国际公开第2011/158508号
专利文献3国际公开第2012/140899号
专利文献4专利第4862312号公報
专利文献5日本特开2007-10908号公报
(非专利文献)
非专利文献1C.Zhou,S.Lin and S.Nayar,“Coded Aperture Pairs for Depthfrom Defocus”In International Conference on Computer Vision,2009
发明内容
发明要解决的问题
在以往的DFD中,在拍摄多张图像时,比进行通常摄影所需要的时间多。并且,由于在短时间内要多次往返对焦位置,因此会给对对焦位置进行控制的执行机构等设备带来负担,而且还会有增大耗电量的问题。
因此,本发明提供一种距离测定装置,通过简单的对焦位置的控制,从而在短时间内求出被摄体的距离。
用于解决问题的手段
本发明的一个形态所涉及的距离测定装置具备:摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;光学***,用于使所述被摄体的像成像在所述摄像元件,并且所述光学***的对焦位置能够被控制;摄像控制部,将所述光学***控制成使所述对焦位置等速移动,并且,通过在所述对焦位置等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;距离测量部,利用与被摄体距离相对应的点扩散函数、以及所述多个模糊图像,测量从所述光学***中的基准位置到所述被摄体的距离;以及校正部,按照在获得所述多个模糊图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,在所述距离测量部对所述距离进行测量之前或之后,按照行或列进行针对所述距离的校正处理。
并且,这些概括性的或具体的形态可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM的记录介质来实现,也可以通过对***、方法、集成电路、计算机程序以及记录介质进行任意的组合来实现。
发明效果
本发明的距离测定装置能够通过简单的对焦位置的控制,在短时间内求出被摄体的距离。
附图说明
图1是具备滚动式快门的摄像元件的拍摄工作的说明图。
图2是用于说明由具备滚动式快门的摄像元件拍摄图像的情况下的拍摄工作以及对焦位置的说明图。
图3是示出实施方式1中的距离测定装置的构成的方框图。
图4是用于说明采用实施方式1中的距离测定装置来拍摄图像的情况下的拍摄工作、对焦位置、以及对焦范围的说明图。
图5是用于说明关联技术中的拍摄工作、对焦位置、以及对焦范围的说明图。
图6是用于说明实施方式1中的、由摄像元件累计的点扩散函数的几何光学的直径的第一个说明图。
图7是用于说明实施方式1中的、由摄像元件累计的点扩散函数的几何光学的的直径的第二个说明图。
图8是示出实施方式2中的距离测定装置的构成的方框图。
图9是用于说明利用实施方式2中的距离测定装置,被测量距离的区域的说明图。
图10是用于说明利用实施方式2中的距离测定装置来拍摄图像的情况下的拍摄工作、对焦位置、以及对焦范围的说明图。
具体实施方式
(成为本发明的基础的见解)
本发明人员针对在“背景技术”一栏中有关DFD的记载发现了以下的问题。
针对以非接触的方式来测量某三维场景的进深,即测量到各个被摄体的距离而提出了各种方法。这些方法大致分为能动方法以及被动方法。在能动方法中,照射红外线、超声波或激光等,根据直到反射波返回为止的时间、或反射波的角度等来算出距离。在被动方法中,根据被摄体的像来算出距离。尤其是在摄像机中,广泛采用了无需照射红外线等装置的被动方法。
在被动方法中也提出众多方法,其中提出了被称作Depth from Defocus(DFD:离焦深度)的方法,即根据因被摄体距离而大小或形状发生变化的模糊信息,来测量距离。在该方法中的特征是,不需要多个摄像机、以及从少数的图像中就能够进行距离测量。
以下针对DFD的原理进行简单说明。
DFD(Depth from Defocus)是从对焦位置不同的多张图像中,根据模糊信息来测量距离的方法。含有模糊的拍摄图像为,通过对没有因透镜而造成模糊状态的全焦点图像,进行作为被摄体距离的函数的点扩散函数的卷积而得到的图像。由于点扩散函数是将被摄体距离作为变数的函数,因此,在DFD中通过从模糊图像检测出模糊,从而能够求出被摄体距离。
此时,全焦点图像与被摄体距离为未知数。针对一张模糊图像,则有一个与模糊图像、全焦点图像、以及、被摄体距离有关的算式成立。通过重新拍摄对焦位置不同的模糊图像,从而得到新的算式,并通过解这些得到的多个算式,从而求出被摄体距离。算式的获得方法或解算式的方法等由专利文献1以及非专利文献1等公开。
并且,在专利文献2以及专利文献3公开的方法是,从曝光中以每个图像中的不同的范围来移动对焦位置而拍摄的多张图像,求出到被摄体的距离(以下记作SweepDFD)。
通过在曝光中移动对焦位置,从而连续的多个对焦位置的点扩散函数以及图像被累计,并被求出平均。在SweepDFD中,从被累计并被平均化后的点扩散函数和图像中求出距离。
另外,在拍摄图像的摄像元件中存在CMOS(Complementary Metal-OxideSemiconductor)型摄像元件、CCD(Charge Coupled Devices)型摄像元件,CMOS型摄像元件在能够高速拍摄以及低耗电量之处等,比CCD型摄像元件具有优势。
目前,在CMOS型摄像元件中大多采用的电子快门方式为滚动式快门。在滚动式快门方式中,在被排列成二维(矩阵状)的像素排列中,按照行或者列依次进行电荷的复位、曝光、以及电荷的读出。另外,以下将对按行来进行上述的电荷的复位等情况进行说明,按列进行的情况也是同样。
图1是具备滚动式快门的摄像元件的拍摄工作的说明图。图1示出了,曝光时间不同的滚动式快门中的、电荷的复位、曝光以及电荷的读出在每个行的定时的一个例子。
在图1中,横轴表示时间,纵轴表示摄像元件在由A行的像素行来构成的情况下的行编号。并且,电荷的复位定时由虚线来表示,电荷的读出定时由实线表示。该摄像元件从摄像元件的开头的行开始依次进行电荷的复位、曝光、以及电荷的读出,并通过反复进行这些工作,从而得到图像全体的信号。并且,在一张图像中,将从摄像元件的第1行到第A行为止的读出所花费的时间定义为“1VD”。
如上述这样,在DFD中由于需要以不同的范围内的对焦位置来拍摄的多张图像,因此就需要在拍摄多张图像中对对焦位置进行移动。因此,需要在第n张的图像的曝光时间、与第(n+1)张的图像的曝光时间之间,另外设置使对焦位置移动的期间。
而且,在滚动式快门中,在第n张的图像的最初的行的曝光结束后,并不是马上开始第(n+1)张的图像的最初的行的曝光。在滚动式快门中,在第n张的图像的最后的行的曝光结束后,由于是在移动了对焦位置之后才开始第(n+1)张的图像的最初的行的曝光的,因此,拍摄要花费很多时间。
图2是用于说明由具备滚动式快门的摄像元件来对图像进行拍摄的关联技术中的拍摄工作、以及对焦位置的说明图。
具体而言,图2的(a)示出了,在利用具备滚动式快门的摄像元件来拍摄2张图像的情况下的摄像元件的拍摄工作。图2的(b)示出了,在利用具备滚动式快门的摄像元件来拍摄用于DFD的2张图像的情况下的关联技术中的摄像元件的拍摄工作。图2的(c)示出了上述的情况下的关联技术中的对焦位置的移动的样子。
图2的(a)示出了在利用具备滚动式快门的摄像元件的情况下的通常摄影时的电荷的复位、曝光以及电荷的读出的各个定时。并且,图2的(b)以及(c)示出了利用了具备滚动式快门的摄像元件的DFD所用的图像的摄影时的各个定时以及对焦位置。并且,在图2中对于对焦位置以像面侧的位置来表示。
摄像元件在进行通常摄影时,如图2的(a)所示,能够以3VD来拍摄2张图像。另外,摄像元件在DFD的情况下,如图2的(b)以及(c)所示,要想拍摄2张图像至少需要5VD。摄像元件在DFD的情况下,首先,在对焦位置为对焦位置1时,使第1张的图像的第1行至第A行为止的曝光结束。之后,摄像元件将对焦位置移动到对焦位置2的位置,开始第2张的摄影。为此,摄像元件为了拍摄上述的两张图像,在拍摄第1张以及第2张的图像时分别需要2VD,并且,在进行对焦位置的移动时至少需要1VD。即,摄像元件要想拍摄上述的2张图像,合计需要5VD。
并且,在SweepDFD的情况下,若利用具备滚动式快门的摄像元件,则曝光中对焦位置会移动,因此,对焦位置的范围在图像的每行中不同。这样,由于点扩散函数、图像的累计、以及平均化后的对焦位置的范围按图像的行而不同,从而不能求出正确的到被摄体的距离。
在专利文献3中,对曝光中的对焦位置的移动下了工夫,以按照图像的每个行来使累计、平均化后的点扩散函数相同的方式来进行拍摄。
这样,在具备滚动式快门的摄像元件中,在拍摄时需要移动对焦位置的情况下,由于在每个行中对焦位置及其范围会不同,因此在DFD存在各种各样的问题。
专利文献4以及专利文献5公开的方法是,在具备滚动式快门的摄像元件中,在需要在第n张与第n+1张的图像拍摄之间使对焦位置发生变化的情况下,高速且高效地对图像进行拍摄,并算出所需的信息。
具体而言,专利文献4以及专利文献5公开了有关AF(自动聚焦)的技术。本技术的最基本之处为如下的AF方式,即:在图像中的AF的对象区域中,算出多张表示对焦的程度的评价值之后,搜索评价值的峰值位置,从评价值的峰值位置来求出对焦在作为对象的被摄体的对焦位置。并且,在本技术中,在曝光过程中对对焦位置进行移动,并计算评价值,并且,对于成为对象的被摄体的对焦位置的偏移将在以后进行校正。在此,作为对象的被摄体的对焦位置的偏移是指,在以滚动式快门来按行进行曝光时的对焦范围出现不同,因该对焦范围的不同而产生的每行的对焦位置的偏移。
在专利文献3的方法中所出现的问题是,在进行多张图像的摄影时,需要花费比图2的(a)的通常摄影时所需的时间更多的时间。并且,由于需要在短时间内多次往返对焦位置,因此对控制对焦位置的执行机构等设备产生负担,而且还会增加耗电量。
在专利文献4以及专利文献5中,在AF的对象区域中,由于是最低要从3张计算出的评价值的图表的峰值位置来求出对焦位置,因此,在没有出现峰值的情况下,则需要拍摄更多的图像。并且,即使在特定的被摄体出现峰值,也不能保证在不同的距离中存在的被摄体上出现峰值。
因此,本发明提供一种距离测定装置,其能够通过简单的对焦位置的控制,从而在短时间内求出被摄体的距离。
为了解决上述的问题,本发明的一个形态所涉及的距离测定装置具备:摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;光学***,用于使所述被摄体的像成像在所述摄像元件,并且所述光学***的对焦位置能够被控制;摄像控制部,将所述光学***控制成使所述对焦位置等速移动,并且,通过在所述对焦位置等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;距离测量部,利用与被摄体距离相对应的点扩散函数、以及所述多个模糊图像,测量从所述光学***中的基准位置到所述被摄体的距离;以及校正部,按照在获得所述多个模糊图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,在所述距离测量部对所述距离进行测量之前或之后,按照行或列进行针对所述距离的校正处理。
据此,距离测定装置能够从高速且高效地拍摄的较少张数的图像中,来求出存在于所有距离上的被摄体的距离。并且,由于是简单的对焦位置的控制,因此在求距离时,不会给对对焦位置进行控制的执行机构等设备造成负担,并能够降低耗电量。
并且,距离测定装置能够利用一边使对焦位置等速移动一边拍摄的多个模糊图像,通过进行基于DFD的被摄体距离的算出处理以及校正处理,来测定被摄体距离。由于上述的算出处理是没有考虑对焦位置的移动的处理,因此仅通过算出处理就不能测定正确的被摄体距离。于是,通过上述的校正处理能够对上述的算出处理的结果进行正确地校正,从而能够测定正确的被摄体距离。
根据以往的技术,多个模糊图像是将彼此不同的多个固定位置作为对焦位置而获得的,因此要想获得多个模糊图像,则需要反复进行模糊图像的获得以及对焦位置的移动。对此,本发明中的距离测定装置能够对模糊图像的获得以及对焦位置的移动同时并行进行,因此能够在短时间内结束处理。并且,由于对焦位置的移动速度为等速,因此还能够减少校正处理的处理量。因此,距离测定装置能够通过简单的对焦位置的控制,从而在短时间内求出被摄体的距离。
例如,也可以是,所述摄像控制部,获得至少(n+1)张的模糊图像,以作为所述多个模糊图像,n为1以上的整数,在将获得第一图像时的所述摄像元件的曝光的开始时刻设为TS(1),所述第一图像是所述至少(n+1)张的模糊图像之中最先被获得的图像,将获得所述第一图像时的所述摄像元件的所述曝光的结束时刻设为TE(1),将获得第二图像时的所述摄像元件的曝光的开始时刻设为TS(1+n),所述第二图像是所述至少(n+1)张的模糊图像之中最后被获得的图像,将获得所述第二图像时的所述摄像元件的所述曝光的结束时刻设为TE(1+n)的情况下,所述摄像控制部进行如下的控制:(i)在所述TS(1),使所述对焦位置成为第一位置,(ii)在所述TE(1+n),使所述对焦位置成为与所述第一位置不同的第二位置,(iii)在从所述TS(1)到所述TE(1)为止的期间、以及从所述TS(1+n)到所述TE(1+n)为止的期间,分别使所述对焦位置等速移动,所述距离测量部,利用所述点扩散函数、和所述第一图像以及所述第二图像,按照所述第一图像以及所述第二图像的至少一方中的像素,来测量从所述基准位置到所述被摄体为止的距离,所述校正部,按照在获得所述第一图像以及所述第二图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,进行所述校正处理。
据此,距离测定装置能够在使对焦位置等速移动的同时获得多个模糊图像中的第一图像和第二图像。并且,距离测定装置能够从获得的第一图像和第二图像来测量被摄体距离。
例如,也可以是,所述摄像控制部,使所述对焦位置在从所述TS(1+n)到所述TE(1+n)为止的期间中,以与所述TS(1)到所述TE(1)为止的期间中的所述对焦位置的移动速度相同的速度来移动。
据此,距离测定装置通过使在获得第一图像和第二图像时的对焦位置的移动速度相同,从而能够简单地进行校正处理。
例如,也可以是,所述距离测定装置还具备摄像条件判断部,该摄像条件判断部在所述摄像控制部获得所述多个模糊图像之前,判断是否满足如下的条件,该条件是指,获得所述第二图像时的所述摄像元件的曝光的开始时刻,需要比获得所述第一图像时的所述摄像元件的曝光的结束时刻早,所述摄像条件判断部在判断为满足所述条件的情况下,(i)使所述摄像控制部执行获得所述多个模糊图像的处理,(ii)使所述距离测量部执行测量所述距离的处理,并且,(iii)使所述校正部执行所述校正处理。
据此,距离测定装置在用于获得第一图像的曝光期间、与用于获得第二图像的曝光期间重合的情况下(即,在获得两个图像的期间没有间隔的情况下),进行从多个模糊图像的获得到距离的测量以及校正为止的一系列的处理。在上述的两个曝光期间重合的情况下,若是以往的技术则在第一图像的获得结束后不能开始第二图像的获得。因此,在获得第一图像以及第二图像之前,在判断为用于获得两个图像的期间没有间隔的情况下,通过一边等速移动对焦位置一边获得图像,从而能够从两个图像测量被摄体距离。
例如,也可以是,所述摄像控制部,获得至少(n+1)张的模糊图像,以作为所述多个模糊图像,n为1以上的整数,在将从所述多个模糊图像之中获得第(1+x)张的图像时的所述摄像元件的曝光的开始时刻设为TS(1+x),(n-1)≥x≥0,将从所述多个模糊图像之中获得第(1+x)张的图像时的所述摄像元件的曝光的结束时刻设为TE(1+x),将从所述多个模糊图像之中获得第(1+x+1)张的图像时的所述摄像元件的曝光的开始时刻设为TS(1+x+1),将从所述多个模糊图像之中获得第(1+x+1)张的图像时的所述摄像元件的曝光的结束时刻设为TE(1+x+1)的情况下,所述距离测定装置还具备对所述TE(1+x)与所述TS(1+x+1)的时刻的先后进行判断的先后判断部,所述摄像控制部进行如下的控制:在所述先后判断部判断为所述TE(1+x)>所述TS(1+x+1)成立的情况下,使所述对焦位置在从所述TS(1+x)到所述TE(1+x+1)为止的期间,从第三位置等速移动到与所述第三位置不同的第四位置。
据此,具体而言,距离测定装置判断为用于获得第一图像的曝光期间、与用于获得第二图像的曝光期间重合,在这种情况下,通过一边等速移动对焦位置一边获得图像,从而能够从两个图像测量被摄体距离。
例如,也可以是,所述摄像控制部,在所述先后判断部判断为所述TE(1+x)<所述TS(1+x+1)成立的情况下,进行如下的控制:(i)在从所述TS(1+x)到所述TE(1+x)为止的期间,使所述对焦位置停止在所述第三位置,(ii)在从所述TE(1+x)到所述TS(1+x+1)为止的期间,使所述对焦位置从所述第三位置移动到所述第四位置,(iii)在从所述TS(1+x+1)到所述TE(1+x+1)为止的期间,使所述对焦位置停止在所述第四位置。
据此,具体而言,距离测定装置在用于获得第一图像的曝光期间、与用于获得第二图像的曝光期间不重合的情况下(即,用于获得两个图像的期间有间隔的情况下),执行与以往技术相同的距离测量。在这种情况下,由于无需在等速移动对焦位置的同时来获得图像,因此通过执行与以往技术相同的距离测量,从而能够测量被摄体距离。
例如,也可以是,所述n为1。
据此,距离测定装置能够从第一图像和第二图像这2张图像来测定被摄体距离。
例如,也可以是,所述n为2以上的整数,所述距离测量部将3张以上的模糊图像作为所述多个模糊图像来使用,以测量所述距离。
据此,距离测定装置能够从3张以上的图像来测定被摄体距离。
例如,也可以是,所述校正部具有校正量算出部,该校正量算出部按照所述摄像元件的行或列,算出关于由所述距离测量部测量的所述距离的校正量,所述校正量算出部以使如下的点扩散函数的直径类似的方式,算出所述摄像元件的行或列的所述校正量,这些点扩散函数是指,在按照所述摄像元件的行或列进行所述曝光的期间中与所述对焦位置的移动范围对应的点扩散函数,以及与从规定的距离传来的光的对焦位置的范围对应的点扩散函数。
据此,距离测定装置根据与对焦位置的移动范围对应的点扩散函数的直径、和从规定的距离传来的光的对焦位置的范围所对应的点扩散函数的直径的类似性,算出校正处理中的校正量。
例如,也可以是,所述校正部,在所述距离测量部测量了所述距离之后,通过针对测量的所述距离,加上或减去按照所述摄像元件的行或列而由所述校正量算出部算出的校正量,来进行所述校正处理。
据此,距离测定装置在距离测量部测量了距离之后,通过将校正量加到被测量的距离中,从而能够获得正确的被摄体距离。
例如,也可以是,所述校正部,在所述距离测量部对所述距离进行测量之前,按照基于所述摄像元件的行或列而由所述校正量算出部算出的校正量,来变更所述距离测量部进行所述距离的测量时所使用的所述点扩散函数,从而进行所述校正处理,所述距离测量部,使用由所述校正部进行所述校正处理之后的所述点扩散函数,来测量所述距离。
据此,距离测定装置通过在距离测量部测量距离之前,将校正量加到作为点扩散函数的独立变数的距离上等,并利用被校正的点扩散函数来测量距离,从而能够获得正确的被摄体距离。
例如,也可以是,所述摄像控制部,通过使包含被排列成矩阵状的光电转换元件的摄像元件中的一部分作为所述摄像元件来进行拍摄,从而获得相当于与所述被摄体的所述一部分对应的部分的多个模糊图像,所述距离测量部,测量针对所述被摄体之中的所述部分的所述距离。
据此,距离测定装置利用从摄像元件的一部分获得的图像,能够与上述同样地测量被摄体距离。
并且,本发明的一个形态所涉及的距离测定方法是距离测定装置中的距离测定方法,所述距离测定装置具备:摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;以及光学***,用于使所述被摄体的像成像在所述摄像元件,并且所述光学***的对焦位置能够被控制,所述距离测定方法包括:摄像控制步骤,对所述光学***进行控制,以使所述对焦位置等速移动,并且,通过在所述对焦位置进行等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;距离测量步骤,利用与被摄体距离对应的点扩散函数、以及所述多个模糊图像,对从所述光学***中的基准位置到所述被摄体的距离进行测量;以及校正步骤,按照在获得所述多个模糊图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,在所述距离测量步骤进行所述距离的测量之前或之后,按照行或列进行针对所述距离的校正处理。
据此,能够实现与上述的距离测定装置同样的效果。
并且,本发明的一个形态所涉及的程序是使计算机执行上述的距离测定方法的程序。
据此,能够实现与上述的距离测定装置同样的效果。
并且,这些概括性的或具体的形态可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过对***、方法、集成电路、计算机程序或记录介质进行任意地组合来实现。
以下参照附图对实施方式进行具体说明。
并且,以下所说明的实施方式均为概括性的或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子,主旨并非是对本发明进行的限定。并且,对于以下的实施方式中的构成要素中示出最上位概念的独立权利要求中所没有记载的构成要素,作为任意的构成要素来说明。
(实施方式1)
图3是示出本实施方式中的距离测定装置的构成的方框图。
如图3所示,距离测定装置10具备:光学***11、对焦位置设定部12、对焦位置控制部13、摄像元件14、图像获得部15、距离测量部16、距离校正部17、以及距离校正量算出部18。
并且,也有将对焦位置设定部12、对焦位置控制部13、图像获得部15一起视为摄像控制部12A的情况。并且,也有将距离校正部17、距离校正量算出部18一起视为校正部17A的情况。
光学***11将被摄体的像成像在摄像元件14。并且,光学***11的像面侧的对焦位置是能够控制的。
对焦位置设定部12对拍摄DFD用的图像时的对焦位置的移动方法进行设定。
对焦位置控制部13利用由对焦位置设定部12设定的对焦位置,来控制实际的对焦位置。
对焦位置控制部13由执行机构构成,使摄像元件14移动向光轴方向,并进行对焦位置的控制。
摄像元件14是具备滚动式快门的CMOS传感器。在摄像元件14中,包含光电转换元件的像素被排列成二维(矩阵状),通过按照行或列依次进行曝光、电荷或电信号的读出,从而对被摄体进行拍摄,来生成图像数据。并且,在本实施方式中,摄像元件14按照行依次进行曝光、电荷的读出,在此以A行构成的情况为例进行说明,不过本发明并非受此所限。
图像获得部15从摄像元件14获得多个图像,并保持获得的图像。
距离测量部16利用从单一的视点拍摄的多个图像,即利用对焦距离不同的多个图像,通过DFD来进行距离测量。
距离校正部17在距离测量部16测量距离之前,或在距离测量部16测量距离之后,进行校正处理,即对因滚动式快门造成的距离偏离进行校正。
距离校正量算出部18按照摄像元件14的每个行,算出由距离校正部17进行校正处理时使用的校正量。
接着,对距离测量部16所进行的通过DFD的距离测量进行说明。
DFD是从对焦位置不同的较少张数的图像中所包含的模糊的相对关系,来求出到被摄体的距离的技术。以对焦在任意的距离n的状态拍摄的、存在于任意的距离的被摄体的模糊图像i能够由式1来表示。
(数式1)
i=hs(d)*f...(式1)
在式1中,i表示拍摄的模糊图像,hs表示与被对焦在距离s的状态下的存在于距离d的被摄体对应的点扩散函数(Point Spread Function(PSF)),f表示不含有模糊的全焦点图像,*表示卷积积分的运算符。
在式1中,全焦点图像f与被摄体距离d这两个变数是未知的。如式1所示,模糊图像i与点扩散函数h成为对焦位置s与被摄体距离d的函数。因此,作为已知的信息,只要对多个对焦位置s1、s2、…、以及每个对焦位置s1、s2、…中的被摄体距离d中的点扩散函数hs1(d)、hs2(d)、…进行事先保持,数式中的项目数就会在未知数以上,从而能够求出被摄体距离d。
以下对实际的计算方法进行介绍,例如,对从式2所表示的对焦位置不同的二张图像来求被摄体距离d的情况下的计算方法进行说明。在式2中,i1以及i2分别表示对焦位置1以及对焦位置2中的拍摄图像。h1(d)表示与对焦位置1中的被摄体距离d对应的点扩散函数。h2(d)表示与对焦位置2中的被摄体距离d对应的点扩散函数。f表示全焦点图像。
(数式2)
i1=h1(d)*f
i2=h2(d)*f...(式2)
在DFD中,对作为对焦位置1中的多个被摄体距离的点扩散函数的h1(dj)、与作为不同于对焦位置1的对焦位置2中的多个被摄体距离的点扩散函数的h2(dj)所组成的组,事先保持一组。在此,j=1、2、…、J。在对焦位置1以及对焦位置2中分别拍摄图像,通过式3算出被摄体距离d。
(数式3)
但是,j=1,2,...,n
在式3中,I1、I2、H1、H2是分别对i1、i2、h1、h2进行傅立叶变换而得到的变数。c是为了防止被零除而取的一个微小的值。F-1表示逆傅立叶变换。通过式3,被摄体距离d不是模拟值,由dj(j=1、2、…、J)中的一个dj来表示。若对点扩散函数h1以及h2分别保持J个,则最大能够求出J阶段的被摄体距离。
并且,在图像的被配置成二维的各个像素中,通过执行式3的计算,从而能够作成拍摄场景的距离图像。在此,距离图像是指,各个像素具有到被摄体的距离信息的图像。
SweepDFD中的距离算出也能够同样执行。也就是说,只要事先保持一组如下的函数即可,这一组函数是,在曝光中使对焦位置移动的情况下的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)的组。在SweepDFD中,由于是在曝光中移动对焦位置,因此上述的点扩散函数h1(dj)以及h2(dj)能够作为在移动范围内的各个对焦位置的点扩散函数被连续累计而得到的点扩散函数来表示。
预先保持的点扩散函数例如由光学仿真软件通过光学仿真来输出。并且,用于SweepDFD的点扩散函数,即在曝光中使对焦位置移动的情况下累计的点扩散函数是如下这样被算出的,具体是通过光学仿真,在输出对焦位置的移动范围内的多个对焦位置的点扩散函数之后,通过对被输出的点扩散函数进行平均化而被算出。
并且,通过DFD的距离的算出方法并非受限于本实施方式所示的方法,只要是从图像中所包含的模糊信息来算出距离的方法,对于算出的方法没有特殊的限制。
接着,对本实施方式中的、以具备滚动式快门的CMOS传感器,使用2张图像来进行DFD的方法进行说明。
图4是利用本实施方式中的距离测定装置来拍摄图像的情况下的拍摄工作、对焦位置、以及对焦范围的说明图。
图4的(a)示出了,在利用本实施方式中的距离测定装置10,来拍摄DFD所使用的2张图像的情况下,摄像元件的拍摄工作。图4的(b)示出了,在利用本实施方式中的距离测定装置10,来拍摄DFD所使用的2张图像的情况下,对焦位置的移动的样子。图4的(c)示出了,在利用本实施方式中的距离测定装置10,来拍摄DFD所使用的2张图像的情况下,2张图像被曝光的对焦范围。
图5是关联技术中的拍摄工作、对焦位置、以及对焦范围的说明图。具体而言,图5示出了作为对具备滚动式快门的摄像元件14的对策,在采用了图2的(b)的拍摄方法的情况下,与图4的相同项目进行的比较。
图5的(a)示出了以图2的(b)的方法来拍摄DFD中所使用的2张图像的情况下的摄像元件的拍摄工作。图5的(b)示出了以图2的(b)的方法来拍摄DFD中所使用的2张图像的情况下的对焦位置的移动的样子。图5的(c)示出了以图2的(b)的方法来拍摄DFD所使用的2张图像的情况下的2张图像被曝光的对焦范围。
在本实施方式中,如图4的(a)以及(b)所示,对焦位置控制部13从为了获得第1张图像而开始摄像元件14的第1行的曝光的时刻,到为了获得第2张图像而结束摄像元件14的第A行的曝光的时刻为止,使光学***11的对焦位置在像面侧从f1(对焦位置1)等速移动到f2(对焦位置2)。在此,“等速”的概念是,不单纯是严密的固定的速度,在实质上能够考虑到的等速的范围内变动的速度也包含在内。本说明书内的其他的部分也是同样。
利用图4中的符号进行更详细的说明。将为了获得第1张图像而开始摄像元件14的第1行的曝光的时刻设为TS(1),将为了获得第1张图像而结束摄像元件14的第A行的曝光的时刻设为TE(1),将为了获得第2张图像而开始摄像元件14的第1行的曝光的时刻设为TS(2),将为了获得第2张图像而结束摄像元件14的第A行的曝光的时刻设为TE(2)。在这种情况下,对焦位置控制部13使对焦位置,在从TS(1)到TE(2)为止的期间,在像面侧从f1等速移动到f2。对焦位置的移动方法由对焦位置设定部12设定。对焦位置的移动是通过对焦位置控制部13,利用由对焦位置设定部12设定的对焦位置来进行的。
并且,在图4中,对焦位置以像面侧的位置来表示。并且每一行的曝光时间在第1张以及2张中均被设定为同一个值,设为1VD的时间的4/5。在图4所示的拍摄方法中,由于在曝光中使对焦位置移动,因此前提是SweepDFD。并且,由于使用滚动式快门,因此在摄像元件14的各行的曝光的对焦范围不同。
图4的(c)示出了在以图4的(a)以及(b)所示的拍摄方法来进行拍摄的情况下,摄像元件14的每行的被曝光的对焦范围。图4的(b)以及(c)的对焦位置fa、fb、fc、fd表示在对焦位置f1与f2之间的对焦位置,与图4的(b)与(c)相对应。并且,由于对焦位置在像面侧被等速移动,因此,根据1VD的时间与曝光时间的比率,对焦位置f1与fa的间隔、对焦位置fb与fc的间隔、以及对焦位置fd与f2的间隔相同。并且,对焦位置fa与fb的间隔、以及对焦位置fc与fd的间隔相同。并且,对焦位置f1与fa的间隔为对焦位置fa与fb的间隔的4倍。例如,在获得第1张图像时,在摄像元件14的第1行的电荷复位后的曝光开始时刻,对焦位置为f1。并且,在获得第1张图像时,在摄像元件14的第1行的曝光结束后的电荷读出时刻,对焦位置为fa。因此,在摄像元件14的第1行,对从对焦位置f1到fa为止的范围的像进行均一累计。并且,被曝光的对焦范围在像面侧的长度在每行相同,被曝光的对焦范围的位置从第1行到第A行均等偏移。在此,“相同”的概念不是严密的相同,能够考虑到的实质上相同的范围也包含在内。本说明书内的其他部分也是同样。
距离测量部16根据如图4所示那样得到的2张图像,利用式3算出被摄体距离。在式3中,需要事先保持一组J阶段的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J),在图4所示的本实施方式的拍摄方法中,由于对焦范围按每行而不同,因此,应该保持的点扩散函数h1以及h2的组也需要按每行来变化。但是,若是本实施方式的图4所示的拍摄方法,则利用一组点扩散函数h1以及h2来对所有的行进行DFD,因此,在不改变每行的点扩散函数h1以及h2的情况下,则距离测量部16所算出的距离就会与实际距离发生偏差。
因此,在距离校正量算出部18算出距离的校正量之后,距离校正部17利用距离校正量算出部18算出的校正量,通过运算来校正距离测量部16算出的距离。据此,距离测定装置10求出到被摄体为止的正确的距离。
距离校正量算出部18根据摄像元件14的各行中的每个被摄体的距离上的曝光中的对焦位置的移动范围,来判断点扩散函数的类似性,并求出各行的距离的校正量。距离校正部17通过从距离测量部16算出的距离中,减去或加上距离校正量算出部18算出的摄像元件14的各行的距离的校正量,从而对距离进行校正。对于距离的校正量的算出方法、以及校正的方法采用图6以及图7进行详细说明。
图6是实施方式1中的摄像元件累计的点扩散函数的几何光学上的直径的第一个说明图。
图6的(a)具体而言示出了,利用本实施方式中的距离测定装置10,在拍摄DFD所使用的2张图像的情况下,通过光学***对来自被摄体的光线进行聚光的样子。图6的(b)示出了,在使用本实施方式中的距离测定装置10,拍摄DFD所使用的2张图像的情况下,图6的(a)的圆圈中的光线的聚光位置的周边的放大图,并且示出了在以图4的方法来拍摄存在于某距离(在对焦位置fd对焦的被摄体距离)的被摄体的情况下,在摄像元件14的各行累计的点扩散函数的几何光学上的直径。
校正量是假设摄像元件14的所有区域中所包含的被摄体存在于相同的距离的情况下算出的。在摄像元件的第1行~第A行为止的各行,图6的(b)中的从箭头的开始到箭头的截止所示的对焦位置中的点扩散函数被累计。例如,在摄像元件14的第1行,针对第1张拍摄图像,从对焦位置f1到fa为止的点扩散函数被累计,针对第2张拍摄图像,从对焦位置fb到fc为止的点扩散函数被累计。可知在图6的(b)所示的各行中,累计的点扩散函数的直径不同,累计的范围呈直线性地逐渐偏移。
图7是实施方式1中的摄像元件累计的点扩散函数的几何光学上的直径的第二个说明图。
图7具体而言示出了,利用本实施方式1中的距离测定装置10,在拍摄DFD所使用的2张图像的情况下,图6的(a)中的圆圈中的光线的聚光位置的周边的放大图,在拍摄存在于不同距离的被摄体的情况下,按照不同的距离示出了在摄像元件的第A行累计的点扩散函数的几何光学上的直径。
图7与图6的(b)同样,是光线的聚光位置的放大图,在拍摄存在于不同距离的被摄体的情况下,按照不同的距离示出了在摄像元件14的第A行累计的点扩散函数的几何光学上的直径。
并且,在所有的距离中,将F值作为相同的值来作图。距离d1与图6的(b)中的被摄体距离相同,成为在对焦位置fd对焦的被摄体距离。相邻的距离dj与距离(dj+1)的间隔被设定为,在像面侧对焦位置的间隔均等。具体而言,距离dj与距离(dj+1)的间隔被设定成对焦位置fa与fb的间隔相同。在第1张中,曝光中的对焦位置从对焦位置fb移动到对焦位置fc。因此可知在摄像元件14的第A行,按每个距离累计的点扩散函数的直径不同。
并且,在本实施方式中,距离测量部16保持图7所示的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)构成的组。在该点扩散函数的组中,以对焦位置fd对焦在距离d1,在以图4的拍摄方法来拍摄的情况下,可以想到在摄像元件14的第A行点扩散函数被累计。保持的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)的一个组中,在h1以及h2分别具有J阶段,点扩散函数的dj(j=1、2、…、J)与图7的距离d1、d2、d3、d4、d5、d6、…对应。例如,与图7的距离d1对应的一张图像的点扩散函数为h1(d1)。
若对图6的(b)与图7进行比较可知,在图6的(b)的某行累计的点扩散函数的直径、与在图7的某个距离累计的点扩散函数的直径成为几乎相同的值。只要累计的点扩散函数的直径相同,则通过曝光中的对焦位置移动而累计以及平均化的点扩散函数也彼此相同。
例如,在图6的(b)的第4A/5行累计的点扩散函数的直径、与在图7的距离d2累计的点扩散函数的直径几乎为相同的值。同样,在图6的(b)的第A、3A/5、2A/5、A/5行以及第1行、与在图7的距离d1、d3、d4、d5、d6分别累计的点扩散函数的直径成为几乎相同的值。因此,在通过利用了式3的SweepDFD来求被摄体的距离时,在将保持的1组的点扩散函数h1以及h2用到摄像元件14的所有的行的情况下,即使拍摄的被摄体全部存在于相同的距离,按每行算出的距离也会发生偏移。
若将在本实施方式保持的点扩散函数h1以及h2用于计算,则即使拍摄的被摄体全部存在于距离d1,虽然在摄像元件14的第A行算出距离d1,但是,在摄像元件14的第1、A/5、2A/5、3A/5、4A/5行则距离分别为d6、d5、d4、d3、d2,因此不能求出正确的距离。
但是,如图4所示,使对焦位置在为了获得两张图像而进行曝光之间,在像面侧等速移动,在这种情况下,则每个行的算出距离的偏移就能够在距离算出后容易地校正。在拍摄了存在于距离d1的被摄体的情况下,摄像元件14的第1、A/5、2A/5、3A/5、4A/5行以及第A行,被算出的距离分别为距离d6、d5、d4、d3、d2、d1。即,可以知道,算出的距离在每A/5行偏移一个阶段。不仅限于图6以及图7的情况,如图4所示,在使对焦位置在两张图像被曝光之间,在像面侧等速移动的情况下,算出的距离则会按照具有一定宽度的行来偏移一个阶段,并且其偏移量是能够容易地算出的。因此,预先计算每行的算出距离的偏移量,并求出每行的距离的校正量,通过由距离校正部17利用算出的校正量来对每行的距离进行校正,从而能够求出所有行的正确的距离。
在本实施方式的图6以及图7的情况下,在距离校正量算出部18算出的校正量在摄像元件14的第1、A/5、2A/5、3A/5、4A/5行,分别为5个阶段、4个阶段、3个阶段、2个阶段、1个阶段,通过距离校正部17在摄像元件14的第1、A/5、2A/5、3A/5、4A/5行,从距离测量部16算出的距离中分别减去5、4、3、2、1个阶段,从而能够求出正确的距离。第A行的校正量也可以称为0阶段。
并且,第1行与第A行的算出距离的偏移量Ddiff(单位为阶段)能够根据点扩散函数的类似性,利用图6以及图7所示的图来算出,并且也能够利用式4的数式来算出。
(数式4)
在式4中可以是,Ddiff以阶段的数量为单位,表示了第1行与第A行的算出距离的偏移量。S是从第1张图像的第1行的曝光开始到第1张图像的第A行的曝光结束移动的对焦位置的移动量。TVD是1VD的时间。E是从第1张图像的第1行的曝光开始到第1张图像的第A行的曝光结束为止的合计时间。d是距离为一个阶段时的对焦位置的移动距离。S是从第1张图像的第1行的曝光开始到第2张图像的第A行的曝光结束移动的对焦位置的移动量。E是从第1张图像的第1行的曝光开始到第2张图像的第A行的曝光结束为止的合计时间。
从图6以及图7可知,假设在图7的情况下,保持一组点扩散函数h1以及h2,且用在距离测量部16进行距离算出的情况下,在测定存在于距离d1的被摄体的距离时,在第A行,距离被算出为d1,在第1行,距离成为d6。
因此,从图中求出的Ddiff为5个阶段,在第1行需要从距离测量部16所算出的距离中减去5个阶段的量。并且,若将式4适用于图4、图6以及图7的值,从而根据数式可知,S为(对焦位置f2-f1)、E为(3-1/5)×TVD、d为(对焦位置fa-fb),由于(对焦位置f2-f1)=14d,因此,Ddiff=5,与从图求出的情况一致。
关于每个行的偏移量的计算,能够利用Ddiff,并根据是从第1行到第A行之间的哪一行,通过比率来计算,第x行的算出距离的偏移量Ddiff(x)能够根据式5来求。
(数式5)
在Ddiff成为小数的情况下,进行四舍五入、或上舍入、下舍入等处理。
距离校正部17利用通过图或者式4、式5算出的Ddiff(x),根据距离测量部16以SweepDFD求出的距离,按照摄像元件14的各行,减去Ddiff(x)的值并进行校正,从而能够求出正确的距离。但是,在利用式5时,摄像元件的行编号不是从第1行开始,而需要从第0行开始算起。
如以上所述,距离校正部17针对距离测量部16所算出的所有距离上存在的被摄体的距离,加上或减去在假定为摄像元件14的所有区域中所包含的被摄体存在于相同的距离的情况下的距离校正量算出部18所算出的距离的校正量,从而求出到被摄体为止的正确的距离。
在本实施方式中示出的方法是,根据由具备滚动式快门的摄像元件14拍摄的两张图像,利用SweepDFD来求出距离的方法。事先保持一组被累计的SweepDFD用的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J),通过SweepDFD来算出距离,在距离算出后进行距离的校正。
图像的摄影是,从第1张的第1行的曝光开始到第2张的第A行的曝光结束为止,使对焦位置在像面侧等速移动。通过使用这种拍摄方法来拍摄图像,从而能够容易地进行各行的算出距离的校正。如果不以等速来使对焦位置移动,则不容易进行按行的校正。如本实施方式所示,由于能够一边使对焦位置移动一边算出距离,并且能够容易地校正算出的距离且求出正确的距离,因此能够高速、高效地进行需要对焦位置以及范围不同的多张图像的DFD。
对图4的(a)所示的本实施方式的拍摄方法、与图5的(a)所示的关联技术中的拍摄方法相比较,可以知道在本实施方式中的两张图像的拍摄时间短。并且,图4中的对焦位置的控制不是进行对焦位置的微小的反复运动的控制,而是进行使对焦位置向一个方向移动的控制。因此,给对焦位置控制部13造成的负担会被抑制得很小,并且还能够将对焦位置的移动所需要的耗电量抑制得很小。
并且,在本实施方式中,对距离的校正的执行定时,以距离测量部16算出距离之后为例进行了说明,不过也可以是距离算出前的定时。在距离算出前的校正中,将事先保持的点扩散函数的组,在每一行中偏移在该行中的校正量的阶段数后代入到式3。即,可以是对作为点扩散函数的独立变数的距离d偏移校正量的阶段数之后,由距离测量部16算出距离。
并且,也可以对距离算出前的校正与距离算出後的校正进行组合。并且,在距离算出前的校正中,将预先保持的点扩散函数的组按照行来保持,可以改变每行的距离算出的计算中所使用的点扩散函数的组,在这种情况下,则需要大量的用于保存数据的存储器容量。在将预先保持的点扩散函数的组按照行来偏移在该行中的校正量的阶段数的方法中,则能够减少数据保存用的存储器容量。
并且,作为距离算出前的校正方法的一个例子,也可以采用的方法是,将因行而不同的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)的组,事先对所有行进行保持的方法。在这种情况下,即使不使用本实施方式所示的特有的方法,也能够在曝光中一边对对焦位置进行自由移动一边通过DFD来进行距离测量,为了在所有的行保持点扩散函数的组,则需要在各行根据对焦位置的移动的轨迹来作成各行的点扩散函数。在对焦位置的移动在像面侧不进行等速移动的情况下,需要根据每个对焦位置的曝光时间来计算累计的点扩散函数的权重,这样,点扩散函数的作成则变得复杂。并且,需要在摄像机以及透镜内保持所有行的点扩散函数的数据,因此需要大量的数据保存用的存储器容量。对此,在本实施方式中,所需的点扩散函数的组可以仅为一个,并且累计的点扩散函数的权重在每个对焦位置均相同,因此点扩散函数的计算变得简单。
并且,在本实施方式中,虽然是从两张图像来算出距离的,不过也可以采用两张以上的N张的图像来算出距离。在这种情况下,从第1张的第1行的曝光开始到第N张的第A行的曝光结束为止,使对焦位置在像面侧等速移动。
并且,对于从N张的图像之中除去连续的两张图像后的(N-2)张的图像,也可以不是像本实施方式(图4)所示那样一边在曝光中移动对焦位置一边进行拍摄,而是可以采用关联技术(图5)所示的在曝光中使对焦位置停止的拍摄方法。在这种情况下,预先保持使对焦位置停止的情况下的点扩散函数,以用于(N-2)张的图像,距离的校正则被限定在由距离测量部16算出距离之前的时刻的校正。
并且,在本实施方式中虽然是对焦位置控制部13使摄像元件14移动,从而使对焦位置移动,不过也可以是使光学***11中所包含的聚焦透镜移动,从而使对焦位置移动。
并且,在本实施方式中所采用的方法是,为了作成预先保持的SweepDFD用的累计的点扩散函数,将对焦位置的移动范围内的多个对焦位置上的点扩散函数以光学仿真来输出之后,取平均化来算出的。不过,也可以是,采用函数模型来进行计算的方法,实际测量的方法等任一个方法来作成。并且,在利用函数模型的方法以及实际测量的方法中包括以下的方法,即:对被累计的点扩散函数直接模型化并实际测量的方法,或者算出各对焦位置的点扩散函数并进行实际测量之后进行累计的方法。
并且,在本实施方式中虽然示出了算出一张距离图像的情况,不过,也可以算出连续的动态的距离图像。此时可以是,在图4中,在3张图像的曝光中,在像面侧从对焦位置2f2到对焦位置3使对焦位置等速移动,对焦位置3是以对焦位置1f1与对焦位置2f2的间隔而隔开的位置。此时,可以将对应的点扩散函数事先添加并保持,利用对焦位置与点扩散函数的对应关系来进行SweepDFD。
并且,也可以是在第2张的曝光结束开始空开1VD,之后使对焦位置从f1朝向f2,在像面侧进行向反方向的等速移动。在这种情况下,可以对在使对焦位置向相反方向移动时对应的点扩散函数进行事先添加与保持,并利用对焦位置与点扩散函数的对应关系来进行SweepDFD。
并且,也可以是,从第2张的曝光结束后空开1VD开始,使对焦位置移动到f1,再次以与图4同样的拍摄方法来进行拍摄。
并且,也可以是,从第2张的曝光结束开始空开1VD,进而在下一个1VD之间使对焦位置移动到任意的位置,将图4的对焦位置f1以及对焦位置f2作为任意的对焦位置1’以及对焦位置2’,以同样的帧动作来进行拍摄。此时,可以事先添加并保持对应的点扩散函数,并利用对焦位置与点扩散函数的对应关系来进行SweepDFD。在此,虽然说明了将多个图像作为动画,算出连续的距离图像的方法,不过并非受以上说明的方法所限,也可以是在算出连续的距离图像的过程中包括本实施方式。
并且,在本实施方式中虽然是按摄像元件14的每一行来算出校正量并进行校正处理的,不过,也可以是以多行为单位来算出校正量,并进行校正处理。
并且,在本实施方式中虽然是假定为摄像元件14的第A行来保持点扩散函数的组的,不过也可以是假定为其他的行来保持点扩散函数。即使在这种情况下,以本实施方式算出的校正量的相对值也不会改变。例如,以本实施方式算出的校正量对于第1行以及第A行而言,分别是5个阶段以及0阶段,之间的差为5阶段。若保持假定为在任意的第x行的点扩散函数的情况下,第x行的校正量成为0,从而能够根据从第x行到第1行为止的间隔、以及从第x行到第A行为止的间隔,来重新求出校正量,第1行与第A行的校正量的差不发生变化,成为5阶段。若将第x行作为第3A/5行,第1行的校正量则减去3阶段,第A行的校正量加上2阶段,从而之间的差为5阶段。并非受第1行与第A行所限,中间的行的校正量也能够同样算出。
并且,在本实施方式中,使第1张与第2张的曝光时间成为相同,不过并非受此所限,也可以使第1张与第2张的曝光时间不同。在这种情况下,对拍摄的图像进行与曝光时间相对应的加权,并且按照曝光时间和对焦位置的移动方法来保持点扩散函数h1(dj)、h2(dj)(j=1、2、…、J)。
并且,在本实施方式中,虽然是事先保持了点扩散函数,不过在对点扩散函数适用函数模型的情况、或者在对点扩散函数进行累计并进行平均化计算的情况下,也可以不预先保持点扩散函数,而是仅在需要点扩散函数时才进行计算。
并且,虽然示出了对本实施方式施加了一些变更的多个距离测定方法,不过也可以是随着变更,在需要新的点扩散函数或点扩散函数的组的情况下,可以是重新添加点扩散函数或点扩散函数的组。并且,在可以不必重新添加点扩散函数或点扩散函数的组,而是能够对已经保持的点扩散函数的组进行偏移等来代用的情况下,可以选择重新添加点扩散函数或点扩散函数的组的方法,或者可以选择对点扩散函数的组进行偏移等的方法。
(实施方式2)
在本实施方式中将要说明的距离测定装置为,针对由摄像元件拍摄的摄像区域中的一部分区域,算出关于被摄体的距离的信息。并且,对于与实施方式1中的构成要素相同的构成要素赋予相同的符号,并有省略详细说明的情况。
图8是示出本实施方式中的距离测定装置的构成的方框图。
如图8所示,距离测定装置20具备:光学***11、对焦位置设定部22、对焦位置控制部23、摄像元件14、图像获得部25、距离测量部16、距离校正部27、以及距离校正量算出部28。
并且,也有将对焦位置设定部22、对焦位置控制部23、图像获得部25一起称作摄像控制部22A的情况。并且,也有将距离校正部27、距离校正量算出部28一起称作校正部27A的情况。
光学***11将被摄体像成像于摄像元件14。并且,光学***11的像面侧的对焦位置是能够控制的。
对焦位置设定部22对在拍摄DFD用的图像时的对焦位置的移动方法进行设定。
对焦位置控制部23利用在对焦位置设定部12设定的对焦位置,来控制实际的对焦位置的位置。
对焦位置控制部23由执行机构构成,使摄像元件14移动向光轴方向,并进行对焦位置的控制。
摄像元件14是具备滚动式快门的CMOS传感器。摄像元件14中的包含光电转换元件的像素被排列成二维(矩阵状),按行或列来依次进行曝光、电荷或电信号的读出,拍摄被摄体并生成图像数据。并且,在本实施方式中,虽然对摄像元件14按行来依次进行曝光、电荷的读出、并以由A行构成为例进行说明,不过本发明并非受此所限。
图像获得部25从摄像元件14获得多个图像,并保持获得的图像。
距离测量部16利用从单一的视点拍摄的多个图像,即利用被对焦成不同的距离的多个图像,通过DFD来进行距离测量。
距离校正部27在距离测量部16测量距离之前或在距离测量部16测量距离之后进行校正处理,以便对因滚动式快门造成的距离的偏移进行校正。
距离校正量算出部28按照摄像元件14的每个行算出距离校正部27在进行校正处理时所使用的校正量。
图9是利用本实施方式中的距离测定装置进行距离测量的区域的说明图。具体而言,图9示出了在所有的摄像区域之中的由距离测定装置20进行距离测量的区域。
在本实施方式中,将摄像区域中的一部分区域作为由SweepDFD进行距离算出的对象。图9示出了摄像区域中的距离算出区域。将图9中的距离算出区域所示出的四角形的内侧作为距离算出的对象区域。将图9中的距离算出区域的最初的行作为RS、距离算出区域的最后的行作为RE。在本实施方式中,将从摄像元件14的第1行到第RS行为止的间隔、从第RS行到第RE行为止的间隔、以及从第RE行到第A行为止的间隔的比率设定为10:7:3。
图10是利用实施方式2中的距离测定装置进行图像拍摄的情况下的拍摄工作、对焦位置、以及对焦范围的说明图。具体而言,图10的(a)示出了,利用本实施方式中的距离测定装置20,在拍摄用于DFD的第n张、第n+1张的图像的情况下的摄像元件的拍摄工作。图10的(b)示出了,利用本实施方式中的距离测定装置20,在拍摄用于DFD的第n张、第n+1张的图像的情况下,对焦位置的移动的样子。图10的(c)示出了利用本实施方式中的距离测定装置20,在拍摄用于DFD的第n张、第n+1张的图像的情况下,两张图像中的图9所示的距离算出区域被曝光的对焦范围。
接着将要说明的方法是,通过具备本实施方式中的滚动式快门的CMOS传感器,利用以任意的定时T来计数的第1张和第(1+n)张的图像,进行DFD的方法。其中,n≥1。在本实施方式中设为n=1。
在本实施方式中,如图10的(a)以及(b)所示,从第1张的距离算出区域的最初的行的曝光开始到第(1+n)张的距离算出区域的最后的行的曝光结束之间、以及第(1+n)张的距离算出区域的最初的行的曝光开始到第(1+n)张的距离算出区域的最后的行的曝光结束之间,对焦位置在像面侧等速移动。对焦位置的移动方法由对焦位置设定部22来设定。对焦位置的移动是利用由对焦位置设定部12设定的对焦位置,由对焦位置控制部13来执行的。
并且,在图10中,对焦位置以像面侧的位置来表示。并且每一行的曝光时间在第1张以及第(1+n)张均设定为相同,为1VD的时间的1/5。在图10中,将为了获得1张的图像而开始摄像元件14的第RS行的曝光的时刻设为TS(1),将为了获得第1张的图像而结束摄像元件14的第RE行的曝光的时刻设为TE(1),将为了获得第(1+n)张的图像而开始摄像元件14的第RS行的曝光的时刻设为TS(1+n),将为了获得第(1+n)张的图像而结束摄像元件14的第RE行的曝光的时刻设为TE(1+n)。
首先,在到TS(1)为止的期间中,使对焦位置停止在f1。接着,在从TS(1)到TE(1)为止的期间中,使对焦位置在像面侧从f1等速移动到fa。接着,在从TE(1)到TS(1+n)为止的期间中,使对焦位置从fa移动到fb,并且是使对焦位置在像面侧进行等速移动。关于从TE(1)到TS(1+n)为止的期间中的对焦位置的移动,在本实施方式中为在像面侧以等速来移动,不过在像面侧也可以不是等速移动。接着,在从TS(1+n)到TE(1+n)为止的期间中,使对焦位置从fb移动到f2,并且是在像面侧等速移动。在TE(1+n)之后,使对焦位置停止在f2。并且,将TS(1)与TE(1)之间、以及TS(1+n)与TE(1+n)之间的像面侧的对焦位置的移动速度设为相同。
图10的(c)示出了以图10的(a)以及(b)所示的拍摄方法进行拍摄的情况下的、图9所示的摄像元件14中的距离算出区域内的按各行进行曝光的对焦范围。图10的(c)没有示出以图10的(a)以及(b)所示的拍摄方法进行拍摄的情况下的、图9所示的摄像元件14中的距离算出区域内的行以外的行的曝光的对焦范围。图10的(b)以及(c)的对焦位置fa、fb示出了对焦位置f1与f2之间的对焦位置,图10的(b)与(c)相对应。并且,对焦位置f1与fa的间隔、以及对焦位置fb与f2的间隔相同。并且,本实施方式中的对焦位置f1与fa的间隔、以及对焦位置fa与fb的间隔被设定成,和实施方式1中的对焦位置f1与fa的间隔、以及对焦位置fa与fb的间隔相同。
在本实施方式中,以SweepDFD为前提,并且对于距离算出、距离校正量的算出以及算出距离的校正的方法、预先保持的被累计的点扩散函数的作成方法与实施方式1相同,能够求出距离。
距离校正量算出部18算出的摄像元件14的RS行与RE行的校正量的差与实施方式1的情况相同,能够根据点扩散函数的类似性来求。并且,在本实施方式中,以与实施方式1相同的方式来设定距离d1、d2、…,在将本实施方式新累计的SweepDFD用的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J),假定为第RE行来预先保持一组的情况下,距离校正量算出部18所算出的摄像元件14的RS行和RE行的校正量的差约为2.55阶段。RS行与RE行之间的行能够根据是RS行与RE行之间的哪一行,来按照比率进行计算。在利用式4的情况下,Ddiff以阶段的数量为单位,示出了第RS行与第RE行的算出距离的偏移量。S是从第1张图像的第RS行的曝光开始到第1张的图像的第RE行的曝光结束为止移动的对焦位置的移动量。TVD是从第RS行到第RE行为止的电荷的读出所花费的时间。E是从第1张的图像的第RS行的曝光开始到第1张的图像的第RE行的曝光结束为止的合计时间。d可以作为一个阶段的距离中的对焦位置的移动距离来计算。
通过本实施方式的构成,由于能够对必需使对焦位置在像面侧以等速来移动的期间进行限制,因此在该期间以外的时刻,能够自由地移动对焦位置并能够停止移动。在图10中,由于从TS(1)到TE(1)为止的期间、与从TS(1+n)到TE(1+n)为止的期间相当于距离算出区域的曝光时间,因此,在除此以外的时刻不必对对焦位置的移动速度进行限制。
并且,在本实施方式中,距离的校正虽然是在由距离测量部16算出距离之后的定时来进行的,不过也可以在距离算出前的定时来进行校正。在距离算出前的校正中,将预先保持的点扩散函数的组按照每一行来偏离在该行中的校正量的阶段数之后,代入到式3的数式中。并且,可以对距离算出前的校正与距离算出后的校正进行组合。并且,在距离算出前的校正中,可以是将预先保持的点扩散函数的组按照行来保持,并改变每行的距离算出的计算中所使用的点扩散函数的组,但是在这种情况下需要大量的用于保持数据的存储器的容量。在采用将预先保持的点扩散函数的组,按照每一行来偏离该行中的校正量的阶段数的方法的情况下,则能够减少用于保持数据的存储器的容量。
并且,作为距离算出前的校正的方法之一,可以采用将按每一行而不同的点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)的组,针对所有的行进行预先保持的方法。在这种情况下,即使不采用本实施方式中所公开的方法,也能够在曝光过程中一边自由地移动对焦位置,一边通过DFD来进行距离测量,因此,为了针对所有的行来保持点扩散函数的组,则需要在每一行根据对焦位置的移动轨迹来作成各个行的点扩散函数。在对焦点的移动在像面侧不是等速移动的情况下,需要根据每个对焦位置的曝光时间来计算累计的点扩散函数的权重,因此点扩散函数的作成变得复杂。并且,需要在摄像机以及透镜内对所有行的点扩散函数的数据进行保持,从而需要大量的用于保持数据的存储器容量。对此,在本实施方式中,所需要的点扩散函数的组仅为一组,并且对于累计的点扩散函数的权重可以设为在每个对焦位置相同,因此,点扩散函数的计算也变得简单。
并且,在本实施方式中虽然是从任意的定时T来计数第1张和第(1+n)张,并根据这2张图像来算出距离的,也可以采用2张以上的N张的图像来算出距离。在这种情况下,从第1张的第1行的曝光开始到第N张的第A行的曝光结束为止的期间中,在从摄像元件14的第RS行到第RE行为止的曝光期间中,只要使对焦位置在像面侧等速移动即可。
并且,N张的图像之中除了连续的2张图像以外,(N-2)的图像可以不是实施方式1(图4)所示的在曝光过程中一边移动对焦位置一边进行拍摄,可以是如关联技术(图5)所示那样,采用在曝光过程中使对焦位置停止的拍摄方法来进行拍摄。在这种情况下,为了(N-2)张的图像而预先保持在使对焦位置停止的情况下的点扩散函数,距离的校正仅限为在由距离测量部16算出距离之前的时刻的校正。
并且,在本实施方式中虽然是对焦位置控制部13使摄像元件14移动从而使对焦位置移动,不过也可以是使光学***11中所包含的聚焦透镜移动来使对焦位置移动。
并且,在本实施方式中所采用的方法是,为了作成预先保持的SweepDFD用的被累计的点扩散函数,而通过光学模拟来输出对焦位置的移动范围内的多个对焦位置的点扩散函数,在此之后进行平均化并算出的方法。不过,也可以是利用函数模型来进行算出的方法、进行实际测量的方法等任一个方法来作成。并且,在利用函数模型的方法以及实际测量的方法中有,对累计的点扩散函数直接进行模型化,并进行实际测量的方法,或者算出各对焦位置的点扩散函数,并进行实际测量,之后再进行累计的方法。
并且,在本实施方式中,从TS(n)以前的时刻到TS(n)为止的时刻,虽然是使对焦位置停止在f1,不过并非受此所限,只要是在TS(n)这一时刻能够结束使对焦位置移动到对焦位置f1,这样就可以从TS(n)以前的时刻到TS(n)为止的时刻,对焦位置可以进行任意的移动。
并且,在本实施方式中,在从TE(n)到TS(n+1)为止的时刻,使对焦位置在像面侧等速地从对焦位置fa移动到对焦位置fb,不过并非受此所限,只要是在TS(n+1)这一时刻结束了向对焦位置fb的位置的移动,这样在从TE(n)到TS(n+1)为止的时刻,对焦位置可以进行任意的移动。
并且,在本实施方式中,在TE(n+1)以后的时刻,虽然是使对焦位置停止在对焦位置2f2,不过并非受此所限,在TE(n+1)以后的时刻,对焦位置可以进行任意的移动。
并且,在本实施方式中,从TS(1)到TE(1)为止的期间、以及从TS(1+n)到TE(1+n)为止的期间中的对焦位置的移动量在像面侧是相同的,不过在TE(1)≤TS(1+n)的情况下,从TS(1)到TE(1)为止的期间以及从TS(1+n)到TE(1+n)为止的期间中的对焦位置的移动量也可以不是大致相同。并且,在TE(1)>TS(1+n)的情况下,则成为与实施方式1相同的情况。
并且,也可以是,在TE(1)>TS(1+n)的情况下,利用实施方式1的拍摄方法,在TE(1)≤TS(1+n)的情况下,可以有选择地采用本实施方式的拍摄方法或以下所示的方法2’。在方法2’中,如图10所示,在从TS(1)到TE(1)为止的期间中使对焦位置停止在f1,在从TE(1)到TS(1+n)为止的期间中,使对焦位置移动到与f1不同的f3,在从TS(1+n)到TE(1+n)为止的期间中使对焦位置停止在f3。在方法2’中,不是采用SweepDFD,而是采用一般的DFD。
以下将进行一般的说明。在n≥1、(n-1)≥x≥0时,在拍摄的(1+n)张的图像中,在连续的第(1+x)张、第(1+x+1)张的图像中,将第(1+x)张的第RS行的曝光开始时刻设为TS(1+x),将第(1+x)张的第RE行的曝光结束时刻设为TE(1+x),将第(1+x+1)张的第RS行的曝光开始时刻设为TS(1+x+1),将第(1+x+1)张的第RE行的曝光结束时刻设为TE(1+x+1),在TE(1+x)≤TS(1+x+1)的情况下,从TS(1+x)到TE(1+x)为止的期间和从TS(1+x+1)到TE(1+x+1)为止的期间的时刻中的对焦位置的移动量可以不同。并且,在TE(1+x)>TS(1+x+1)的情况下,成为与实施方式1相同的情况。
并且,也可以是,在TE(1+x)>TS(1+x+1)的情况下,采用实施方式1的拍摄方法,在TE(1+x)≤TS(1+x+1)的情况下,能够有选择地采用本实施方式的拍摄方法或以下所示的方法2’。在方法2’中,如图10所示,在从TS(1+x)到TE(1+x)为止的期间中,使对焦位置停止在f1,在从TE(1+x)到TS(1+x+1)为止的期间中,使对焦位置移动到与f1不同的f3,在从TS(1+x+1)到TE(1+x+1)为止的期间中,使对焦位置停止在f3。
并且,也可以是,距离测定装置20具备曝光时刻前后关系判断部(未图示),判断TE(1+x)以及TS(1+x+1)的时刻的前后关系,曝光时刻前后关系判断部判断是否为TE(1+x)>TS(1+x+1)或者是否为TE(1+x)≤TS(1+x+1)。
并且,在本实施方式中虽然举例示出了算出一张距离图像的情况,不过也可以是算出作为动画的连续的距离图像。此时,在从TE(n+1)到TS(n+2)为止的期间中,使对焦位置移动到f1,以与图10的第n张和第(n+1)张的图像相同的方法来拍摄第(n+2)张和第(n+3)张的图像。或者也可以是,以与第n张和第(n+1)张不同的其他的对焦位置、范围来拍摄第(n+2)张和第(n+3)张。在这种情况下,可以事先添加并保持对应的点扩散函数。
在此虽然记载了将多个图像作为动画来算出连续的距离图像的方法,不过在作为动画来算出连续的距离图像的过程中,只要是包括本实施方式即可,并非受记载的方法所限。
并且,在本实施方式中虽然说明的是按照摄像元件14的每一行来算出校正量,并进行校正处理的,不过也可以是以摄像元件14的多个行为单位来算出校正量并进行校正处理。
并且,在本实施方式中,虽然是假定为摄像元件14的第RE行来保持点扩散函数的组的,不过也可以假定为其他的行来保持点扩散函数。在这种情况下,以本实施方式算出的校正量的相对值也不会改变。
并且,在本实施方式中虽然是使第1张与第(1+n)张的的曝光时间成为相同,不过并非受此所限,也可以是使第1张与第(1+n)张的曝光时间不同。在这种情况下,可以是按照曝光时间来对拍摄的图像进行加权,并且按照曝光时间和对焦位置的移动方法来保持点扩散函数h1(dj)以及h2(dj)(j=1、2、…、J)。
并且,在本实施方式中虽然将距离算出区域设定为图9所示的范围,但是并非受此所限,也可以设定从摄像元件14的第1行到第A行为止的任意的范围。
并且,在本实施方式中虽然是使从TS(1)到TE(1)为止的期间、从TS(1+n)到TE(1+n)为止的期间的像面侧的对焦位置的移动速度成为相同,不过在TE(1)≤TS(1+n)的情况下,也可以不必相同。但是,在这种情况下,距离的校正并非受限于在由距离测量部16算出距离之前的时刻的校正。
并且,在本实施方式中虽然是预先保持了点扩散函数,不过在对点扩散函数应用函数模型的情况、或者对点扩散函数进行累计并进行平均化的计算中,也可以不进行预先保持,而是在需要时进行计算。
并且,虽然示出了对本实施方式稍加变形后的多个距离测定方法,不过随着变更,在需要新的点扩散函数或点扩散函数的组的情况下,可以添加新的点扩散函数或点扩散函数的组。并且,在无需添加新的点扩散函数或点扩散函数的组、并且对已经保持的点扩散函数的组进行偏移等而能够代用的情况下,能够有选择地采用添加新的点扩散函数或点扩散函数的组,或者将已经保持的点扩散函数的组进行偏移等来使用。
并且,在所有的实施方式中,对于因步进电机中的齿槽效应而发生的速度的不均一等、以及因执行机构在一般情况下所发生的速度的不均一,均视为实质上的等速范围内。
并且,在上述的各实施方式中,各构成要素可以由专用的硬件来构成,也可以通过执行适用于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部,读出并执行被记录到硬盘或半导体存储器等记录介质中的软件程序来实现。在此,实现上述的各实施方式的距离测定装置等的软件是如下的程序。
即,该程序使计算机执行距离测定装置中的距离测定方法,所述距离测定装置具备:摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;以及光学***,用于使所述被摄体的像成像在所述摄像元件,并且所述光学***的对焦位置能够被控制,所述距离测定方法包括:摄像控制步骤,对所述光学***进行控制,以使所述对焦位置等速移动,并且,通过在所述对焦位置进行等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;距离测量步骤,利用与被摄体距离对应的点扩散函数、以及所述多个模糊图像,对从所述光学***中的基准位置到所述被摄体的距离进行测量;以及校正步骤,按照在获得所述多个模糊图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,在所述距离测量步骤进行所述距离的测量之前或之后,按照行或列进行针对所述距离的校正处理。
以上根据实施方式对一个或者多个形态所涉及的距离测定装置进行了说明,不过本发明并非受这些实施方式所限。在不脱离本发明的主旨的范围内,将本领域技术人员所能够想到的各种变形执行于本实施方式,或者对不同的实施方式中的构成要素进行组合而构成的形态均包含在一个或多个形态的范围内。
工业实用性
能够用于使用拍摄的图像来测量到被摄体的距离的测距装置、以及用于摄像机或视频摄像机等自动对焦装置,能够实现高帧率且低耗电量的测距或自动对焦。
符号说明
10、20 距离测定装置
11 光学***
12、22 对焦位置设定部
12A、22A 摄像控制部
13、23 对焦位置控制部
14 摄像元件
15、25 图像获得部
16 距离测量部
17、27 距离校正部
17A、27A 校正部
18、28 距离校正量算出部
Claims (14)
1.一种距离测定装置,具备:
摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;
光学***,用于使所述被摄体的像成像在所述摄像元件;
摄像控制部,将所述光学***或所述摄像元件控制成使所述光学***的对焦位置等速移动,并且,通过在所述对焦位置等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;
距离测量部,利用与被摄体距离相对应的点扩散函数、以及所述多个模糊图像,测量从所述光学***中的基准位置到所述被摄体的距离;以及
校正部,按照将在获得所述多个模糊图像时以行或列进行所述曝光的期间中所述对焦位置移动的范围中所包含的各个位置作为对焦位置的点扩散函数的累计,在所述距离测量部对所述距离进行测量之前或之后,按照行或列进行针对所述距离的校正处理。
2.如权利要求1所述的距离测定装置,
所述摄像控制部,获得至少(n+1)张的模糊图像,以作为所述多个模糊图像,n为1以上的整数,
在将获得第一图像时的所述摄像元件的曝光的开始时刻设为TS(1),所述第一图像是所述至少(n+1)张的模糊图像之中最先被获得的图像,
将获得所述第一图像时的所述摄像元件的所述曝光的结束时刻设为TE(1),
将获得第二图像时的所述摄像元件的曝光的开始时刻设为TS(1+n),所述第二图像是所述至少(n+1)张的模糊图像之中最后被获得的图像,
将获得所述第二图像时的所述摄像元件的所述曝光的结束时刻设为TE(1+n)的情况下,
所述摄像控制部进行如下的控制:
(i)在所述TS(1),使所述对焦位置成为第一位置,
(ii)在所述TE(1+n),使所述对焦位置成为与所述第一位置不同的第二位置,
(iii)在从所述TS(1)到所述TE(1)为止的期间、以及从所述TS(1+n)到所述TE(1+n)为止的期间,分别使所述对焦位置等速移动,
所述距离测量部,利用所述点扩散函数、和所述第一图像以及所述第二图像,按照所述第一图像以及所述第二图像的至少一方中的像素,来测量从所述基准位置到所述被摄体为止的距离,
所述校正部,按照在获得所述第一图像以及所述第二图像时以行或列进行所述曝光的期间中的所述对焦位置的移动范围,进行所述校正处理。
3.如权利要求2所述的距离测定装置,
所述摄像控制部,使所述对焦位置在从所述TS(1+n)到所述TE(1+n)为止的期间中,以与所述TS(1)到所述TE(1)为止的期间中的所述对焦位置的移动速度相同的速度来移动。
4.如权利要求3所述的距离测定装置,
所述距离测定装置还具备摄像条件判断部,该摄像条件判断部在所述摄像控制部获得所述多个模糊图像之前,判断是否满足如下的条件,该条件是指,获得所述第二图像时的所述摄像元件的曝光的开始时刻,需要比获得所述第一图像时的所述摄像元件的曝光的结束时刻早,
所述摄像条件判断部在判断为满足所述条件的情况下,
(i)使所述摄像控制部执行获得所述多个模糊图像的处理,(ii)使所述距离测量部执行测量所述距离的处理,并且,(iii)使所述校正部执行所述校正处理。
5.如权利要求4所述的距离测定装置,
所述摄像控制部,获得至少(n+1)张的模糊图像,以作为所述多个模糊图像,n为1以上的整数,
在将从所述多个模糊图像之中获得第(1+x)张的图像时的所述摄像元件的曝光的开始时刻设为TS(1+x),(n-1)≥x≥0,
将从所述多个模糊图像之中获得第(1+x)张的图像时的所述摄像元件的曝光的结束时刻设为TE(1+x),
将从所述多个模糊图像之中获得第(1+x+1)张的图像时的所述摄像元件的曝光的开始时刻设为TS(1+x+1),
将从所述多个模糊图像之中获得第(1+x+1)张的图像时的所述摄像元件的曝光的结束时刻设为TE(1+x+1)的情况下,
所述距离测定装置还具备对所述TE(1+x)与所述TS(1+x+1)的时刻的先后进行判断的先后判断部,
所述摄像控制部进行如下的控制:
在所述先后判断部判断为所述TE(1+x)>所述TS(1+x+1)成立的情况下,使所述对焦位置在从所述TS(1+x)到所述TE(1+x+1)为止的期间,从第三位置等速移动到与所述第三位置不同的第四位置。
6.如权利要求5所述的距离测定装置,
所述摄像控制部,
在所述先后判断部判断为所述TE(1+x)<所述TS(1+x+1)成立的情况下,进行如下的控制:
(i)在从所述TS(1+x)到所述TE(1+x)为止的期间,使所述对焦位置停止在所述第三位置,
(ii)在从所述TE(1+x)到所述TS(1+x+1)为止的期间,使所述对焦位置从所述第三位置移动到所述第四位置,
(iii)在从所述TS(1+x+1)到所述TE(1+x+1)为止的期间,使所述对焦位置停止在所述第四位置。
7.如权利要求2所述的距离测定装置,
所述n为1。
8.如权利要求2所述的距离测定装置,
所述n为2以上的整数,
所述距离测量部将3张以上的模糊图像作为所述多个模糊图像来使用,以测量所述距离。
9.如权利要求1所述的距离测定装置,
所述校正部具有校正量算出部,该校正量算出部按照所述摄像元件的行或列,算出关于由所述距离测量部测量的所述距离的校正量,
所述校正量算出部以使如下的点扩散函数的直径类似的方式,算出所述摄像元件的行或列的所述校正量,这些点扩散函数是指,在按照所述摄像元件的行或列进行所述曝光的期间中与所述对焦位置的移动范围对应的点扩散函数,以及与从规定的距离传来的光的对焦位置的范围对应的点扩散函数。
10.如权利要求9所述的距离测定装置,
所述校正部,在所述距离测量部测量了所述距离之后,通过针对测量的所述距离,加上或减去按照所述摄像元件的行或列而由所述校正量算出部算出的校正量,来进行所述校正处理。
11.如权利要求9所述的距离测定装置,
所述校正部,在所述距离测量部对所述距离进行测量之前,按照基于所述摄像元件的行或列而由所述校正量算出部算出的校正量,来变更所述距离测量部进行所述距离的测量时所使用的所述点扩散函数,从而进行所述校正处理,
所述距离测量部,使用由所述校正部进行所述校正处理之后的所述点扩散函数,来测量所述距离。
12.如权利要求1至11的任一项所述的距离测定装置,
所述摄像控制部,通过使包含被排列成矩阵状的光电转换元件的摄像元件中的一部分作为所述摄像元件来进行拍摄,从而获得相当于与所述被摄体的所述一部分对应的部分的多个模糊图像,
所述距离测量部,测量针对所述被摄体之中的所述部分的所述距离。
13.一种距离测定方法,是距离测定装置中的距离测定方法,
所述距离测定装置具备:
摄像元件,包括被排列成矩阵状的光电转换元件,通过按照行或列依次进行曝光和电荷的读出,来拍摄被摄体;以及
光学***,用于使所述被摄体的像成像在所述摄像元件,
所述距离测定方法包括:
摄像控制步骤,对所述光学***或所述摄像元件进行控制,以使所述光学***的对焦位置等速移动,并且,通过在所述对焦位置进行等速移动的过程中使所述摄像元件依次拍摄所述被摄体,来获得多个模糊图像;
距离测量步骤,利用与被摄体距离对应的点扩散函数、以及所述多个模糊图像,对从所述光学***中的基准位置到所述被摄体的距离进行测量;以及
校正步骤,按照将在获得所述多个模糊图像时以行或列进行所述曝光的期间中所述对焦位置移动的范围中所包含的各个位置作为对焦位置的点扩散函数的累计,在所述距离测量步骤进行所述距离的测量之前或之后,按照行或列进行针对所述距离的校正处理。
14.一种记录介质,存储有使计算机执行权利要求13所述的距离测定方法的程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-084607 | 2013-04-15 | ||
JP2013084607 | 2013-04-15 | ||
PCT/JP2014/001025 WO2014171051A1 (ja) | 2013-04-15 | 2014-02-26 | 距離測定装置、及び、距離測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104364608A CN104364608A (zh) | 2015-02-18 |
CN104364608B true CN104364608B (zh) | 2017-11-24 |
Family
ID=51731018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480001527.4A Active CN104364608B (zh) | 2013-04-15 | 2014-02-26 | 距离测定装置以及距离测定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9467616B2 (zh) |
JP (1) | JP6210333B2 (zh) |
CN (1) | CN104364608B (zh) |
WO (1) | WO2014171051A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5895270B2 (ja) * | 2014-03-28 | 2016-03-30 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US9648236B2 (en) * | 2015-02-19 | 2017-05-09 | Blackberry Limited | Device with a front facing camera having discrete focus positions |
JP6608763B2 (ja) * | 2015-08-20 | 2019-11-20 | 株式会社東芝 | 画像処理装置及び撮影装置 |
US10712446B1 (en) * | 2015-09-25 | 2020-07-14 | Apple Inc. | Remote sensing for detection and ranging of objects |
US11134209B2 (en) | 2016-01-22 | 2021-09-28 | Sony Corporation | Light receiving device, control method, and electronic apparatus |
US9934559B2 (en) * | 2016-02-19 | 2018-04-03 | Fotonation Limited | Method for correcting an acquired image |
JP2017195584A (ja) * | 2016-04-22 | 2017-10-26 | キヤノン株式会社 | 撮像装置 |
US10445896B1 (en) | 2016-09-23 | 2019-10-15 | Apple Inc. | Systems and methods for determining object range |
CN107360361B (zh) * | 2017-06-14 | 2020-07-31 | 中科创达软件科技(深圳)有限公司 | 一种逆光拍摄人物方法及装置 |
KR102382871B1 (ko) * | 2017-07-18 | 2022-04-05 | 삼성전자주식회사 | 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법 |
CN111521617B (zh) * | 2020-04-30 | 2023-06-16 | 上海御微半导体技术有限公司 | 光学检测设备、光学检测设备的控制方法及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101213832A (zh) * | 2005-06-29 | 2008-07-02 | 佳能株式会社 | 焦点控制方法和单元 |
CN102308569A (zh) * | 2009-12-07 | 2012-01-04 | 松下电器产业株式会社 | 摄像装置以及其控制方法 |
CN102472620A (zh) * | 2010-06-17 | 2012-05-23 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
CN102934003A (zh) * | 2011-04-15 | 2013-02-13 | 松下电器产业株式会社 | 摄像装置、半导体集成电路以及摄像方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2963990B1 (ja) | 1998-05-25 | 1999-10-18 | 京都大学長 | 距離計測装置及び方法並びに画像復元装置及び方法 |
EP1256831A1 (en) * | 2001-05-11 | 2002-11-13 | MVTec Software GmbH | Method and system for calibrating an image range device |
US7493030B2 (en) * | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
JP4862312B2 (ja) | 2005-07-28 | 2012-01-25 | ソニー株式会社 | 撮像装置およびフォーカス制御装置 |
JP2012005063A (ja) * | 2010-06-21 | 2012-01-05 | Sony Corp | 撮像装置および方法、並びにプログラム |
JP2012198075A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | ステレオカメラ装置、画像補整方法 |
JP5934929B2 (ja) | 2011-05-27 | 2016-06-15 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
JP5914834B2 (ja) * | 2011-10-12 | 2016-05-11 | パナソニックIpマネジメント株式会社 | 撮像装置、半導体集積回路および撮像方法 |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
US9277132B2 (en) * | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
-
2014
- 2014-02-26 JP JP2014541452A patent/JP6210333B2/ja active Active
- 2014-02-26 CN CN201480001527.4A patent/CN104364608B/zh active Active
- 2014-02-26 US US14/407,569 patent/US9467616B2/en active Active
- 2014-02-26 WO PCT/JP2014/001025 patent/WO2014171051A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101213832A (zh) * | 2005-06-29 | 2008-07-02 | 佳能株式会社 | 焦点控制方法和单元 |
CN102308569A (zh) * | 2009-12-07 | 2012-01-04 | 松下电器产业株式会社 | 摄像装置以及其控制方法 |
CN102472620A (zh) * | 2010-06-17 | 2012-05-23 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
CN102934003A (zh) * | 2011-04-15 | 2013-02-13 | 松下电器产业株式会社 | 摄像装置、半导体集成电路以及摄像方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2014171051A1 (ja) | 2014-10-23 |
JPWO2014171051A1 (ja) | 2017-02-16 |
US20150146033A1 (en) | 2015-05-28 |
US9467616B2 (en) | 2016-10-11 |
JP6210333B2 (ja) | 2017-10-11 |
CN104364608A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104364608B (zh) | 距离测定装置以及距离测定方法 | |
US8890996B2 (en) | Imaging device, semiconductor integrated circuit and imaging method | |
US9681037B2 (en) | Imaging apparatus and its control method and program | |
US9020292B2 (en) | Method for correcting rolling shutter effect and image processing device using the same | |
US20140071305A1 (en) | Image pickup apparatus, image pickup system, image processing device, and method of controlling image pickup apparatus | |
JP2015036632A (ja) | 距離計測装置、撮像装置、距離計測方法 | |
CN105704393B (zh) | 摄影装置、摄影方向的控制方法以及记录介质 | |
US9247124B2 (en) | Imaging apparatus, semiconductor integrated circuit, and imaging method | |
CN107018308A (zh) | 摄像装置和摄像装置的控制方法 | |
JP6931268B2 (ja) | 画像処理装置および画像処理方法 | |
CN106716990A (zh) | 红外线摄像装置、固定图案噪声计算方法及固定图案噪声计算程序 | |
JP6076106B2 (ja) | 撮像装置及び撮像方法 | |
JP2018071979A (ja) | 距離検出装置および距離検出方法 | |
JP6642998B2 (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
US10616468B2 (en) | Focus detection device and focus detection method | |
JP2018113614A (ja) | 撮像装置、および撮像方法、電子機器、並びに信号処理装置 | |
US10681260B2 (en) | Focus detection device and focus detection method | |
US9402069B2 (en) | Depth measurement apparatus, imaging apparatus, and method of controlling depth measurement apparatus | |
US8576324B2 (en) | Image acquisition system using orthogonal transfer CCD sensing element | |
KR101248908B1 (ko) | 자동초점 검출장치, 이를 적용한 카메라, 및 피사체 거리 산출방법 | |
JP6188531B2 (ja) | 撮像装置、その制御方法およびプログラム | |
Nishi et al. | Evaluation system for camera shake and image stabilizers | |
US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
JP2017085337A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6728005B2 (ja) | 撮像装置、撮像方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |