JPWO2014171051A1 - 距離測定装置、及び、距離測定方法 - Google Patents
距離測定装置、及び、距離測定方法 Download PDFInfo
- Publication number
- JPWO2014171051A1 JPWO2014171051A1 JP2014541452A JP2014541452A JPWO2014171051A1 JP WO2014171051 A1 JPWO2014171051 A1 JP WO2014171051A1 JP 2014541452 A JP2014541452 A JP 2014541452A JP 2014541452 A JP2014541452 A JP 2014541452A JP WO2014171051 A1 JPWO2014171051 A1 JP WO2014171051A1
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- focus position
- row
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 109
- 238000012937 correction Methods 0.000 claims abstract description 156
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 238000005259 measurement Methods 0.000 claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 20
- 238000005315 distribution function Methods 0.000 claims description 14
- 238000000691 measurement method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 description 154
- 238000010586 diagram Methods 0.000 description 31
- 238000005096 rolling process Methods 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013041 optical simulation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
距離測定装置(10)は、行列状に配列された光電変換素子を含み、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子(14)と、撮像素子(14)に被写体の像を結像させるための光学系(11)であって、光学系(11)の合焦位置が制御可能である光学系(11)と、合焦位置を等速で移動させるように光学系(11)を制御し、かつ、合焦位置が等速で移動している最中に撮像素子に被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部(12A)と、被写体距離に応じた点像分布関数と、複数のぼけ画像とを用いて、光学系(11)における基準位置から被写体までの距離を計測する距離計測部(16)と、複数のぼけ画像を取得した際の行又は列ごとの露光の期間における合焦位置の移動範囲に応じて、距離の計測の前又は後に、距離についての行又は列ごとの補正処理を行う補正部(17A)とを備える。
Description
本発明は、距離測定装置、及び、距離測定方法に関する。
DFD(Depth from Defocus)は、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は、被写体距離を変数とする関数であるので、DFDではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。
このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像1枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が1つ成立する。合焦位置の異なるぼけ画像を新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等は、特許文献1及び非特許文献1などに開示されている。
C.Zhou,S.Lin and S.Nayar, "Coded Aperture Pairs for Depth from Defocus" In International Conference on Computer Vision, 2009
従来のDFDでは、複数枚の画像の撮影には、通常撮影時より多くの時間を必要とする。また、短時間に合焦位置を複数回往復させる必要があるので、合焦位置を制御するアクチュエータ等のデバイスに負担をかけ、さらに、消費電力が大きくなる等の問題がある。
そこで、本発明は、簡単な合焦位置の制御により、短時間で被写体の距離を求める距離測定装置を提供する。
本発明の一態様に係る距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の距離測定装置は、簡単な合焦位置の制御により、短時間で被写体の距離を求めることができる。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、DFDに関し、以下の問題が生じることを見出した。
本発明者は、「背景技術」の欄において記載した、DFDに関し、以下の問題が生じることを見出した。
ある3次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらは、能動的手法と受動的手法とに大別される。能動的手法では、赤外線、超音波又はレーザーなどを照射し、反射波が戻ってくるまでの時間、又は、反射波の角度などをもとに距離を算出する。受動的手法では、被写体の像に基づいて距離を算出する。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
受動的手法にも多くの手法が提案されているが、その一つとして被写体距離によって大きさや形状が変化する、ぼけの情報に基づいて距離を計測するDepth from Defocusと呼ばれる手法がある。この手法には、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。
以下、DFDの原理について簡単に説明する。
DFD(Depth from Defocus)は、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は、被写体距離を変数とする関数であるので、DFDではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。
このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像1枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が1つ成立する。合焦位置の異なるぼけ画像を新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等は、特許文献1及び非特許文献1などに開示されている。
さらに、特許文献2及び特許文献3は、露光中に合焦位置を画像ごとに異なる範囲で動かしながら撮影した複数枚の画像から、被写体までの距離を求める方法(以下SweepDFDと記載する)を開示する。
露光中に合焦位置を動かすことによって、連続する複数の合焦位置の点像分布関数及び画像が積算、及び平均化される。SweepDFDでは、積算、平均化された点像分布関数と画像とから距離を求める。
一方、画像を撮影する撮像素子には、CMOS(Complementary Metal−Oxide Semiconductor)型撮像素子、CCD(Charge Coupled Devices)型撮像素子が存在するが、CMOS型撮像素子は、高速撮影が可能である点、及び、低消費電力である点等でCCD型撮像素子と比較して優位である。
現在、CMOS型撮像素子では、ローリングシャッターという電子シャッター方式が多く採用されている。ローリングシャッター方式では、二次元(行列状)に配列された画素配列において、行又は列ごとに順次、電荷のリセット、露光、及び、電荷の読み出しを行う。なお、以降では行ごとに上記電荷のリセット等を行う場合について説明するが、列ごとに行う場合も同様のことがあてはまる。
図1は、ローリングシャッターを備える撮像素子の撮影動作の説明図である。図1は、行ごとに露光時間の異なるローリングシャッターにおける、電荷のリセット、露光及び電荷の読み出しのタイミングの一例を示している。
図1において、横軸は時間を示し、縦軸は、撮像素子がA行の画素行で構成されている場合の行番号を示している。また、電荷のリセットのタイミングを破線で示し、電荷の読み出しのタイミングを実線で示している。この撮像素子は、撮像素子の先頭行から順次、行ごとに、電荷のリセット、露光、及び、電荷の読み出しを行う、という動作を繰り返して、画像全体の信号を得る。なお、1枚の画像において、撮像素子の1行目からA行目までの読み出しにかかる時間を「1VD」と定義する。
上述したように、DFDでは、異なる範囲内の合焦位置で撮影された複数枚の画像を必要とするので、複数枚の画像の撮影中に合焦位置を移動させる必要がある。そのため、n枚目の画像の露光時間と、(n+1)枚目の画像の露光時間との間に、別途合焦位置を移動させる期間を設ける必要がある。
さらに、ローリングシャッターでは、n枚目の画像の最初の行の露光が完了してからすぐに、(n+1)枚目の画像の最初の行の露光を開始できるわけではない。ローリングシャッターでは、n枚目の画像の最後の行の露光が完了した後、合焦位置を移動させてから、(n+1)枚目の画像の最初の行の露光を開始することになるので、撮影に多くの時間を要する。
図2は、ローリングシャッターを備える撮像素子により画像を撮影する関連技術における撮影動作、及び、合焦位置の説明図である。
具体的には、図2の(a)は、ローリングシャッターを備える撮像素子を用いて2枚の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図2の(b)は、ローリングシャッターを備える撮像素子を用いてDFDに用いる2枚の画像を撮影する場合の、関連技術における撮像素子の撮影動作を示す図である。図2の(c)は、上記場合の、関連技術における合焦位置の移動の様子を示す図である。
図2の(a)には、ローリングシャッターを備える撮像素子を用いた場合の通常撮影時の電荷のリセット、露光及び電荷の読み出しの各タイミングが示されている。また、図2の(b)及び(c)には、ローリングシャッターを備える撮像素子を用いたDFD用の画像の撮影時の各タイミング及び合焦位置の場所が示されている。なお、図2において、合焦位置は、像面側での位置で表記している。
撮像素子は、通常撮影時には、図2の(a)に示すように、3VDで2枚の画像を撮影することが可能である。一方、撮像素子は、DFDの場合には、図2の(b)及び(c)に示すように、2枚の画像を撮影するために少なくとも5VDを必要とする。撮像素子は、DFDの場合、まず、合焦位置が合焦位置1にある時に、1枚目の画像の1行目からA行目までの露光を完了させる。その後、撮像素子は、合焦位置を合焦位置2の位置にずらし、2枚目の撮影を開始する。そのため、撮像素子は上記2枚の画像の撮影のために、1枚目及び2枚目の画像の撮影のためにそれぞれ2VDを要し、また、合焦位置の移動に少なくとも1VDを要する。つまり、撮像素子は上記2枚の画像の撮影のために、合わせて5VDを必要とする。
また、SweepDFDの場合に、ローリングシャッターを備える撮像素子を用いると、露光中に合焦位置が移動されるので、画像の行ごとに合焦位置の範囲が異なることとなる。よって、点像分布関数、画像の積算、及び、平均化される合焦位置の範囲が、画像の行ごとに異なり、正確に被写体までの距離を求めることができない。
特許文献3では、露光中の合焦位置の移動を工夫して、画像の行ごとに、積算、平均化される点像分布関数が同じになるように撮影している。
このように、ローリングシャッターを備える撮像素子において、撮影時に合焦位置を動かす必要がある場合、行ごとに合焦位置、及びその範囲が異なってしまうため、DFDにおいて様々な問題が存在する。
特許文献4及び特許文献5は、ローリングシャッターを備える撮像素子において、n枚目とn+1枚目との画像撮影の間に合焦位置を変化させる必要がある場合に、高速に効率よく画像を撮影して、目的とする情報を算出する方法を開示する。
具体的には、特許文献4及び特許文献5は、AF(オートフォーカス)に関する技術である。本技術は、画像中のAFの対象領域において、合焦の度合いを示す評価値を複数枚分計算した後、評価値のピーク位置を探索し、評価値のピーク位置から、対象の被写体に合焦する合焦位置を求めるAF方式をベースとしている。そして、本技術では、露光中に合焦位置を動かして、評価値を計算し、さらに、対象被写体の合焦位置のずれを後から補正している。ここで、対象被写体の合焦位置のずれとは、ローリングシャッターにより行ごとに露光される合焦範囲が異なるために発生する、行ごとの合焦位置のずれのことである。
特許文献3の方法では、複数枚の画像の撮影には、図2の(a)の通常撮影時よりも多くの時間を必要とする。また、短時間に合焦位置を複数回往復させる必要があるので、合焦位置を制御するアクチュエータ等のデバイスに負担をかけ、さらに、消費電力が大きくなる等の問題がある。
特許文献4及び特許文献5では、AFの対象領域において、最低3枚から計算される評価値のグラフのピーク位置から合焦位置を求めているので、ピークが現れなければ、さらに多くの画像を撮影する必要がある。また、特定の被写体においてピークが現れても、異なる距離に存在する被写体においてピークが現れる保証はない。
そこで、本発明は、簡単な合焦位置の制御により、短時間で被写体の距離を求める距離測定装置を提供する。
このような問題を解決するために、本発明の一態様に係る距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える。
これによれば、距離測定装置は、高速に及び効率よく撮影された、少ない枚数の画像から、あらゆる距離に存在する被写体の距離を求めることができる。また簡単な合焦位置の制御であるため、距離を求める際に、合焦位置を制御するアクチュエータ等のデバイスにかかる負担を小さくして、消費電力も小さくできる。
また、距離測定装置は、合焦位置を等速移動させながら撮像した複数のぼけ画像を用いて、DFDによる被写体距離の算出処理と、補正処理とを行うことで被写体距離を測定することができる。上記算出処理は、合焦位置の移動が考慮されていない処理であるので、算出処理だけからでは正しい被写体距離が測定されない。そこで、上記補正処理により上記算出処理の結果を正しくする補正がなされ、その結果、正しい被写体距離が測定される。
従来技術によれば、複数のぼけ画像は、互いに異なる複数の固定位置を合焦位置として取得されるので、複数のぼけ画像を取得するには、ぼけ画像の取得と合焦位置の移動とを繰り返し行わなければならない。これに対し、本発明における距離測定装置は、ぼけ画像の取得と合焦位置の移動とを同時並行に行うので、短時間で処理を完了することができる。また、合焦位置の移動速度が等速であるので補正処理の処理量も小さくすることができる。よって、距離測定装置は、簡単な合焦位置の制御により、短時間で被写体の距離を求めることができる。
例えば、前記撮像制御部は、少なくとも(n+1)枚(nは1以上の整数)のぼけ画像を、前記複数のぼけ画像として取得し、前記少なくとも(n+1)枚のぼけ画像のうち最初に取得される第一画像を取得する際の前記撮像素子の露光の開始時刻をTS(1)とし、前記第一画像を取得する際の前記撮像素子の前記露光の終了時刻をTE(1)とし、前記少なくとも(n+1)枚のぼけ画像のうち最後に取得される第二画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+n)とし、前記第二画像を取得する際の前記撮像素子の前記露光の終了時刻をTE(1+n)とするとき、(i)前記TS(1)には、前記合焦位置を第一位置とするように制御し、(ii)前記TE(1+n)には、前記合焦位置を、前記第一位置とは異なる第二位置とするように制御し、(iii)前記TS(1)から前記TE(1)までの期間、及び、前記TS(1+n)から前記TE(1+n)までの期間のそれぞれには、前記合焦位置を等速に移動させるように制御し、前記距離計測部は、前記点像分布関数と、前記第一画像及び前記第二画像とを用いて、前記第一画像及び前記第二画像の少なくとも一方における画素ごとに、前記基準位置から前記被写体までの距離を計測し、前記補正部は、前記第一画像及び前記第二画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記補正処理を行うとしてもよい。
これによれば、距離測定装置は、複数のぼけ画像のうちの第一画像と第二画像とのそれぞれを、合焦位置を等速移動させながら取得することができる。そして、距離測定装置は、取得した第一画像と第二画像とから被写体距離を計測することができる。
例えば、前記撮像制御部は、前記TS(1)から前記TE(1)までの期間における前記合焦位置の移動速度と同一の速度で、前記TS(1+n)から前記TE(1+n)までの期間において前記合焦位置を移動させるとしてもよい。
これによれば、距離測定装置は、第一画像と第二画像とを取得するときの合焦位置の移動速度を同一にすることで、補正処理をより簡単にすることができる。
例えば、前記距離測定装置は、さらに、前記撮像制御部による前記複数のぼけ画像の取得の前に、前記第一画像を取得する際の前記撮像素子の露光の終了時刻より、前記第二画像を取得する際の前記撮像素子の露光の開始時刻が早いという条件が満たされるか否かを判定する撮像条件判定部を備え、前記撮像条件判定部は、前記条件が満たされると判定した場合に、(i)前記複数のぼけ画像を取得する処理を前記撮像制御部に実行させ、(ii)前記距離を計測する処理を前記距離計測部に実行させ、かつ、(iii)前記補正処理を前記補正部に実行させるとしてもよい。
これによれば、距離測定装置は、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重なる場合(つまり、両画像の取得のための期間の間隔がない場合)に、複数のぼけ画像の取得から距離の計測及び補正までの一連の処理を行う。上記2つの露光期間が重なる場合には、従来技術のように、第一画像の取得を完了した後に第二画像の取得を開始することはできない。よって、第一画像及び第二画像を取得する前に、両画像の取得のための期間の間隔がないと判断された場合に、合焦位置を等速移動させながら画像を取得するようにすることで、両画像から被写体距離を計測することができる。
例えば、前記撮像制御部は、少なくとも(n+1)枚(nは1以上の整数)のぼけ画像を前記複数のぼけ画像として取得し、前記複数のボケ画像のうち、(1+x)枚目((n−1)≧x≧0)の画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+x)とし、前記複数のボケ画像のうち、(1+x)枚目の画像を取得する際の前記撮像素子の露光の完了時刻をTE(1+x)とし、前記複数のボケ画像のうち、(1+x+1)枚目の画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+x+1)とし、前記複数のボケ画像のうち、(1+x+1)枚目の画像を取得する際の前記撮像素子の露光の完了時刻をTE(1+x+1)とするとき、前記距離測定装置は、さらに、前記TE(1+x)と前記TS(1+x+1)との時刻の先後を判断する先後判断部を備え、前記撮像制御部は、前記TE(1+x)>前記TS(1+x+1)が成立すると前記先後判断部が判断した場合、前記TS(1+x)から前記TE(1+x+1)までの期間に前記合焦位置を第三位置から前記第三位置とは異なる第四位置まで等速移動させるように制御するとしてもよい。
これによれば、距離測定装置は、具体的に、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重なる場合を判定し、その場合に、合焦位置を等速移動させながら画像を取得するようにすることで、両画像から被写体距離を計測することができる。
例えば、前記撮像制御部は、前記TE(1+x)<前記TS(1+x+1)が成立すると前記先後判断部が判断した場合、(i)前記TS(1+x)から前記TE(1+x)までの期間に前記合焦位置を第三位置に停止させ、(ii)前記TE(1+x)から前記TS(1+x+1)までの期間に前記合焦位置を前記第三位置から前記第四位置まで移動させ、(iii)前記TS(1+x+1)から前記TE(1+x+1)までの期間に、前記合焦位置を前記第四位置に停止させるように制御するとしてもよい。
これによれば、距離測定装置は、具体的に、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重ならない場合(つまり、両画像の取得のための期間の間隔がある場合)に、従来技術と同様の距離計測を実行する。この場合には、合焦位置を等速移動させながら画像を取得することが不要であるので、従来技術と同様の距離計測を実行することで被写体距離を計測することができる。
例えば、前記nは1であるとしてもよい。
これによれば、距離測定装置は、第一画像と第二画像との2枚の画像から被写体距離を測定することができる。
例えば、前記nは2以上の整数であり、前記距離計測部は、3以上のぼけ画像を、前記複数のぼけ画像として用いて、前記距離を計測するとしてもよい。
これによれば、距離測定装置は、3枚以上の画像から被写体距離を測定することができる。
例えば、前記補正部は、前記撮像素子の行又は列ごとに、前記距離計測部により計測される前記距離に関する補正量を算出する補正量算出部を有し、前記補正量算出部は、前記撮像素子の行又は列ごとの前記露光の期間において前記合焦位置の移動範囲に対応する前記点像分布関数の直径が、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径と類似するように、前記撮像素子の行又は列ごとの前記補正量を算出するとしてもよい。
これによれば、距離測定装置は、合焦位置の移動範囲に対応する点像分布関数の直径と、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径との類似性に基づいて、補正処理における補正量を算出する。
例えば、前記補正部は、前記距離計測部による前記距離の計測の後に、計測した前記距離に対して、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量を加算又は減算することにより前記補正処理を行うとしてもよい。
これによれば、距離測定装置は、距離計測部が距離を計測した後に、計測された距離に対して補正量を加算などすることで、正しい被写体距離を取得することができる。
例えば、前記補正部は、前記距離計測部による前記距離の計測の前に、前記距離計測部が前記距離の計測に用いる前記点像分布関数を、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量に応じて変更することにより前記補正処理を行い、前記距離計測部は、前記補正部により前記補正処理が行われた後の前記点像分布関数を用いて前記距離を計測するとしてもよい。
これによれば、距離測定装置は、距離計測部が距離を計測する前に点像分布関数の独立変数である距離に対して補正量を加算などした上で、補正がなされた点像分布関数を用いて距離を計測することで、正しい被写体距離を取得することができる。
例えば、前記撮像制御部は、行列状に配列された光電変換素子を含む撮像素子のうちの一部を、前記撮像素子として用いて撮像させることで、前記被写体のうち前記一部に対応する部分に相当する複数のぼけ画像を取得し、前記距離計測部は、前記被写体のうちの前記部分についての前記距離を計測するとしてもよい。
これによれば、距離測定装置は、撮像素子の一部から得られる画像を用いて、上記と同様に被写体距離を計測することができる。
また、本発明の一態様に係る距離測定方法は、距離測定装置における距離測定方法であって、前記距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、前記距離測定方法は、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む距離測定方法である。
これにより、上記の距離測定装置と同様の効果を奏する。
また、本発明の一態様に係るプログラムは、上記の距離測定方法をコンピュータに実行させるためのプログラムである。
これにより、上記の距離測定装置と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図3は、本実施の形態における距離測定装置の構成を示すブロック図である。
図3は、本実施の形態における距離測定装置の構成を示すブロック図である。
図3に示されるように、距離測定装置10は、光学系11と、合焦位置設定部12と、合焦位置制御部13と、撮像素子14と、画像取得部15と、距離計測部16と、距離補正部17と、距離補正量算出部18とを備える。
なお、合焦位置設定部12と、合焦位置制御部13と、画像取得部15とをまとめて撮像制御部12Aという場合がある。また、距離補正部17と、距離補正量算出部18とをまとめて補正部17Aという場合がある。
光学系11は、被写体像を撮像素子14に結像させる。また、光学系11の像面側の合焦位置は制御可能である。
合焦位置設定部12は、DFD用の画像を撮影する際の、合焦位置の移動方法を設定する。
合焦位置制御部13は、合焦位置設定部12で設定された合焦位置を用いて、実際に合焦位置の位置を制御する。
合焦位置制御部13は、アクチュエータで構成され、撮像素子14を光軸方向に移動させて、合焦位置の制御を行う。
撮像素子14は、ローリングシャッターを備えるCMOSセンサーである。撮像素子14は、光電変換素子を含む画素が二次元(行列状)に配列され、行又は列ごとに順次、露光と、電荷又は電気信号の読み出しとを行うことにより、被写体を撮像し、画像データを生成する。なお、本実施の形態では、撮像素子14は行ごとに順次、露光と、電荷の読み出しとを行い、A行で構成されている場合を例として説明するが、本発明はこれに限られない。
画像取得部15は、撮像素子14から複数の画像を取得し、取得した画像を保持する。
距離計測部16は、単一の視点から撮影された複数の画像であって、異なる距離に合焦した複数の画像を用い、DFDによって距離計測を行う。
距離補正部17は、距離計測部16が距離を計測する前、又は、距離計測部16が距離を計測した後に、ローリングシャッターに起因する距離のずれを補正するための補正処理を行う。
距離補正量算出部18は、距離補正部17による補正処理で使用される補正量を、撮像素子14の各行ごとに算出する。
次に、距離計測部16が行うDFDによる距離計測について説明する。
DFDは、合焦位置の異なる少ない枚数の画像に含まれるぼけの相対関係から、被写体までの距離を求める技術である。任意の距離nに合焦している状態で撮影された、任意の距離に存在する被写体のぼけ画像iは、式1のように表現できる。
式1において、iは撮影されたぼけ画像、hsは距離sに合焦した状態における距離dに存在する被写体に対応する点像分布関数(Point Spread Function(PSF))、fはぼけを含まない全焦点画像、*は畳み込み積分の演算子をそれぞれ表す。
式1において、全焦点画像fと被写体距離dとの2つの変数は未知である。式1のように、ぼけ画像iと点像分布関数hとは、合焦位置sと被写体距離dとの関数になっている。よって、先験情報として、複数の合焦位置s1、s2、…と、それぞれの合焦位置s1、s2、…における被写体距離dにおける点像分布関数hs1(d)、hs2(d)、…とを予め保持していれば、式の数が未知数以上になり、被写体距離dを求めることができる。
実際に、例えば、式2で表される合焦位置の異なる二枚の画像から被写体距離dを求める場合の計算方法を紹介する。式2において、i1及びi2は、それぞれ、合焦位置1及び合焦位置2における撮影画像を表す。h1(d)は、合焦位置1における被写体距離dに対応する点像分布関数を表す。h2(d)は、合焦位置2における被写体距離dに対応する点像分布関数を表す。fは、全焦点画像を表す。
DFDでは、合焦位置1における複数の被写体距離の点像分布関数であるh1(dj)と、合焦位置1とは異なる合焦位置2における複数の被写体距離の点像分布関数であるh2(dj)とのセットを1つ予め保持しておく。ここで、j=1、2、…、Jである。合焦位置1及び合焦位置2において、それぞれ画像を撮影し、式3によって被写体距離dを算出する。
式3において、I1、I2、H1、H2は、それぞれi1、i2、h1、h2をフーリエ変換して得られる変数である。cは、ゼロによる除算を防ぐための微小な値である。F−1は、逆フーリエ変換を表す。式3によって、被写体距離dは、アナログ値ではなく、dj(j=1、2、…、J)の中の1つのdjで表される。点像分布関数h1及びh2をそれぞれ、J個保持しておくと、最大J段階で被写体距離を求めることができる。
そして、画像の二次元に配置される各画素において、式3の計算を実施することにより、撮影シーンの距離画像を作成することができる。ここで、距離画像とは、被写体までの距離情報を各画素に有する画像をいう。
SweepDFDにおける距離算出も同様に実施することができる。つまり、露光中に合焦位置を移動させた場合の点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)のセットを1つ予め保持しておけばよい。SweepDFDでは、露光中に合焦位置が移動するので、上記点像分布関数h1(dj)及びh2(dj)は、移動範囲内の各合焦位置の点像分布関数が連続的に積算された点像分布関数として表されることが可能である。
予め保持する点像分布関数は、例えば光学シミュレーションソフトによる光学シミュレーションにより出力される。また、SweepDFDに用いる点像分布関数であって、露光中に合焦位置を移動させた場合の積算された点像分布関数は、光学シミュレーションで、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を出力した後、出力された点像分布関数を平均化することで算出される。
また、DFDによる距離の算出方法は、本実施の形態で示した方法に限るものではなく、画像中に含まれるぼけの情報から距離を算出する方法であれば特に制限はされない。
次に、本実施の形態における、ローリングシャッターを備えるCMOSセンサーで、2枚の画像を用いて、DFDを行う方法について説明する。
図4は、本実施の形態における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。
図4の(a)は、本実施の形態における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図4の(b)は、本実施の形態における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、合焦位置の移動の様子を示す図である。図4の(c)は、本実施の形態における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、2枚の画像が露光される合焦範囲を示す図である。
図5は、関連技術における撮影動作、合焦位置、及び合焦範囲の説明図である。具体的には、図5は、ローリングシャッターを備える撮像素子14への対策として図2の(b)の撮影方法が用いられた場合における、図4と同様の項目を比較のために示している。
図5の(a)は、DFDに用いる2枚の画像を図2の(b)の方法で撮影する場合において、撮像素子の撮影動作を示す図である。図5の(b)は、DFDに用いる2枚の画像を図2の(b)の方法で撮影する場合において、合焦位置の移動の様子を示す図である。図5の(c)は、DFDに用いる2枚の画像を図2の(b)の方法で撮影する場合において、2枚の画像が露光される合焦範囲を示す図である。
本実施の形態では、図4の(a)及び(b)に示すように、合焦位置制御部13は、1枚目の画像の取得のために撮像素子14の1行目の露光が開始される時点から、2枚目の画像の取得のために撮像素子14のA行目の露光が完了する時点まで、光学系11の合焦位置を、f1(合焦位置1)からf2(合焦位置2)まで像面側において等速で移動させる。ここで、「等速」とは、厳密に一定の速度であることだけでなく、実質的に等速と考えられる範囲で変動する速度であることも含む概念である。本明細書内の他の箇所でも同様である。
図4中の符号を用いてより詳細に説明する。1枚目の画像の取得のために撮像素子14の1行目の露光を開始する時刻をTS(1)とし、1枚目の画像の取得のために撮像素子14のA行目の露光を完了する時刻をTE(1)とし、2枚目の画像の取得のために撮像素子14の1行目の露光を開始する時刻をTS(2)とし、2枚目の画像の取得のために撮像素子14のA行目の露光を完了する時刻をTE(2)とする。この場合、合焦位置制御部13は、TS(1)からTE(2)までの期間に、合焦位置をf1からf2まで、像面側で等速に移動させる。合焦位置の移動方法は、合焦位置設定部12によって設定される。合焦位置の移動は、合焦位置設定部12によって設定された合焦位置を用いて、合焦位置制御部13によって行われる。
なお、図4において、合焦位置は、像面側での位置で表記している。また1行当たりの露光時間は、1枚目及び2枚目の両方について同一の値が設定されており、1VDの時間の4/5としている。図4のような撮影方法では、露光中に合焦位置を移動させるため、SweepDFDを前提とする。また、ローリングシャッターを用いるので、撮像素子14の各行で露光される合焦範囲が異なる。
図4の(c)は、図4の(a)及び(b)に示す撮影方法で撮影した場合における、撮像素子14の各行ごとの、露光される合焦範囲を示す。図4の(b)及び(c)の合焦位置fa、fb、fc、fdは、合焦位置f1とf2との間の合焦位置を示しており、図4の(b)と(c)とで対応している。また、合焦位置が像面側で等速で移動しているので、1VDの時間と露光時間との比率から、合焦位置f1とfaとの間隔、合焦位置fbとfcとの間隔、及び、合焦位置fdとf2との間隔は同じである。また、合焦位置faとfbとの間隔、及び、合焦位置fcとfdとの間隔は同じである。また、合焦位置f1とfaとの間隔は、合焦位置faとfbとの間隔の4倍となる。例えば、1枚目の画像を取得する際、撮像素子14の1行目の電荷リセット後の露光開始時刻に合焦位置がf1である。また、1枚目の画像を取得する際、撮像素子14の1行目の露光完了後の電荷読み出し時刻に合焦位置がfaである。よって、撮像素子14の1行目は、合焦位置f1からfaまでの範囲の像を均一に積算する。また、露光される合焦範囲の像面側における長さは各行で同一となり、露光される合焦範囲の位置は、1行目からA行目まで均一にずれる。ここで、「同一」とは、厳密に同一であることだけでなく、実質的に同一と考えられる範囲であることも含む概念である。本明細書内の他の箇所でも同様である。
距離計測部16は、図4のようにして得られた2枚の画像より被写体距離を式3を用いて算出する。式3では、J段階の点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)の1セットを予め保持しておく必要があるが、図4に示す本実施の形態の撮影方法では、行ごとに合焦範囲が異なるため、保持すべき点像分布関数h1及びh2のセットも行ごとに変える必要がある。ただし、本実施の形態の図4のような撮影方法であると、点像分布関数h1及びh2の1つのセットを用いて全ての行に対してDFDを行うので、行ごとに点像分布関数h1及びh2を変えない場合、距離計測部16が算出した距離は、実際の距離とは、ずれてしまう。
そのため、距離補正量算出部18が距離の補正量を算出した後、距離補正部17は、距離補正量算出部18が算出した補正量を用いて演算により距離計測部16が算出した距離を補正する。これにより、距離測定装置10は、被写体までの正確な距離を求める。
距離補正量算出部18は、撮像素子14の各行における各被写体の距離ごとの露光中の合焦位置の移動範囲から、点像分布関数の類似性を判断して、各行の距離の補正量を求める。距離補正部17は、距離補正量算出部18が算出した撮像素子14の各行の距離の補正量を、距離計測部16が算出した距離から減算もしくは加算することで、距離を補正する。距離の補正量の算出方法、及び、補正の方法について、図6及び図7を用いて詳しく説明する。
図6は、実施の形態1における、撮像素子で積算される点像分布関数の幾何光学的な直径の第一の説明図である。
図6の(a)は、具体的には、本実施の形態における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、被写体からの光線を光学系により集光した場合の様子を示す図である。図6の(b)は、本実施の形態における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、図6の(a)中の円で囲んだ光線の集光位置の辺りを拡大した図であり、ある距離(合焦位置fdで合焦する被写体距離)に存在する被写体を図4の方法で撮影した場合における、撮像素子14の各行で積算される点像分布関数の幾何光学的な直径を示す。
補正量は、撮像素子14の全領域に含まれる被写体が、同じ距離に存在する場合を想定して算出する。撮像素子の1行目〜A行目までの各行では、図6の(b)中の矢印の根元から矢印の先端までで示される合焦位置における点像分布関数が積算される。例えば、撮像素子14の1行目では、1枚目の撮影画像については、合焦位置f1からfaまでの点像分布関数が積算され、2枚目の撮影画像については、合焦位置fbからfcまでの点像分布関数が積算される。図6の(b)に示される各行において、積算される点像分布関数の直径が異なり、積算される範囲が直線的に少しずつずれていることが分かる。
図7は、実施の形態1における、撮像素子で積算される点像分布関数の幾何光学的な直径の第二の説明図である。
図7は、具体的には、本実施の形態1における距離測定装置10を用いて、DFDに用いる2枚の画像を撮影する場合において、図6の(a)において円で囲んだ光線の集光位置の辺りを拡大した図であり、異なる距離に存在する被写体を撮影した場合における、撮像素子のA行目で積算される点像分布関数の幾何光学的な直径を距離別に示す図である。
図7は、図6の(b)と同様に、光線の集光位置を拡大した図であり、異なる距離に存在する被写体を撮影した場合における、撮像素子14のA行目で積算される点像分布関数の幾何光学的な直径を距離別に示す。
なお、全ての距離において、F値を同一として作図している。距離d1は、図6の(b)における被写体距離と同じであり、合焦位置fdで合焦する被写体距離となる。隣接する距離djと距離(dj+1)との間隔は、像面側において合焦位置が均等の間隔になるように設定してある。具体的には、距離djと距離(dj+1)との間隔は、合焦位置faとfbとの間隔と同じになるように設定してある。1枚目では、露光中に合焦位置が合焦位置fbから合焦位置fcまで移動する。よって、撮像素子14のA行目では、距離ごとに積算される点像分布関数の直径が異なることが分かる。
なお、本実施の形態では、距離計測部16は、図7に示される点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)のセットを保持しているとする。この点像分布関数のセットでは、合焦位置fdで距離d1に合焦しており、図4の撮影方法で撮影された場合に、撮像素子14のA行目で積算される点像分布関数が想定されている。保持している点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)の1つのセットは、h1及びh2でそれぞれJ段階ずつあり、点像分布関数のdj(j=1、2、…、J)は、図7の距離d1、d2、d3、d4、d5、d6、…に対応する。例えば、図7の距離d1に対応する1枚目の画像の点像分布関数は、h1(d1)である。
図6の(b)と図7とを比較すると、図6の(b)のある行で積算される点像分布関数の直径と、図7のある距離で積算される点像分布関数の直径とが、ほぼ同じ値になっていることが分かる。積算される点像分布関数の直径が同一であれば、露光中の合焦位置移動によって積算及び平均化される点像分布関数同士も同一となる。
例えば、図6の(b)の4A/5行目で積算される点像分布関数の直径と、図7の距離d2で積算される点像分布関数の直径とは、ほぼ同じ値である。同様に、図6の(b)のA、3A/5、2A/5、A/5、1行目と、図7の距離d1、d3、d4、d5、d6とでは、それぞれ積算される点像分布関数の直径がほぼ同じ値となる。そのため、式3を用いたSweepDFDによって被写体の距離を求める際に、保持している1セットの点像分布関数h1及びh2を撮像素子14の全行で用いた場合、撮影した被写体が全て同じ距離に存在していたとしても、行ごとに算出される距離がずれてしまう。
本実施の形態で保持している点像分布関数h1及びh2を計算に使用すると、撮影した被写体が全て距離d1に存在していたとしても、撮像素子14のA行目では、距離d1と算出されるが、撮像素子14の1、A/5、2A/5、3A/5、4A/5行目では、それぞれ距離d6、d5、d4、d3、d2となり、正確な距離を求めることができない。
ただし、図4で示すように、2枚の画像の取得のために露光されている間に合焦位置を像面側で等速に移動させた場合、行ごとの算出距離のずれは、距離算出後に容易に補正が可能となる。距離d1に存在する被写体を撮影した場合、撮像素子14の1、A/5、2A/5、3A/5、4A/5、A行目では、算出される距離は、それぞれ距離d6、d5、d4、d3、d2、d1となる。つまり、算出される距離は、A/5行ごとに1段階分ずつずれていることが分かる。図6及び図7の場合に限らず、図4で示すように、2枚の画像が露光されている間に合焦位置を像面側で等速に移動させた場合、ある幅の行ごとに1段階ずつ算出距離がずれ、またそのずれ量は、容易に算出可能である。そのため、予め行ごとの算出距離のずれ量を計算して、行ごとの距離の補正量を求めておき、距離補正部17によって、算出した補正量を用いて、行ごとに距離を補正すると、全行において正確な距離を求めることができる。
本実施の形態の図6及び図7の場合では、距離補正量算出部18で算出される補正量は、撮像素子14の1、A/5、2A/5、3A/5、4A/5行目では、それぞれ、5、4、3、2、1段階分となり、距離補正部17により、撮像素子14の1、A/5、2A/5、3A/5、4A/5行目において、距離計測部16が算出した距離から、それぞれ、5、4、3、2、1段階減算することにより正確な距離を求めることができる。A行目の補正量は0段階と言うこともできる。
なお、1行目とA行目との算出距離のずれ量Ddiff(単位は段階)は、点像分布関数の類似性から、図6及び図7のように図を用いて算出でき、また式4の式を用いても算出できる。
式4において、Ddiffは、1行目とA行目との算出距離のずれ量を、段階の数を単位として示したものである。Sは、1枚目の画像の1行目の露光開始から1枚目の画像のA行目の露光完了までに移動する合焦位置の移動量である。TVDは、1VDの時間である。Eは、1枚目の画像の1行目の露光開始から1枚目の画像のA行目の露光完了までの合計時間である。dは、距離1段階分の合焦位置の移動距離である。Sは、1枚目の画像の1行目の露光開始から2枚目の画像のA行目の露光完了までに移動する合焦位置の移動量である。Eは、1枚目の画像の1行目の露光開始から2枚目の画像のA行目の露光完了までの合計時間としてもよい。
図6及び図7から分かるように、図7の場合を想定して、点像分布関数h1及びh2の1つのセットを保持して、距離計測部16において距離算出の計算に用いた場合、距離d1に存在する被写体の距離を測定すると、A行目では、距離はd1と算出され、1行目では、距離はd6となる。
そのため、図より求められるDdiffは、5段階であり、1行目では、距離計測部16で算出された距離から5段階分減算する必要がある。また、式4に図4、図6及び図7の値を当てはめてみると、式からは、Sは(合焦位置f2−f1)、Eは(3−1/5)×TVD、dは(合焦位置fa−fb)であり、(合焦位置f2−f1)=14dであるので、Ddiff=5となり、図より求めた場合と一致する。
行ごとのずれ量は、Ddiffを用いて、1行目からA行目の間のどの行かによって、比率によって計算することができ、x行目の算出距離のずれ量Ddiff(x)は式5より求めることができる。
Ddiffが少数になった場合は、四捨五入や切り上げ、切り下げ等の処理を行う。
距離補正部17は、図もしくは式4、式5より算出したDdiff(x)を用いて、距離計測部16がSweepDFDで求めた距離から撮像素子14の各行ごとに、Ddiff(x)の値を減算して補正し、正確な距離を求めることができる。ただし、式5を用いる際は、撮像素子の行番号を1行目からではなく、0行目から数える必要がある。
以上のように、距離補正部17は、距離計測部16が算出したあらゆる距離に存在する被写体の距離に対して、撮像素子14の全領域に含まれる被写体が同じ距離に存在する場合を想定して距離補正量算出部18が算出した、距離の補正量を加算又は減算することにより被写体までの正確な距離を求めることができる。
本実施の形態では、ローリングシャッターを備える撮像素子14によって撮影された2枚の画像からSweepDFDによって距離を求める方法を示した。積算されたSweepDFD用の点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)を予め1セット保持しておき、SweepDFDによって距離を算出し、距離算出後に距離の補正を行う。
画像の撮影は、1枚目の1行目の露光開始から2枚目のA行目の露光完了まで、合焦位置を像面側で等速で移動させて行う。このような撮影方法で画像を撮影することにより、各行での算出距離の補正を容易に行うことができる。もし、合焦位置を等速に移動させていなければ、行ごとの補正は容易には行えない。本実施の形態のように、合焦位置を移動させながら距離を算出し、算出した距離を容易に補正して正確な距離を求めることができるので、合焦位置、範囲の異なる複数枚の画像を必要とするDFDを、高速に効率よく行うことが可能である。
図4の(a)に示された本実施の形態の撮影方法と、図5の(a)に示された関連技術における撮影方法を比較すれば、本実施の形態の方が2枚の画像の撮影時間が短いことが分かる。また、図4における合焦位置の制御は、合焦位置が細かく往復運動するような制御ではなく、合焦位置が一方向へ移動する制御のみである。そのため、合焦位置制御部13にかかる負担が小さく抑えられ、また合焦位置の移動に必要な消費電力も小さく抑えることができる。
なお、本実施の形態では、距離の補正は、距離計測部16が距離を算出した後のタイミングに実行する例を説明したが、距離算出前のタイミングに行われてもよい。距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらして式3に代入する。つまり、点像分布関数の独立変数である距離dを補正量の段階数分だけずらしてから、距離計測部16が距離を算出するようにしてもよい。
また、距離算出前の補正と、距離算出後の補正を組み合わせてもよい。なお、距離算出前の補正では、予め保持している点像分布関数のセットを行ごとに保持して、行ごとに距離算出の計算に使用する点像分布関数のセットを変えてもよいが、その場合、データ保持用のメモリも大量に必要になる。予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらす方法を用いると、データ保持用のメモリ量を少なくすることができる。
また、距離算出前の補正の方法の一つとして、予め行ごとに異なる点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)のセットを全行分保持しておく方法を用いてもよい。その場合、本実施の形態のような特別な方法を用いなくても、露光中に合焦位置を自由に移動させながらDFDによる距離計測が可能となるが、点像分布関数のセットを全行で保持するためには、各行において、合焦位置の移動の軌跡から各行の点像分布関数を作成する必要がある。合焦点の移動が像面側において等速に移動していない場合、合焦位置ごとの露光時間から、積算する点像分布関数の重みを計算する必要があり、像分布関数の作成は複雑になる。また、カメラ及びレンズ内に全行の点像分布関数のデータを保持する必要があり、データ保持用のメモリも大量に必要になる。これに対し、本実施の形態では、必要な点像分布関数のセットは、1つだけでよく、また、積算する点像分布関数の重みを合焦位置ごとに同一とすればよいので、点像分布関数の計算も簡単になる。
なお、本実施の形態では、2枚の画像から距離を算出したが、2枚以上のN枚の画像を用いて距離を算出してもよい。その場合、1枚目の1行目の露光開始からN枚目のA行目の露光完了まで、合焦位置を像面側で等速で移動させる。
なお、N枚の画像のうち、連続する2枚の画像を除く、(N−2)枚の画像は、本実施の形態(図4)のように露光中に合焦位置を動かしながらの撮影ではなく、関連技術(図5)のように露光中に合焦位置を停止させて撮影する方法で撮影してもよい。その場合、(N−2)枚の画像用に、合焦位置を停止させた場合の点像分布関数を予め保持しておき、距離の補正は、距離計測部16によって距離を算出する前の時点での補正に限られる。
なお、本実施の形態では、合焦位置制御部13は、撮像素子14を移動させて、合焦位置を移動させたが、光学系11に含まれるフォーカスレンズを移動させて、合焦位置を移動させてもよい。
なお、本実施の形態では、予め保持しておくSweepDFD用の積算された点像分布関数を作成するために、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を光学シミュレーションで出力して、後から平均化して算出する方法を用いた。しかし、モデル関数を用いて算出する方法、実測する方法等のいずれの方法で作成してもよい。また、モデル関数を用いる方法及び実測する方法では、積算された点像分布関数を直接モデル化、実測する方法、もしくは、各合焦位置での点像分布関数を算出、実測し、後から積算する方法がある。
なお、本実施の形態では、距離画像を1枚算出する場合を示したが、連続に動画的に距離画像を算出してもよい。その際、図4において、3枚目の画像の露光中に、像面側において合焦位置2f2から、合焦位置1f1と合焦位置2f2との間隔の分だけ離れた合焦位置3まで合焦位置を等速に移動させてもよい。その際には、対応する点像分布関数を予め追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてSweepDFDを行うとよい。
また、2枚目の露光が完了してから1VD空けて、今度は逆に合焦位置をf1からf2に向かって、合焦位置を像面側において等速に移動させてもよい。その場合、合焦位置を逆に移動する場合に対応する点像分布関数を追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてSweepDFDを行うとよい。
また、2枚目の露光完了後に1VD空けてから、合焦位置をf1に移動させて、再び図4と同様の撮影方法で撮影してもよい。
また、2枚目の露光が完了してから1VD空けて、さらに次の1VDの間に合焦位置を任意の位置に移動させて、図4の合焦位置f1及び合焦位置f2を、任意の合焦位置1’及び合焦位置2’とし、同様のフレームワークで撮影してもよい。その際は、対応する点像分布関数を予め追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてSweepDFDを行うとよい。複数の画像を動画として連続的に距離画像を算出する方法を記載したが、動画として連続的に距離画像を算出する過程において、本実施の形態を含んでいればよく、記載した方法に限るわけではない。
なお、本実施の形態では、撮像素子14の1行ごとに補正量を算出、補正処理を行っていたが、複数行単位で補正量を算出、補正処理を行ってもよい。
なお、本実施の形態では、撮像素子14のA行目で想定される点像分布関数のセットを保持していたが、他の行で想定される点像分布関数を保持していてもよい。その場合でも、本実施の形態で算出した補正量の相対値は変わらない。例えば、本実施の形態で算出した補正量は、1行目及びA行目について、それぞれ、5段階及び0段階であり、その差は5段階である。もし、任意のx行目で想定される点像分布関数を保持しておくと、x行目の補正量は0となり、x行目から1行目までの間隔と、x行目からA行目までの間隔とから、補正量を新たに求めることができ、1行目とA行目との補正量の差は、変わらず5段階となる。x行目を3A/5行目とすると、1行目の補正量が3段階の減算、A行目の補正量が、2段階の加算ということになり、その差は5段階である。1行目とA行目とに限らず、その間の補正量も同様に算出することができる。
なお、本実施の形態では、1枚目と2枚目との露光時間を同じとしたが、これに限らず、1枚目と2枚目との露光時間は同じでなくてもよい。その場合、撮影した画像に露光時間に応じた重み付けを行い、また露光時間と合焦位置の移動方法に応じて点像分布関数h1(dj)、h2(dj)(j=1、2、…、J)を保持しておけばよい。
なお、本実施の形態では、点像分布関数を予め保持しておくとしたが、点像分布関数にモデル関数を用いる場合や、点像分布関数を積算して平均化する計算を行う場合は、点像分布関数を予め保持せず、点像分布関数が必要な時に都度算出してもよい。
なお、本実施の形態に少し変更を加えた複数の距離測定方法を示したが、変更に伴って、新たに点像分布関数もしくは点像分布関数のセットが必要となる場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するものとする。また、新たに点像分布関数もしくは点像分布関数のセットを追加する必要がなく、既に保持している点像分布関数のセットをずらすなどして代用可能な場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するか、又は、既に保持している点像分布関数のセットをずらす等して用いるかは選択可能である。
(実施の形態2)
本実施の形態において、撮像素子により撮像される撮像領域のうちの一部の領域に対して被写体に関する距離の情報を算出する距離測定装置について説明する。なお、実施の形態1における構成要素と同様の構成要素については、同一の符号を付し、詳細な説明を省略することがある。
本実施の形態において、撮像素子により撮像される撮像領域のうちの一部の領域に対して被写体に関する距離の情報を算出する距離測定装置について説明する。なお、実施の形態1における構成要素と同様の構成要素については、同一の符号を付し、詳細な説明を省略することがある。
図8は、本実施の形態における距離測定装置の構成を示すブロック図である。
図8に示されるように、距離測定装置20は、光学系11と、合焦位置設定部22と、合焦位置制御部23と、撮像素子14と、画像取得部25と、距離計測部16と、距離補正部27と、距離補正量算出部28とを備える。
なお、合焦位置設定部22と、合焦位置制御部23と、画像取得部25とをまとめて撮像制御部22Aという場合がある。また、距離補正部27と、距離補正量算出部28とをまとめて補正部27Aという場合がある。
光学系11は、被写体像を撮像素子14に結像させる。また、光学系11の像面側の合焦位置は制御可能である。
合焦位置設定部22は、DFD用の画像を撮影する際の、合焦位置の移動方法を設定する。
合焦位置制御部23は、合焦位置設定部12で設定された合焦位置を用いて、実際に合焦位置の位置を制御する。
合焦位置制御部23は、アクチュエータで構成され、撮像素子14を光軸方向に移動させて、合焦位置の制御を行う。
撮像素子14は、ローリングシャッターを備えるCMOSセンサーである。撮像素子14は、光電変換素子を含む画素が二次元(行列状)に配列され、行又は列ごとに順次、露光と、電荷又は電気信号の読み出しとを行うことにより、被写体を撮像し、画像データを生成する。なお、本実施の形態では、撮像素子14は行ごとに順次、露光と、電荷の読み出しとを行い、A行で構成されている場合を例として説明するが、本発明はこれに限られない。
画像取得部25は、撮像素子14から複数の画像を取得し、取得した画像を保持する。
距離計測部16は、単一の視点から撮影された複数の画像であって、異なる距離に合焦した複数の画像を用い、DFDによって距離計測を行う。
距離補正部27は、距離計測部16が距離を計測する前、又は、距離計測部16が距離を計測した後にローリングシャッターに起因する距離のずれを補正するための補正処理を行う。
距離補正量算出部28は、距離補正部27による補正処理で使用される補正量を、撮像素子14の各行ごとに算出する。
図9は、本実施の形態における距離測定装置を用いて距離が計測される領域の説明図である。具体的には、図9は、全撮像領域の中で、距離測定装置20が距離を計測する領域を示す図である。
本実施の形態では、撮像領域中の一部の領域をSweepDFDによる距離算出の対象とする。図9に、撮像領域中の距離算出領域を示す。図9中の距離算出領域で示す四角形の内側を距離算出の対象領域とする。図9中の、距離算出領域の最初の行をRS、距離算出領域の最後の行をREとする。本実施の形態では、撮像素子14の1行目からRS行目までの間隔、RS行目からRE行目までの間隔、及び、RE行目からA行目までの間隔の比率を、10:7:3に設定している。
図10は、実施の形態2における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。具体的には、図10の(a)は、本実施の形態における距離測定装置20を用いて、DFDに用いるn枚目、n+1枚目の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図10の(b)は、本実施の形態における距離測定装置20を用いて、DFDに用いるn枚目、n+1枚目の画像を撮影する場合において、合焦位置の移動の様子を示す図である。図10の(c)は、本実施の形態における距離測定装置20を用いて、DFDに用いるn枚目、n+1枚目の画像を撮影する場合において、2枚の画像中の図9に示す距離算出領域が露光される合焦範囲を示す図である。
次に、本実施の形態におけるローリングシャッターを備えるCMOSセンサーで、任意のタイミングTから数えて1枚目と(1+n)枚目との画像を用いて、DFDを行う方法について説明する。ただし、n≧1である。本実施の形態では、n=1とする。
本実施の形態では、図10の(a)及び(b)に示すように、1枚目の距離算出領域の最初の行の露光の開始から、(1+n)枚目の距離算出領域の最後の行の露光の完了までの間、及び、(1+n)枚目の距離算出領域の最初の行の露光の開始から、(1+n)枚目の距離算出領域の最後の行の露光の完了までの間に、合焦位置が像面側において等速で移動される。合焦位置の移動方法は、合焦位置設定部22によって設定される。合焦位置の移動は、合焦位置設定部12によって設定された合焦位置を用いて、合焦位置制御部13によって行われる。
なお、図10において、合焦位置は、像面側での位置で表記している。また1行当たりの露光時間は、1枚目及び(1+n)枚目の両方で同一に設定しており、1VDの時間の1/5としている。図10において、1枚目の画像の取得のために撮像素子14のRS行目の露光を開始する時刻をTS(1)とし、1枚目の画像の取得のために撮像素子14のRE行目の露光を完了する時刻をTE(1)とし、(1+n)枚目の画像の取得のために撮像素子14のRS行目の露光を開始する時刻をTS(1+n)とし、(1+n)枚目の画像の取得のために撮像素子14のRE行目の露光を完了する時刻をTE(1+n)とする。
まず、TS(1)までの期間には、合焦位置をf1に停止させておく。そして、TS(1)からTE(1)までの間に、合焦位置をf1からfaまで、合焦位置を像面側で等速に移動させる。次に、TE(1)からTS(1+n)までの間に、合焦位置をfaからfbまで、合焦位置を像面側で等速となるように移動させる。TE(1)からTS(1+n)までの間の合焦位置の移動に関しては、本実施の形態では、像面側において等速で移動させたが、像面側において等速でなくてもよい。次に、TS(1+n)からTE(1+n)までの間に、合焦位置をfbからf2まで、合焦位置を像面側で等速に移動させる。TE(1+n)以降は、合焦位置をf2に停止させておく。なお、TS(1)とTE(1)との間、及び、TS(1+n)とTE(1+n)との間の像面側における合焦位置の移動速度を同じにしている。
図10の(c)は、図10の(a)及び(b)に示す撮影方法で撮影した場合における、図9に示す撮像素子14中の距離算出領域内の各行ごとの、露光される合焦範囲を示す。図10の(c)は、図10の(a)及び(b)に示す撮影方法で撮影した場合における、図9に示す撮像素子14中の距離算出領域内以外の行の、露光される合焦範囲は図示していない。図10の(b)及び(c)の合焦位置fa、fbは、合焦位置f1とf2の間の合焦位置を示しており、図10の(b)及び(c)で対応している。また、合焦位置f1とfaとの間隔、及び、合焦位置fbとf2との間隔は同じである。また、本実施の形態における合焦位置f1とfaとの間隔、及び、合焦位置faとfbとの間隔は、実施の形態1における合焦位置f1とfaとの間隔、及び、合焦位置faとfbとの間隔と同じに設定している。
本実施の形態でも、SweepDFDを前提としており、距離算出、距離補正量の算出及び算出距離の補正の方法や、予め保持しておく積算された点像分布関数の作成方法は、実施の形態1と同様にして距離を求めることができる。
距離補正量算出部18が算出する、撮像素子14のRS行とRE行との補正量の差は、実施の形態1の場合と同様に、点像分布関数の類似性から求めることができる。なお、本実施の形態においても、距離d1、d2、…を、実施の形態1と同じ設定として、本実施の形態の新しい積算されたSweepDFD用の点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)を、RE行目を想定して予め1セット保持していた場合、距離補正量算出部18が算出する、撮像素子14のRS行とRE行との補正量の差は、約2.55段階となる。RS行とRE行との間の行は、RS行とRE行との間のどの行かによって、比率によって計算することができる。式4を用いる場合は、DdiffはRS行目とRE行目との算出距離のずれ量を、段階の数を単位として示したものである。Sは、1枚目の画像のRS行目の露光開始から1枚目の画像のRE行目の露光完了までに移動する合焦位置の移動量である。TVDは、RS行目からRE行目までの電荷の読み出しにかかる時間である。Eは、1枚目の画像のRS行目の露光開始から1枚目の画像のRE行目の露光完了までの合計時間である。dは、距離1段階分の合焦位置の移動距離として計算すればよい。
本実施の形態の構成によると、合焦位置の移動を像面側において等速に移動させなければならない期間を制限できるので、その期間外の時刻では、自由に合焦位置を移動及び停止させることができる。図10では、TS(1)からTE(1)までの期間と、TS(1+n)からTE(1+n)までの期間とが、距離算出領域の露光時間に相当するので、それ以外の時刻では、合焦位置の移動速度を制限する必要はない。
なお、本実施の形態では、距離の補正は、距離計測部16によって距離を算出した後のタイミングに実施したが、距離算出前のタイミングに補正を行ってもよい。距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらして式3の式に代入する。また、距離算出前の補正と、距離算出後の補正とを組み合わせてもよい。なお、距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとに保持して、行ごとに距離算出の計算に使用する点像分布関数のセットを変えてもよいが、その場合、データ保持用のメモリも大量に必要になる。予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらす方法を用いると、データ保持用のメモリ量を少なくすることができる。
また、距離算出前の補正の方法の一つとして、予め行ごとに異なる点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)のセットを全行分保持しておく方法を用いてもよい。その場合、本実施の形態のような特別な方法を用いなくても、露光中に合焦位置を自由に移動させながらDFDによる距離計測が可能となるが、点像分布関数のセットを全行で保持するためには、各行において、合焦位置の移動の軌跡から各行の点像分布関数を作成する必要がある。合焦点の移動が像面側において等速に移動していない場合、合焦位置ごとの露光時間から、積算する点像分布関数の重みを計算する必要があり、像分布関数の作成は複雑になる。また、カメラ及びレンズ内に全行の点像分布関数のデータを保持する必要があり、データ保持用のメモリも大量に必要になる。これに対し、本実施の形態では、必要な点像分布関数のセットは、1つだけでよく、また、積算する点像分布関数の重みを合焦位置ごとに同一とすればよいので、点像分布関数の計算も簡単になる。
なお、本実施の形態では、任意のタイミングTから数えて1枚目と(1+n)枚目との2枚の画像から距離を算出したが、2枚以上のN枚の画像を用いて距離を算出してもよい。その場合、1枚目の1行目の露光開始からN枚目のA行目の露光完了までの間で、撮像素子14のRS行目からRE行目までが露光されている間は、合焦位置を像面側で等速で動かせばよい。
なお、N枚の画像のうち、連続する2枚の画像を除く、(N−2)枚の画像は、実施の形態1(図4)のように露光中に合焦位置を動かしながらの撮影ではなく、関連技術(図5)のように露光中に合焦位置を停止させて撮影する方法で撮影してもよい。その場合、(N−2)枚の画像用に、合焦位置を停止させた場合の点像分布関数を予め保持しておき、距離の補正は、距離計測部16によって距離を算出する前の時点での補正に限られる。
なお、本実施の形態では、合焦位置制御部13は、撮像素子14を移動させて、合焦位置を移動させたが、光学系11に含まれるフォーカスレンズを移動させて、合焦位置を移動させてもよい。
なお、本実施の形態では、予め保持しておくSweepDFD用の積算された点像分布関数を作成するために、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を光学シミュレーションにより出力して、後から平均化して算出する方法を用いた。しかし、モデル関数を用いて算出する方法、実測する方法等のいずれの方法で作成してもよい。また、モデル関数を用いる方法及び実測する方法では、積算された点像分布関数を直接モデル化、実測する方法、もしくは、各合焦位置での点像分布関数を算出、実測し、後から積算する方法がある。
なお、本実施の形態では、TS(n)以前の時刻からTS(n)までの時刻では、合焦位置をf1に停止させていたが、これに限らず、TS(n)の時点で合焦位置f1に合焦位置が移動完了していれば、TS(n)以前の時刻から、TS(n)までの時刻では、合焦位置はどのような動きをしていてもよい。
また、本実施の形態では、TE(n)からTS(n+1)までの時刻では、合焦位置faから合焦位置fbまで、合焦位置を像面側で等速で移動させていたが、これに限らず、TS(n+1)の時点で合焦位置fbの位置に移動が完了していれば、TE(n)からTS(n+1)までの時刻では、合焦位置はどのような動きをしていてもよい。
また、本実施の形態では、TE(n+1)以降の時刻では、合焦位置を合焦位置2f2に停止させていたが、これに限らず、TE(n+1)以降の時刻では、合焦位置はどのような動きをしていてもよい。
なお、本実施の形態では、TS(1)からTE(1)までの期間と、TS(1+n)からTE(1+n)までの期間とにおける合焦位置の移動量は、像面側で同一としたが、TE(1)≦TS(1+n)の場合は、TS(1)からTE(1)までの期間とTS(1+n)からTE(1+n)までの期間とにおける合焦位置の移動量は略同一でなくてもよい。なお、TE(1)>TS(1+n)の場合は、実施の形態1の場合と同様になる。
また、TE(1)>TS(1+n)の場合、実施の形態1の撮影方法を用い、TE(1)≦TS(1+n)の場合は、本実施の形態の撮影方法もしくは下記に示す方法2’を選択的に用いることができるとしてもよい。方法2’では、図10において、TS(1)からTE(1)までの間は、合焦位置をf1に停止させ、TE(1)からTS(1+n)までの間に、合焦位置をf1とは異なるf3に移動させ、TS(1+n)からTE(1+n)までの間は、合焦位置をf3に停止させる。方法2’では、SweepDFDではなく、普通のDFDとなる。
下記により一般的に記載する。n≧1、(n−1)≧x≧0のとき、撮影された(1+n)枚の画像の中で、連続する(1+x)枚目、(1+x+1)枚目の画像において、(1+x)枚目のRS行目の露光開始時刻をTS(1+x)とし、(1+x)枚目のRE行目の露光完了時刻をTE(1+x)とし、(1+x+1)枚目のRS行目の露光開始時刻をTS(1+x+1)とし、(1+x+1)枚目のRE行目の露光完了時刻をTE(1+x+1)とすると、TE(1+x)≦TS(1+x+1)の場合は、TS(1+x)からTE(1+x)までの期間とTS(1+x+1)からTE(1+x+1)までの期間と時刻における、合焦位置の移動量は同一でなくてもよい。なお、TE(1+x)>TS(1+x+1)の場合は、実施の形態1の場合と同様になる。
また、TE(1+x)>TS(1+x+1)の場合、実施の形態1の撮影方法を用い、TE(1+x)≦TS(1+x+1)の場合は、本実施の形態の撮影方法もしくは下記に示す方法2’を選択的に用いることができるとしてもよい。方法2’では、図10において、TS(1+x)からTE(1+x)までの間は、合焦位置をf1に停止させ、TE(1+x)からTS(1+x+1)までの間に、合焦位置をf1とは異なるf3に移動させ、TS(1+x+1)からTE(1+x+1)までの間は、合焦位置をf3に停止させる。
なお、距離測定装置20は、TE(1+x)及びTS(1+x+1)の時刻の前後関係を判断する露光時刻前後関係判定部(不図示)を備え、露光時刻前後関係判定部が、TE(1+x)>TS(1+x+1)もしくはTE(1+x)≦TS(1+x+1)のいずれであるかを判定するとしてもよい。
なお、本実施の形態では、距離画像を1枚算出する場合を示したが、動画として連続的に距離画像を算出してもよい。その際、TE(n+1)からTS(n+2)までの間に、合焦位置をf1まで移動させ、(n+2)枚目と(n+3)枚目との画像を、図10のn枚目と(n+1)枚目との画像と同様の方法で撮影してもよい。もしくは、(n+2)枚目と(n+3)枚目は、n枚目と(n+1)枚目とは別の合焦位置、範囲で撮影してもよい。その場合、対応する点像分布関数を予め追加で保持しておけばよい。
複数の画像を動画として連続的に距離画像を算出する方法を記載したが、動画として連続的に距離画像を算出する過程において、本実施の形態を含んでいればよく、記載した方法に限るわけではない。
なお、本実施の形態では、撮像素子14の1行ごとに補正量を算出し、補正処理を行うことを説明したが、撮像素子14の複数行ごとに補正量を算出し、補正処理を行ってもよい。
なお、本実施の形態では、撮像素子14のRE行目で想定される点像分布関数のセットを保持していたが、他の行で想定される点像分布関数を保持していてもよい。その場合でも、本実施の形態で算出した補正量の相対値は変わらない。
なお、本実施の形態では、1枚目と(1+n)枚目との露光時間を同じとしたが、これに限らず、1枚目と(1+n)枚目との露光時間は同じでなくてもよい。その場合、撮影した画像に露光時間に応じた重み付けを行い、また露光時間と合焦位置の移動方法とに応じて点像分布関数h1(dj)及びh2(dj)(j=1、2、…、J)を保持しておけばよい。
なお、本実施の形態では、距離算出領域を図9で示す範囲と設定したが、これに限るわけではなく、撮像素子14の1行目からA行目までの任意の範囲で設定可能である。
なお、本実施の形態では、TS(1)からTE(1)までの期間、TS(1+n)からTE(1+n)までの期間の像面側における合焦位置の移動速度を同じとしたが、TE(1)≦TS(1+n)の場合は、同じにする必要はない。ただし、その場合は、距離の補正は、距離計測部16によって距離を算出する前の時点での補正に限られる。
なお、本実施の形態では、点像分布関数を予め保持しておくとしたが、点像分布関数に、モデル関数を用いる場合や、点像分布関数を積算して平均化する計算は、予め保持せず、必要な時に都度計算してもよい。
なお、本実施の形態に少し変更を加えた複数の距離測定方法を示したが、変更に伴って、新たに点像分布関数もしくは点像分布関数のセットが必要となる場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するものとする。また、新たに点像分布関数もしくは点像分布関数のセットを追加する必要がなく、既に保持している点像分布関数のセットをずらすなどして代用可能な場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するか、又は、既に保持している点像分布関数のセットをずらす等して用いるかは選択可能である。
なお、全ての実施例において、ステッピングモーターにおけるコギングで発生する速度のばらつき等、アクチュエータの通常発生し得る速度のばらつきは、実質的に等速と考えられる範囲内である。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の距離測定装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、距離測定装置における距離測定方法であって、前記距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、前記距離測定方法は、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む距離測定方法を実行させる。
以上、一つまたは複数の態様に係る距離測定装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
撮影した画像を用いて被写体までの距離を測定する測距装置や、カメラやムービー等に用いるオートフォーカス装置に利用でき、高フレームレート、低消費電力で測距やオートフォーカスを実現することができる。
10、20 距離測定装置
11 光学系
12、22 合焦位置設定部
12A、22A 撮像制御部
13、23 合焦位置制御部
14 撮像素子
15、25 画像取得部
16 距離計測部
17、27 距離補正部
17A、27A 補正部
18、28 距離補正量算出部
11 光学系
12、22 合焦位置設定部
12A、22A 撮像制御部
13、23 合焦位置制御部
14 撮像素子
15、25 画像取得部
16 距離計測部
17、27 距離補正部
17A、27A 補正部
18、28 距離補正量算出部
Claims (14)
- 行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、
前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、
前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、
被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、
前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える
距離測定装置。 - 前記撮像制御部は、
少なくとも(n+1)枚(nは1以上の整数)のぼけ画像を、前記複数のぼけ画像として取得し、
前記少なくとも(n+1)枚のぼけ画像のうち最初に取得される第一画像を取得する際の前記撮像素子の露光の開始時刻をTS(1)とし、
前記第一画像を取得する際の前記撮像素子の前記露光の終了時刻をTE(1)とし、
前記少なくとも(n+1)枚のぼけ画像のうち最後に取得される第二画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+n)とし、
前記第二画像を取得する際の前記撮像素子の前記露光の終了時刻をTE(1+n)とするとき、
(i)前記TS(1)には、前記合焦位置を第一位置とするように制御し、
(ii)前記TE(1+n)には、前記合焦位置を、前記第一位置とは異なる第二位置とするように制御し、
(iii)前記TS(1)から前記TE(1)までの期間、及び、前記TS(1+n)から前記TE(1+n)までの期間のそれぞれには、前記合焦位置を等速に移動させるように制御し、
前記距離計測部は、
前記点像分布関数と、前記第一画像及び前記第二画像とを用いて、前記第一画像及び前記第二画像の少なくとも一方における画素ごとに、前記基準位置から前記被写体までの距離を計測し、
前記補正部は、
前記第一画像及び前記第二画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記補正処理を行う
請求項1に記載の距離測定装置。 - 前記撮像制御部は、
前記TS(1)から前記TE(1)までの期間における前記合焦位置の移動速度と同一の速度で、前記TS(1+n)から前記TE(1+n)までの期間において前記合焦位置を移動させる
請求項2に記載の距離測定装置。 - 前記距離測定装置は、さらに、
前記撮像制御部による前記複数のぼけ画像の取得の前に、前記第一画像を取得する際の前記撮像素子の露光の終了時刻より、前記第二画像を取得する際の前記撮像素子の露光の開始時刻が早いという条件が満たされるか否かを判定する撮像条件判定部を備え、
前記撮像条件判定部は、
前記条件が満たされると判定した場合に、(i)前記複数のぼけ画像を取得する処理を前記撮像制御部に実行させ、(ii)前記距離を計測する処理を前記距離計測部に実行させ、かつ、(iii)前記補正処理を前記補正部に実行させる
請求項3に記載の距離測定装置。 - 前記撮像制御部は、
少なくとも(n+1)枚(nは1以上の整数)のぼけ画像を前記複数のぼけ画像として取得し、
前記複数のボケ画像のうち、(1+x)枚目((n−1)≧x≧0)の画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+x)とし、
前記複数のボケ画像のうち、(1+x)枚目の画像を取得する際の前記撮像素子の露光の完了時刻をTE(1+x)とし、
前記複数のボケ画像のうち、(1+x+1)枚目の画像を取得する際の前記撮像素子の露光の開始時刻をTS(1+x+1)とし、
前記複数のボケ画像のうち、(1+x+1)枚目の画像を取得する際の前記撮像素子の露光の完了時刻をTE(1+x+1)とするとき、
前記距離測定装置は、さらに、
前記TE(1+x)と前記TS(1+x+1)との時刻の先後を判断する先後判断部を備え、
前記撮像制御部は、
前記TE(1+x)>前記TS(1+x+1)が成立すると前記先後判断部が判断した場合、前記TS(1+x)から前記TE(1+x+1)までの期間に前記合焦位置を第三位置から前記第三位置とは異なる第四位置まで等速移動させるように制御する
請求項4に記載の距離測定装置。 - 前記撮像制御部は、
前記TE(1+x)<前記TS(1+x+1)が成立すると前記先後判断部が判断した場合、
(i)前記TS(1+x)から前記TE(1+x)までの期間に前記合焦位置を第三位置に停止させ、
(ii)前記TE(1+x)から前記TS(1+x+1)までの期間に前記合焦位置を前記第三位置から前記第四位置まで移動させ、
(iii)前記TS(1+x+1)から前記TE(1+x+1)までの期間に、前記合焦位置を前記第四位置に停止させるように制御する
請求項5に記載の距離測定装置。 - 前記nは1である
請求項2〜6のいずれか1項に記載の距離測定装置。 - 前記nは2以上の整数であり、
前記距離計測部は、
3以上のぼけ画像を、前記複数のぼけ画像として用いて、前記距離を計測する
請求項2〜6のいずれか1項に記載の距離測定装置。 - 前記補正部は、
前記撮像素子の行又は列ごとに、前記距離計測部により計測される前記距離に関する補正量を算出する補正量算出部を有し、
前記補正量算出部は、
前記撮像素子の行又は列ごとの前記露光の期間において前記合焦位置の移動範囲に対応する前記点像分布関数の直径が、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径と類似するように、前記撮像素子の行又は列ごとの前記補正量を算出する
請求項1〜8のいずれか1項に記載の距離測定装置。 - 前記補正部は、
前記距離計測部による前記距離の計測の後に、計測した前記距離に対して、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量を加算又は減算することにより前記補正処理を行う
請求項9に記載の距離測定装置。 - 前記補正部は、
前記距離計測部による前記距離の計測の前に、前記距離計測部が前記距離の計測に用いる前記点像分布関数を、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量に応じて変更することにより前記補正処理を行い、
前記距離計測部は、
前記補正部により前記補正処理が行われた後の前記点像分布関数を用いて前記距離を計測する
請求項9に記載の距離測定装置。 - 前記撮像制御部は、
行列状に配列された光電変換素子を含む撮像素子のうちの一部を、前記撮像素子として用いて撮像させることで、前記被写体のうち前記一部に対応する部分に相当する複数のぼけ画像を取得し、
前記距離計測部は、
前記被写体のうちの前記部分についての前記距離を計測する
請求項1〜11のいずれか1項に記載の距離測定装置。 - 距離測定装置における距離測定方法であって、
前記距離測定装置は、
行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、
前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、
前記距離測定方法は、
前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、
被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、
前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む
距離測定方法。 - 請求項13に記載の距離測定方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013084607 | 2013-04-15 | ||
JP2013084607 | 2013-04-15 | ||
PCT/JP2014/001025 WO2014171051A1 (ja) | 2013-04-15 | 2014-02-26 | 距離測定装置、及び、距離測定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014171051A1 true JPWO2014171051A1 (ja) | 2017-02-16 |
JP6210333B2 JP6210333B2 (ja) | 2017-10-11 |
Family
ID=51731018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014541452A Active JP6210333B2 (ja) | 2013-04-15 | 2014-02-26 | 距離測定装置、及び、距離測定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9467616B2 (ja) |
JP (1) | JP6210333B2 (ja) |
CN (1) | CN104364608B (ja) |
WO (1) | WO2014171051A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5895270B2 (ja) * | 2014-03-28 | 2016-03-30 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US9648236B2 (en) * | 2015-02-19 | 2017-05-09 | Blackberry Limited | Device with a front facing camera having discrete focus positions |
JP6608763B2 (ja) * | 2015-08-20 | 2019-11-20 | 株式会社東芝 | 画像処理装置及び撮影装置 |
US10712446B1 (en) * | 2015-09-25 | 2020-07-14 | Apple Inc. | Remote sensing for detection and ranging of objects |
US11134209B2 (en) | 2016-01-22 | 2021-09-28 | Sony Corporation | Light receiving device, control method, and electronic apparatus |
US9934559B2 (en) * | 2016-02-19 | 2018-04-03 | Fotonation Limited | Method for correcting an acquired image |
JP2017195584A (ja) * | 2016-04-22 | 2017-10-26 | キヤノン株式会社 | 撮像装置 |
US10445896B1 (en) | 2016-09-23 | 2019-10-15 | Apple Inc. | Systems and methods for determining object range |
CN107360361B (zh) * | 2017-06-14 | 2020-07-31 | 中科创达软件科技(深圳)有限公司 | 一种逆光拍摄人物方法及装置 |
KR102382871B1 (ko) * | 2017-07-18 | 2022-04-05 | 삼성전자주식회사 | 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법 |
CN111521617B (zh) * | 2020-04-30 | 2023-06-16 | 上海御微半导体技术有限公司 | 光学检测设备、光学检测设备的控制方法及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1256831A1 (en) * | 2001-05-11 | 2002-11-13 | MVTec Software GmbH | Method and system for calibrating an image range device |
JP2007010908A (ja) * | 2005-06-29 | 2007-01-18 | Canon Inc | 焦点調節方法及び装置 |
JP2012005063A (ja) * | 2010-06-21 | 2012-01-05 | Sony Corp | 撮像装置および方法、並びにプログラム |
WO2012140899A1 (ja) * | 2011-04-15 | 2012-10-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
WO2012164881A1 (ja) * | 2011-05-27 | 2012-12-06 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
WO2013054527A1 (ja) * | 2011-10-12 | 2013-04-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2963990B1 (ja) | 1998-05-25 | 1999-10-18 | 京都大学長 | 距離計測装置及び方法並びに画像復元装置及び方法 |
US7493030B2 (en) * | 2005-06-24 | 2009-02-17 | Nokia Corporation | Adaptive optical plane formation with rolling shutter |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
JP4862312B2 (ja) | 2005-07-28 | 2012-01-25 | ソニー株式会社 | 撮像装置およびフォーカス制御装置 |
JP5367094B2 (ja) * | 2009-12-07 | 2013-12-11 | パナソニック株式会社 | 撮像装置及びその制御方法 |
US8773570B2 (en) | 2010-06-17 | 2014-07-08 | Panasonic Corporation | Image processing apparatus and image processing method |
JP2012198075A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | ステレオカメラ装置、画像補整方法 |
US9277132B2 (en) * | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
-
2014
- 2014-02-26 JP JP2014541452A patent/JP6210333B2/ja active Active
- 2014-02-26 CN CN201480001527.4A patent/CN104364608B/zh active Active
- 2014-02-26 US US14/407,569 patent/US9467616B2/en active Active
- 2014-02-26 WO PCT/JP2014/001025 patent/WO2014171051A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1256831A1 (en) * | 2001-05-11 | 2002-11-13 | MVTec Software GmbH | Method and system for calibrating an image range device |
JP2007010908A (ja) * | 2005-06-29 | 2007-01-18 | Canon Inc | 焦点調節方法及び装置 |
JP2012005063A (ja) * | 2010-06-21 | 2012-01-05 | Sony Corp | 撮像装置および方法、並びにプログラム |
WO2012140899A1 (ja) * | 2011-04-15 | 2012-10-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
WO2012164881A1 (ja) * | 2011-05-27 | 2012-12-06 | パナソニック株式会社 | 画像処理装置および画像処理方法 |
WO2013054527A1 (ja) * | 2011-10-12 | 2013-04-18 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
WO2013171954A1 (ja) * | 2012-05-17 | 2013-11-21 | パナソニック株式会社 | 撮像装置、半導体集積回路および撮像方法 |
Non-Patent Citations (1)
Title |
---|
松井修平,長原一,谷口倫一郎: "フォーカススイープ撮像によるDFD", 研究報告コンピュータビジョンとイメージメディア(CVIM), vol. 2010-CVIM-174, JPN7014001395, 11 November 2010 (2010-11-11), JP, pages pp. 1-8 * |
Also Published As
Publication number | Publication date |
---|---|
CN104364608B (zh) | 2017-11-24 |
WO2014171051A1 (ja) | 2014-10-23 |
US20150146033A1 (en) | 2015-05-28 |
US9467616B2 (en) | 2016-10-11 |
JP6210333B2 (ja) | 2017-10-11 |
CN104364608A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6210333B2 (ja) | 距離測定装置、及び、距離測定方法 | |
US8890996B2 (en) | Imaging device, semiconductor integrated circuit and imaging method | |
US9681037B2 (en) | Imaging apparatus and its control method and program | |
JP5938281B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP6504969B2 (ja) | 撮像システム、撮像装置、レンズ装置、撮像システムの制御方法 | |
JP5832433B2 (ja) | 画像復元装置、撮像装置及び画像復元方法 | |
JP6152772B2 (ja) | 撮像装置、半導体集積回路および撮像方法 | |
US9900493B2 (en) | Focus detecting apparatus, and method of prediction for the same | |
JP5701942B2 (ja) | 撮像装置、カメラシステム及び画像処理方法 | |
JP6608194B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2011257444A (ja) | 撮像装置 | |
JP2014211491A (ja) | 焦点検出装置、焦点検出方法およびプログラム、並びに撮像装置 | |
JP6642998B2 (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JP6305017B2 (ja) | フォーカス制御装置、およびその制御方法 | |
US20190320122A1 (en) | Control apparatus, image capturing apparatus, control method, and non-transitory computer-readable storage medium | |
JP6305016B2 (ja) | フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置 | |
JP2021192498A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6566800B2 (ja) | 撮像装置及び撮像方法 | |
US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
JP7358086B2 (ja) | 撮像装置及びその制御方法 | |
JP2018050147A (ja) | 撮像装置、撮像方法およびプログラム | |
JP6541477B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP5300949B2 (ja) | 撮像装置及びフォーカス制御方法 | |
JP2021081611A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2018028654A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6210333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |