JP2011070134A - Imaging apparatus and method for processing image - Google Patents
Imaging apparatus and method for processing image Download PDFInfo
- Publication number
- JP2011070134A JP2011070134A JP2009223491A JP2009223491A JP2011070134A JP 2011070134 A JP2011070134 A JP 2011070134A JP 2009223491 A JP2009223491 A JP 2009223491A JP 2009223491 A JP2009223491 A JP 2009223491A JP 2011070134 A JP2011070134 A JP 2011070134A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- blur
- imaging
- imaging optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Optical Elements Other Than Lenses (AREA)
- Lenses (AREA)
Abstract
Description
本発明は、車載カメラ、デジタルスチルカメラや携帯端末用小型カメラ等の民生機器、監視カメラや画像検査装置等の産業機器等を含めた電子画像機器システムの単眼測距システムに適用可能な撮像装置および画像処理方法に関するものである。 The present invention relates to an imaging apparatus applicable to a monocular ranging system of an electronic image equipment system including consumer equipment such as an in-vehicle camera, a digital still camera, and a small camera for a portable terminal, and industrial equipment such as a surveillance camera and an image inspection apparatus. And an image processing method.
従来の測距方法として、DFD(Depth−From−Defocus)という手法が知られている。
これは2次元画像から奥行き情報を得る方法で、ボケの大きさから結像位置とのズレ量を画像処理で求める。
As a conventional distance measuring method, a technique called DFD (Depth-From-Defocus) is known.
This is a method of obtaining depth information from a two-dimensional image, and the amount of deviation from the imaging position is obtained by image processing from the size of the blur.
また、特許文献1には、複数種類の距離に対応した複数のボケ復元フィルタを用意してオートフォーカスをアシストする技術が開示されている。
しかしながら、上記DFDの技術では、2つの欠点がある。
第1に、上記技術ではピント位置に対して、前後のボケが同一となった場合、近側なのか遠側なのか区別することができない。
第2に、上記技術では画角の広い車載カメラのような光学系だと被写界深度が深く、距離が変わっても点像強度分布(PSF)の差が小さく判別することができない。
However, the DFD technique has two drawbacks.
First, in the above technique, when the front and rear blurs are the same with respect to the focus position, it is not possible to distinguish between the near side and the far side.
Secondly, in the above technique, an optical system such as an in-vehicle camera with a wide angle of view has a large depth of field, and even if the distance changes, the difference in point image intensity distribution (PSF) cannot be determined.
また、特許文献1に開示された技術では、機械的なオートフォーカス機構との併用であるため、レンズを駆動させる機構が必要であり、構成の複雑化を招き、また、その分のコストが必要となる、また、駆動部分を要するということは耐衝撃性、耐久性の面からも不利益となる。
In addition, since the technique disclosed in
本発明は、構成の複雑化、コスト増を招くことなく、遠/近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できることが可能な撮像装置および画像処理方法を提供することにある。 The present invention provides an image pickup apparatus and an image processing method that can easily and accurately determine whether the object is far or near without complicating the configuration and increasing costs, and that can reduce the time for distance estimation. It is to provide.
本発明の第1の観点の撮像装置は、非点隔差を発生させる撮像光学系と、前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換部と、前記光電変換部によって得られた画像データに画像処理を施す画像処理部と、前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数(PSF)から得られたボケ復元フィルタ群と、前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部と、を有し、前記画像処理部は、画像のボケ量(PSFの広がり)を検出する機能を含み、前記画像データに対して前記撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う。 An imaging apparatus according to a first aspect of the present invention includes an imaging optical system that generates an astigmatic difference, a photoelectric conversion unit that converts a captured image formed by the imaging optical system into an electrical signal, and the photoelectric conversion unit. An image processing unit that performs image processing on the obtained image data, a blur restoration filter group obtained from a point spread function (PSF) corresponding to a defocus amount before and after the focal position of the imaging optical system, A filter processing unit that filters the image data with a blur restoration filter group, and the image processing unit includes a function of detecting a blur amount of an image (spread spread), and the image data An image that has been filtered using a blur restoration filter obtained from a point spread function corresponding to an arbitrary amount of defocus of the same amount before and after the focal position of the imaging optical system. By comparing the amount of hair, and estimates the subject distance of focus of the image corresponds to the determination to focus position whether there towards either or longitudinal matching to the focal position.
好適には、前記非点隔差によって発生する前記画像のボケ(PSF)の形状は前記撮像光学系の焦点位置の前後で何れか一方がサジタル成分が強く、他方がメリジオナル成分が強い。 Preferably, one of the shapes of the blur (PSF) of the image generated by the astigmatism is strong in sagittal components before and after the focal position of the imaging optical system, and the other has strong meridional components.
好適には、前記撮像光学系は、回転非対称な光学特性を発現する光学面または光学素子部を含み、当該光学素子により非点隔差を発生させる。 Preferably, the imaging optical system includes an optical surface or an optical element portion that expresses rotationally asymmetric optical characteristics, and an astigmatic difference is generated by the optical element.
好適には、前記撮像光学系は、絞りを有し、当該絞りは前記非点隔差を発生させる光学面または光学素子に隣接して配置される。 Preferably, the imaging optical system includes a diaphragm, and the diaphragm is disposed adjacent to an optical surface or an optical element that generates the astigmatic difference.
好適には、前記光学素子は絞りの機能を兼ね備える。 Preferably, the optical element has a diaphragm function.
好適には、前記非点隔差を発生させる撮像光学系は、前記光学系の光軸をz軸とし、互いに直交する2軸をx、yとし、θをアジマス角としたとき、位相が下記式で表される。
z=α×(√(x2+y2))β×COS(2θ)
ただし、αとβは任意の係数とする。
Preferably, in the imaging optical system that generates the astigmatic difference, when the optical axis of the optical system is a z-axis, two axes orthogonal to each other are x and y, and θ is an azimuth angle, It is represented by
z = α × (√ (x 2 + y 2 )) β × COS (2θ)
However, α and β are arbitrary coefficients.
好適には、前記画像処理部は、前記ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う。 Preferably, the image processing unit detects the amount of blur using a contrast or an amplitude correlation value of a predetermined frequency.
好適には、前記画像処理部は、前記ボケ量の検出を、画像内の所定領域に対して行う。 Preferably, the image processing unit detects the blur amount for a predetermined region in the image.
本発明の第2の観点の画像処理方法は、非点隔差を発生させる撮像光学系によって結像された撮像画像の画像データを得る画像データ取得ステップと、前記得られた画像データに画像処理を施す画像処理ステップと、を有し、前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数(PSF)からボケ復元フィルタ群を得るフィルタ取得ステップと、取得したボケ復元フィルタを用いてフィルタリング処理を施すフィルタリングステップと、フィルタリングを施した画像のボケ量を検出する検出ステップと、検出したボケ量を比較する比較ステップと、上記比較ステップの比較結果により画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う推定ステップとを有する。 An image processing method according to a second aspect of the present invention includes an image data acquisition step for obtaining image data of a captured image formed by an imaging optical system that generates an astigmatic difference, and image processing is performed on the obtained image data. An image processing step, and a filter acquisition step for obtaining a blur restoration filter group from a point spread function (PSF) corresponding to a front and rear defocus amount centered on the focal position of the imaging optical system, and the obtained blur restoration A filtering step for performing filtering processing using a filter, a detection step for detecting a blur amount of the filtered image, a comparison step for comparing the detected blur amount, and a comparison result of the comparison step, the focus of the image is Determine whether the subject is in focus or the front and back, and the subject distance corresponding to the focus position With the estimated performing constant.
本発明によれば、構成の複雑化、コスト増を招くことなく、遠/近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できることができる。 According to the present invention, it is possible to easily and accurately determine whether it is far or near without complicating the configuration and increasing the cost, and thus it is possible to shorten the time for distance estimation.
以下、本発明の実施形態を添付図面に関連付けて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
図1は、本発明の実施形態に係る撮像装置の構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present invention.
本撮像装置10は、撮像光学系11、固体撮像素子12、画像処理部13、およびボケ復元フィルタ群14を有する。
The
撮像装置10は、被写体距離推定機能を有し、被写体距離の測定を目的とした特殊面を持つ光学素子を用いることにより、物体距離に応じたPSFの変化から、物体距離の推定を行う機能を有する。
撮像装置10において、撮像光学系11に含まれる被写体距離の測定を目的とした非点隔差(本実施形態では収差)を発生させる特殊面形状の光学素子を有する。特殊面が絞りの効果を有する、もしくは絞りに隣接していて、回転非対称な自由曲面を用いることによって近側から遠側までのPSFの変化を制御する。
The
The
このように、本撮像装置10は、距離におけるPSFの変化を制御する。
具体的には、一般的には、アウトフォーカスしていくとPSFが円形に自然にボケていくのに対し、非点隔差を発生させる特殊面を使用した光学系では、アウトフォーカスしていくと、たとえば近側でサジタル成分が強くなり、遠側でメリジオナル成分が強くなる。 よって、特殊面を通った光学系は従来と異なったボケを形成しPSFの変化に応じた被写体距離の推定を容易にすることができる。
As described above, the
Specifically, in general, when out-focusing, the PSF naturally blurs in a circular shape, whereas in an optical system using a special surface that generates an astigmatic difference, For example, the sagittal component becomes strong on the near side, and the meridional component becomes strong on the far side. Therefore, the optical system passing through the special surface can form a blur different from the conventional one and can easily estimate the subject distance according to the change of the PSF.
本撮像装置10は、画像のボケ量(PSFの広がり)を検出する機能を含み、画像データに対して撮像光学系11の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施す機能を有する。
撮像装置10は、フィルタリング処理した複数の画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う機能を有している。
The
The
撮像光学系11は、上述したように非点収差発生特殊光学素子111を含んで構成されている。
The imaging
図2は、本実施形態に係る非点収差発生特殊光学素子を含む撮像光学系(レンズユニット)の基本構成を示す図である。
撮像光学系11は、被写体物体OBJを撮影した像を固体撮像素子12に供給する。
また、撮像光学系11は、物体側から順に、第1レンズ111、非点収差発生特殊光学素子112、第2レンズ113、第3レンズ114、第4レンズ115が配置されている。
本実施形態の撮像光学系11は、第3レンズ114と第4レンズ115が接合されている。すなわち、本実施形態の撮像光学系11のレンズユニットは、接合レンズを含んで構成されている。
FIG. 2 is a diagram showing a basic configuration of an imaging optical system (lens unit) including the astigmatism generation special optical element according to the present embodiment.
The imaging
The imaging
In the imaging
非点収差発生特殊光学素子112は、特殊面が絞りの効果を有する、もしくは絞りに隣接していて、回転非対称な自由曲面を用いることによって近側から遠側までのPSFの変化を制御する。 The special optical element 112 for generating astigmatism controls the change of the PSF from the near side to the far side by using a rotationally asymmetric free curved surface in which the special surface has a diaphragm effect or is adjacent to the diaphragm.
この非点隔差(収差)を発生させる撮像光学系は、図2および図3に示すように、光学系の光軸をz軸とし、互いに直交する2軸をx、yとし、θをアジマス角としたとき、位相が下記式で表される。
z=α×(√(x2+y2))β×COS(2θ)
ただし、αとβは任意の係数とする。
As shown in FIGS. 2 and 3, the imaging optical system that generates this astigmatic difference (aberration) has the optical axis of the optical system as the z-axis, the two axes orthogonal to each other as x and y, and θ as the azimuth angle. The phase is expressed by the following formula.
z = α × (√ (x 2 + y 2 )) β × COS (2θ)
However, α and β are arbitrary coefficients.
図3は、軸方向を示すものであり、上記方程式は図3の軸のとおりとなる。
図4は、方程式によって表現される面を立体描画した図である。なお、この例では、係数αは0.01、βは2.0で描写している。
FIG. 3 shows the axial direction, and the above equation is as shown in the axis of FIG.
FIG. 4 is a diagram in which the surface represented by the equation is three-dimensionally drawn. In this example, the coefficient α is 0.01 and β is 2.0.
上記式の構成としては、図5に示すように3つの項に分かれる。
まず、非点隔差発生項には、変数が存在しない。非点隔差発生項、言い換えれば余弦項が非点隔差を発生する項となっていて、その他2つの項が実際に非点隔差を制御する項となる。
1つ目の制御項[α]が、測距範囲を決める項で、非点隔差の大小を決める。大きければ、被写体距離に応じて、PSFの変化が敏感になり、より細かい測距が可能となる。反面大きすぎると、PSFの形状が異型となり、全体の画像処理にかかる負荷が大きくなる。
次の周波数制御項[β]については、どの周波数のPSFをコントロールするかを決める。値が小さい程、低周波から効果を発生させることができて、値が大きくなればなるほど高周波成分に効果が顕著に現れる。
The configuration of the above formula is divided into three terms as shown in FIG.
First, there is no variable in the astigmatic difference occurrence term. The astigmatic difference generating term, in other words, the cosine term is a term that generates the astigmatic difference, and the other two terms are the terms that actually control the astigmatic difference.
The first control term [α] is a term that determines the distance measurement range, and determines the magnitude of the astigmatic difference. If it is large, the change in the PSF becomes sensitive according to the subject distance, and finer distance measurement is possible. On the other hand, if it is too large, the shape of the PSF becomes atypical, and the load on the entire image processing increases.
For the next frequency control term [β], it is determined which frequency PSF is to be controlled. As the value is smaller, the effect can be generated from the low frequency, and as the value is larger, the effect is more prominent in the high frequency component.
この撮像光学系11は、回転非対称な光学特性を発現し、非点収差発生特殊光学素子112により非点収差(隔差)を発生させる。
The imaging
また、非点隔差によって発生する画像のボケ(PSF)の形状は撮像光学系11の焦点位置の前後で何れか一方がサジタル成分が強く、他方がメリジオナル成分が強い。
In addition, as for the shape of the image blur (PSF) caused by the astigmatic difference, either one has a strong sagittal component before and after the focal position of the imaging
図6は、通常光学系の中心ディフォーカスMTFを示す図である。
図7は、本実施形態に係る撮像光学系のディフォーカスMTFを示す図である。
図6および図7において、実線がサジタル特性を、破線がメリジオナル特性を示している。
FIG. 6 is a diagram showing the center defocus MTF of the normal optical system.
FIG. 7 is a diagram illustrating the defocus MTF of the imaging optical system according to the present embodiment.
6 and 7, the solid line indicates the sagittal characteristic, and the broken line indicates the meridional characteristic.
図6(A)および(B)の通常光学系の中心MTFは、特徴として、本来サジタルとメリジオナルが揃っている。
図7(A)および(B)の非点収差発生特殊光学素子112を用いた撮像光学系11の中心MTFは、特徴としては、サジタルとメリジオナルを分離することができる。
非点隔差が発生すると図7の(A)と(B)に示すとおりこの非点収差発生特殊光学素子112を用いると中心から周辺まで一様に非点隔差を発生させることができる。
PSFの形状を円形から変えることで、アウトフォーカスしたときの遠近の方向の違いによりサジタル成分、もしくはメリジオナル成分を強くすることによって、距離に対してPSFの感度が強くなる。
さらに、広角になると被写界深度が深く、被写体距離に対してPSFの変化が小さくなるが、この非点収差発生特殊素子を用いると被写体距離に対してPSFの変化が大きくなり被写体距離が推定しやすくなる。
The center MTF of the normal optical system shown in FIGS. 6A and 6B originally has sagittal and meridional characteristics.
The center MTF of the imaging
When an astigmatism difference occurs, as shown in FIGS. 7A and 7B, the astigmatism difference can be uniformly generated from the center to the periphery by using the astigmatism generation special optical element 112.
By changing the shape of the PSF from a circle, the sagittal component or the meridional component is strengthened by the difference in the perspective direction when out-focusing, thereby increasing the sensitivity of the PSF with respect to the distance.
Furthermore, when the angle is wide, the depth of field is deep and the change in PSF with respect to the subject distance is small. However, when this astigmatism generation special element is used, the change in PSF with respect to the subject distance becomes large and the subject distance is estimated. It becomes easy to do.
図8(A)および(B)は、通常光学系の非点収差カーブと、本実施形態に係る非点収差発生特殊光学素子を用いた光学系の非点収差カーブを示す図である。
大きな違いは、一般的には中心はサジタルとメリジオナルが揃っていて周辺にいくにしたがって広がっていく。
周辺だけならPSFの形状で距離を推定することは可能であるが、中心から非点隔差を発生させるには、非点収差発生特殊光学素子が適している。
8A and 8B are diagrams showing an astigmatism curve of a normal optical system and an astigmatism curve of an optical system using the astigmatism generation special optical element according to the present embodiment.
The big difference is that sagittal and meridional are generally at the center and spread out as you go to the periphery.
Although it is possible to estimate the distance by the shape of the PSF if only the periphery, an astigmatism generating special optical element is suitable for generating an astigmatic difference from the center.
図9(A)および(B)は、本実施形態に係る非点収差発生特殊光学素子を用いた光学系のスポット形状と、通常光学系のスポット形状を示す図である。
通常光学系では、スポット形状の距離変化は円形を維持しながらアウトフォーカスするにしたがって大きくなるだけだが、非点収差発生特殊光学素子112を用いるとプラス側とマイナス側で形状が異なる。
FIGS. 9A and 9B are diagrams showing a spot shape of an optical system using the astigmatism generating special optical element according to this embodiment and a spot shape of a normal optical system.
In the normal optical system, the change in the distance of the spot shape only increases as out-focusing while maintaining a circular shape. However, when the astigmatism generation special optical element 112 is used, the shape differs between the plus side and the minus side.
図10から図12は、通常光学系の距離に応じたMTFの変化を示す図である。
図13から図15は、本実施形態に係る非点収差発生特殊光学素子を有する撮像光学系の距離に応じたMTFの変化を示す図である。
図10および図13は物体距離120mm(ピント位置)のMTFを、図11および図14は物体距離100mm[近側]のMTFを、図12および図15は物体距離145mm[遠側]のMTFを示を示している。
10 to 12 are diagrams showing changes in MTF according to the distance of the normal optical system.
FIGS. 13 to 15 are diagrams showing changes in MTF according to the distance of the imaging optical system having the astigmatism generation special optical element according to the present embodiment.
10 and 13 show an MTF with an object distance of 120 mm (focus position), FIGS. 11 and 14 show an MTF with an object distance of 100 mm [near side], and FIGS. 12 and 15 show an MTF with an object distance of 145 mm [far side]. Is shown.
MTFに関しても、通常光学系ではサジタルとメリジオナルが揃っていて、本実施形態に係る撮像光学系11では、サジタルとメリジオナルを分離することができる。
Regarding the MTF, sagittal and meridional are aligned in the normal optical system, and in the imaging
このように、本実施形態においては、機械的なオートフォーカス機構を用いない代わりに、回転非対称な光学特性を有して非点隔差を発生させる撮像光学系11によって、焦点位置の前後でPSF形状の広がりをサジタル/メリジオナル方向に異ならせることで、まず遠/近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できる。
As described above, in this embodiment, instead of using a mechanical autofocus mechanism, the PSF shape is formed before and after the focal position by the imaging
非点収差発生特殊光学素子112を含む光学系11を介した被写体OBJからの光が、固体撮像素子12の撮像面上に結像される。
なお、固体撮像素子12で撮像される被写体分散像は、非点収差発生特殊光学素子112により固体撮像素子12の像面上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
固体撮像素子12は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子により形成され、光学系11を通った被写体OBJの光学像を受けて画像信号に変換する。
固体撮像素子12は、図示しないA/D変換部を含み、固体撮像素子12で得られたアナログ信号をデジタル信号に変換し、デジタル画像信号S12を画像処理部13に出力する。
Light from the subject OBJ through the
The subject dispersion image picked up by the solid-state
The solid-
The solid-
画像処理部13は、前段のA/D変換部からくる撮像画像のデジタル信号を入力し、エッジ強調等の画像処理を施し、撮像光学系11の収差により低下したコントラストを向上させボケた画像を復元し、後段に出力する処理部131を有する。
また、画像処理部13は、物体距離に応じたPSFの変化から、物体距離の推定を行う被写体距離推定装置132を有する。
The image processing unit 13 inputs the digital signal of the captured image coming from the A / D conversion unit in the previous stage, performs image processing such as edge enhancement, and improves the contrast reduced by the aberration of the imaging
In addition, the image processing unit 13 includes a subject
処理部131は、画像のボケ量(PSFの広がり)を検出する機能を含み、画像データに対して撮像光学系11の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施す機能を有する。
被写体距離推定装置132は、フィルタリング処理した複数の画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う機能を有している。
The
The subject
画像処理部13は、ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う。
画像処理部13は、ボケ量の検出を、画像内の所定領域に対して行う。
The image processing unit 13 detects the amount of blur using a contrast or an amplitude correlation value of a predetermined frequency.
The image processing unit 13 detects a blur amount for a predetermined area in the image.
図16は、被写体距離と距離対応フィルタの関係を示す図である。
ボケ復元フィルタ群14は、被写体距離Dに応じた距離対応フィルタfを含む。
図16において、符号Nは至近(近側)を、Fは遠側を示している
距離対応フィルタもピント位置のフィルタをf0として、近側にfN1、〜fNn、fNn+1を有し、遠側にfF1、〜fFn、fFn+1を有する。
FIG. 16 is a diagram illustrating the relationship between the subject distance and the distance correspondence filter.
The blur
In FIG. 16, the symbol N indicates the closest (near side), and F indicates the far side. The distance correspondence filter also has f N1 , ˜f Nn , and f Nn + 1 on the near side, with the focus position filter being f 0. , F F1 , ˜f Fn , f Fn + 1 on the far side
図17は、本実施形態に係る画像処理部の処理例を説明するためのフローチャートである。 FIG. 17 is a flowchart for explaining a processing example of the image processing unit according to the present embodiment.
この場合、まず被写体を撮像し(ST1)、画像処理部13の処理部131は撮像光学系11の焦点位置から前後それぞれに同量の任意のデフォーカス量に応じた距離対応フィルタfNnとfFnによるフィルタリングを行う(ST2)。
処理部131は、フィルタリングの結果のPSF(コントラスト)の比較を行う(ST3)。
距離対応フィルタfNnによるフィルタリング結果のPSFNnが、距離対応フィルタfFnによるフィルタリング結果のPSFFnより小さい場合、PSFが最小となる距離対応フィルタfNnをサーチする(ST4)。
そのフィルタが距離D=Nnに相当するフィルタとして選択し、フィルタfNnによるフィルタリングを行う(ST5、ST6)。
距離対応フィルタfNnによるフィルタリング結果のPSFNnが、距離対応フィルタfFnによるフィルタリング結果のPSFFnと等しい場合、そのフィルタが距離D=D0に相当するフィルタとして選択し、フィルタf0によるフィルタリングを行う(ST7、ST8)。
距離対応フィルタfNnによるフィルタリング結果のPSFNnが、距離対応フィルタfFnによるフィルタリング結果のPSFFnより大きい場合、PSFが最小となる距離対応フィルタfFnをサーチする(ST9)。
そのフィルタが距離D=Fnに相当するフィルタとして選択し、フィルタfFnによるフィルタリングを行う(ST10、ST11)。
In this case, first, the subject is imaged (ST1), and the
The
Distance corresponding filter f Nn of by filtering result PSF Nn is, the distance corresponding filter f Fn case of filtering result of PSF Fn smaller, searches the distance corresponding filter f Nn that PSF is minimized (ST4).
The filter is selected as a filter corresponding to the distance D = Nn, and filtering by the filter f Nn is performed (ST5, ST6).
Distance corresponding filter f Nn of by filtering result PSF Nn is, the distance corresponding filter f Fn equal to the PSF Fn filtering result by, select as a filter the filter is equivalent to the distance D = D 0, the filtering by the filter f 0 Perform (ST7, ST8).
Distance corresponding filter f Nn by filtering result of PSF Nn is, the distance corresponding filter f Fn case of filtering result is larger than the PSF Fn, searches the distance corresponding filter f Fn that PSF is minimized (ST9).
The filter is selected as a filter corresponding to the distance D = Fn, and filtering by the filter f Fn is performed (ST10, ST11).
以上説明したように、本実施形態によれば、非点隔差を発生させる撮像光学系11と、撮像光学系11によって結像された撮像画像を電気信号に変換する固体撮像素子12と、固体撮像素子によって得られた画像データに画像処理を施す画像処理部13と、を有する。
撮像装置10は、撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数(PSF)から得られたボケ復元フィルタ群と、ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部131を有する。
そして、画像処理部13は、画像のボケ量(PSFの広がり)を検出する機能を含み、画像データに対して撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
As described above, according to the present embodiment, the imaging
The
The image processing unit 13 includes a function of detecting an image blur amount (PSF spread), and according to an arbitrary defocus amount of the same amount before and after the focal position of the imaging optical system with respect to the image data. By comparing the amount of blurring of the filtered image using the blur restoration filter obtained from the point spread function, it is determined whether the image is in focus or in front of the focal position Then, the subject distance corresponding to the focus position is estimated.
Therefore, according to the present embodiment, the following effects can be obtained.
機械的なオートフォーカス機構を用いない代わりに、回転非対称な光学特性を有して非点隔差を発生させる撮像光学系11によって、焦点位置の前後でPSF形状の広がりをサジタル/メリジオナル方向に異ならせることで、まず遠/近の何れにあるかを容易かつ精度良く判別でき、ひいては距離推定の時間を短縮できる。
Instead of using a mechanical autofocus mechanism, the imaging
そして、本実施形態に係る撮像置10は、車載カメラ、デジタルスチルカメラや携帯端末用小型カメラ等の民生機器、監視カメラや画像検査装置等の産業機器等を含めた電子画像機器システムの単眼測距システムに適用可能である。
The
10・・・撮像装置、11・・・撮像光学系、14・・・ボケ復元フィルタ、111・・・第1レンズ、112・・・非点収差発生特殊光学素子、113・・・第2レンズ、114・・・第3レンズ、115・・・第4レンズ、12・・・固体撮像素子、13・・・画像処理部、131・・・処理部、132・・・被写体距離推定装置。
DESCRIPTION OF
Claims (9)
前記撮像光学系によって結像された撮像画像を電気信号に変換する光電変換部と、
前記光電変換部によって得られた画像データに画像処理を施す画像処理部と、
前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数(PSF)から得られたボケ復元フィルタ群と、
前記ボケ復元フィルタ群で前記画像データをフィルタリング処理するフィルタ処理部と、を有し、
前記画像処理部は、
画像のボケ量(PSFの広がり)を検出する機能を含み、
前記画像データに対して前記撮像光学系の焦点位置から前後それぞれに同量の任意のディフォーカス量に応じた点広がり関数から得られたボケ復元フィルタを用いてフィルタリング処理を施した画像のボケ量を比較することで、画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う
撮像装置。 An imaging optical system that generates an astigmatic difference;
A photoelectric conversion unit that converts a captured image formed by the imaging optical system into an electrical signal;
An image processing unit that performs image processing on the image data obtained by the photoelectric conversion unit;
A blur restoration filter group obtained from a point spread function (PSF) according to the amount of defocus before and after the focal position of the imaging optical system;
A filter processing unit for filtering the image data with the blur restoration filter group,
The image processing unit
Including a function to detect the amount of image blur (PSF spread),
A blur amount of an image obtained by performing a filtering process on the image data using a blur restoration filter obtained from a point spread function corresponding to an arbitrary defocus amount of the same amount before and after the focal position of the imaging optical system. An image pickup apparatus that determines whether the focus of the image is in focus with respect to the focal position or the front or back of the image, and estimates the subject distance corresponding to the focus position.
請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein one of the shapes of the blur (PSF) of the image generated by the astigmatism has a strong sagittal component and the other has a strong meridional component before and after the focal position of the imaging optical system. .
回転非対称な光学特性を発現する光学面または光学素子部を含み、当該光学素子により非点隔差を発生させる
請求項1または2に記載の撮像装置。 The imaging optical system is
The imaging apparatus according to claim 1, comprising an optical surface or an optical element unit that exhibits rotationally asymmetric optical characteristics, and generating an astigmatic difference by the optical element.
絞りを有し、当該絞りは前記非点隔差を発生させる光学面または光学素子に隣接して配置される
請求項1から3のいずれか一に記載の撮像装置。 The imaging optical system is
The imaging apparatus according to any one of claims 1 to 3, further comprising an aperture, the aperture being disposed adjacent to an optical surface or an optical element that generates the astigmatic difference.
請求項3に記載の撮像装置。 The imaging device according to claim 3, wherein the optical element has a function of a diaphragm.
前記光学系の光軸をz軸とし、互いに直交する2軸をx、yとし、θをアジマス角としたとき、位相が下記式で表される
請求項1から5のいずれか一に記載の撮像装置。
z=α×(√(x2+y2))β×COS(2θ)
ただし、αとβは任意の係数とする。 The imaging optical system that generates the astigmatic difference is:
The phase is represented by the following formula, where the optical axis of the optical system is az axis, two axes orthogonal to each other are x and y, and θ is an azimuth angle. Imaging device.
z = α × (√ (x 2 + y 2 )) β × COS (2θ)
However, α and β are arbitrary coefficients.
前記ボケ量の検出を、コントラストまたは所定周波数の振幅相関値によって行う
請求項1から請求項6のいずれか一に記載の撮像装置。 The image processing unit
The imaging apparatus according to any one of claims 1 to 6, wherein the blur amount is detected based on a contrast or an amplitude correlation value of a predetermined frequency.
前記ボケ量の検出を、画像内の所定領域に対して行う
請求項1から請求項7のいずれか一に記載の撮像装置。
The image processing unit
The imaging apparatus according to claim 1, wherein the blur amount is detected with respect to a predetermined region in the image.
前記得られた画像データに画像処理を施す画像処理ステップと、を有し、
前記撮像光学系の焦点位置を中心に前後のディフォーカス量に応じた点広がり関数(PSF)からボケ復元フィルタ群を得るフィルタ取得ステップと、
取得したボケ復元フィルタを用いてフィルタリング処理を施すフィルタリングステップと、
フィルタリングを施した画像のボケ量を検出する検出ステップと、
検出したボケ量を比較する比較ステップと、
上記比較ステップの比較結果により画像のピントが前記焦点位置に対して合っているかまたは前後何れの方にあるかを判定してピント位置に相当する被写体距離の推定を行う推定ステップと
を有する画像処理方法。 An image data acquisition step for obtaining image data of a captured image formed by an imaging optical system that generates an astigmatic difference;
An image processing step of performing image processing on the obtained image data,
A filter acquisition step of obtaining a blur restoration filter group from a point spread function (PSF) according to the amount of defocus before and after the focal position of the imaging optical system;
A filtering step for performing a filtering process using the acquired blur restoration filter;
A detection step for detecting a blur amount of the filtered image;
A comparison step for comparing the detected amount of blur;
An image processing comprising: an estimation step for determining whether an image is in focus with respect to the focal position or in front of or behind based on a comparison result of the comparison step and estimating a subject distance corresponding to the focus position Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223491A JP2011070134A (en) | 2009-09-28 | 2009-09-28 | Imaging apparatus and method for processing image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223491A JP2011070134A (en) | 2009-09-28 | 2009-09-28 | Imaging apparatus and method for processing image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011070134A true JP2011070134A (en) | 2011-04-07 |
Family
ID=44015460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223491A Pending JP2011070134A (en) | 2009-09-28 | 2009-09-28 | Imaging apparatus and method for processing image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011070134A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186355A (en) * | 2012-03-09 | 2013-09-19 | Casio Comput Co Ltd | Automatic focusing apparatus, automatic focusing method, and program |
CN109151301A (en) * | 2017-06-28 | 2019-01-04 | 三星电子株式会社 | Electronic device including camera model |
CN111521617A (en) * | 2020-04-30 | 2020-08-11 | 上海御微半导体技术有限公司 | Optical detection apparatus, control method of optical detection apparatus, and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116372A (en) * | 2000-10-10 | 2002-04-19 | Ricoh Co Ltd | Automatic focusing device, its focusing method, and computer-readable storage medium stored with program for performing the method by computer |
JP2003172873A (en) * | 2001-09-28 | 2003-06-20 | Olympus Optical Co Ltd | Data correcting method and imaging unit |
JP2005116045A (en) * | 2003-10-07 | 2005-04-28 | Matsushita Electric Ind Co Ltd | Optical head, and optical information recording and reproducing device |
JP2008033060A (en) * | 2006-07-28 | 2008-02-14 | Kyocera Corp | Imaging apparatus and imaging method, and image processor |
JP2008511859A (en) * | 2004-09-03 | 2008-04-17 | オートマティック・レコグニション・アンド・コントロール・インコーポレイテッド | Extended depth of focus using a multifocal length lens with a controlled spherical aberration range and a concealed central aperture |
JP2009047734A (en) * | 2007-08-13 | 2009-03-05 | Olympus Corp | Imaging apparatus and image processing program |
-
2009
- 2009-09-28 JP JP2009223491A patent/JP2011070134A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002116372A (en) * | 2000-10-10 | 2002-04-19 | Ricoh Co Ltd | Automatic focusing device, its focusing method, and computer-readable storage medium stored with program for performing the method by computer |
JP2003172873A (en) * | 2001-09-28 | 2003-06-20 | Olympus Optical Co Ltd | Data correcting method and imaging unit |
JP2005116045A (en) * | 2003-10-07 | 2005-04-28 | Matsushita Electric Ind Co Ltd | Optical head, and optical information recording and reproducing device |
JP2008511859A (en) * | 2004-09-03 | 2008-04-17 | オートマティック・レコグニション・アンド・コントロール・インコーポレイテッド | Extended depth of focus using a multifocal length lens with a controlled spherical aberration range and a concealed central aperture |
JP2008033060A (en) * | 2006-07-28 | 2008-02-14 | Kyocera Corp | Imaging apparatus and imaging method, and image processor |
JP2009047734A (en) * | 2007-08-13 | 2009-03-05 | Olympus Corp | Imaging apparatus and image processing program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186355A (en) * | 2012-03-09 | 2013-09-19 | Casio Comput Co Ltd | Automatic focusing apparatus, automatic focusing method, and program |
CN109151301A (en) * | 2017-06-28 | 2019-01-04 | 三星电子株式会社 | Electronic device including camera model |
US11048061B2 (en) | 2017-06-28 | 2021-06-29 | Samsung Electronics Co., Ltd | Electronic device including camera module |
CN109151301B (en) * | 2017-06-28 | 2022-02-11 | 三星电子株式会社 | Electronic device including camera module |
CN111521617A (en) * | 2020-04-30 | 2020-08-11 | 上海御微半导体技术有限公司 | Optical detection apparatus, control method of optical detection apparatus, and storage medium |
CN111521617B (en) * | 2020-04-30 | 2023-06-16 | 上海御微半导体技术有限公司 | Optical detection device, control method for optical detection device, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5198192B2 (en) | Video restoration apparatus and method | |
JP4818957B2 (en) | Imaging apparatus and method thereof | |
EP2858036B1 (en) | Image processing device, image capturing apparatus, and image processing method for obtaining depth information | |
JP2011118235A (en) | Imaging apparatus | |
US9684954B2 (en) | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium | |
JP5374119B2 (en) | Distance information acquisition device, imaging device, and program | |
JPWO2012132486A1 (en) | Imaging apparatus, imaging method, program, and program storage medium | |
JP2007139893A (en) | Focusing detection device | |
JP2007199633A (en) | Focusing detector | |
JP2013044844A (en) | Image processing device and image processing method | |
JP2015072155A (en) | Image processor, imaging device and image processing method | |
JP5459768B2 (en) | Subject distance estimation device | |
JP4813447B2 (en) | IMAGING SYSTEM, IMAGING DEVICE EQUIPPED WITH THIS IMAGING SYSTEM, PORTABLE TERMINAL DEVICE, IN-VEHICLE DEVICE, AND MEDICAL DEVICE | |
JP2008033060A (en) | Imaging apparatus and imaging method, and image processor | |
JP5477464B2 (en) | Imaging device | |
JP2011070134A (en) | Imaging apparatus and method for processing image | |
US9894343B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
US20100295973A1 (en) | Determinate and indeterminate optical systems | |
WO2013094551A1 (en) | Imaging device, method for controlling same, and program | |
JP5430292B2 (en) | Subject distance measuring device | |
JP4818956B2 (en) | Imaging apparatus and method thereof | |
JP6578960B2 (en) | IMAGING DEVICE, IMAGING METHOD, IMAGING PROGRAM, AND RECORDING MEDIUM CONTAINING THE IMAGING PROGRAM | |
JP2006094470A (en) | Imaging device and imaging method | |
JP6075835B2 (en) | Distance information acquisition device, imaging device, distance information acquisition method, and program | |
JP2019045249A (en) | Measuring device and method for operating measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131029 |