JP2009187092A - Imaging device, imaging method and program - Google Patents
Imaging device, imaging method and program Download PDFInfo
- Publication number
- JP2009187092A JP2009187092A JP2008023794A JP2008023794A JP2009187092A JP 2009187092 A JP2009187092 A JP 2009187092A JP 2008023794 A JP2008023794 A JP 2008023794A JP 2008023794 A JP2008023794 A JP 2008023794A JP 2009187092 A JP2009187092 A JP 2009187092A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- transfer function
- object point
- spatial frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Input (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法、およびプログラムに関する。本発明は、特に、画像を撮像する撮像装置および撮像方法、ならびに撮像装置用のプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program. The present invention particularly relates to an imaging apparatus and an imaging method for imaging an image, and a program for the imaging apparatus.
受光素子アレイのピッチの2倍よりも大きなPSFを有する対物オプチクスを備えたカメラが知られている(例えば、特許文献1参照。)。また、波面の位相を変更する光学素子により焦点関係の収差に対して光学結像の光学伝達関数を実質的に不変とする技術が知られている(例えば、特許文献2参照。)。
撮像装置からの距離が大きく異なる物体からの光に対してはOTFの違いが大きくなり易い。したがって、先行技術文献1および先行技術文献2に記載されているように、同じフィルタを用いて復元処理すると、MTF特性が物体までの距離に依存している周波数領域において、被写体像をうまく復元できない虞がある。
The difference in OTF tends to be large for light from an object with a significantly different distance from the imaging device. Therefore, as described in the
上記課題を解決するために、本発明の第1の形態によると、撮像装置であって、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系と、光学系を通じて撮像された画像を、光学系の光学伝達関数に基づいて補正する補正部とを備え、光学伝達関数のデフォーカス量に対する依存性は、補正部によって画像が補正される補正量がより大きい空間周波数領域においてより小さい。 In order to solve the above-described problem, according to a first embodiment of the present invention, an imaging apparatus is provided that expands light from an object point to substantially the same size regardless of the distance to the object point. The optical transfer function for light from the optical system is substantially the same regardless of the distance to the object point, and a correction unit that corrects an image captured through the optical system based on the optical transfer function of the optical system. The dependency of the transfer function on the defocus amount is smaller in the spatial frequency region where the correction amount by which the image is corrected by the correction unit is larger.
本発明の第2の形態によると、撮像方法であって、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系を通じて撮像された画像を、光学系の光学伝達関数に基づいて補正する補正段階を備え、光学伝達関数のデフォーカス量に対する依存性は、補正段階において画像が補正される補正量がより大きい空間周波数領域においてより小さい。 According to the second aspect of the present invention, there is provided an imaging method in which an optical transfer function for light from an object point is obtained by expanding the light from the object point to substantially the same size regardless of the distance to the object point. A correction stage for correcting an image captured through a substantially identical optical system regardless of the distance to the object point based on the optical transfer function of the optical system, and the dependency of the optical transfer function on the defocus amount is a correction stage. The correction amount by which the image is corrected is smaller in the larger spatial frequency region.
本発明の第3の形態によると、撮像装置用のプログラムであって、撮像装置を、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系を通じて撮像された画像を、光学系の光学伝達関数に基づいて補正する補正部として機能させ、光学伝達関数のデフォーカス量に対する依存性が、補正部によって画像が補正される補正量がより大きい空間周波数領域においてより小さい。 According to a third aspect of the present invention, there is provided a program for an imaging apparatus, wherein the imaging apparatus expands light from an object point to substantially the same size regardless of the distance to the object point. Defocusing of the optical transfer function by causing the optical transfer function for the light to function as a correction unit that corrects the image captured through the same optical system regardless of the distance to the object point based on the optical transfer function of the optical system. The dependence on the amount is smaller in the spatial frequency region where the correction amount by which the image is corrected by the correction unit is larger.
本発明の第4の形態によると、撮像装置であって、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系と、光学系を通じて撮像された画像を、光学伝達関数に基づいて補正する補正部とを備え、補正部は、光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における画像の空間周波数成分を、より小さい補正量で補正する。 According to the fourth aspect of the present invention, in the imaging device, the optical transfer function for the light from the object point is obtained by expanding the light from the object point to substantially the same size regardless of the distance to the object point. An optical system that is substantially the same regardless of the distance to the object point, and a correction unit that corrects an image captured through the optical system based on the optical transfer function, the correction unit corresponding to the defocus amount of the optical transfer function The spatial frequency component of the image in the spatial frequency region having a higher dependency is corrected with a smaller correction amount.
本発明の第5の形態によると、撮像方法であって、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系を通じて撮像された画像を、光学伝達関数に基づいて補正する補正段階を備え、補正段階は、光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における画像の空間周波数成分を、より小さい補正量で補正する。 According to the fifth aspect of the present invention, in the imaging method, the optical transfer function for the light from the object point is obtained by expanding the light from the object point to substantially the same size regardless of the distance to the object point. A correction stage for correcting an image captured through a substantially identical optical system regardless of the distance to the object point based on the optical transfer function is provided, and the correction stage is more dependent on the defocus amount of the optical transfer function. The spatial frequency component of the image in the spatial frequency domain is corrected with a smaller correction amount.
本発明の第6の形態によると、撮像装置用のプログラムであって、撮像装置を、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系と、光学系を通じて撮像された画像を、光学伝達関数に基づいて補正する補正部であって、光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における画像の空間周波数成分を、より小さい補正量で補正する補正部として機能させる。 According to a sixth aspect of the present invention, there is provided a program for an imaging apparatus, wherein the imaging apparatus expands light from an object point to substantially the same size regardless of the distance to the object point. An optical transfer function with respect to the light of the optical system is substantially the same regardless of the distance to the object point, and a correction unit that corrects an image captured through the optical system based on the optical transfer function. It functions as a correction unit that corrects a spatial frequency component of an image in a spatial frequency region having a greater dependency on the focus amount with a smaller correction amount.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、一実施形態に係わる撮像装置100のブロック構成の一例を示す。撮像装置100は、被写体を撮像して画像を生成する。撮像装置100は、光を結像する光学系の一例としてのレンズ系110、レンズ系110を通過した光を受光する受光部120、補正パラメータ格納部180、補正パラメータ選択部185、補正部140、画像処理部145、および出力部150を備える。
FIG. 1 shows an example of a block configuration of an
レンズ系110は、物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学特性を有している。なお、レンズ系110の光学特性については図2に関連して定性的に説明する。
The
受光部120は、2次元的に配置された複数の受光素子を有する。補正部140は、複数の受光素子がそれぞれ受光した受光量がA/D変換されて得られた画像を補正する。例えば、補正部140は、A/D変換された受光量の値、各受光素子の位置、及びレンズ系110の光学的伝達関数に基づいて、画像を補正する。このように、補正部140は、レンズ系110の光学伝達関数に基づいて、レンズ系110を通じて撮像された画像を補正する。
The
なお、補正パラメータ格納部180は、画像を補正する補正量が異なる複数の補正パラメータを格納している。そして、補正パラメータ選択部185は、レンズ系110の光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における画像の空間周波数成分をより小さい補正量で補正することができる補正パラメータを、複数の補正パラメータの中から選択する。そして、補正部140は、補正パラメータ選択部185が選択した補正パラメータで画像を補正する。
The correction
このように、補正部140は、レンズ系110の光学伝達関数のデフォーカス量に対する依存性が大きい空間周波数領域の周波数成分を、小さい補正量で補正する。したがって、撮像装置100によると、光学伝達関数の違いによって補正後の画像にアーチファクトが発生することを抑制することができる。なお、補正パラメータ選択部185は、光学伝達関数の像高に対する依存性がより大きい空間周波数領域における画像の空間周波数成分をより小さい補正量で補正することができる補正パラメータを、複数の補正パラメータの中から選択してもよい。
As described above, the
画像処理部145は、補正部140によって補正された画像に画像処理を施す。画像処理部145が施す画像処理としては、カラーバランス処理、γ変換、色同時化処理、輪郭補正処理、色補正処理等を例示することができる。このように、画像処理部145は、補正部140によって補正された画像の画素値を、受光素子の受光量に非線形な値に変換する。
The
そして、出力部150は、画像補正部140および画像処理部145によって処理されて得られた出力画像を出力する。例えば、出力部150は、出力画像を表示してよい。また、出力部150は、記録媒体に出力画像を記録してよい。他にも、出力部150は、通信回線に出力を送出してよい。なお、出力部150は、出力画像を圧縮してから出力してもよい。
Then, the
図2は、レンズ系110の光学特性の一例を模式的に示す。本図には、光軸上の物点からレンズ系110に入射した光線のうち、入射瞳205において光軸200から異なる位置に入射した3の光線210、光線220、光線230の軌跡が模式的に示されている。図示されるように、光線210、光線220、および光線230は、この順で入射瞳205において光軸200に近い位置に入射する。
FIG. 2 schematically shows an example of the optical characteristics of the
図示されるように、光線210は、レンズ系110により、近軸焦点の位置250より光軸方向にレンズ系110より離れた位置215で光軸200と交差する。また、光線230は、レンズ系110により、位置215より光軸方向にレンズ系110より離れた位置235で光軸200と交差する。そして、光線220は、最も光軸200から離れた位置に入射する光線230は、レンズ系110により、位置215と位置235との間の位置225で光軸200と交差する。
As shown in the drawing, the
図示されるように、レンズ系110による光の拡がりの大きさは、位置215から位置235の間では略同一の大きさになることが期待される。このように、レンズ系110は過剰補正された球面収差を有しており、光を近軸焦点の位置250より実質的に遠くに結像する。このため、レンズ系110によると、光軸方向の像面位置によらず物点からの光の拡がりの大きさが実質的に略同一となる光軸方向の距離を、球面収差が過剰補正されていない場合に比べて長くすることができる。
As shown in the figure, it is expected that the size of the light spread by the
このように、当該光軸方向の距離が長くなると、レンズ系110からのより広い距離範囲に存在する物点からの光について、光の拡がりの大きさが実質的に略同一となる像面位置が存在し得る。このような像面位置に受光部120を設けると、物点までの距離によらず、受光部120が設けられた位置における光学伝達関数が実質的に略同一となる。このように、レンズ系110は、上述した収差特性によって、物点からの光に対する光学的伝達関数は物点までの距離によらず略同一となる。
Thus, when the distance in the optical axis direction becomes longer, the image plane position at which the magnitude of the light spread is substantially the same for light from an object point existing in a wider distance range from the
以上、図2を用いてレンズ系110の光学特性を定性的に説明した。なお、図2に示したレンズ系110の模式図は、レンズ系110の光学特性を定性的に理解することを目的として作図したものであり、実スケールに従って作図されたものではないことに注意すべきである。
The optical characteristics of the
図3は、レンズ系110の構成の一例を示す。レンズ系110は、絞り300、レンズ310、レンズ320、およびレンズ330を有する。また、像面は符号380で示されている。なお、本図には、複数の光線がレンズ系110に重ねて描かれている。以下、レンズ310、レンズ320、レンズ330の配置およびそれらの光学特性を説明する。
FIG. 3 shows an example of the configuration of the
レンズ310およびレンズ330の屈折率は、波長486.133nm、波長587.562nm、および波長656.273nmの光に対してそれぞれ1.53128710、1.52470166、および1.52196091である。また、レンズ320の屈折率は、波長486.133nm、波長587.562nm、および波長656.273nmの光に対してそれぞれ1.59943869、1.58546992、および1.57986377である。また、絞り300は、レンズ310の頂点より像面側に0.0005358337mm離れて設けられる。
The refractive indexes of the
レンズ310の厚さは1.688465mmである。なお、本図の説明における厚さとは、レンズの光軸方向の長さを示す。また、レンズ310の物体側表面の曲率半径は11.47443mmであり、物体側の断面半径は1.482371mmであり、物体側表面の円錐定数は−556.3053である。また、レンズ310の像側表面の曲率半径は−14.56409mmであり、像側の断面半径は2.111479mmであり、物体側表面の円錐定数は41.9261である。なお、本図の説明において、曲率半径が負である場合は、その表面形状が光に対して凹面であることを示す。
The thickness of the
レンズ320は、レンズ310から像面方向に距離0.0992469mm離れて設けられる。なお、本図の説明で、レンズ間の距離は、光軸上における、物体側のレンズの像側表面と像側のレンズの物体側表面との間の距離を示す。レンズ320の厚さは0.2598875mmである。また、レンズ320の物体側表面の曲率半径は1.401978mmであり、物体側表面の断面半径は2.175006mmであり、物体側表面の円錐定数は−7.659905である。また、レンズ320の像側表面の曲率半径は0.6412006mmであり、像側の断面半径は2.041809mmであり、像側表面の円錐定数は−2.337018である。
The
レンズ330は、レンズ320から像面方向に距離3.139189mm離れて設けられる。レンズ330の厚さは0.1389009mmである。また、レンズ330の物体側表面の曲率半径は−0.374831mmであり、物体側表面の断面半径は3.653998mmであり、物体側表面の円錐定数は−260.7873である。また、レンズ330の像側表面の曲率は−0.3040315mmであり、像側の断面半径は3.744696mmであり、像側表面の円錐定数は−254.3315である。そして、像面は、レンズ330から距離1.885325mm離れた位置に設定されている。
The
このように、複数のレンズ310、レンズ320、およびレンズ330は、各レンズの中心軸をそろえて同軸に配列されている。したがって、レンズ系110は、光軸に関して回転対称である。回転対称であることにより、撮像装置100の製造時におけるレンズのアラインメントが非常に容易となる。
Thus, the plurality of
また、像面の法線の角度と主光線が像面に入射する角度との差の絶対値は、レンズ系110の光学伝達関数の算出誤差を予め定められた値より小さくすべく、予め定められた値より小さい。このように、レンズ系110のテレセントリック性をより大きくすることによって、光学伝達関数の算出誤差を低減することができる。例えば、MTFを算出する場合に、FFTによっても十分小さい誤差でMTFを算出することができる。このため、レンズ系110による画像のボケを高速に復元することが可能になる。
The absolute value of the difference between the normal angle of the image plane and the angle at which the chief ray is incident on the image plane is determined in advance so that the calculation error of the optical transfer function of the
図4は、図3に示したレンズ系110の収差特性を示す。本図には、上から順に球面収差図、非点収差および歪曲収差図、および横収差図が示されている。最上段の球面収差図に示されるように、図3に示したレンズ系110の球面収差は過剰補正されている。なお、本球面収差図の横軸は、設定された像面に対する位置を示しており、近軸焦点に対する位置を示していないことに注意すべきである。
FIG. 4 shows the aberration characteristics of the
図示されるように、像面の全面にわたって縦収差は正の値となっている。縦収差は、図中のP1の位置までは単調増加しており、P1を境に単調減少に転ずる。 As shown in the figure, the longitudinal aberration has a positive value over the entire image surface. Longitudinal aberration increases monotonously up to the position of P1 in the figure, and starts to decrease monotonically at P1.
また、本図の最下段には、複数の像高における横収差を示すグラフが示されている。最左上のグラフは光軸上の横収差図を示しており、最右上のグラフは像高1.1250mmにおける横収差図を示す。また、最左下のグラフは像高1.5750mmにおける横収差図、最右下のグラフは像高2.2500mmにおける横収差図を示す。このように、レンズ系110の横収差は、各像高において略同一の形状を示している。なお、波面収差を指標とすれば、主光線と異なる入射瞳上の入射位置に入射した光に沿う光路長と主光線に沿う光路長との間の差と、レンズ系110の入射瞳への入射位置との間の関係が、像高によらず略同一であってもよい。
In addition, a graph showing transverse aberration at a plurality of image heights is shown at the bottom of the figure. The upper left graph shows a lateral aberration diagram on the optical axis, and the upper right graph shows a lateral aberration diagram at an image height of 1.1250 mm. The lower left graph shows the lateral aberration at an image height of 1.5750 mm, and the lower right graph shows the lateral aberration at an image height of 2.2500 mm. As described above, the lateral aberration of the
図5は、図3に示したレンズ系110の光学伝達特性を示す。本図には、上から順にスポットダイアグラムの像高およびデフォーカス依存性を示すスポットダイアグラム図、MTFのデフォーカス依存性、およびMTFの空間周波数特性が示されている。
FIG. 5 shows the optical transfer characteristics of the
最上段のスポットダイアグラム図には、異なる複数の像高および異なる複数のデフォーカス量におけるスポットダイアグラムが示されている。本スポットダイアグラム図では、同一像高における、異なる複数のデフォーカス量での複数のスポットダイアグラムが横方向に並べられている。また、同一デフォーカス量における、異なる複数の像高における複数のスポットダイアグラムが縦方向に並べられている。 In the uppermost spot diagram, spot diagrams at different image heights and different defocus amounts are shown. In this spot diagram diagram, a plurality of spot diagrams with a plurality of different defocus amounts at the same image height are arranged in the horizontal direction. A plurality of spot diagrams at different image heights with the same defocus amount are arranged in the vertical direction.
各スポットダイアグラムの左に数値で示された像高が示すように、本スポットダイアグラム図には、光軸上、光軸から1.1250mm、光軸から1.5750mm、および光軸から2.2500mmの位置の像高におけるスポットダイアグラムが含まれている。また、各スポットダイアグラムの下に数値で示されたデフォーカス量が示すように、本スポットダイアグラム図には、像面から−75μmの位置、像面から−37.5μmの位置、像面の位置、像面から37.5μmの位置、および像面から75μmの位置におけるスポットダイアグラムが含まれている。
As shown by the numerical image height to the left of each spot diagram, this spot diagram diagram shows 1.1250 mm from the optical axis, 1.5750 mm from the optical axis, and 2.2500 mm from the optical axis on the optical axis. A spot diagram at the image height at the position of is included. Further, as the defocus amount indicated by a numerical value below each spot diagram, this spot diagram diagram shows a position of −75 μm from the image plane, a position of −37.5 μm from the image plane, and a position of the image plane. , A spot diagram at a position 37.5 μm from the image plane and at a
本スポットダイアグラム図が示すように、スポットダイアグラムの拡がりは、少なくとも予め定められた範囲の光軸方向の像面位置にわたって略同一であり、像高によらず略同一であることがわかる。このように、レンズ系110による物点からの光の拡がりは、予め定められた範囲の光軸方向の像面位置にわたって略同一となる。なお、光の拡がりとは、本図に示すようにスポットダイアグラムの拡がりであってよく、点像分布関数が示す光の拡がりであってもよい。
As shown in this spot diagram diagram, it is understood that the spread of the spot diagram is substantially the same over at least the image plane position in the optical axis direction within a predetermined range, and is substantially the same regardless of the image height. Thus, the spread of light from the object point by the
このように、レンズ系110による物点からの光の拡がりは、像高によらず略同一であり、レンズ系110による物点からの光の拡がりは、少なくとも予め定められた範囲の光軸方向の像面位置にわたって略同一であることがわかる。なお、各スポットダイアグラムが示すように、像面における物点からの光の強度分布は、主光線の位置を中心とする空間的な"芯"を持つことがわかる。つまり、レンズ系110による物点からの光の像面における強度分布は、異なる像高にそれぞれ2つのピークを有しており、1のピークは主光線が像面を交わる位置に存在する。このような"芯"を有することからもわかるように、レンズ系110は実質的に、空間的に高周波を伝達することもできる。高周波の伝達特性は、後に説明するMTFの空間周波数特性のグラフでも示される。
As described above, the spread of light from the object point by the
また、本図中段に示されるMTFのデフォーカス依存性のグラフが示すように、複数の像高についても、サジタル光線及びメリジオナル光線についても、略同一のMTF値の分布を持つことが分かる。また、MTFは、少なくともグラフに示されるデフォーカスの範囲内では、略同一の値を示している。このように、広いデフォーカス範囲にわたってレンズ系110のMTFは略同一の値をとる。
Further, as shown in the graph of the defocus dependence of MTF shown in the middle of the figure, it can be seen that the distribution of MTF values is substantially the same for a plurality of image heights, sagittal rays and meridional rays. Further, the MTF shows substantially the same value at least within the defocus range shown in the graph. Thus, the MTF of the
また、本図最下段のMTFの空間周波数特性のグラフが示すように、レンズ系110は複数の像高についても、サジタル光線及びメリジオナル光線についても、略同一のMTF周波数特性を持つことが分かる。このように、レンズ系110のMTFは、像高によらず略同一であるといえる。また、レンズ系110のMTFは、予め定められた範囲の光軸方向の像面位置にわたって略同一となっている。
Further, as shown in the graph of the spatial frequency characteristics of the MTF at the bottom of the figure, it can be seen that the
なお、本図には、MTFの値が1から単調減少する回折限界を示す線が示されているが、レンズ系110のMTFは、回折限界のカットオフ周波数近くにまで、実質的なMTF値を有することがわかる。このように、レンズ系110は、空間的に高周波を伝達し得ることがわかる。
In this figure, a line indicating the diffraction limit where the MTF value monotonously decreases from 1 is shown. However, the MTF of the
図6は、レンズ系110の光学伝達関数の像高に対する依存性を示す。図5の最下段のMTFの空間周波数特性が示すように、主光線が像高0の位置に入射する物点からの光のMTF特性(図6の線610に対応する。)と、主光線が像高1.1250mmの位置に入射する物点からの光のMTF特性(図6の線620に対応する。)とは、一部の周波数領域において差が生じている。図6に、MTF特性の像高に対する依存性の違いを、線610および線620により概略示している。このように、レンズ系110のMTFには、像高に依存する周波数領域である像高依存周波数領域f1〜f2がある。
FIG. 6 shows the dependence of the optical transfer function of the
なお、線600は回折限界のMTF特性を示している。レンズ系110の光学伝達関数が示す光学応答を補正部140が補正した場合に、補正部140を含む全系のMTF特性は、理想的には線600で示されるMTF特性に一致することが望ましい。しかしながら、補正部140が使用する逆フィルタによって、像高依存周波数領域が大きく補正される場合には、像高依存周波数領域におけるMTF特性の違いが補正後の画像に顕著に現れてしまう場合がある。
A
図7は、補正パラメータ格納部180が格納している補正パラメータの一例をテーブル形式で示す。補正パラメータ格納部180は、レンズ系110の光学応答を補正する逆フィルタを複数格納している。
FIG. 7 illustrates an example of correction parameters stored in the correction
なお、受光部120における光の拡がりは、レンズ系110の光学伝達関数によって求められる。そして、当該光の拡がりと受光部120が有する複数の受光素子間の距離(画素ピッチ)とから、補正に使用する画素ブロックが定まる。例えば、補正部140が5×5画素の画素ブロックを使用するか、7×7画素の画素ブロックを使用するかが定まる。使用する画素ブロックが定まると、逆フィルタにより復元することができる周波数領域が、画素ピッチに基づいて定まる。ここで、補正部140により復元することができる周波数領域が、図6に示した像高依存周波数領域と重なっている場合には、既に説明したように、像高に依存するMTFの違いが補正部140による補正後の画像に現れてしまう場合がある。
Note that the spread of light in the
したがって、レンズ系110は、光学伝達関数の像高に対する依存性が、補正部140によって画像が補正される補正量がより大きい空間周波数領域においてより小さい光学特性を有することが望ましい。例えば、レンズ系110の光学伝達関数の像高に対する依存性は、補正部140によって補正され得る空間周波数領域である補正可能周波数領域において、予め定められた値より小さいことが望ましい。なお、補正可能周波数領域におけるレンズ系110の光学伝達関数の像高に対する依存性は、補正可能周波数領域以外の空間周波数領域における像高に対する依存性より小さくてよい。逆に言うと、補正可能周波数領域以外の空間周波数領域におけるレンズ系110の光学伝達関数の像高に対する依存性は、補正可能周波数領域における像高に対する依存性より大きくてよい。
Therefore, it is desirable that the
なお、図6および図7に関連して、像高に対するMTF特性の依存性を示したが、デフォーカス量に関しても同様のことが言える。すなわち、デフォーカス量に対してもMTF特性は依存し得る。このため、補正部140により復元される周波数領域が、デフォーカス量に依存する周波数領域と重なっている場合には、補正部140による補正によって、デフォーカス量に依存するMTFの違いが画像に現れてしまう場合がある。
6 and 7, the dependency of the MTF characteristic on the image height is shown, but the same can be said for the defocus amount. That is, the MTF characteristic can also depend on the defocus amount. For this reason, when the frequency region restored by the
したがって、レンズ系110は、光学伝達関数のデフォーカス量に対する依存性が、補正部140によって画像が補正される補正量がより大きい空間周波数領域においてより小さい光学特性を有することが望ましい。例えば、レンズ系110の光学伝達関数のデフォーカス量に対する依存性は、少なくとも補正部140が補正することができる空間周波数領域である補正可能周波数領域において、予め定められた値より小さいことが望ましい。
なお、補正部140が画像を補正することができる空間周波数領域である補正可能周波数領域におけるデフォーカス量に対する依存性は、補正可能周波数領域以外の空間周波数領域におけるデフォーカス量に対する依存性より小さくてよい。逆に言うと、補正可能周波数領域以外の空間周波数領域におけるレンズ系110の光学伝達関数のデフォーカス量に対する依存性は、補正可能周波数領域におけるデフォーカス量に対する依存性より大きくてよい。
Therefore, it is desirable that the
The dependency on the defocus amount in the correctable frequency region, which is the spatial frequency region in which the
このように、レンズ系110のMTF特性について説明した。一方、補正後の画像にアーチファクトが発生しないよう、補正処理を制御することもできる。例えば、補正部140は、光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における画像の空間周波数成分を、より小さい補正量で補正してよい。また、像高に関連して言うと、補正部140は、光学伝達関数の像高に対する依存性がより大きい空間周波数領域における画像の空間周波数成分を、より小さい補正量で補正してよい。
Thus, the MTF characteristic of the
具体的には、補正パラメータ格納部180は、画像を補正することができる空間周波数領域である補正可能周波数領域が異なる複数の補正パラメータを格納してよい。そして、補正パラメータ選択部185は、光学伝達関数のデフォーカス量に対する依存性が予め定められた値より大きい空間周波数領域と補正可能周波数領域とが一致しない補正パラメータを、複数の補正パラメータの中から選択してよい。
Specifically, the correction
また、像高に関連して、補正パラメータ選択部185は、光学伝達関数の像高に対する依存性が予め定められた値より大きい空間周波数領域と補正可能周波数領域とが一致しない補正パラメータを、複数の補正パラメータの中から選択してもよい。なお、像高依存性に関して言えば、補正部140は、光学伝達関数の像高に対する依存性がより大きい空間周波数領域において光学伝達関数の像高に対する依存性を減少させるべく、像高毎に異なる補正量で画像を補正してもよい。具体的には、補正パラメータ選択部185は、像高毎に異なる補正パラメータを選択してもよい。
Further, in relation to the image height, the correction
図8は、撮像装置100のハードウェア構成の一例を示す。撮像装置100は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
FIG. 8 shows an exemplary hardware configuration of the
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
The input /
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、撮像装置100が起動するときに実行するブート・プログラム、あるいは撮像装置100のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、撮像装置100を、図1から図7に関連して説明した補正パラメータ格納部180、補正パラメータ選択部185、補正部140、画像処理部145、および出力部150として機能させる。
A program executed by the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置100に提供してもよい。このように、プログラムにより制御されるコンピュータが撮像装置100として機能する。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
100 撮像装置
110 レンズ系
120 受光部
140 補正部
145 画像処理部
150 出力部
180 補正パラメータ格納部
185 補正パラメータ選択部
200 光軸
205 入射瞳
210 光線
220 光線
230 光線
300 絞り
310 レンズ
320 レンズ
330 レンズ
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示デバイス
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM
1598 ネットワーク通信装置
100
1510 ROM
1520 RAM
1530
1598 Network communication device
Claims (15)
前記光学系を通じて撮像された画像を、前記光学系の光学伝達関数に基づいて補正する補正部と
を備え、
前記光学伝達関数のデフォーカス量に対する依存性は、前記補正部によって前記画像が補正される補正量がより大きい空間周波数領域においてより小さい
撮像装置。 By expanding the light from the object point to approximately the same size regardless of the distance to the object point, the optical transfer function for the light from the object point is approximately the same regardless of the distance to the object point, and
A correction unit that corrects an image captured through the optical system based on an optical transfer function of the optical system;
The dependence of the optical transfer function on the defocus amount is smaller in the spatial frequency region where the correction amount by which the image is corrected by the correction unit is larger.
請求項1に記載の撮像装置。 The dependency on the defocus amount in the correctable frequency region, which is the spatial frequency region in which the correction unit can correct the image, is more dependent on the defocus amount in the spatial frequency region than the correctable frequency region. The imaging device according to claim 1, which is small.
請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the dependency of the optical transfer function on the image height is smaller in a spatial frequency region where a correction amount by which the image is corrected by the correction unit is larger.
請求項3に記載の撮像装置。 The imaging apparatus according to claim 3, wherein dependency on the image height in the correctable frequency region is smaller than dependency on the image height in a spatial frequency region other than the correctable frequency region.
を備え、
前記光学伝達関数のデフォーカス量に対する依存性は、前記補正段階において前記画像が補正される補正量がより大きい空間周波数領域においてより小さい
撮像方法。 By spreading the light from the object point to approximately the same size regardless of the distance to the object point, the optical transfer function for the light from the object point is imaged through a substantially identical optical system regardless of the distance to the object point. A correction step for correcting the image based on the optical transfer function of the optical system,
The dependence of the optical transfer function on the defocus amount is a smaller imaging method in a spatial frequency region where the correction amount by which the image is corrected in the correction stage is larger.
物点からの光を物点までの距離によらず略同一の大きさに拡げることにより、物点からの光に対する光学伝達関数が物点までの距離によらず略同一な光学系を通じて撮像された画像を、前記光学系の光学伝達関数に基づいて補正する補正部
として機能させ、
前記光学伝達関数のデフォーカス量に対する依存性が、前記補正部によって前記画像が補正される補正量がより大きい空間周波数領域においてより小さい
プログラム。 A program for an imaging apparatus, wherein the imaging apparatus is
By spreading the light from the object point to approximately the same size regardless of the distance to the object point, the optical transfer function for the light from the object point is imaged through a substantially identical optical system regardless of the distance to the object point. Function as a correction unit for correcting the image based on the optical transfer function of the optical system,
A program in which the dependence of the optical transfer function on the defocus amount is smaller in a spatial frequency region where the correction amount by which the image is corrected by the correction unit is larger.
前記光学系を通じて撮像された画像を、前記光学伝達関数に基づいて補正する補正部と
を備え、
前記補正部は、前記光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における前記画像の空間周波数成分を、より小さい補正量で補正する
撮像装置。 By expanding the light from the object point to approximately the same size regardless of the distance to the object point, the optical transfer function for the light from the object point is approximately the same regardless of the distance to the object point, and
A correction unit that corrects an image captured through the optical system based on the optical transfer function, and
The correction unit is an imaging apparatus that corrects the spatial frequency component of the image in a spatial frequency region in which the dependence of the optical transfer function on the defocus amount is larger with a smaller correction amount.
請求項7に記載の撮像装置。 The imaging device according to claim 7, wherein the correction unit corrects a spatial frequency component of the image in a spatial frequency region where the dependence of the optical transfer function on the image height is larger with a smaller correction amount.
請求項8に記載の撮像装置。 The correction unit corrects the image with a different correction amount for each image height so as to reduce the dependency of the optical transfer function on the image height in a spatial frequency region where the dependency on the image height of the optical transfer function is larger. The imaging device according to claim 8.
前記光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における前記画像の空間周波数成分をより小さい補正量で補正することができる補正パラメータを、前記複数の補正パラメータの中から選択する補正パラメータ選択部と
をさらに備え、
前記補正部は、前記補正パラメータ選択部が選択した補正パラメータで前記画像を補正する
請求項7に記載の撮像装置。 A correction parameter storage for storing a plurality of correction parameters having different correction amounts for correcting the image;
A correction for selecting a correction parameter capable of correcting the spatial frequency component of the image in a spatial frequency region having a greater dependency on the defocus amount of the optical transfer function with a smaller correction amount from the plurality of correction parameters. A parameter selector and
The imaging apparatus according to claim 7, wherein the correction unit corrects the image with a correction parameter selected by the correction parameter selection unit.
前記補正パラメータ選択部は、前記光学伝達関数のデフォーカス量に対する依存性が予め定められた値より大きい空間周波数領域と前記補正可能周波数領域とが一致しない補正パラメータを、前記複数の補正パラメータの中から選択する
請求項10に記載の撮像装置。 The correction parameter storage unit stores a plurality of correction parameters having different correctable frequency regions that are spatial frequency regions capable of correcting the image,
The correction parameter selection unit selects a correction parameter in which the spatial frequency region in which the dependence of the optical transfer function on the defocus amount is greater than a predetermined value does not match the correctable frequency region, among the plurality of correction parameters. The imaging device according to claim 10, wherein the imaging device is selected from the following.
前記光学伝達関数の像高に対する依存性がより大きい空間周波数領域における前記画像の空間周波数成分をより小さい補正量で補正することができる補正パラメータを、前記複数の補正パラメータの中から選択する補正パラメータ選択部と
をさらに備え、
前記補正部は、前記補正パラメータ選択部が選択した補正パラメータで前記画像を補正する
請求項8に記載の撮像装置。 A correction parameter storage for storing a plurality of correction parameters having different correction amounts for correcting the image;
A correction parameter for selecting a correction parameter capable of correcting the spatial frequency component of the image in a spatial frequency region where the dependence of the optical transfer function on the image height is larger with a smaller correction amount from the plurality of correction parameters. A selection unit and
The imaging apparatus according to claim 8, wherein the correction unit corrects the image with a correction parameter selected by the correction parameter selection unit.
前記補正パラメータ選択部は、前記光学伝達関数の像高に対する依存性が予め定められた値より大きい空間周波数領域と前記補正可能周波数領域とが一致しない補正パラメータを、前記複数の補正パラメータの中から選択する
請求項10に記載の撮像装置。 The correction parameter storage unit stores a plurality of correction parameters having different correctable frequency regions that are spatial frequency regions capable of correcting the image,
The correction parameter selection unit selects a correction parameter in which the spatial frequency region whose dependence on the image height of the optical transfer function is greater than a predetermined value does not match the correctable frequency region from the plurality of correction parameters. The imaging device according to claim 10 to select.
を備え、
前記補正段階は、前記光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における前記画像の空間周波数成分を、より小さい補正量で補正する
撮像方法。 By spreading the light from the object point to approximately the same size regardless of the distance to the object point, the optical transfer function for the light from the object point is imaged through a substantially identical optical system regardless of the distance to the object point. A correction step of correcting the obtained image based on the optical transfer function,
In the correction step, the spatial frequency component of the image in the spatial frequency region where the dependence of the optical transfer function on the defocus amount is larger is corrected with a smaller correction amount.
前記光学系を通じて撮像された画像を、前記光学伝達関数に基づいて補正する補正部であって、前記光学伝達関数のデフォーカス量に対する依存性がより大きい空間周波数領域における前記画像の空間周波数成分を、より小さい補正量で補正する補正部
として機能させるプログラム。 Imaging with an optical system in which the optical transfer function for light from an object point is approximately the same regardless of the distance to the object point by expanding the light from the object point to approximately the same size regardless of the distance to the object point A program for a device, wherein the imaging device is
A correction unit that corrects an image captured through the optical system based on the optical transfer function, wherein a spatial frequency component of the image in a spatial frequency region in which the dependency of the optical transfer function on the defocus amount is larger. A program that functions as a correction unit that corrects with a smaller correction amount.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008023794A JP2009187092A (en) | 2008-02-04 | 2008-02-04 | Imaging device, imaging method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008023794A JP2009187092A (en) | 2008-02-04 | 2008-02-04 | Imaging device, imaging method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009187092A true JP2009187092A (en) | 2009-08-20 |
Family
ID=41070306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008023794A Pending JP2009187092A (en) | 2008-02-04 | 2008-02-04 | Imaging device, imaging method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009187092A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8593509B2 (en) | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
-
2008
- 2008-02-04 JP JP2008023794A patent/JP2009187092A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8593509B2 (en) | 2010-03-24 | 2013-11-26 | Fujifilm Corporation | Three-dimensional imaging device and viewpoint image restoration method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5076240B2 (en) | Imaging apparatus, imaging method, and program | |
JP5124835B2 (en) | Image processing apparatus, image processing method, and program | |
JP5261796B2 (en) | Imaging apparatus, imaging method, image processing apparatus, image processing method, and program | |
JP4942216B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
JP6381376B2 (en) | Imaging apparatus, camera system, image processing apparatus, and image processing program | |
JP5157015B2 (en) | Image processing apparatus, image processing method, imaging apparatus, imaging method, and program | |
JP5709640B2 (en) | Zoom lens and image projection apparatus having the same | |
US20140198231A1 (en) | Image processing apparatus, image pickup apparatus and image processing method | |
JP2008268869A (en) | Image capturing device, image capturing method, and program | |
WO2011027536A1 (en) | Optical device, image capturing device using same, and image capturing system | |
US10880473B2 (en) | Imaging apparatus with focus breathing correction | |
JP2008249909A (en) | Imaging apparatus and optical system | |
JP2009169092A (en) | Optical system and imaging apparatus | |
JP5034117B2 (en) | Imaging apparatus, imaging method, and program | |
JP5587264B2 (en) | ADJUSTMENT METHOD, ADJUSTMENT DEVICE, AND IMAGING DEVICE MANUFACTURING METHOD | |
JP2010008794A (en) | Image pickup apparatus and electronic device | |
JP2009187092A (en) | Imaging device, imaging method and program | |
JP2008211678A (en) | Imaging apparatus and method thereof | |
JP6333076B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5193486B2 (en) | Imaging apparatus, imaging method, and program | |
JP2009169093A (en) | Optical system and imaging apparatus | |
JP6486076B2 (en) | Image processing apparatus and image processing method | |
JP7501985B2 (en) | Endoscopic imaging device | |
JP2016052100A (en) | Imaging apparatus, camera system, image processing apparatus, and image processing program | |
WO2011007485A1 (en) | Optical system and image pickup device |