JP7182994B2 - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP7182994B2 JP7182994B2 JP2018205359A JP2018205359A JP7182994B2 JP 7182994 B2 JP7182994 B2 JP 7182994B2 JP 2018205359 A JP2018205359 A JP 2018205359A JP 2018205359 A JP2018205359 A JP 2018205359A JP 7182994 B2 JP7182994 B2 JP 7182994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- stabilization
- optical system
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Structure And Mechanism Of Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、防振処理が行われて取得された撮影画像を処理する技術に関する。 The present invention relates to a technique for processing a photographed image that has been obtained through image stabilizing processing.
撮像装置による撮影時において、例えば手ブレ（振れ）や撮像装置本体の揺れ等があると、撮像面上で被写体像等がぶれてしまう像ブレ現象により、撮影画像の解像度や明瞭度が低下してしまうことがある。このような像ブレ現象を改善するための技術として、光学防振や電子防振等の防振技術が知られている。光学防振を実現する構成としては、撮像装置等の揺れに応じて、撮像光学系の全体又は一部を構成する防振レンズ群を、撮像光学系の光軸に直交する方向に動かすことにより、撮像面上で被写体像等が移動するのを抑制して像ブレを低減する構成が知られている。また光学防振の他の構成として、撮像装置等の揺れに応じて、撮像素子を、撮像光学系の光軸に対して直交する方向へ移動（シフト）、光軸周りに回転（ロール）等させて、撮像面に対する被写体像等の相対的な移動を抑える構成もある。なお、電子防振では、撮影した画像の切り出し範囲を、撮像装置本体の揺れ等に応じて変更することにより、擬似的に像ブレを補正する。従来、これらの防振処理は何れか一つの防振処理のみ行われていたが、近年は、複数の防振処理を同時に行うことで、より防振効果が大きく、高精度な防振を実現することが提案等されている。 When shooting with an imaging device, for example, if there is camera shake (shake) or shaking of the imaging device itself, the image blur phenomenon in which the subject image etc. becomes blurred on the imaging surface reduces the resolution and clarity of the captured image. Sometimes I end up Anti-vibration techniques such as optical anti-vibration and electronic anti-vibration are known as techniques for improving such an image blurring phenomenon. As a configuration for achieving optical image stabilization, the image stabilization lens group, which constitutes the whole or a part of the image pickup optical system, is moved in a direction perpendicular to the optical axis of the image pickup optical system according to the shake of the image pickup device. , a configuration for reducing image blurring by suppressing movement of an object image or the like on an imaging surface is known. As another configuration for optical image stabilization, the image pickup element is moved (shifted) in a direction orthogonal to the optical axis of the image pickup optical system, rotated (rolled) around the optical axis, etc., according to shaking of the image pickup device. There is also a configuration in which the relative movement of the object image or the like with respect to the imaging surface is suppressed by moving the object image. It should be noted that in the electronic image stabilization, pseudo image blur is corrected by changing the clipping range of the photographed image in accordance with the shake of the imaging apparatus main body or the like. Conventionally, only one of these anti-vibration treatments was performed, but in recent years, multiple anti-vibration treatments have been performed simultaneously to achieve greater anti-vibration effects and high-precision anti-vibration. It is proposed that
また、像ブレ以外で撮影画像を劣化させる要素としては、レンズの収差や絞り等による回折がある。前述したような像ブレと収差による撮影画像の画質劣化を低減する技術として、例えば特許文献１には、撮像光学系の一部を光軸と異なる方向へ動かして、防振と非点収差・像面湾曲に対する補正とを実現する技術が開示されている。この特許文献１には、光軸とは異なる方向へ移動させることで光学的に像ブレを補正する第１の補正レンズと、第１の補正レンズを光軸と異なる方向へ移動させることで発生した収差を補正する第２の補正レンズとを有する構成が開示されている。その他にも、特許文献２には、光学防振と電子防振の協調制御による防振時の揺れの周波数によって防振方法を選択する技術が開示されている。この特許文献２においては、光学防振と電子防振とが行われる場合、高周波のブレ成分を光学防振により補正し、低周波のブレ成分を電子防振により補正するような構成が開示されている。
Factors other than image blurring that degrade the photographed image include lens aberration and diffraction due to the diaphragm and the like. As a technique for reducing image quality deterioration of a photographed image due to image blurring and aberration as described above, for example,
防振処理により例えば光学系の一部が動かされた場合、非点収差や像面湾曲の他に、球面収差やコマ収差も変化する。これに対し、特許文献１に開示された技術では、球面収差やコマ収差の補正、回折の影響に対する補正については行われていない。また、特許文献２に開示された技術の場合、防振時の揺れの周波数に応じた防振処理については行われるが、光学防振がなされた時の収差や回折により生ずる画質劣化を補正することはできない。さらに、例えば複数の防振処理を同時に行うようにした場合、複数の防振処理でそれぞれ生ずる収差等が組み合わされることによる画質の劣化を考慮しなければならないが、前述の特許文献１や特許文献２の技術では対応できず劣化を補正できない。また例えば、撮像光学系の光学特性等に関するデータを予め用意しておき、当該データを用いた画像処理によって劣化を補正することも考えられるが、生じ得る全ての揺れや収差等に対応できるデータ量は膨大になってしまう。
For example, when a part of the optical system is moved due to vibration reduction processing, not only astigmatism and curvature of field, but also spherical aberration and coma change. On the other hand, the technique disclosed in
そこで本発明は、高精度な防振処理を実現しつつ、膨大なデータ等を予め用意することなく収差や回折による画質劣化を良好に補正可能にすることを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to make it possible to satisfactorily correct image quality deterioration due to aberrations and diffraction without preparing a large amount of data in advance while realizing highly accurate image stabilizing processing.
本発明の画像処理装置は、撮影の際に使用された２種類以上の防振処理に個別に対応したフィルタ情報を取得する取得手段と、前記２種類以上の防振処理に対応して取得されたフィルタ情報を基に所定の演算処理を行って、点像分布関数を基に、撮影画像の補正に用いる補正フィルタを生成する生成手段と、前記２種類以上の防振処理が使用されて撮影された撮影画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理手段と、
を有することを特徴とする。
An image processing apparatus according to the present invention comprises an acquisition unit for acquiring filter information individually corresponding to two or more types of image stabilizing processing used in photographing, and filter information acquired corresponding to the two or more types of image stabilizing processing. generating means for performing predetermined arithmetic processing based on the obtained filter information and generating a correction filter used for correcting the photographed image based on the point spread function; processing means for performing correction processing using the generated correction filter on the captured image;
characterized by having
本発明によれば、高精度な防振処理を実現しつつ、膨大なデータ等を予め用意することなく収差や回折による画質劣化を良好に補正可能となる。 According to the present invention, it is possible to satisfactorily correct image quality deterioration due to aberration and diffraction without preparing a large amount of data in advance while realizing highly accurate vibration reduction processing.
以下、本発明の好適な一実施形態について、図面を参照しながら詳細に説明する。
本実施形態の画像処理装置の一適用例である撮像装置の詳細な構成と動作について説明する。
本実施形態の撮像装置は、手ブレや撮像装置本体の揺れ等による像ブレを低減するために、前述した防振処理を行う構成を有している。本実施形態では、複数の防振処理のうち２種類以上の防振処理を同時に行うことで、高い防振効果及び高精度の防振を実現可能とする例を挙げる。本実施形態では、撮像光学系の全体または防振レンズ群を撮像光学系の光軸に直交する方向に動かす防振処理と、撮像素子を撮像光学系の光軸に直交する方向へ移動（シフト）、光軸周りに回転（ロール）させる防振処理を例に挙げる。以下の説明では、防振レンズ群を移動させることによる光学防振をレンズ防振と呼び、撮像素子をシフトやロール等させることによる光学防振をイメージャー防振と呼ぶことにする。本実施形態において、撮像装置等の揺れは、例えば該撮像装置に設けられた角速度センサや振動ジャイロセンサ等のブレ検知センサにより検出される。そして、撮像装置では、該ブレ検知センサから出力されるブレ検知信号に基づいて、レンズ防振とイメージャー防振による防振処理を行うことで、像ブレを低減する。
A preferred embodiment of the present invention will be described in detail below with reference to the drawings.
A detailed configuration and operation of an imaging device, which is an application example of the image processing device of the present embodiment, will be described.
The imaging apparatus of the present embodiment has a configuration for performing the above-described vibration reduction processing in order to reduce image blurring due to camera shake, shaking of the imaging apparatus main body, and the like. In the present embodiment, two or more types of vibration isolation processing out of a plurality of vibration isolation processing are simultaneously performed, thereby realizing a high vibration isolation effect and high-precision vibration isolation. In this embodiment, image stabilization processing is performed by moving the entire image pickup optical system or image stabilization lens group in a direction perpendicular to the optical axis of the image pickup optical system, and moving (shifting) the image sensor in a direction perpendicular to the optical axis of the image pickup optical system. ), and anti-vibration processing for rotating (rolling) around the optical axis. In the following description, optical vibration reduction by moving the vibration reduction lens group will be referred to as lens vibration reduction, and optical vibration reduction by shifting or rolling the imaging device will be referred to as imager vibration reduction. In this embodiment, the shake of the imaging device or the like is detected by, for example, a shake detection sensor such as an angular velocity sensor or a vibration gyro sensor provided in the imaging device. Then, the imaging apparatus reduces image blurring by performing vibration reduction processing by lens vibration reduction and imager vibration reduction based on the vibration detection signal output from the vibration detection sensor.
図１（ａ）は本実施形態の撮像装置１の中央断面図、図１（ｂ）は本実施形態の撮像装置１の電気的構成を示すブロック図である。図１（ａ）及び図１（ｂ）で同一の符号が付してあるものはそれぞれ対応している。
FIG. 1(a) is a central sectional view of an
図１（ａ）及び図１（ｂ）において、レンズユニット２はいわゆる交換レンズであり、撮像装置１の筐体に設けられている不図示のレンズマウント部を介して、撮像装置１に着脱可能となされている。図１（ａ）及び図１（ｂ）は、撮像装置１にレンズユニット２が装着された状態を表しており、この状態の撮像装置１とレンズユニット２とは電気接点１１により電気的に接続される。レンズユニット２は複数のレンズから構成された撮像光学系３を有しており、一部のレンズ群が防振レンズ群として設けられている。図中の一点鎖線は当該撮像光学系３の光軸４を表している。また、レンズユニット２には、防振レンズ群やフォーカスレンズ、絞り等を駆動するレンズ駆動部１３と、レンズ駆動部１３を制御するレンズシステム制御回路１２とをも備えている。レンズ駆動部１３は、防振レンズ群、フォーカスレンズ、および、絞りのそれぞれの駆動機構と、これらの駆動機構の駆動回路とを有している。レンズシステム制御回路１２は、ＣＰＵやＭＰＵなどのプロセッサーであり、電気接点１１を介して撮像装置１のカメラシステム制御回路５と電気的に接続される。なお、本実施形態では、撮像光学系３は着脱可能な交換レンズであるレンズユニット２に設けられている例を挙げたが、これには限定されず、撮像光学系３は撮像装置と一体的に構成されていてもよい。
1(a) and 1(b), the
撮像装置１は、カメラシステム制御回路５、撮像素子６、画像処理回路７、メモリ回路８、表示装置９、操作検出回路１０、シャッタ機構１６、ブレ検知回路１５、ブレ補正部１４等を有して構成されている。電気接点１１は、撮像装置１側の接点とレンズユニット２側の接点とからなる。カメラシステム制御回路５は、撮像装置１内の各部を制御し、また、電気接点１１を介して接続されているレンズユニット２のレンズシステム制御回路１２との間で各種情報をやり取りする。
The
ブレ検知回路１５は、撮像装置１におけるピッチ方向、ヨー方向、光軸周りのロール方向の各方向の揺れを検知可能なブレ検知センサを備え、これらのブレ検知センサは角速度センサや振動ジャイロセンサなどからなる。ブレ検知回路１５から出力されたブレ検知信号は、カメラシステム制御回路５に送られる。ブレ補正部１４は、撮像装置１の撮像素子６を、撮像光学系３の光軸４に対して直交する平面内での移動（シフト）、光軸周りの回転（ロール）を可能とした駆動機構と、当該駆動機構の駆動回路とを有して構成されている。カメラシステム制御回路５は、ＣＰＵやＭＰＵなどのプロセッサーであり、ブレ検知信号を基にブレ補正の目標値を生成し、その目標値に基づくブレ補正制御信号を生成してブレ補正部１４に送る。ブレ補正部１４の駆動回路は、ブレ補正制御信号を基に、撮像素子６を光軸４に対して直交する方向に移動（シフト）、光軸周りに回転（ロール）させる駆動信号を生成して駆動機構を動作させる。これにより、撮像素子６は、ブレ検知回路１５にて検知されたブレを補正する方向に移動（シフト）や回転（ロール）等され、イメージャー防振処理が実現される。ブレ補正部１４の駆動機構の構成とイメージャー防振時の制御の詳細については後述する。
The
また、カメラシステム制御回路５は、ブレ検知回路１５からのブレ検知信号を基に、レンズユニット２の防振レンズ群によるブレ補正の目標値を生成する。そして、カメラシステム制御回路５は、その目標値を基に、防振レンズ群を光軸４に直交する方向に移動（シフト）させる制御信号を生成する。防振レンズ群を光軸４に直交する方向に移動（シフト）させる制御信号は、電気接点１１を介してレンズシステム制御回路１２に送られる。レンズシステム制御回路１２は、カメラシステム制御回路５から送られてきた制御信号を基に、レンズ駆動部１３を駆動する駆動制御信号を生成する。そして、レンズ駆動部１３は、レンズシステム制御回路１２からの駆動制御信号に基づいて、防振レンズ群を駆動する。これにより、レンズユニット２の防振レンズ群は、ブレ検知回路１５にて検知されたブレを補正する方向に移動（シフト）され、レンズ防振処理が実現される。防振レンズ群の駆動制御に関する詳細は後述する。
The camera
また、レンズ防振とイメージャー防振の両方が同時に行われる場合、撮像素子６を移動させるブレ補正の目標値と、防振レンズ群を移動させるブレ補正の目標値とは、相互のブレ補正により防振を実現する目標値となされる。したがって、レンズ防振とイメージャー防振の両方が同時に行われる場合には、それら目標値に基づいて防振レンズ群の移動（シフト）及び撮像素子６の移動（シフトやロール）が行われることで、高い防振効果及び高精度の防振処理が実現される。
Further, when both lens stabilization and image stabilization are performed at the same time, the blur correction target value for moving the
撮像装置１の撮像素子６は、ＣＣＤセンサやＣＭＯＳセンサなどを有し、レンズユニット２を介して撮像面上に結像された被写体像等を撮像する。なお、撮像素子６には、撮像面の前面に光学ローパスフィルタといわゆるベイヤ配列に対応したＲＧＢカラーフィルタとが設けられている。撮像素子６から出力された撮像信号は、画像処理回路７に送られる。また、撮像素子６から出力された撮像信号は、画像処理回路７を介してカメラシステム制御回路５にも送られる。
The
カメラシステム制御回路５は、撮像信号を基に、フォーカス制御に用いるピント評価値や露光制御に用いる露光評価値を取得する。そして、カメラシステム制御回路５はピント評価値を基にフォーカス制御の指令をレンズシステム制御回路１２に送り、レンズシステム制御回路１２はフォーカス制御の指令に基づき、レンズ駆動部１３にフォーカスレンズの駆動制御信号を送る。レンズ駆動部１３は、フォーカスレンズの駆動制御信号に基づいてフォーカスレンズを駆動し、これにより被写体等へのフォーカス合わせが行われる。また、カメラシステム制御回路５は露光評価値を基に絞り制御の指令をレンズシステム制御回路１２に送り、シャッタ速度制御信号をシャッタ機構１６に送る。レンズシステム制御回路１２は絞り制御の指令に基づき、レンズ駆動部１３に絞り駆動制御信号を送る。レンズ駆動部１３は、絞り駆動制御信号に基づいて絞りを制御する。シャッタ機構１６は、シャッタ速度制御信号に基づいてシャッタ機構の開閉動作が制御される。より詳細に説明すると、シャッタ機構１６は、シャッタ幕を走行させることで撮像素子６に被写体像が届くか否かを制御する。シャッタ機構１６は、少なくとも被写体像を遮るための幕（メカ後幕）を備えており、露光の完了は当該シャッタ機構１６によってなされる。また、撮像素子６は、シャッタ機構１６の後幕走行に先立って、ラインごとに電荷をリセットすることによって露光開始のタイミングを制御するモード（電子先幕）を備えている。電子先幕のモードでは、前述した撮像素子６の電荷リセット（電子先幕）とシャッタ機構１６の後幕走行とを同期させて動作させることで露出制御が行われる。これにより、撮像素子６では、撮影対象の被写体等に対して適切な露光量による撮像が行われる。前述したように、カメラシステム制御回路５は、撮像素子６からの信号を基に測光・測距動作を行い、フォーカス合わせや露出条件（Ｆナンバーやシャッタ速度等）を決定する。
The camera
画像処理回路７は、複数のＡＬＵ（Arithmetic and Logic Unit）を搭載した演算回路である。画像処理回路７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等の一般的な画像処理のための構成の他、後述する補正フィルタを用いた補正処理（画像回復処理）を行う構成をも備えている。あるいは、画像処理回路７の代わりに、カメラシステム制御回路５がメモリ回路８に格納されているプログラムを実行することによって、これらの機能をソフトウェア上で処理する構成としても構わない。画像処理回路７にて行われる補正処理（画像回復処理）の詳細については後述する。補間演算回路には色補間回路が含まれ、色補間回路は撮像素子６のベイヤ配列のカラーフィルタに対応したＲＧＢ信号に対して色補間（デモザイキング）処理を行ってカラー画像信号を生成する。なお、画像処理回路７は、予め定められた方法を用いて画像、動画、音声などの圧縮をも行う。画像処理回路７は、撮像素子６から供給された撮像信号に対し、それら各画像処理を施して記録用の画像データを生成する。
The
メモリ回路８は、ＲＯＭやＲＡＭ等の内部メモリと、着脱可能な半導体メモリ等の外部メモリとを含む。内部メモリのＲＯＭには本実施形態に係るプログラムの他、後述するＰＳＦ情報や各種の設定データ等が格納され、ＲＡＭにはＲＯＭから読み出されて展開されたプログラムや各種処理途中のデータ等が記憶される。なお、プログラムは、ＲＯＭに予め用意されている場合だけでなく、例えば着脱可能な半導体メモリ（外部メモリ）から読み出されたり、不図示のインターネット等のネットワークを介してダウンロードされたりしてもよい。外部メモリには、画像処理回路７による処理後の記録用の画像データ等が記録される。
The
表示装置９は、背面表示装置９ａと電子ビューファインダ（ＥＶＦ９ｂ）とからなる。表示装置９には、カメラシステム制御回路５による制御の下で、画像やユーザインターフェイス画面等が表示される。
操作検出回路１０は、撮像装置１に設けられている電源スイッチや、レリーズボタン、メニューボタン、その他の各種スイッチやボタン等に対するユーザ操作を検出する。また、表示装置９の背面表示装置９ａには、タッチパネルが設けられており、操作検出回路１０は、当該タッチパネルに対するユーザ操作についても検出する。そして、操作検出回路１０は、それら操作検出信号をカメラシステム制御回路５に送る。
The
The
カメラシステム制御回路５は、操作検出回路１０により検出されたユーザ操作に応じて、前述したような画像撮像に関連した各部、画像処理回路７、記録と再生、及び表示装置９の表示等をそれぞれ制御する。また、カメラシステム制御回路５は、これらの制御の他にも、撮像の際のタイミング信号などを生成して出力することも行う。例えば、操作検出回路１０からレリーズボタンに対するユーザの押下操作の検出信号を受け取ると、カメラシステム制御回路５は、撮像に関連する各種タイミング信号を生成し、撮像素子６の駆動、画像処理回路７の動作などを制御する。このように、本実施形態の撮像装置１は、操作検出回路１０により検出されたユーザ操作に応じて、カメラシステム制御回路５が撮像装置１の各部の動作を制御することにより、静止画や動画等の撮影を行うようになされている。
The camera
次に、図２を用いて、本実施形態の撮像装置１のブレ補正部１４が備えている駆動機構の詳細な構成と動作について説明する。図２はブレ補正部１４のうち、撮像素子６を移動させてブレを低減するための駆動機構の分解斜視図である。ブレ補正部１４には、カメラシステム制御回路５からの制御信号に応じて図２の駆動機構を動作させる不図示の電気的な駆動回路等も含まれるが、図２にはメカ機構部のみを示している。
Next, using FIG. 2, the detailed configuration and operation of the drive mechanism provided in the
図２において、一点鎖線はレンズユニット２の撮像光学系の光軸と平行な線である。また、図２において、１００番台の符号が付された部材は、移動しない部材（つまり撮像装置１の筐体等に固定された部材）であり、一方、２００番台の符号が付された部材は、移動する部材（つまり撮像装置１の筐体等に固定されていない可動部材）である。さらに、３００番台の符号が付された部材は、固定部と可動部とにより挟持されるボールである。
In FIG. 2 , the dashed-dotted line is a line parallel to the optical axis of the imaging optical system of the
図２に示すブレ補正部１４は、固定部の主要な構成要素として、上部ヨーク１０１、上部磁石１０３ａ～１０３ｆ、固定部転動板１０６ａ～１０６ｃ、下部磁石１０７ａ～１０７ｆ、下部ヨーク１０８、ベース板１１０を有する。固定部の構成要素には、補助スペーサ１０４ａ，１０４ｂ、メインスペーサ１０５ａ～１０５ｃ、ビス１０２ａ～１０２ｃ、１０９ａ～１０９ｃも含まれる。また、ブレ補正部１４は、可動部の主要な構成要素として、ＦＰＣ２０１、可動部転動板２０４ａ～２０４ｃ、コイル２０５ａ～２０５ｃ、可動枠２０６、ボール３０１ａ～３０１ｃを有している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ～２０２ｃが決められており、これらの位置に位置検出素子が取り付けられる。
The
上部ヨーク１０１、上部磁石１０３ａ～１０３ｆ、下部磁石１０７ａ～１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石１０３ａ～１０３ｆは上部ヨーク１０１に接着固定されている。同様に、下部磁石１０７ａ～１０７ｆは下部ヨーク１０８に接着固定されている。上部磁石１０３ａ～１０３ｆ及び下部磁石１０７ａ～１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されており、隣接する磁石（磁石１０３ａと１０３ｂの位置関係にあるもの）は互いに異なる向きに着磁されている。また、対抗する磁石（磁石１０３ａと１０７ａの位置関係にあるもの）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い磁束密度が生じる。
The
上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるのでメインスペーサ１０５ａ～１０５ｃ及び補助スペーサ１０４ａ，１０４ｂにより適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石１０３ａ～１０３ｆと下部磁石１０７ａ～１０７ｆの間にコイル２０５ａ～２０５ｃ及びＦＰＣ２０１を配置するとともに適当な空隙を確保できるような間隔である。メインスペーサ１０５ａ～１０５ｃにはネジ穴が設けられておりビス１０２ａ～１０２ｃによって上部ヨーク１０１がメインスペーサ１０５ａ～１０５ｃに固定される。
Since a strong attraction force is generated between the
メインスペーサ１０５ａ～１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。
ベース板１１０には下部磁石１０７ａ～１０７ｆをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ～１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ～１０７ｆがベース板１１０から突出するように固定される。
Rubber is installed on the body portions of the
Holes are provided in the
可動枠２０３は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高くなされている。可動枠２０３に対して可動部の各要素が固定されて可動部を為している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ～２０２ｃで示した各位置で図２から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などが配されている。ホール素子は小型なので、コイル２０５ａ～２０５ｃの巻き線の内側に入れ子になるように配置される。
The
可動枠２０３には、図２には不図示の撮像素子６、コイル２０５ａ～２０５ｃ及びホール素子が接続されている。可動枠２０３は、コネクタを介して外部との電気的なやり取りを行う。
ベース板１１０には固定部転動板１０６ａ～１０６ｃが、可動枠２０３には可動部転動板２０４ａ～２０４ｃが接着固定されており、ボール３０１ａ～３０１ｃの転動面が形成されている。なお、転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。
The
Fixed
図２に示したブレ補正部１４の駆動機構では、コイルに電流を流すことで、フレミング左手の法則に従った力が発生し、可動部を動かすことが出来る。また、ブレ補正部１４の場合、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことが可能となる。また、ブレ補正部１４では、ホール素子信号の値を適当に制御することで、撮像素子６を、光軸に直交する平面内で並進させるシフトを行えるとともに、光軸周りに回転（ロール）させることも可能である。
In the driving mechanism of the
本実施形態において、イメージャー防振によるブレ補正では、後述するように、光軸回りの回転（ロール）が重要となるため、これに関して述べる。ブレ補正部１４の駆動機構では、位置２０２ａにあるホール素子の信号を一定に保ったまま、位置２０２ｂと２０２ｃのホール素子信号を逆位相で駆動することで、大凡の光軸周りの回転運動を生み出すことが出来る。
In this embodiment, rotation (roll) around the optical axis is important in blur correction by imager stabilization, as will be described later, so this will be described. In the drive mechanism of the
本実施形態の撮像装置１では、前述したように、ブレ検知回路１５からのブレ検知信号に基づき、カメラシステム制御回路５が、ブレ補正部１４を制御してイメージャー防振を実現し、また、レンズユニット２の防振レンズ群を制御してレンズ防振を実現している。そして、イメージャー防振によるブレ補正では、撮像素子６を光軸周りで回転（ロール）させることも行われる。
In the
図３は、本実施形態の撮像装置１において電源ＯＮから本撮影が行われるまでの一連の動作の流れを示すフローチャートである。以下、図３を用いて、撮像装置１の電源ＯＮから撮影実行までの一連の動作に関して、順を追って説明する。なお、図３のフローチャートの処理は、ハードウェア構成やソフトウェア構成の何れか、又は一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。例えば、メモリ回路８にＲＡＭとＲＯＭが含まれる場合、ＲＯＭに格納されているプログラムがＲＡＭに展開され、ＣＰＵであるカメラシステム制御回路５は、そのプログラムを実行することになどにより、図３のフローチャートの処理を実現する。これらのことは後述する他のフローチャートにおいても同様とする。
FIG. 3 is a flow chart showing a series of operations from power-on to actual photographing in the
カメラシステム制御回路５は、操作検出回路１０で電源ＯＮ操作が検出されると、図３の動作フローチャートに示す制御を開始する。
次に、カメラシステム制御回路５は、ステップＳ３０１において、ユーザが設定した撮影条件、又は、予めメモリ回路８に記憶されている撮影条件を読込む。ステップＳ３０１で読込まれる撮影条件の設定値は、例えば電子先幕を用いるか否かを示す設定値や、いわゆる絞り優先又はシャッタ速度優先等の各種設定値などである。
When the
Next, in step S301, the camera
次に、カメラシステム制御回路５は、ステップＳ３０２においてユーザが電源ＯＦＦの操作を行ったか否か判断し、電源ＯＦＦの操作が行われたと判断した場合には図３のフローチャートの処理を終了する。一方、ステップＳ３０２において電源ＯＦＦの操作が行われていないと判断した場合、カメラシステム制御回路５は、ステップＳ３０３に処理を進める。なお、本来はユーザ操作に対応したステップＳ３０２，Ｓ３０５，Ｓ３０８などは割り込み処理となるものであるが、図３ではフローとして説明している。
Next, in step S302, the camera
ステップＳ３０３に進むと、カメラシステム制御回路５は、撮像素子６にて撮像されて画像処理回路７を介した信号を基に、前述したライブビュー表示時の測光・測距に関する制御を行う。これにより、ライブビュー画像を取り込むときのピント位置や露光条件などが決定される。
In step S303, the camera
次のステップＳ３０４において、カメラシステム制御回路５は、ライブビュー表示時の測光・測距の条件で撮像素子６にて撮像されて画像処理回路７で画像処理された画像データを、表示装置９に送ってライブビュー表示を行わせる。ライブビュー表示では、表示装置９の背面表示装置９ａ若しくはＥＶＦ９ｂに画像が表示される。
In the next step S304, the camera
次に、カメラシステム制御回路５は、ステップＳ３０５においてユーザによるＳ１操作が操作検出回路１０により検出されたか否かを判断する。そして、カメラシステム制御回路５は、Ｓ１操作が検出されていない場合にはステップＳ３０１に処理を戻し、一方。Ｓ１操作が検出されたと判断した場合にはステップＳ３０６に処理を進める。なお、Ｓ１操作とはユーザによるレリーズボタンの半押し操作である。
Next, the camera
ステップＳ３０６の処理に進むと、カメラシステム制御回路５は、前述したレンズ防振、イメージャー防振の防振処理に関する制御（防振制御）を開始する。
When proceeding to the process of step S306, the camera
次に、カメラシステム制御回路５は、ステップＳ３０７において、Ｓ１操作後に撮像素子６にて撮像されて画像処理回路７を介した信号に基づく測光・測距に関する制御を行う。このときのカメラシステム制御回路５は、撮像素子６で撮像されて画像処理回路７を介した信号を基に、絞り値やシャッタ速度（Ｔｖ値）を決定する。
Next, in step S307, the camera
次に、カメラシステム制御回路５は、ステップＳ３０８において、ユーザによるＳ２操作が操作検出回路１０により検出されたか否かを判断する。そして、カメラシステム制御回路５は、Ｓ２操作が検出されたと判断した場合にはステップＳ３０９に処理を進め、Ｓ２操作が検出されていない場合にはステップＳ３１０に処理を進める。なお、Ｓ２操作とはレリーズボタンの全押し（最後まで押し切る）操作である。
Next, in step S308, the camera
ステップＳ３０９に進むと、カメラシステム制御回路５は、シャッタ機構１６を制御してシャッタ幕を走行させるとともに、撮像素子６による被写体等の撮像を行わせる。このステップＳ３０９の後、カメラシステム制御回路５は、Ｓ３０２に処理を戻す。
Proceeding to step S309, the camera
ステップＳ３１０に進んだ場合、カメラシステム制御回路５は、Ｓ１操作が維持されているか否かを判断する。カメラシステム制御回路５は、Ｓ１操作が維持されていると判断した場合にはステップＳ３０８に処理を戻し、一方、Ｓ１操作が維持されていないと判断した場合にはステップＳ３０２に処理を戻す。
When proceeding to step S310, the camera
なお、図３では図示していないが、ユーザによるレリーズボタンへの押下操作が解除されてＳ１操作が開放された後、一定時間が経過すると、カメラシステム制御回路５は、防振制御をＯＦＦとする。
Although not shown in FIG. 3, the camera
次に、本実施形態において、前述した防振処理による収差や回折の影響で撮影画像に生ずる劣化成分と、その劣化成分を補正する補正処理の概要について説明する。ここで説明される防振処理、補正処理の手法は、本実施形態の撮像装置１において適宜用いられる。
Next, in the present embodiment, an outline of deterioration components that occur in a captured image due to the effects of aberration and diffraction due to the above-described vibration reduction processing and correction processing for correcting the deterioration components will be described. The image stabilization processing and correction processing techniques described here are appropriately used in the
本実施形態の撮像装置１の撮像光学系３は、球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正できるように設計されているが、例えば防振処理が行われると、収差に変化が生じて撮影画像が劣化することがある。例えばレンズ防振によって防振レンズ群が撮像光学系３の光軸４に直交する方向に動かされると、撮像光学系３と防振レンズ群との間で生ずる光軸の偏芯により収差に変化が生じ、撮影画像が劣化してしまうことがある。
The imaging
レンズの収差は絞り等の開口径に関係して変化するが、横収差は概ね絞りの開口径が小さいほど抑制される。また、回折現象は、開口径が例えばｆ／２．８のように大きい場合にその影響が小さく、一方、開口径が例えばｆ／１１やｆ／２２などのように小さい場合にその影響が大きくなる。この回折現象も、収差の場合と同様に、撮影画像を劣化させる要素となることがある。 Aberration of the lens changes depending on the aperture diameter of the diaphragm, etc., but lateral aberration is generally suppressed as the aperture diameter of the diaphragm becomes smaller. The diffraction phenomenon has a small effect when the aperture diameter is large, such as f/2.8, and has a large effect when the aperture diameter is small, such as f/11 or f/22. Become. This diffraction phenomenon may also be a factor that degrades the photographed image, as in the case of aberration.
これら収差や回折は、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下、ＰＳＦとする。）や光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ、以下、ＯＴＦとする。）で記述できる。収差や回折による画質劣化成分は、例えば無収差で回折の影響も無い場合には被写体の一点から発した光が撮像面上で再度一点に集まるべきものが広がってしまうことで生じるため、ＰＳＦにより表すことができる。また、ＰＳＦをフーリエ変換して得られるＯＴＦ（光学伝達関数）は、収差の周波数成分情報であり、複素数で表される。さらにＯＴＦの絶対値、すなわち振幅成分はＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれ、位相成分はＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれる。これらＭＴＦ（振幅成分）とＰＴＦ（位相成分）は、それぞれ、収差による画質劣化の振幅成分と位相成分の周波数特性であり、位相成分は位相角として以下の式（１）で表される。なお、式（１）のＲｅ（ＯＴＦ）はＯＴＦ（光学伝達関数）の実部を、Ｉｍ（ＯＴＦ）はＯＴＦの虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） 式（１）
These aberrations and diffractions can be described by a point spread function (hereinafter referred to as PSF) and an optical transfer function (hereinafter referred to as OTF). The image quality deterioration component due to aberration and diffraction occurs when, for example, when there is no aberration and there is no effect of diffraction, the light emitted from one point of the subject spreads out as it should be gathered again at one point on the imaging surface. can be represented. Also, an OTF (optical transfer function) obtained by Fourier transforming the PSF is frequency component information of aberration and is represented by a complex number. Furthermore, the absolute value of the OTF, that is, the amplitude component is called MTF (Modulation Transfer Function), and the phase component is called PTF (Phase Transfer Function). These MTF (amplitude component) and PTF (phase component) are frequency characteristics of the amplitude component and phase component of image quality deterioration due to aberration, respectively, and the phase component is represented by the following equation (1) as a phase angle. Note that Re(OTF) in Equation (1) represents the real part of the OTF (optical transfer function), and Im(OTF) represents the imaginary part of the OTF.
PTF=tan -1 (Im(OTF)/Re(OTF)) Equation (1)
収差や回折による撮影画像の劣化の補正は、ＭＴＦ（振幅成分）及びＰＴＦ（位相成分）における劣化成分を補正することにより実現可能となる。ＭＴＦ（振幅成分）及びＰＴＦ（位相成分）における劣化成分を補正する方法としては、例えば、撮像光学系のＯＴＦ又はＰＳＦの情報に基づいて補正する方法がある。本実施形態では、撮像光学系のＯＴＦ又はＰＳＦ情報に基づいて撮影画像の劣化を補正するための補正処理として、画像回復処理を行う。画像回復処理を実現する方法の一つとしては、ＯＴＦの逆特性を有する関数を、入力画像（撮影画像）に対して畳み込む（コンボリューション）方法がある。なお、ＯＴＦの逆特性を有する関数は、画像の劣化を補正する補正フィルタ（画像回復処理における後述する画像回復フィルタ）となされる。 Correction of deterioration of a photographed image due to aberration and diffraction can be realized by correcting deterioration components in MTF (amplitude component) and PTF (phase component). As a method of correcting deterioration components in the MTF (amplitude component) and PTF (phase component), for example, there is a method of correcting based on OTF or PSF information of the imaging optical system. In the present embodiment, image restoration processing is performed as correction processing for correcting degradation of a captured image based on OTF or PSF information of the imaging optical system. As one of the methods for realizing the image restoration processing, there is a method of convolving a function having the inverse characteristics of the OTF with respect to the input image (captured image). Note that the function having the inverse characteristics of the OTF is used as a correction filter (an image restoration filter, which will be described later in image restoration processing) that corrects image deterioration.
次に、前述した撮影画像の劣化成分に対する補正処理である画像回復処理と、当該画像回復処理で用いられる補正フィルタ（画像回復フィルタ）について説明する。本実施形態の撮像装置１の場合、画像回復処理は画像処理回路７において行われる。
Next, the image restoration processing which is the correction processing for the deterioration component of the photographed image described above and the correction filter (image restoration filter) used in the image restoration processing will be described. In the
本実施形態において、画像回復処理への入力画像は、撮像光学系３を介して撮像素子６が撮像した撮像画像であり、出力画像は画像回復処理後の画像である。撮像画像（入力画像）は、撮像光学系３に含まれるレンズや不図示の各種光学フィルタ類の収差によるＯＴＦ（光学伝達関数）と、撮像光学系３に含まれる絞りや不図示の光学部材からの回折によるＯＴＦとによって劣化している。以下の説明では、当該劣化した撮像画像（入力画像）を劣化画像と表記する。なお、撮像光学系は、レンズだけでなく、曲率を有するミラー（反射面）を用いて構成されていてもよい。また、入力画像は、例えばＲＧＢ色成分の情報を有するＲＡＷ画像であるが、これに限定されるものではない。入力画像や出力画像には、光学部材の有無、レンズの焦点距離、絞り値、及び、撮影距離などの撮影条件や、画像を補正するための各種の補正情報が付帯されていてもよい。
In this embodiment, the input image to the image restoration process is the captured image captured by the
先ず、画像回復処理の概要について説明する。
ここで、劣化画像（撮像画像）をｇ（ｘ，ｙ）とし、元の画像をｆ（ｘ，ｙ）、ＯＴＦ（光学伝達関数）のフーリエペアであるＰＳＦ（点像分布関数）をｈ（ｘ，ｙ）とすると、以下の式（２）が成立する。なお、式（２）において、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） 式（２）
First, an outline of image restoration processing will be described.
Let g(x, y) be the degraded image (captured image), f(x, y) be the original image, and h( x, y), the following equation (2) holds. In equation (2), * is convolution (convolution integral, sum of products), and (x, y) are coordinates on the captured image.
g(x, y)=h(x, y)*f(x, y) Equation (2)
また、式（２）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（３）が得られる。なお、式（３）において、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られたＯＴＦ（光学伝達関数）であり、Ｇは劣化画像ｇをフーリエ変換して得られた関数、Ｆは元の画像ｆをフーリエ変換して得られた関数である。また、（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） 式（３）
Further, when Equation (2) is Fourier-transformed into a display form in terms of frequency, Equation (3) is obtained which is represented by the product of each frequency. In equation (3), H is an OTF (optical transfer function) obtained by Fourier transforming the point spread function PSF(h), and G is a function obtained by Fourier transforming the degraded image g. , F are functions obtained by Fourier transforming the original image f. Also, (u, v) are the coordinates on the two-dimensional frequency plane, that is, the frequency.
G(u, v)=H(u, v)·F(u, v) Equation (3)
撮影で得られた劣化画像ｇから元の画像ｆを得るには、以下の式（４）のように両辺を光学伝達関数Ｈで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） 式（４）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。
In order to obtain the original image f from the degraded image g obtained by photographing, both sides should be divided by the optical transfer function H as shown in the following equation (4).
G(u, v)/H(u, v)=F(u, v) Equation (4)
Then, the original image f(x, y) is obtained as a restored image by inverse Fourier transforming F(u, v), that is, G(u, v)/H(u, v), and restoring it to the real plane. be done.
また、Ｈ-1を逆フーリエ変換したものをＲとすると、以下の式（５）のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） 式（５）
Also, if R is the inverse Fourier transform of H −1 , the original image f(x, y) can be obtained by performing convolution processing on the image on the real plane as in the following equation (5). can be obtained.
g(x, y)*R(x, y)=f(x, y) Equation (5)
ここで、式（５）におけるＲ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、点像分布関数（ＰＳＦ）の広がり幅、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、一般的な水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは、ＯＴＦ（光学伝達関数）に基づいて設定されるため、振幅成分及び位相成分の劣化の両方を高精度に補正することができる。 Here, R(x, y) in Equation (5) is called an image restoration filter. When the image is a two-dimensional image, the image restoration filter R also generally has taps (cells) corresponding to each pixel of the image and has a two-dimensional filter value distribution. Also, generally speaking, the greater the number of taps (the number of cells) of the image restoration filter R, the higher the restoration accuracy. For this reason, the number of taps that can be realized is set according to the required image quality, image processing capability, spread width of point spread function (PSF), aberration characteristics, and the like. Since the image restoration filter R must reflect at least the characteristics of aberration and diffraction, it is different from a general edge enhancement filter (high-pass filter) having about 3 horizontal and vertical taps. Since the image restoration filter R is set based on the OTF (optical transfer function), it is possible to correct both the deterioration of the amplitude component and the phase component with high accuracy.
また、実際の画像にはノイズ成分が含まれるため、前述のようにＯＴＦ（学伝達関数）の逆数をとって生成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）が１に正規化されているとすると、ＭＴＦを全周波数に渡って１に戻すように、ＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。 Since the actual image contains noise components, using the image restoration filter R generated by taking the reciprocal of the OTF (theoretical transfer function) as described above, the noise components are greatly amplified as the degraded image is restored. It will be done. Assuming that the MTF (amplitude component) of the optical system is normalized to 1, the MTF is returned to 1 over all frequencies for the state in which the amplitude of the noise is added to the amplitude component of the image. , to lift the MTF. The MTF, which is the amplitude degradation due to the optical system, returns to 1, but at the same time, the power spectrum of the noise is raised, and as a result, the noise is amplified according to the degree of raising the MTF (recovery gain).
したがって、画像にノイズが含まれる場合には、鑑賞用として使用可能な高品質な画像は得られないことになる。このことは、以下の式（６－１）、式（６－２）で表される。なお、式中のＮはノイズ成分である。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） 式（６－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） 式（６－２）
Therefore, if the image contains noise, a high-quality image that can be used for viewing cannot be obtained. This is represented by the following equations (6-1) and (6-2). Note that N in the formula is a noise component.
G (u, v) = H (u, v) F (u, v) + N (u, v) Equation (6-1)
G(u, v)/H(u, v)=F(u, v)+N(u, v)/H(u, v) Equation (6-2)
ノイズ成分が含まれる画像に関しては、例えば以下の式（７）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法がある。
式（７）において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜はＯＴＦ（光学伝達関数）の絶対値（ＭＴＦの絶対値）である。本実施形態において、Ｍ（ｕ，ｖ）は、画像回復フィルタの周波数特性に相当する。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。 In Equation (7), M(u, v) is the frequency characteristic of the Wiener filter, and |H(u, v)| is the absolute value of the OTF (optical transfer function) (absolute value of MTF). In this embodiment, M(u, v) corresponds to the frequency characteristic of the image restoration filter. In this method, for each frequency, the smaller the MTF, the smaller the recovery gain (recovery degree), and the larger the MTF, the larger the recovery gain. In general, the MTF of the imaging optical system is high on the low frequency side and low on the high frequency side, so this method substantially reduces the recovery gain on the high frequency side of the image.
また、式（７）のＳＮＲ項により、画像回復フィルタのゲイン特性は変化する。このため、ＳＮＲ項を、単純に回復ゲイン（回復度合）を制御するためのパラメータＣとして、以下の式（８）を用いる。
式（８）において、パラメータＣがＣ＝０の場合には、Ｍ（ｕ，ｖ）はＯＴＦ（光学伝達関数）の逆フィルタ（ＭＴＦの逆数）と一致し、パラメータＣを大きくするに従って画像回復フィルタのゲインが低下する。また、Ｃ＞｜Ｈ（ｕ，ｖ）｜－｜Ｈ（ｕ，ｖ）｜2になると、画像回復フィルタのゲインが１倍以下となる。 In equation (8), when the parameter C is C=0, M(u, v) matches the inverse filter of the OTF (optical transfer function) (reciprocal of the MTF), and the image restoration increases as the parameter C increases. Filter gain is reduced. Further, when C>|H(u,v)|-|H(u,v)| 2 , the gain of the image restoration filter becomes 1 or less.
このことを模式的に表したのが図４（ａ）～図４（ｃ）である。図４（ａ）～図４（ｃ）は、ＯＴＦ（光学伝達関数）の逆フィルタのゲイン特性と画像回復フィルタのゲイン特性との関係図である。図４（ａ）～図４（ｃ）において、縦軸はゲイン、横軸は空間周波数をそれぞれ示している。また、図４（ａ）～図４（ｃ）において、点線はＯＴＦの逆フィルタのゲイン特性、実線は画像回復フィルタのゲイン特性をそれぞれ示している。 This is schematically shown in FIGS. 4(a) to 4(c). 4(a) to 4(c) are relationship diagrams between the gain characteristics of an inverse filter of an OTF (optical transfer function) and the gain characteristics of an image restoration filter. In FIGS. 4A to 4C, the vertical axis indicates gain and the horizontal axis indicates spatial frequency. In FIGS. 4A to 4C, the dotted line indicates the gain characteristic of the inverse filter of the OTF, and the solid line indicates the gain characteristic of the image restoration filter.
ここで、絞り値Ｆｎが所定値Ｔｈ１未満である場合（Ｆｎ＜Ｔｈ１）、画像回復フィルタのゲインは所定の最大ゲインよりも大きくならないため、パラメータＣをＣ＝０とすることができる。このため、ＭＴＦの逆数（ＯＴＦの逆フィルタのゲイン）と画像回復フィルタのゲインとが互いに一致する（図４（ａ））。また、絞り値Ｆｎが所定値Ｔｈ１以上でかつ所定値Ｔｈ２未満である場合（Ｔｈ１≦Ｆｎ＜Ｔｈ２）、逆フィルタの高周波側のゲインが所定の最大ゲインよりも大きくなる。このため、パラメータＣを大きくして画像回復フィルタの高周波側のゲインを抑制する（図４（ｂ））。絞り値ＦｎがＴｈ２以上になり（Ｔｈ２≦Ｆｎ）、Ｃ＞｜Ｈ（ｕ，ｖ）｜－｜Ｈ（ｕ，ｖ）｜2になると、画像回復フィルタのゲインが１倍以下となる（図４（ｃ））。所定値Ｔｈ１，Ｔｈ２（絞り値）は、撮像素子６の画素ピッチと光学ローパスフィルタの特性、画像回復フィルタの回復ゲイン（回復度合）の最大値、回復ゲイン（回復度合）を制御するためのパラメータＣなどに応じて決定される。
Here, when the aperture value Fn is less than the predetermined value Th1 (Fn<Th1), the gain of the image restoration filter does not exceed the predetermined maximum gain, so the parameter C can be set to C=0. Therefore, the reciprocal of the MTF (the gain of the inverse filter of the OTF) and the gain of the image restoration filter match each other (FIG. 4(a)). Further, when the aperture value Fn is greater than or equal to the predetermined value Th1 and less than the predetermined value Th2 (Th1≦Fn<Th2), the gain on the high frequency side of the inverse filter becomes larger than the predetermined maximum gain. Therefore, the parameter C is increased to suppress the gain on the high frequency side of the image restoration filter (FIG. 4(b)). When the aperture value Fn becomes Th2 or more (Th2≦Fn) and C>|H(u,v)|-|H(u,v)| 2 , the gain of the image restoration filter becomes 1 or less (Fig. 4(c)). The predetermined values Th1 and Th2 (aperture value) are the pixel pitch of the
以上のように、絞り値に応じて画像回復フィルタのゲイン特性（の傾向）は大きく変化する。本実施形態では、この傾向を加味した上で、撮像装置１で保持する画像回復フィルタを、後述するように演算することにより、画像回復フィルタのデータ量を削減することを可能としている。
As described above, the gain characteristic (tendency) of the image restoration filter changes greatly depending on the aperture value. In the present embodiment, considering this tendency, the data amount of the image restoration filter can be reduced by calculating the image restoration filter held in the
次に、図５を参照して、本実施形態で用いる画像回復フィルタについて説明する。
図５は、画像回復フィルタの特性を表す図である。画像回復フィルタは、撮像光学系３の収差や回折によるＰＳＦ（点像分布関数）の広がり、画像回復処理に要求される回復精度に応じて、そのタップ数が決定される。本実施形態において、画像回復フィルタは、例えば１１×１１タップの２次元フィルタであるとする。但し、これに限定されるものではなく、ＰＳＦの広がり幅と画素ピッチとの関係から、更に大きなタップ数の画像回復フィルタを用いてもよい。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値または画素値を、理想的には元の１点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合、当該回折によるＰＳＦは回転対称となる。このため、画像回復フィルタの特性も、図５に示されるように対称な特性となされる。
Next, the image restoration filter used in this embodiment will be described with reference to FIG.
FIG. 5 is a diagram showing characteristics of an image restoration filter. The number of taps of the image restoration filter is determined according to the spread of the PSF (point spread function) due to the aberration and diffraction of the imaging
また本実施形態において、画像回復フィルタの各タップでは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）がなされる。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させ、画像回復フィルタの対応画素ごとに画像の信号値と各タップの値の積をとり、その総和を中心画素の信号値として置き換える。 Further, in the present embodiment, in each tap of the image restoration filter, convolution processing (convolution integration, sum of products) is performed in the image restoration processing step corresponding to each pixel of the image. In convolution processing, in order to improve the signal value of a predetermined pixel, that pixel is aligned with the center of the image restoration filter, and the product of the signal value of the image and the value of each tap is taken for each corresponding pixel of the image restoration filter. , and its sum is replaced as the signal value of the center pixel.
続いて、図６及び図７を参照して、画像回復処理における実空間と周波数空間での特性について説明する。
図６（ａ）、図６（ｂ）は、ＰＳＦ（点像分布関数）の説明図であり、図６（ａ）は画像回復前のＰＳＦ、図６（ｂ）は画像回復後のＰＳＦを示している。図７（ａ）はＯＴＦ（光学伝達関数）のＭＴＦ（振幅成分）の説明図であり、図７（ｂ）はＰＴＦ（位相成分）の説明図である。図７（ａ）中の破線Ｇは画像回復前のＭＴＦ、一点鎖線Ｅは画像回復後のＭＴＦを示す。また図７（ｂ）中の破線Ｇは画像回復前のＰＴＦ、一点鎖線Ｅは画像回復後のＰＴＦを示す。
Next, characteristics in real space and frequency space in image restoration processing will be described with reference to FIGS. 6 and 7. FIG.
6(a) and 6(b) are explanatory diagrams of PSF (point spread function). FIG. 6(a) shows the PSF before image restoration, and FIG. 6(b) shows the PSF after image restoration. showing. FIG. 7A is an explanatory diagram of MTF (amplitude component) of OTF (optical transfer function), and FIG. 7B is an explanatory diagram of PTF (phase component). Broken line G in FIG. 7A indicates the MTF before image restoration, and dashed line E indicates the MTF after image restoration. In FIG. 7B, the dashed line G indicates the PTF before image restoration, and the one-dot chain line E indicates the PTF after image restoration.
図６（ａ）に示されるように、画像回復前のＰＳＦ（点像分布関数）は、収差の影響により非対称な広がりを有し、この非対称性によりＰＴＦ（位相成分）は周波数に対して非直線的な値を有する。画像回復処理では、ＭＴＦを増幅し、ＰＴＦがゼロになるように補正するため、画像回復後のＰＳＦは対称で先鋭な形状になる。 As shown in FIG. 6A, the PSF (point spread function) before image restoration has an asymmetric spread due to the influence of aberration, and this asymmetry causes the PTF (phase component) to be non-uniform with respect to frequency. It has a linear value. In the image restoration process, the MTF is amplified and corrected so that the PTF becomes zero, so the PSF after image restoration has a symmetrical and sharp shape.
また、回転対称であると近似できる絞りによる回折を対象とする場合、回折によるＰＳＦは回転対称となる。このため、図７（ｂ）の破線Ｅは０となる。換言すると、本実施形態で扱う回折には位相ずれがない。また、位相ずれの有無に関わらず、前述の画像回復の原理は機能するため、回折を補正対象とする本実施形態においても、画像回復は有効である。 Moreover, when the object is diffraction by an aperture that can be approximated to be rotationally symmetric, the PSF due to diffraction is rotationally symmetrical. Therefore, the dashed line E in FIG. 7(b) becomes zero. In other words, the diffraction treated in this embodiment has no phase shift. In addition, since the above-described principle of image restoration functions regardless of the presence or absence of a phase shift, image restoration is also effective in this embodiment in which diffraction is to be corrected.
このように画像回復フィルタは、撮像光学系３のＯＴＦ（光学伝達関数）の逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば前述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、前述した式（７）を逆フーリエ変換することにより、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。
Thus, the image restoration filter can be obtained by inverse Fourier transforming a function designed based on the inverse function of the OTF (optical transfer function) of the imaging
また、ＯＴＦ（光学伝達関数）は、一つの撮影状態（撮影条件）においても撮像光学系３の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値が大きくなるに従って回折の影響が支配的になるＯＴＦに対しては、光学系のビネッティング（けられ）の影響が小さい場合、像高に対して一律な（一定の）ＯＴＦとして扱うことができる。
Also, the OTF (optical transfer function) changes according to the image height (image position) of the imaging
また、本実施形態では、回折（回折ぼけ）も対象とする。画像回復フィルタは、絞り値が小さい場合には、絞り値、光の波長、及び、像高（画像の位置）に依存する。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができない。すなわち、本実施形態の画像回復フィルタは、絞り値に応じて発生する回折ぼけも含む光学伝達関数を使用して、演算により生成される。画像回復フィルタの演算方法については後述する。波長については、複数の波長での光学伝達関数を算出し、想定する光源の分光特性や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長を用いて算出してもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。 This embodiment also targets diffraction (diffraction blurring). The image restoration filter depends on the aperture value, wavelength of light, and image height (image position) when the aperture value is small. Therefore, a uniform (fixed) image restoration filter cannot be used within one image. That is, the image restoration filter of this embodiment is generated by calculation using an optical transfer function including diffraction blur that occurs according to the aperture value. The calculation method of the image restoration filter will be described later. For wavelengths, optical transfer functions at multiple wavelengths are calculated, and optical transfer functions for each color component can be generated by weighting each wavelength based on the spectral characteristics of the assumed light source and light sensitivity information of the image sensor. . Alternatively, it may be calculated using a predetermined representative wavelength for each color component. An image restoration filter can then be generated based on the optical transfer function for each color component.
画像回復処理が行われる場合、画像処理回路７は、先ず、カメラシステム制御回路５から前述した撮影条件情報を取得する。また、画像処理回路７は、撮影条件情報の中の撮影時の絞り値に応じた画像回復フィルタを軸上光束用と軸外光束用とでそれぞれ一つ以上選択する。画像処理回路７は、選択した画像回復フィルを用いて、撮像画像（入力画像）から回復画像（出力画像）を生成する。
When the image restoration process is performed, the
画像処理回路７にて生成された回復画像は、メモリ回路８に所定のフォーマットで記録される。また、表示装置９には、画像処理回路７による画像処理後の画像に対して表示用の所定の処理が行われた画像が表示される。なお、表示装置９には、高速表示のために簡易的な処理を行った画像を表示してもよい。
The restored image generated by the
また、レンズユニット２の他にも、ＯＴＦ（光学伝達関数）の特性に影響を与える光学素子を有する場合、画像回復フィルタを生成する際には、その影響を考慮することが好ましい。例えば、撮像素子６の前に設けられた光学ローパスフィルタによる影響が考えられる。この場合、画像処理回路７は、光学ローパスフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、撮影光路内に赤外カットフィルタがある場合、分光波長のＰＳＦ（点像分布関数）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを生成する際にはその影響を考慮することが好ましい。この場合、画像処理回路７は、赤外カットフィルタによる光学伝達関数に基づいて画像回復フィルタを生成する。また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像処理回路７は、画素開口による光学伝達関数に基づいて画像回復フィルタを生成する。
In addition to the
図８は、カメラシステム制御回路５による制御の元で画像処理回路７により行われる画像回復処理の流れ示すフローチャートである。
FIG. 8 is a flow chart showing the flow of image restoration processing performed by the
ここで、画像回復処理を効果的に行うには、撮像光学系３における正確なＯＴＦ又はＰＳＦ情報を取得する必要がある。ＯＴＦ又はＰＳＦ情報は、例えば撮像光学系３の設計値情報があれば、その情報から計算によって求めることが可能である。また、ＰＳＦ又はＯＴＦ情報は、点光源を撮影した際の光の強度分布、又はその強度分布にフーリエ変換を施すことでも求めることが可能である。更に、回折の場合においては、理論的に導かれた計算式からＯＴＦ又はＰＳＦ情報を求めることができる。
Here, in order to effectively perform image restoration processing, it is necessary to obtain accurate OTF or PSF information in the imaging
故に、防振処理によって像ブレを低減し、さらに防振処理で生ずる画質劣化を補正するために画像回復処理を行うような場合、必要なＯＴＦ又はＰＳＦ情報は、かなり膨大なデータ量となる可能性がある。すなわち例えば、レンズ防振により撮像光学系３の光軸４に直交する方向に防振レンズ群を移動させたことで光軸が偏芯した偏芯状態と、光軸に偏芯が生じていない無偏芯状態とでは、撮像素子６の撮像面上の光像に生ずる収差が異なる。したがって、良好な画像回復処理を行うためには、無偏芯状態の時のＯＴＦ又はＰＳＦ情報とは別に、偏芯状態の時のＯＴＦ又はＰＳＦの情報をも保持しておく必要がある。またイメージャー防振時には撮像素子６が撮像光学系３の光軸４に直交する方向にシフト、光軸周りに回転（ロール）等される。このため、イメージャー防振に対応可能な撮像光学系３のイメージサークルは、イメージャー防振に非対応な撮像光学系のイメージサークルよりもかなり大きいものとなされる。したがって、イメージャー防振が行われる場合には、イメージャー防振に対応可能な大きなイメージサークルにおける像高までのＯＴＦ又はＰＳＦ情報を保持しておく必要がある。
Therefore, when performing image restoration processing to reduce image blurring by image stabilization processing and correct image quality deterioration caused by image stabilization processing, the required OTF or PSF information can be a considerably large amount of data. have a nature. That is, for example, an eccentric state in which the optical axis is decentered by moving the anti-vibration lens group in a direction perpendicular to the optical axis 4 of the imaging
さらに、例えば２種類以上の防振処理を同時に使用するようにした場合には、必要なＯＴＦ又はＰＳＦ情報はさらに増大することになる。本実施形態の場合、非防振処理時（無偏芯状態）用と、レンズ防振時（偏芯状態）用と、イメージャー防振時用と、レンズ防振及びイメージャー防振が同時使用された場合の、それぞれのＯＴＦ又はＰＳＦ情報が必要となる。また、レンズ防振及びイメージャー防振が同時使用された場合、レンズ防振による偏芯状態に対応するためにイメージャー防振時用よりも高い像高までのＯＴＦ又はＰＳＦ情報が必要になる。すなわち、２種類以上の防振処理を同時に使用する場合には、事前に保持しなければならないＯＴＦ又はＰＳＦ情報が膨大になる。 Furthermore, if, for example, two or more types of anti-vibration processing are used at the same time, the required OTF or PSF information will further increase. In the case of this embodiment, for non-stabilization processing (non-decentration state), for lens stabilization (decentered state), for imager stabilization, and for lens stabilization and imager stabilization at the same time Respective OTF or PSF information, if used, is required. Also, when lens stabilization and imager stabilization are used at the same time, OTF or PSF information up to an image height higher than that for imager stabilization is required in order to deal with decentration due to lens stabilization. . That is, when using two or more types of image stabilizing processing at the same time, the amount of OTF or PSF information that must be held in advance becomes enormous.
図８のフローチャートは、防振処理としてレンズ防振とイメージャー防振の両方の防振処理が行われる場合において、撮像光学系３による収差と回折によって撮像画像に生じている劣化を回復する画像回復処理を示している。この画像回復処理は、撮影の直後に行ってもよいし、記録された画像を再生するときに行うようにしてもよい。なお、図８の説明では、画像回復フィルタのフィルタ情報としてＰＳＦ情報が保持されている例を挙げて説明する。
The flowchart in FIG. 8 shows an image for recovering deterioration caused in a captured image due to aberration and diffraction by the imaging
カメラシステム制御回路５は、防振制御がＯＮになされている場合に、図８のフローチャートの動作を開始させる。図８のフローチャートの動作が開始されると、先ず、ステップＳ８０１において、カメラシステム制御回路５は、防振処理が実行されている状態で撮像素子６による画像の撮影を行わせる。なお、この時の撮影は、静止画撮影であっても、動画撮影であってもよい。
The camera
次に、ステップＳ８０２において、カメラシステム制御回路５は、レンズ防振とイメージャー防振の両方が同時に使用されたか否かを判定する。カメラシステム制御回路５は、レンズ防振とイメージャー防振が同時に使用されたと判定した場合にはステップＳ８０３に処理を進め、レンズ防振とイメージャー防振が同時に使用されていないと判定した場合にはステップＳ８１０に処理を進める。
Next, in step S802, the camera
ステップＳ８０３に進むと、カメラシステム制御回路５は、ステップＳ８０２にてレンズ防振とイメージャー防振が同時に使用されているという撮影条件に基づいて、撮影時におけるイメージャー防振による撮像素子６の移動データを取得する。このとき取得される移動データは、撮像素子６を撮像光学系３の光軸に直交する方向に移動するシフト量、光軸周りに回転するロール量の他、チルト量をも含む。この撮像素子６の移動データは、後の防振処理における像高の座標を計測する際に使用される。
When proceeding to step S803, the camera
続いて、ステップＳ８０４において、カメラシステム制御回路５は、画像処理回路７に対し、メモリ回路８に保持されている複数のフィルタ情報の中から、イメージャー防振に応じた複数のフィルタ情報の取得を行わせる。この場合、画像処理回路７は、イメージャー防振時の撮像素子６の移動データに基づいて防振処理が行われて撮影された撮像画像の像高と、非偏芯時の撮像光学系３による像高との関係を演算する。そして、画像処理回路７は、それら像高の関係と撮影条件とを基に、メモリ回路８に保持されているフィルタ情報の中から、所望の複数のフィルタ情報を選定する。
Subsequently, in step S804, the camera
次に、ステップＳ８０５において、カメラシステム制御回路５は、ステップＳ８０２にてレンズ防振とイメージャー防振が同時に使用されているという撮影条件に基づいて、撮影時のレンズ防振における防振レンズ群の移動データを取得する。このとき取得される移動データは、撮像光学系３の光軸に対する防振レンズ群のシフト量の他、チルト量をも含む。
Next, in step S805, the camera
続いて、ステップＳ８０６において、カメラシステム制御回路５は、画像処理回路７に対し、メモリ回路８に保持されているフィルタ情報の中から、レンズ防振に基づく複数のフィルタ情報の取得を行わせる。この場合、画像処理回路７は、防振レンズ群の移動データに基づいて撮像光学系の光軸に対する防振レンズ群の偏芯量及び偏芯方向を演算する。そして、画像処理回路７は、それら偏芯量及び偏芯方向と撮影条件とを基に、メモリ回路８に保持されているフィルタ情報の中から、所望の複数のフィルタ情報を選定する。
Subsequently, in step S806, the camera
次に、ステップＳ８０７において、カメラシステム制御回路５は、画像処理回路７に対し、イメージャー防振時の補正量（像高の変化量）とレンズ防振時の偏芯量が、光軸中心の移動量について、それぞれどの程度寄与するかを表す寄与度を算出させる。この場合、画像処理回路７は、イメージャー防振時の補正量（像高の変化量）と、レンズ防振時の偏芯量（偏芯量及び偏芯方向）とから、撮像光学系３の光軸中心の移動量に対するそれぞれの寄与度を算出する。なお、画像処理回路７は、イメージャー防振時の移動量と方向、レンズ防振時の移動量と方向について、それぞれ移動する前と後で比較した時のＰＳＦ（点像分布関数）の変化量に対する寄与度を算出してもよい。ステップ８０７にて算出される寄与度は、複数のＰＳＦ情報をコンボリューションする際の係数として使用される。
Next, in step S807, the camera
ここで、寄与度の算出方法について説明する。
ＰＳＦ（点像分布関数）の変化量を、ＭＴＦ（光学伝達関数）の変化量とみなす。イメージャー防振によって像高が変化することで、ＭＴＦが変化する。このときのＭＴＦの変化量を、第１のＭＴＦの変化量とする。また、レンズ防振によって偏心が起こることで、ＭＴＦが変化する。このときのＭＴＦの変化量を、第２のＭＴＦの変化量とする。この第１のＭＴＦの変化量と第２のＭＴＦの変化量の比率に応じて、寄与度が求められる。
Here, a method for calculating the degree of contribution will be described.
The amount of change in PSF (point spread function) is regarded as the amount of change in MTF (optical transfer function). The MTF changes as the image height changes due to imager stabilization. The amount of change in the MTF at this time is defined as the amount of change in the first MTF. In addition, the MTF changes due to the occurrence of eccentricity due to lens stabilization. The amount of change in the MTF at this time is defined as the amount of change in the second MTF. The degree of contribution is obtained according to the ratio of the amount of change in the first MTF and the amount of change in the second MTF.
例えば、元のＭＴＦが６０％であり、像高が変化することで、同じ評価像高でのＭＴＦ値が５０％になったのであれば、第１のＭＴＦの変化量は１０（＝６０－５０）となる。また、元のＭＴＦが６０％であり、防振レンズ群の移動することで、同じ評価像高でのＭＴＦ値が４０％になったのであれば、第２のＭＴＦの変化量は２０（＝６０－４０）となる。この場合、イメージャー防振時のＰＳＦと、レンズ防振時のＰＳＦは、１：２の比率で寄与することになる。 For example, if the original MTF is 60% and the image height is changed so that the MTF value at the same evaluation image height is 50%, the change in the first MTF is 10 (=60- 50). Also, if the original MTF is 60% and the MTF value at the same evaluation image height becomes 40% by moving the anti-vibration lens group, the amount of change in the second MTF is 20 (= 60-40). In this case, the PSF during imager stabilization and the PSF during lens stabilization contribute at a ratio of 1:2.
さらに、レンズ防振時の偏芯方向について説明する。防振レンズ群の偏芯の方向に応じて、ＭＴＦは改善したり悪化したりする。多くの場合は、ＭＴＦが改善する防振レンズ群の偏心方向と、ＭＴＦが悪化する防振レンズの偏心方向は、光軸中心に対して点対称となる。このとき、ＭＴＦが悪化する方向に対しては強く補正が掛かるように、ＰＳＦの寄与度を変化させ、ＭＴＦが改善する方向に対しては弱く補正が掛かるように、ＰＳＦの寄与度を変化させる。ただし、防振レンズ群の偏芯後にどちらの方向も元々のＭＴＦよりも低下する場合は、どちらの像高に対しても同様に補正が掛かる。 Furthermore, the direction of eccentricity during lens stabilization will be described. The MTF improves or deteriorates depending on the direction of eccentricity of the anti-vibration lens group. In many cases, the eccentric direction of the anti-vibration lens group in which the MTF is improved and the eccentric direction of the anti-vibration lens group in which the MTF is deteriorated are point symmetrical with respect to the center of the optical axis. At this time, the contribution of the PSF is changed so that the direction in which the MTF deteriorates is strongly corrected, and the contribution of the PSF is changed so that the direction in which the MTF improves is weakly corrected. . However, if the MTF in both directions is lower than the original MTF after decentration of the anti-vibration lens group, correction is similarly applied to both image heights.
例えば、元のＭＴＦが６０％であり、防振レンズ群の偏芯により、ＭＴＦ値が改善して７０％になったのであれば、第２のＭＴＦの変化量は－１０（＝６０－７０）となる。また、元のＭＴＦが６０％であり、防振レンズ群の偏芯により、ＭＴＦ値が悪化して５０％になったのであれば、第２のＭＴＦの変化量は１０（＝６０－５０）となる。寄与度はこの比率に比例するため、ＭＴＦ値が改善した場合のレンズ防振時のＰＳＦは、１０／６０のゲインダウンとなる比率で寄与し、ＭＴＦ値が悪化した場合のレンズ防振時のＰＳＦは、１０／６０のゲインアップとなる比率で寄与することになる。 For example, if the original MTF is 60% and the MTF value is improved to 70% due to decentering of the anti-vibration lens group, the amount of change in the second MTF is -10 (=60-70 ). Also, if the original MTF is 60% and the MTF value deteriorates to 50% due to the decentering of the anti-vibration lens group, the amount of change in the second MTF is 10 (=60-50). becomes. Since the contribution is proportional to this ratio, when the MTF value improves, the PSF during lens stabilization contributes at a ratio of 10/60 gain reduction, and when the MTF value deteriorates, the PSF during lens stabilization The PSF will contribute at a rate that results in a gain up of 10/60.
続いて、ステップＳ８０８において、カメラシステム制御回路５は、画像処理回路７に対して、前述のように選定されたフィルタ情報のＰＳＦを基に、或る像高におけるＰＳＦを算出させる。すなわち、画像処理回路７は、イメージャー防振で移動した像高に応じて選出されたＰＳＦと、レンズ防振時の防振レンズ群の移動による偏芯光学系に応じて選定されたＰＳＦとを、係数を掛けてコンボリューションして、その像高のＰＳＦを算出する。
Subsequently, in step S808, the camera
続いて、ステップＳ８０９において、カメラシステム制御回路５は、画像処理回路７に対し、画像回復フィルタを作成させる。この場合、画像処理回路７は、ステップＳ８０８で算出したＰＳＦをフーリエ変換してＯＴＦを求め、さらにそのＯＴＦを逆フーリエ変換した関数である画像回復フィルタを算出する。
Subsequently, in step S809, the camera
また、ステップＳ８０２においてレンズ防振とイメージャー防振が同時に使用されていないと判定されてステップＳ８１０に進んだ場合、カメラシステム制御回路５は、使用された防振処理がレンズ防振とイメージャー防振の何れであるかを検出する。
If it is determined in step S802 that the lens stabilization and imager stabilization are not used at the same time and the process proceeds to step S810, the camera
次に、ステップＳ８１１において、カメラシステム制御回路５は、画像処理回路７に対し、ステップＳ８１０で検出した防振処理で使用する複数のフィルタ情報を取得させる。この時の画像処理回路７は、メモリ回路８から、ステップＳ８１０で検出された防振処理に対応した複数のフィルタ情報を選出する。その後、カメラシステム制御回路５は、ステップＳ８０９に処理を進め、以降は前述同様にして画像回復フィルタの作成が行われる。
Next, in step S811, the camera
以上説明したように、本実施形態の撮像装置１は、撮像時に使用可能な防振処理に応じた複数のフィルタ情報として、非防振時用とレンズ防振時用とイメージャー防振時用のそれぞれに個別に対応したフィルタ情報のみを保持している。すなわち、本実施形態の場合、レンズ防振及びイメージャー防振の同時使用に対応したフィルタ情報については予め用意されておらず保持していないため、画像回復フィルタのためのデータの増大が抑えられている。また、レンズ防振とイメージャー防振が同時使用された場合、レンズ防振時用とイメージャー防振時用の両フィルタ情報からそれぞれ個別に算出した画像回復フィルタを用いたのでは、劣化を良好に補正できない。このため、本実施形態では、レンズ防振とイメージャー防振の同時使用に対応した画像回復フィルタについては、予め保持されているフィルタ情報を基に所定の演算処理を行うことにより生成する。
As described above, the
すなわち、本実施形態の撮像装置１は、レンズ防振とイメージャー防振の同時使用に適応した画像回復フィルタを生成する場合、レンズ防振時の移動量とイメージャー防振時の移動量とを取得する。また、撮像装置１は、予め保持している複数のフィルタ情報の中から、撮像時に使用された防振処理の条件に応じたフィルタ情報を取得する。つまり、レンズ防振とイメージャー防振とにそれぞれ対応して保持されているフィルタ情報を取得する。さらに、撮像装置１は、それらレンズ防振時とイメージャー防振時の移動量とフィルタ情報とを基に、所定の演算処理を行うことで、レンズ防振とイメージャー防振の同時使用時の画像回復処理に用いる画像回復フィルタを算出する。この時の所定の演算処理は、レンズ防振とイメージャー防振とで個別に取得されたフィルタ情報に、レンズ防振とイメージャー防振が防振処理に与える寄与度に応じた係数を掛けてコンボリューションする演算となされている。そして、本実施形態の撮像装置１は、当該作成した画像回復フィルタを用い、レンズ防振とイメージャー防振とが同時に使用されて取得された撮影画像に対する画像回復処理を実行する。
That is, when generating an image restoration filter suitable for simultaneous use of lens stabilization and imager stabilization, the
このように、本実施形態の撮像装置１では、レンズ防振とイメージャー防振の二つの防振処理が同時に使用された場合に適応した画像回復フィルタを作成している。このため、本実施形態の撮像装置１によれば、予め保持するデータ量を削減しつつ高精度な防振処理を行えるとともに、防振処理後の劣化した画像に対する高精度な画像回復処理を行うことができる。すなわち本実施形態では、光学系の偏芯によるＰＳＦを、偏芯量と方向とでマトリクス的に組み合わせを作成して離散的にデータを保持、つまりデータが無い領域では補間で補える精度を見極めて保持することで、データ量の削減を可能としている。なお、前述の説明では、保持するフィルタ情報をＰＳＦ情報としたが、これには限定されず、ＯＴＦ、波面、ＭＴＦとＰＴＦなどの光学伝達関数を表す情報であれば何れの形式のデータであってもよい。
As described above, in the
＜その他の実施形態＞
本実施形態の撮像装置は、レンズ交換可能なデジタルカメラだけでなく、レンズがカメラ本体に固定されたデジタルカメラやビデオカメラ、その他、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。
<Other embodiments>
The imaging apparatus of this embodiment can be applied not only to digital cameras with interchangeable lenses, but also to digital cameras and video cameras in which lenses are fixed to the camera body, industrial cameras, in-vehicle cameras, medical cameras, and the like. be.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of specific implementations of the present invention, and the technical scope of the present invention should not be construed to be limited by these. That is, the present invention can be embodied in various forms without departing from its technical spirit or main features.
１：撮像装置、２：レンズユニット、３：撮像光学系、５：カメラシステム制御回路、６：撮像素子、７：画像処理回路、９：表示装置、１０：操作検出回路、１２：レンズシステム制御回路、１３：レンズ駆動部、１４：ブレ補正部、１５：ブレ検知回路 1: imaging device, 2: lens unit, 3: imaging optical system, 5: camera system control circuit, 6: imaging element, 7: image processing circuit, 9: display device, 10: operation detection circuit, 12: lens system control circuit 13: lens drive section 14: blur correction section 15: blur detection circuit
Claims (15)
前記２種類以上の防振処理に対応して取得されたフィルタ情報を基に所定の演算処理を行って、点像分布関数を基に、撮影画像の補正に用いる補正フィルタを生成する生成手段と、
前記２種類以上の防振処理が使用されて撮影された撮影画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理手段と、
を有することを特徴とする画像処理装置。 Acquisition means for acquiring filter information individually corresponding to two or more types of anti-shake processing used in photographing;
generating means for performing predetermined arithmetic processing based on the filter information acquired corresponding to the two or more types of image stabilizing processing, and generating a correction filter used for correcting the photographed image based on the point spread function; ,
a processing means for performing correction processing using the generated correction filter on a photographed image photographed using the two or more types of image stabilizing processing;
An image processing device comprising:
前記取得手段は、前記保持された複数のフィルタ情報の中から、前記撮影の際に使用された２種類以上の防振処理に個別に対応したフィルタ情報を取得することを特徴とする請求項１に記載の画像処理装置。 holding means for holding a plurality of pieces of filter information individually corresponding to a plurality of image stabilizing processes that can be used when capturing an image;
2. The obtaining means obtains, from among the plurality of stored filter information, filter information individually corresponding to two or more types of image stabilizing processing used at the time of photographing. The image processing device according to .
前記点像分布関数に前記係数を掛けてコンボリューションして前記補正フィルタを生成することを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。 The generating means calculates a coefficient based on the amount of change in the point spread function before and after movement from the optical axis center of the imaging optical system for the used image stabilization processing,
9. The image processing apparatus according to claim 6, wherein the point spread function is multiplied by the coefficient and convoluted to generate the correction filter.
前記２種類以上の防振処理に対応した前記複数の点像分布関数にコンボリューションを行うことによって、第２の点像分布関数を算出する算出手段と、
前記２種類以上の防振処理が使用されて撮影された撮影画像に対し、前記第２の点像分布関数から生成された補正フィルタを用いた補正処理を行う処理手段と、
を有することを特徴とする画像処理装置。 Acquisition means for acquiring a plurality of point spread functions individually corresponding to two or more types of image stabilizing processing used in photographing;
calculating means for calculating a second point spread function by performing convolution on the plurality of point spread functions corresponding to the two or more types of image stabilization;
processing means for performing correction processing using a correction filter generated from the second point spread function on the captured image captured using the two or more types of image stabilizing processing;
An image processing device comprising:
前記撮影画像の撮影を行う撮像手段と、
を有することを特徴とする撮像装置。 an image processing apparatus according to any one of claims 1 to 11;
imaging means for capturing the captured image;
An imaging device characterized by comprising:
撮影の際に使用された２種類以上の防振処理に個別に対応したフィルタ情報を取得する取得工程と、
前記２種類以上の防振処理に対応して取得されたフィルタ情報を基に所定の演算処理を行って、点像分布関数を基に、撮影画像の補正に用いる補正フィルタを生成する生成工程と、
前記２種類以上の防振処理が使用されて撮影された撮影画像に対し、前記生成された補正フィルタを用いた補正処理を行う処理工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by an image processing device,
an acquisition step of acquiring filter information individually corresponding to two or more types of image stabilizing processing used at the time of photographing;
a generation step of performing predetermined arithmetic processing based on the filter information acquired corresponding to the two or more types of image stabilizing processing, and generating a correction filter to be used for correcting the captured image based on the point spread function ; ,
a processing step of performing correction processing using the generated correction filter on a photographed image photographed using the two or more types of image stabilizing processing;
An image processing method characterized by comprising:
撮影の際に使用された２種類以上の防振処理に個別に対応した複数の点像分布関数を取得する取得工程と、
前記２種類以上の防振処理に対応した前記複数の点像分布関数にコンボリューションを行って、第２の点像分布関数を算出する算出工程と、
前記２種類以上の防振処理が使用されて撮影された撮影画像に対し、前記第２の点像分布関数から生成された補正フィルタを用いた補正処理を行う処理工程と、
を有することを特徴とする画像処理方法。 An image processing method executed by an image processing device,
an acquisition step of acquiring a plurality of point spread functions individually corresponding to two or more types of image stabilizing processing used in photographing;
a calculating step of calculating a second point spread function by convolving the plurality of point spread functions corresponding to the two or more types of image stabilization;
a processing step of performing correction processing using a correction filter generated from the second point spread function on the captured image captured using the two or more types of image stabilizing processing;
An image processing method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/208,393 US10735655B2 (en) | 2017-12-07 | 2018-12-03 | Apparatus, method, and program for image processing |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017234938 | 2017-12-07 | ||
| JP2017234938 | 2017-12-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019103132A JP2019103132A (en) | 2019-06-24 |
| JP7182994B2 true JP7182994B2 (en) | 2022-12-05 |
Family
ID=66974375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018205359A Active JP7182994B2 (en) | 2017-12-07 | 2018-10-31 | Image processing device, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7182994B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021068170A1 (en) * | 2019-10-10 | 2021-04-15 | 深圳市大疆创新科技有限公司 | Photographic apparatus and control method therefor, and movable platform |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010258570A (en) | 2009-04-22 | 2010-11-11 | Canon Inc | Image pickup apparatus, and image conversion method |
| JP2017195516A (en) | 2016-04-20 | 2017-10-26 | オリンパス株式会社 | Camera system and camera body |
| JP2017194569A (en) | 2016-04-20 | 2017-10-26 | オリンパス株式会社 | Image processing device, imaging device and image processing method |
-
2018
- 2018-10-31 JP JP2018205359A patent/JP7182994B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010258570A (en) | 2009-04-22 | 2010-11-11 | Canon Inc | Image pickup apparatus, and image conversion method |
| JP2017195516A (en) | 2016-04-20 | 2017-10-26 | オリンパス株式会社 | Camera system and camera body |
| JP2017194569A (en) | 2016-04-20 | 2017-10-26 | オリンパス株式会社 | Image processing device, imaging device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019103132A (en) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11700451B2 (en) | Image pickup apparatus capable of capturing images with proper exposure, control method, and memory medium | |
| US9911183B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium | |
| US10887521B2 (en) | Imaging apparatus and method for controlling the same | |
| JP6775208B1 (en) | Imaging device and imaging system | |
| US11012633B2 (en) | Image capturing apparatus, image capturing method, and image processing apparatus | |
| US10735655B2 (en) | Apparatus, method, and program for image processing | |
| JP4125331B2 (en) | Imaging apparatus and control method thereof | |
| JP2009272890A (en) | Image processing apparatus and method, and imaging device | |
| JP5143172B2 (en) | Imaging apparatus and image reproduction apparatus | |
| JP7182994B2 (en) | Image processing device, image processing method, and program | |
| JP7224980B2 (en) | Image processing device, image processing method, and program | |
| JP6395401B2 (en) | Image shake correction apparatus, control method therefor, optical apparatus, and imaging apparatus | |
| JP2008124850A (en) | Image motion correction apparatus, lens unit, and imaging apparatus | |
| JP5760654B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6742819B2 (en) | Image blur correction device, optical device, imaging device, and control method | |
| US11202001B2 (en) | Image stabilization apparatus and method, and image capturing apparatus | |
| US11736658B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
| JP7308696B2 (en) | Image blur correction device, its control method, program, and imaging device provided with image blur correction device | |
| JP2017079378A (en) | Image processing apparatus and image processing method, and imaging device | |
| WO2022024637A1 (en) | Imaging device and operation method therefor | |
| JP2019169940A (en) | Photographing device, photographing method, photographing program, image processing apparatus, image processing method, and image processing program | |
| JP2021051165A (en) | Image processing system and control method thereof, program, and storage medium | |
| JP2020034816A (en) | Imaging apparatus | |
| JP2020184027A (en) | Image tremor correction device and method, and imaging device | |
| JP2010193475A (en) | Imaging device and image reproducing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221122 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7182994 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |