JP3867680B2 - 撮像装置および手振れ補正方法 - Google Patents
撮像装置および手振れ補正方法 Download PDFInfo
- Publication number
- JP3867680B2 JP3867680B2 JP2003098245A JP2003098245A JP3867680B2 JP 3867680 B2 JP3867680 B2 JP 3867680B2 JP 2003098245 A JP2003098245 A JP 2003098245A JP 2003098245 A JP2003098245 A JP 2003098245A JP 3867680 B2 JP3867680 B2 JP 3867680B2
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- correction
- size
- integration
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、撮像信号に対して手振れ補正を行う撮像装置および手振れ補正方法に関するものである。
【０００２】
【従来の技術】
特許文献１には、ビデオカメラ本体の揺れに起因した画像の揺れ量を検出するための揺れ量検出手段と、揺れ量検出手段による検出出力に基づいて画像の揺れを補正するための補正信号を生成する補正範囲が可変設定自在な補正信号生成手段と、補正信号生成手段により生成された補正信号に応じて画像の揺れを補正するように作動する補正手段と、補正手段の作動範囲を検出するための作動範囲検出手段と、作動範囲検出手段による検出出力に基づいて、補正範囲を可変設定する補正範囲設定手段を備えた手振れ補正装置が開示されている。
【０００３】
上述したような従来の撮像装置では、広角な映像を撮影する場合は手振れ補正で抽出する有効領域を広げることで実現することができる。この際、有効領域の映像をテレビ信号の解像度に変換する必要があるが、有効領域を撮像面全体の領域の大きさに近づけることでより広角な映像が実現できる。
【０００４】
【特許文献１】
特開平７−３２７１６０号公報
【０００５】
【発明が解決しようとする課題】
しかし、上述した従来の撮像装置では、レンズの高倍率化等により大きな手振れを補正する必要があるが、広角にすることで手振れ補正に使用する余剰領域が減少し、余剰領域を超える大きな手振れが生じた場合は、補正端に当たる目障りな症状が発生するという不都合があった。これは、補正端で突然リミット処理が働き、画像の抽出領域が固定されるためである。
【０００６】
特許文献１では、補正手段の作動範囲は線形積分出力であり、余剰領域の大きさに関わらず一定の積分係数を指定した場合の出力を示すため、線形積分は補正端に到達すると同時にリミット処理が働き、急激に画が当たる目障りな症状が発生するという不都合があった。
【０００７】
そこで、本発明は、かかる点に鑑みてなされたものであり、余剰領域を超える大きな手振れが生じた場合にも、補正端に当たる目障りな症状が発生しないようにすることができる撮像装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明の撮像装置では、補正手段は、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出手段を有し、余剰領域検出手段により検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、乗算の結果と手振れ検出信号の積分を行い、積分により算出された補正量により補正処理をするものである。
【０００９】
従って本発明によれば、以下の作用をする。
余剰領域検出手段において、前回の補正処理の補正量より現在の余剰領域の大きさを算出する。積分係数制御手段において、余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００１０】
算出した積分係数と前回の補正処理の補正量の乗算を行い、乗算結果と手振れ信号の積分を行い、算出された補正量により補正処理をする。
【００１１】
また、本発明の手振れ補正方法では、補正ステップは、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出ステップを有し、余剰領域検出ステップにより検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、乗算の結果と手振れ検出信号の積分を行い、積分により算出された補正量により補正処理をするものである。
【００１２】
従って本発明によれば、以下の作用をする。
余剰領域検出ステップにおいて、前回の補正処理の補正量より現在の余剰領域の大きさを算出する。積分係数制御ステップにおいて、余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００１３】
算出した積分係数と前回の補正処理の補正量の乗算を行い、乗算結果と手振れ信号の積分を行い、算出された補正量により補正処理をする。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
【００１５】
［システム構成］
図１は本発明の実施の形態に適用される撮像装置の手振れ補正装置を示すものである。
撮像デバイス１は撮像面上の全領域（実効領域）の映像をアナログ信号で出力する。ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｎｖｅｒｔｅｒ）２は撮像デバイス１から出力されたアナログ信号をデジタル信号に変換する。補正回路３はコントローラ５より出力される補正量にしたがって実効領域の一部分の領域（有効領域）を抽出する。手振れ検出部４は撮像装置に加わる手振れを検出する。検出手法はジャイロセンサや画像認識などによって行われる。コントローラ５は手振れ検出部４より出力された手振れ信号と、手振れ補正用に使用する余剰領域を基に実効領域から有効領域を抽出するための補正量を演算し補正回路３に出力する。
【００１６】
図２は本発明の実施の形態に適用される手振れ補正装置のコントローラ５における積分部を示すものである。
【００１７】
手振れ信号入力２１は図１の手振れ検出部４より出力された手振れ信号を取得する。積分器２２は手振れ信号入力２１と乗算器２４からの信号を積分する。補正出力２３は積分器２２で積分した信号を出力する。乗算器２４は積分係数算出部２６から得られた積分係数を基に遅延器２５からの信号を乗算する。遅延器２５は補正出力２３の信号を遅延する。積分係数算出部２６は余剰領域算出部２７より得られた余剰領域の大きさと入力手振れの大きさの減算器２８からの差分より、乗算器２４における積分係数を算出する。余剰領域算出部２７は遅延器２５を通して取得した補正量を基に撮像面上で手振れ補正に使用することができる余剰領域の大きさを算出する。
【００１８】
［余剰領域算出］
図３は、撮像面上の実効領域、有効領域および余剰領域を示す図である。
【００１９】
図３Ａは撮像面上の実効領域、有効領域、手振れベクトルと余剰領域について示すものである。
実効領域３１のサイズを縦ａｈ、横ａｗ、有効領域３２のサイズを縦ｂｈ、横ｂｗ、前回の補正ベクトルを［ｖｘ−１,ｖｙ−１］とすると、手振れ補正に使用可能な余剰領域３３は図３Ｂのように実効領域３１と有効領域３２の共通でない領域となる。なお、実効領域３１、有効領域３２のサイズは固定ではなくズーム倍率などに応じて動的に変化する場合も含まれる。この時、補正に使用可能な領域において補正端に近い側の長さは、縦は以下の数１式、横は以下の数２式で表現できる。
【００２０】
【数１】
ｓｙ=（ａｈ−ｂｈ）/２−|ｖｙ−１|
【００２１】
【数２】
ｓｘ=（ａｗ−ｂｗ）/２−|ｖｘ−１|
【００２２】
［積分係数算出］
図４は積分係数算出部入力と積分係数の関係を示すものである。
積分算出部入力に対して積分係数は単調増加の関係にある。上記の関係を満たす関数をｆ、縦方向または横方向の入力手振れの大きさをｔｘまたはｔｙ、縦方向または横方向の積分係数をｋｙまたはｋｘとすると、縦は以下の数３式、横は以下の数４式で表現できる。
【００２３】
【数３】
ｋｙ=ｆ（ｓｙ−ｔｙ）
【００２４】
【数４】
ｋｘ=ｆ（ｓｘ−ｔｘ）
【００２５】
補正可能な領域が多い場合は、補正の効きを上げるために積分係数を大きくする。逆に、補正可能な領域が少ない場合は、補正の効きを下げるために積分係数を小さくする。このように補正端に当たる可能性がある余剰長が少ない状況では、補正の効きを下げることで補正端に当たることを軽減させる。
【００２６】
［補正量算出］
上記の積分係数より、縦方向または横方向の補正ベクトル（ｖｙ０,ｖｘ０）が算出される。手振れの動きベクトルを（ｍｖｘ,ｍｖｙ）とすると、縦は以下の数５式、横は以下の数６式で表現できる。
【００２７】
【数５】
ｖｙ０=ｍｖｙ+ｋｙ*ｖｙ−１
【００２８】
【数６】
ｖｘ０=ｍｖｘ+ｋｘ*ｖｘ−１
【００２９】
［制御動作フローチャート］
図５は本発明の実施の形態に適用される手振れ補正制御動作を示すフローチャートを示すものである。
このフローチャートは補正制御動作毎にコントローラ５内のメモリから呼び出される。
【００３０】
ステップＳ１で、前回の補正量より現在の余剰領域の大きさを算出する。具体的には、図２の余剰領域算出部２７において、遅延器２５より送られてくる前回の補正量より現在の余剰領域の大きさを算出する。
【００３１】
ステップＳ２で、上記の余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。具体的には、積分係数算出部２６において、上記の余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００３２】
ステップＳ３で、上記によって算出した積分係数と前回の補正量の乗算を行う。具体的には、乗算器２４において、上記によって算出した積分係数と前回の補正量の乗算を行う。
【００３３】
ステップＳ４で、上記の乗算結果と手振れ信号の積分を行う。具体的には、積分器２２において、上記の乗算結果と手振れ信号の積分を行う。
【００３４】
以上により、コントローラ５は補正量を算出して、算出された補正量により補正回路３に対して補正処理をさせる。
【００３５】
［積分出力比較］
図６は従来と本発明の実施の形態に適用される積分出力の比較を示すものである。
積分入力はＤＣ成分と設定した場合の積分出力について示す。線形積分出力は従来の方式であり、余剰領域の大きさに関わらず一定の積分係数を指定した場合の出力を示す。非線形積分出力は今回の方式であり、余剰領域の大きさに応じて積分係数を動的に変化させた場合の出力を示す。線形積分は補正端に到達すると同時にリミット処理が働き、急激に画が当たる目障りな症状が発生する。非線形積分は補正端に到達する前に補正の効きを抑圧しているため、補正端に到達しリミット処理が働いても急激な画の当たりが生じない。
【００３６】
図７は、余剰領域に対する積分係数のテーブルを示す図である。図７に示すテーブルは、予め余剰領域算出部２７および積分係数算出部２６により算出され、コントローラ５内のメモリに記憶されるものである。
【００３７】
図７において、テーブルは、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「１００」に対して積分係数７２は「１．００」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「９０」に対して積分係数７２は「０．９５」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「８０」に対して積分係数７２は「０．９０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「７０」に対して積分係数７２は「０．８５」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「６０」に対して積分係数７２は「０．８０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「５０」に対して積分係数７２は「０．７０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「４０」に対して積分係数７２は「０．６０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「３０」に対して積分係数７２は「０．５０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「２０」に対して積分係数７２は「０．４０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「１０」に対して積分係数７２は「０．２０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「０」に対して積分係数７２は「０．００」である。
【００３８】
上述した本発明の実施の形態によれば、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることを実現することができる。
【００３９】
上述した本発明の実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることはいうまでもない。
【００４０】
【発明の効果】
この発明の撮像装置は、撮像手段により撮像された撮像信号を、手振れ検出手段により検出された手振れ検出信号を用いて補正手段により補正して手振れ補正を行う撮像装置において、上記補正手段は、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出手段を有するので、手振れ補正に必要な余剰領域の大きさを検出し、余剰領域に応じて手振れ信号の制御をすることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４１】
また、この発明の撮像装置は、上述において、上記補正手段は、上記手振れ検出信号を線形または非線形に積分を行う積分手段と、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御手段を有するので、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４２】
また、この発明の撮像装置は、上述において、上記補正手段は、上記余剰領域の大きさに対する積分係数のテーブルを有するので、予め余剰領域算出部および積分係数算出部により算出され、メモリに記憶される余剰領域および積分係数を用いて類型的な補正処理を高速で行うことができるという効果を奏する。
【００４３】
また、この発明の手振れ補正方法撮像ステップにより撮像された撮像信号を、手振れ検出ステップにより検出された手振れ検出信号を用いて補正ステップにより補正して手振れ補正を行う手振れ補正方法において、上記補正ステップは、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出ステップを有するので、手振れ補正に必要な余剰領域の大きさを検出し、余剰領域に応じて手振れ信号の制御をすることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４４】
また、この発明の手振れ補正方法は、上述において、上記補正ステップは、上記手振れ検出信号を線形または非線形に積分を行う積分ステップと、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御ステップを有するので、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４５】
また、この発明の手振れ補正方法は、上述において、上記補正ステップは、上記余剰領域の大きさに対する積分係数のテーブルを用いて行うので、予め余剰領域算出ステップおよび積分係数算出ステップにより算出され、メモリに記憶される余剰領域および積分係数を用いて類型的な補正処理を高速で行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態に適用される撮像装置の手振れ補正装置を示す図である。
【図２】本発明の実施の形態に適用される手振れ補正装置のコントローラにおける積分部を示す図である。
【図３】撮像面上の実効領域、有効領域および余剰領域を示す図であり、図３Ａは撮像面上の実効領域および有効領域、図３Ｂは余剰領域である。
【図４】積分係数算出部入力と積分係数の関係を示す図である。
【図５】本発明の実施の形態に適用される手振れ補正制御動作を示すフローチャートを示すものである。
【図６】線形および非線形の積分出力の比較を示す図である。
【図７】余剰領域に対する積分係数のテーブルを示す図である。
【符号の説明】
１……撮像デバイス、２……ＡＤＣ、３……補正回路、４……手振れ検出部、５……コントローラ、２１……手振れ信号入力、２２……積分器、２３……補正出力、２４……乗算器、２５……遅延器、２６……積分係数算出部、２７……余剰領域算出部、２８……減算器、３１……実効領域、３２……有効領域、３３……余剰領域、６１……積分入力、６２……線形積分出力、６３……非線形積分出力、６４……補正端、７１……余剰領域、７２……積分係数
【発明の属する技術分野】
本発明は、例えば、撮像信号に対して手振れ補正を行う撮像装置および手振れ補正方法に関するものである。
【０００２】
【従来の技術】
特許文献１には、ビデオカメラ本体の揺れに起因した画像の揺れ量を検出するための揺れ量検出手段と、揺れ量検出手段による検出出力に基づいて画像の揺れを補正するための補正信号を生成する補正範囲が可変設定自在な補正信号生成手段と、補正信号生成手段により生成された補正信号に応じて画像の揺れを補正するように作動する補正手段と、補正手段の作動範囲を検出するための作動範囲検出手段と、作動範囲検出手段による検出出力に基づいて、補正範囲を可変設定する補正範囲設定手段を備えた手振れ補正装置が開示されている。
【０００３】
上述したような従来の撮像装置では、広角な映像を撮影する場合は手振れ補正で抽出する有効領域を広げることで実現することができる。この際、有効領域の映像をテレビ信号の解像度に変換する必要があるが、有効領域を撮像面全体の領域の大きさに近づけることでより広角な映像が実現できる。
【０００４】
【特許文献１】
特開平７−３２７１６０号公報
【０００５】
【発明が解決しようとする課題】
しかし、上述した従来の撮像装置では、レンズの高倍率化等により大きな手振れを補正する必要があるが、広角にすることで手振れ補正に使用する余剰領域が減少し、余剰領域を超える大きな手振れが生じた場合は、補正端に当たる目障りな症状が発生するという不都合があった。これは、補正端で突然リミット処理が働き、画像の抽出領域が固定されるためである。
【０００６】
特許文献１では、補正手段の作動範囲は線形積分出力であり、余剰領域の大きさに関わらず一定の積分係数を指定した場合の出力を示すため、線形積分は補正端に到達すると同時にリミット処理が働き、急激に画が当たる目障りな症状が発生するという不都合があった。
【０００７】
そこで、本発明は、かかる点に鑑みてなされたものであり、余剰領域を超える大きな手振れが生じた場合にも、補正端に当たる目障りな症状が発生しないようにすることができる撮像装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明の撮像装置では、補正手段は、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出手段を有し、余剰領域検出手段により検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、乗算の結果と手振れ検出信号の積分を行い、積分により算出された補正量により補正処理をするものである。
【０００９】
従って本発明によれば、以下の作用をする。
余剰領域検出手段において、前回の補正処理の補正量より現在の余剰領域の大きさを算出する。積分係数制御手段において、余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００１０】
算出した積分係数と前回の補正処理の補正量の乗算を行い、乗算結果と手振れ信号の積分を行い、算出された補正量により補正処理をする。
【００１１】
また、本発明の手振れ補正方法では、補正ステップは、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出ステップを有し、余剰領域検出ステップにより検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、乗算の結果と手振れ検出信号の積分を行い、積分により算出された補正量により補正処理をするものである。
【００１２】
従って本発明によれば、以下の作用をする。
余剰領域検出ステップにおいて、前回の補正処理の補正量より現在の余剰領域の大きさを算出する。積分係数制御ステップにおいて、余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００１３】
算出した積分係数と前回の補正処理の補正量の乗算を行い、乗算結果と手振れ信号の積分を行い、算出された補正量により補正処理をする。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について適宜図面を参照しながら説明する。
【００１５】
［システム構成］
図１は本発明の実施の形態に適用される撮像装置の手振れ補正装置を示すものである。
撮像デバイス１は撮像面上の全領域（実効領域）の映像をアナログ信号で出力する。ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｎｖｅｒｔｅｒ）２は撮像デバイス１から出力されたアナログ信号をデジタル信号に変換する。補正回路３はコントローラ５より出力される補正量にしたがって実効領域の一部分の領域（有効領域）を抽出する。手振れ検出部４は撮像装置に加わる手振れを検出する。検出手法はジャイロセンサや画像認識などによって行われる。コントローラ５は手振れ検出部４より出力された手振れ信号と、手振れ補正用に使用する余剰領域を基に実効領域から有効領域を抽出するための補正量を演算し補正回路３に出力する。
【００１６】
図２は本発明の実施の形態に適用される手振れ補正装置のコントローラ５における積分部を示すものである。
【００１７】
手振れ信号入力２１は図１の手振れ検出部４より出力された手振れ信号を取得する。積分器２２は手振れ信号入力２１と乗算器２４からの信号を積分する。補正出力２３は積分器２２で積分した信号を出力する。乗算器２４は積分係数算出部２６から得られた積分係数を基に遅延器２５からの信号を乗算する。遅延器２５は補正出力２３の信号を遅延する。積分係数算出部２６は余剰領域算出部２７より得られた余剰領域の大きさと入力手振れの大きさの減算器２８からの差分より、乗算器２４における積分係数を算出する。余剰領域算出部２７は遅延器２５を通して取得した補正量を基に撮像面上で手振れ補正に使用することができる余剰領域の大きさを算出する。
【００１８】
［余剰領域算出］
図３は、撮像面上の実効領域、有効領域および余剰領域を示す図である。
【００１９】
図３Ａは撮像面上の実効領域、有効領域、手振れベクトルと余剰領域について示すものである。
実効領域３１のサイズを縦ａｈ、横ａｗ、有効領域３２のサイズを縦ｂｈ、横ｂｗ、前回の補正ベクトルを［ｖｘ−１,ｖｙ−１］とすると、手振れ補正に使用可能な余剰領域３３は図３Ｂのように実効領域３１と有効領域３２の共通でない領域となる。なお、実効領域３１、有効領域３２のサイズは固定ではなくズーム倍率などに応じて動的に変化する場合も含まれる。この時、補正に使用可能な領域において補正端に近い側の長さは、縦は以下の数１式、横は以下の数２式で表現できる。
【００２０】
【数１】
ｓｙ=（ａｈ−ｂｈ）/２−|ｖｙ−１|
【００２１】
【数２】
ｓｘ=（ａｗ−ｂｗ）/２−|ｖｘ−１|
【００２２】
［積分係数算出］
図４は積分係数算出部入力と積分係数の関係を示すものである。
積分算出部入力に対して積分係数は単調増加の関係にある。上記の関係を満たす関数をｆ、縦方向または横方向の入力手振れの大きさをｔｘまたはｔｙ、縦方向または横方向の積分係数をｋｙまたはｋｘとすると、縦は以下の数３式、横は以下の数４式で表現できる。
【００２３】
【数３】
ｋｙ=ｆ（ｓｙ−ｔｙ）
【００２４】
【数４】
ｋｘ=ｆ（ｓｘ−ｔｘ）
【００２５】
補正可能な領域が多い場合は、補正の効きを上げるために積分係数を大きくする。逆に、補正可能な領域が少ない場合は、補正の効きを下げるために積分係数を小さくする。このように補正端に当たる可能性がある余剰長が少ない状況では、補正の効きを下げることで補正端に当たることを軽減させる。
【００２６】
［補正量算出］
上記の積分係数より、縦方向または横方向の補正ベクトル（ｖｙ０,ｖｘ０）が算出される。手振れの動きベクトルを（ｍｖｘ,ｍｖｙ）とすると、縦は以下の数５式、横は以下の数６式で表現できる。
【００２７】
【数５】
ｖｙ０=ｍｖｙ+ｋｙ*ｖｙ−１
【００２８】
【数６】
ｖｘ０=ｍｖｘ+ｋｘ*ｖｘ−１
【００２９】
［制御動作フローチャート］
図５は本発明の実施の形態に適用される手振れ補正制御動作を示すフローチャートを示すものである。
このフローチャートは補正制御動作毎にコントローラ５内のメモリから呼び出される。
【００３０】
ステップＳ１で、前回の補正量より現在の余剰領域の大きさを算出する。具体的には、図２の余剰領域算出部２７において、遅延器２５より送られてくる前回の補正量より現在の余剰領域の大きさを算出する。
【００３１】
ステップＳ２で、上記の余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。具体的には、積分係数算出部２６において、上記の余剰領域の大きさと入力手振れの大きさの差分より手振れ信号の積分係数を算出する。
【００３２】
ステップＳ３で、上記によって算出した積分係数と前回の補正量の乗算を行う。具体的には、乗算器２４において、上記によって算出した積分係数と前回の補正量の乗算を行う。
【００３３】
ステップＳ４で、上記の乗算結果と手振れ信号の積分を行う。具体的には、積分器２２において、上記の乗算結果と手振れ信号の積分を行う。
【００３４】
以上により、コントローラ５は補正量を算出して、算出された補正量により補正回路３に対して補正処理をさせる。
【００３５】
［積分出力比較］
図６は従来と本発明の実施の形態に適用される積分出力の比較を示すものである。
積分入力はＤＣ成分と設定した場合の積分出力について示す。線形積分出力は従来の方式であり、余剰領域の大きさに関わらず一定の積分係数を指定した場合の出力を示す。非線形積分出力は今回の方式であり、余剰領域の大きさに応じて積分係数を動的に変化させた場合の出力を示す。線形積分は補正端に到達すると同時にリミット処理が働き、急激に画が当たる目障りな症状が発生する。非線形積分は補正端に到達する前に補正の効きを抑圧しているため、補正端に到達しリミット処理が働いても急激な画の当たりが生じない。
【００３６】
図７は、余剰領域に対する積分係数のテーブルを示す図である。図７に示すテーブルは、予め余剰領域算出部２７および積分係数算出部２６により算出され、コントローラ５内のメモリに記憶されるものである。
【００３７】
図７において、テーブルは、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「１００」に対して積分係数７２は「１．００」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「９０」に対して積分係数７２は「０．９５」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「８０」に対して積分係数７２は「０．９０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「７０」に対して積分係数７２は「０．８５」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「６０」に対して積分係数７２は「０．８０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「５０」に対して積分係数７２は「０．７０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「４０」に対して積分係数７２は「０．６０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「３０」に対して積分係数７２は「０．５０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「２０」に対して積分係数７２は「０．４０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「１０」に対して積分係数７２は「０．２０」、余剰領域７１の積分係数算出部入力（ｐｉｘｅｌ）が「０」に対して積分係数７２は「０．００」である。
【００３８】
上述した本発明の実施の形態によれば、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることを実現することができる。
【００３９】
上述した本発明の実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることはいうまでもない。
【００４０】
【発明の効果】
この発明の撮像装置は、撮像手段により撮像された撮像信号を、手振れ検出手段により検出された手振れ検出信号を用いて補正手段により補正して手振れ補正を行う撮像装置において、上記補正手段は、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出手段を有するので、手振れ補正に必要な余剰領域の大きさを検出し、余剰領域に応じて手振れ信号の制御をすることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４１】
また、この発明の撮像装置は、上述において、上記補正手段は、上記手振れ検出信号を線形または非線形に積分を行う積分手段と、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御手段を有するので、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４２】
また、この発明の撮像装置は、上述において、上記補正手段は、上記余剰領域の大きさに対する積分係数のテーブルを有するので、予め余剰領域算出部および積分係数算出部により算出され、メモリに記憶される余剰領域および積分係数を用いて類型的な補正処理を高速で行うことができるという効果を奏する。
【００４３】
また、この発明の手振れ補正方法撮像ステップにより撮像された撮像信号を、手振れ検出ステップにより検出された手振れ検出信号を用いて補正ステップにより補正して手振れ補正を行う手振れ補正方法において、上記補正ステップは、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出ステップを有するので、手振れ補正に必要な余剰領域の大きさを検出し、余剰領域に応じて手振れ信号の制御をすることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４４】
また、この発明の手振れ補正方法は、上述において、上記補正ステップは、上記手振れ検出信号を線形または非線形に積分を行う積分ステップと、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御ステップを有するので、手振れ補正に必要な余剰領域の大きさを検出し、その大きさと入力手振れの大きさの差分に応じて手振れ信号の積分する際の積分係数を変化させることで、大きな手振れ信号が入力された場合において急激に補正端でリミットが発生することによる目障りな症状を軽減させることができるという効果を奏する。
【００４５】
また、この発明の手振れ補正方法は、上述において、上記補正ステップは、上記余剰領域の大きさに対する積分係数のテーブルを用いて行うので、予め余剰領域算出ステップおよび積分係数算出ステップにより算出され、メモリに記憶される余剰領域および積分係数を用いて類型的な補正処理を高速で行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態に適用される撮像装置の手振れ補正装置を示す図である。
【図２】本発明の実施の形態に適用される手振れ補正装置のコントローラにおける積分部を示す図である。
【図３】撮像面上の実効領域、有効領域および余剰領域を示す図であり、図３Ａは撮像面上の実効領域および有効領域、図３Ｂは余剰領域である。
【図４】積分係数算出部入力と積分係数の関係を示す図である。
【図５】本発明の実施の形態に適用される手振れ補正制御動作を示すフローチャートを示すものである。
【図６】線形および非線形の積分出力の比較を示す図である。
【図７】余剰領域に対する積分係数のテーブルを示す図である。
【符号の説明】
１……撮像デバイス、２……ＡＤＣ、３……補正回路、４……手振れ検出部、５……コントローラ、２１……手振れ信号入力、２２……積分器、２３……補正出力、２４……乗算器、２５……遅延器、２６……積分係数算出部、２７……余剰領域算出部、２８……減算器、３１……実効領域、３２……有効領域、３３……余剰領域、６１……積分入力、６２……線形積分出力、６３……非線形積分出力、６４……補正端、７１……余剰領域、７２……積分係数
Claims (6)
- 撮像手段により撮像された撮像信号を、手振れ検出手段により検出された手振れ検出信号を用いて補正手段により補正して手振れ補正を行う撮像装置において、
上記補正手段は、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出手段を有し、
上記余剰領域検出手段により検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、上記乗算の結果と手振れ検出信号の積分を行い、上記積分により算出された補正量により補正処理をすることを特徴とする撮像装置。 - 請求項１記載の撮像装置において、
上記補正手段は、上記手振れ検出信号を線形または非線形に積分を行う積分手段と、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御手段を有することを特徴とする撮像装置。 - 請求項２記載の撮像装置において、
上記補正手段は、上記余剰領域の大きさに対する積分係数のテーブルを有することを特徴とする撮像装置。 - 撮像ステップにより撮像された撮像信号を、手振れ検出ステップにより検出された手振れ検出信号を用いて補正ステップにより補正して手振れ補正を行う手振れ補正方法において、
上記補正ステップは、撮像面上の実効領域の大きさと、手振れに応じて抽出する有効領域の大きさより、手振れ補正に使用することのできる余剰領域を検出する余剰領域検出ステップを有し、
上記余剰領域検出ステップにより検出された余剰領域の大きさと手振れ検出信号の差分より算出した積分係数と前回の補正量の乗算を行い、上記乗算の結果と手振れ検出信号の積分を行い、上記積分により算出された補正量により補正処理をすることを特徴とする手振れ補正方法。 - 請求項４記載の手振れ補正方法において、
上記補正ステップは、上記手振れ検出信号を線形または非線形に積分を行う積分ステップと、上記余剰領域の大きさと上記手振れ検出信号の大きさの差分に応じて動的に積分時の積分係数を変化させる積分係数制御ステップを有することを特徴とする手振れ補正方法。 - 請求項５記載の手振れ補正方法において、
上記補正ステップは、上記余剰領域の大きさに対する積分係数のテーブルを用いて行うことを特徴とする手振れ補正方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098245A JP3867680B2 (ja) | 2003-04-01 | 2003-04-01 | 撮像装置および手振れ補正方法 |
| US10/807,780 US7372483B2 (en) | 2003-04-01 | 2004-03-24 | Image pickup device and camera shake correction method |
| EP04251735A EP1465414A3 (en) | 2003-04-01 | 2004-03-25 | Image pickup device and camera shake correction method |
| KR1020040021902A KR20040088345A (ko) | 2003-04-01 | 2004-03-31 | 촬상 장치 및 손 떨림 보정 방법 |
| CNB2004100321117A CN1252985C (zh) | 2003-04-01 | 2004-04-01 | 图象拾取设备和照相机抖动校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098245A JP3867680B2 (ja) | 2003-04-01 | 2003-04-01 | 撮像装置および手振れ補正方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004304735A JP2004304735A (ja) | 2004-10-28 |
| JP2004304735A5 JP2004304735A5 (ja) | 2005-06-02 |
| JP3867680B2 true JP3867680B2 (ja) | 2007-01-10 |
Family
ID=32844674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003098245A Expired - Fee Related JP3867680B2 (ja) | 2003-04-01 | 2003-04-01 | 撮像装置および手振れ補正方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7372483B2 (ja) |
| EP (1) | EP1465414A3 (ja) |
| JP (1) | JP3867680B2 (ja) |
| KR (1) | KR20040088345A (ja) |
| CN (1) | CN1252985C (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4418342B2 (ja) * | 2004-10-13 | 2010-02-17 | オリンパス株式会社 | 画像処理装置及び電子カメラ |
| JP4305434B2 (ja) * | 2005-09-14 | 2009-07-29 | カシオ計算機株式会社 | 電子カメラ及びプログラム |
| JP4446193B2 (ja) * | 2005-11-11 | 2010-04-07 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP4306679B2 (ja) * | 2005-12-28 | 2009-08-05 | ソニー株式会社 | 振れ検出装置、振れ補正装置、撮像装置 |
| KR100758632B1 (ko) | 2006-03-29 | 2007-09-14 | 삼성전자주식회사 | 파노라마 사진촬영 장치 및 방법 |
| JP4982484B2 (ja) * | 2006-04-24 | 2012-07-25 | 日東光学株式会社 | 信号処理装置 |
| JP4400611B2 (ja) | 2006-10-26 | 2010-01-20 | カシオ計算機株式会社 | 撮像装置、ブレ補正方法、およびプログラム |
| JP2010258494A (ja) * | 2009-04-21 | 2010-11-11 | Sanyo Electric Co Ltd | 防振制御回路 |
| JP5581817B2 (ja) * | 2010-06-03 | 2014-09-03 | ソニー株式会社 | 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。 |
| JP2012055498A (ja) * | 2010-09-09 | 2012-03-22 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法 |
| GB2492529B (en) * | 2011-05-31 | 2018-01-10 | Skype | Video stabilisation |
| US9716837B2 (en) | 2013-09-16 | 2017-07-25 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against abrupt camera field of view changes |
| US9736374B2 (en) | 2013-09-19 | 2017-08-15 | Conduent Business Services, Llc | Video/vision based access control method and system for parking occupancy determination, which is robust against camera shake |
| KR101983156B1 (ko) * | 2013-11-08 | 2019-05-28 | 삼성전기주식회사 | 촬영 장치의 이미지 보정 장치 및 방법 |
| JP5958865B2 (ja) * | 2014-01-30 | 2016-08-02 | 日生バイオ株式会社 | 抗老化関連遺伝子発現促進剤 |
| US9398217B2 (en) * | 2014-10-15 | 2016-07-19 | Microsoft Technology Licensing, Llc | Video stabilization using padded margin pixels |
| US9912868B2 (en) * | 2015-09-15 | 2018-03-06 | Canon Kabushiki Kaisha | Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus |
| CN116952850B (zh) * | 2023-09-20 | 2024-01-05 | 安徽农业大学 | 一种基于非分散红外检测的动态减少抖动反演方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5012270A (en) * | 1988-03-10 | 1991-04-30 | Canon Kabushiki Kaisha | Image shake detecting device |
| US5990942A (en) * | 1991-05-01 | 1999-11-23 | Canon Kabushiki Kaisha | Photographing apparatus using image information for blurring correction |
| KR950008698B1 (ko) | 1992-06-09 | 1995-08-04 | 현대전자산업 주식회사 | 반도체소자의 필드산화막 형성방법 |
| DE69426314T2 (de) | 1993-02-12 | 2001-04-12 | Sony Corp | Elektronische Zoomkontrolle und Bildstabilisierung |
| JP2885010B2 (ja) | 1993-08-25 | 1999-04-19 | 松下電器産業株式会社 | 画像動き補正装置 |
| JPH07327160A (ja) | 1994-05-31 | 1995-12-12 | Sony Corp | 手振れ補正装置 |
| US6343188B1 (en) * | 1995-03-02 | 2002-01-29 | Canon Kabushiki Kaisha | Vibration correction apparatus and optical device |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| JP2003107550A (ja) * | 2001-09-28 | 2003-04-09 | Fuji Photo Optical Co Ltd | 像振れ防止装置 |
| US6778767B2 (en) * | 2002-01-25 | 2004-08-17 | Canon Kabushiki Kaisha | Shake correcting device, image pickup apparatus, shake correcting method, program for implementing the method, storage medium storing the program |
-
2003
- 2003-04-01 JP JP2003098245A patent/JP3867680B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-24 US US10/807,780 patent/US7372483B2/en not_active Expired - Fee Related
- 2004-03-25 EP EP04251735A patent/EP1465414A3/en not_active Withdrawn
- 2004-03-31 KR KR1020040021902A patent/KR20040088345A/ko not_active Application Discontinuation
- 2004-04-01 CN CNB2004100321117A patent/CN1252985C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004304735A (ja) | 2004-10-28 |
| EP1465414A2 (en) | 2004-10-06 |
| EP1465414A3 (en) | 2005-03-16 |
| US20040218056A1 (en) | 2004-11-04 |
| US7372483B2 (en) | 2008-05-13 |
| KR20040088345A (ko) | 2004-10-16 |
| CN1252985C (zh) | 2006-04-19 |
| CN1534994A (zh) | 2004-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3867680B2 (ja) | 撮像装置および手振れ補正方法 | |
| US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
| JP4987355B2 (ja) | 撮像装置および撮像方法 | |
| US8965188B2 (en) | Shake correction apparatus and control method thereof | |
| US7668447B2 (en) | Image stabilization apparatus and optical apparatus | |
| JP3974633B1 (ja) | 撮像装置および撮像方法 | |
| JP4956401B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP3974634B2 (ja) | 撮像装置および撮像方法 | |
| WO2007077719A1 (ja) | 撮像装置およびその画像処理方法 | |
| KR100793284B1 (ko) | 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체 | |
| JP2009272890A (ja) | 画像処理装置及び画像処理方法、並びに撮影装置 | |
| US9204059B2 (en) | Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus | |
| JP5249378B2 (ja) | 撮像装置、及びその制御方法、プログラム | |
| JPH1013734A (ja) | 撮像装置 | |
| JP2003209731A5 (ja) | ||
| CN112422810B (zh) | 图像稳定设备及其控制方法和存储介质 | |
| JP4802423B2 (ja) | 画揺れ補正装置および方法、並びに撮像装置 | |
| JP2762486B2 (ja) | ブレ補正装置 | |
| JP3123341B2 (ja) | 画像動き補正装置 | |
| JP7214424B2 (ja) | 撮像装置およびその制御方法 | |
| JP2008118379A (ja) | 撮影装置 | |
| JP3487047B2 (ja) | 画像動き補正装置 | |
| JP2936793B2 (ja) | 撮像装置 | |
| US8111291B2 (en) | Image capture methods and systems compensated to have an optimized total gain | |
| JP2009010896A (ja) | 画像処理装置、画像処理方法、及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040811 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040811 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061002 |
|
| LAPS | Cancellation because of no payment of annual fees |