JP2005130159A

JP2005130159A - 撮像装置および撮像装置の手振れ補正方法

Info

Publication number: JP2005130159A
Application number: JP2003363011A
Authority: JP
Inventors: Hirobumi Nomura; 博文野村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-10-23
Filing date: 2003-10-23
Publication date: 2005-05-19
Also published as: CN1610387A; CN100379268C; DE102004051591A1; US7463285B2; US20050088532A1

Abstract

【課題】電子式の手振れ補正機能を有した撮像装置において、画角を狭くすることなくＳ／Ｎ比を改善した静止画像を生成することができるようにする。
【解決手段】手振れ補正のための余剰領域が存在しない撮像素子を有した撮像部１を設ける。撮像部１に加わえられた手振れ成分を手振れ検出部２によって検出し、マイコン３がその手振れ補正分に応じた補正ベクトルを補正部４に出力し、該補正部４で手振れ補正を行う。補正された所定時間内の画像データを累積加算器５によって加算する。撮像部１の撮像領域内に手振れ画像が存在するか否かを判別し、所定時間内における前記手振れ画像有りと判別された回数を画像の座標毎に累積加算カウンタ６で計数する。除算器７によって、前記加算された累積加算画像を、前記計数された回数で除して、座標毎に加算平均された静止画像を生成し、記録部８に記録する。
【選択図】図１

Description

本発明は、電子式の静止画像用の手振れ補正機能を備えた、例えば電子スチルカメラなどの撮像装置および撮像装置の手振れ補正方法に関する。

最近の、例えば電子スチルカメラなどの静止画撮像装置は高画素や小型化などのためにＳ／Ｎ比が悪化する傾向にある。また、レンズの高倍率化により手振れが目立ち易くなっている。

これらを解決するために、例えば下記特許文献１に記載のように、動画を構成する１フレーム画像に対して手振れ補正を行い、その補正画像を時間軸に累積加算し静止画像を生成する方式が提案されている。
特開２０００-３４１５７７。

撮像装置における手振れ補正方式には光学式と電子式があるが、光学式は小型化とコスト面から不利であるため電子式を採用する場合が多い。しかし、前記特許文献１を含めた従来の電子式手振れ補正では、手振れに応じて撮像領域（有効領域）の一部分（実効領域）を抽出し、手振れ成分を取り除いた画像を出力する処理を行っている。この方式は、撮像領域に手振れ補正のために余剰領域を必要とするため、最終的に出力される画像の画角が有効領域より狭くなるという問題がある。

本発明は上記の点に鑑みてなされたものでその目的は、画角を狭くすることなくＳ／Ｎ比を改善した静止画像を生成することができる撮像装置および撮像装置の手振れ補正方法を提供することにある。

上記課題を解決するための本発明の撮像装置は、手振れ補正のための領域が存在しない撮像素子を有し、被写体を撮像する撮像手段と、前記撮像手段に加えられた手振れ成分に応じて、該撮像手段の撮像データを補正する手振れ補正手段と、前記撮像手段の撮像領域内に手振れ画像が存在するか否かを判別する機能を有し、前記手振れ補正手段で補正された所定時間内の画像データを加算した累積加算画像の各座標毎の平均をとって静止画像を生成する静止画像生成手段とを備えたことを特徴としている。

また前記静止画像生成手段は、前記撮像領域内に手振れ画像が存在しないと判別された座標の画像データの加算は行わないことを特徴としている。

また前記静止画像生成手段は、前記画像データの加算回数を計数する計数手段を有し、前記撮像領域内に手振れ画像が存在すると判別された場合に前記計数手段を加算計数することを特徴としている。

また前記静止画像生成手段は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴としている。

また前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴としている。

また本発明の撮像装置の手振れ補正方法は、手振れ補正のための領域が存在しない撮像素子を有し、被写体を撮像する撮像手段を備え、前記撮像手段に加えられた手振れ成分に応じて、該撮像手段の撮像データを補正する手振れ補正工程と、前記手振れ補正工程で補正された所定時間内の画像のデータを加算する累積加算工程と、前記撮像手段の撮像領域内に手振れ画像が存在するか否かを判別する判別工程と、前記所定時間内における前記手振れ画像有りと判別された回数を画像の座標毎に計数する計数工程と、前記累積加算工程で加算された累積加算画像を、座標毎に前記計数工程で計数された回数で除する除算工程とを実行することを特徴としている。

また前記累積加算工程は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴としている。

より具体的には、本発明は、手振れ補正のための余剰領域が存在しない撮像素子を有し、被写体を撮影する撮像部に加えられた手振れに応じて補正を行う手段を有している。

また手振れ補正画像を累積加算する際に、補正元の画像が、前記撮像部の撮像領域である実効領域内に存在するか否かの判別を座標毎に行い、実効領域内に存在しない座標の場合は累積加算を行わないように構成している。

また静止画像の座標毎に累積加算された回数を記憶する累積加算カウンタを有し、補正元の画像が前記実効領域内に存在するか否かの判別を座標毎に行い、実効領域内に存在する場合は前記累積加算カウンタを加算するように構成している。

また手振れ補正された画像の累積加算において、最初の１フレームは手振れ補正の基準画像とし、手振れ補正を行わずに累積加算器に入力を行うように構成している。

また累積加算された画像を除算し静止画像を生成する際に、座標毎に累積加算した画像を累積加算カウント値で除算する手段を有している。

（１）請求項１〜１８に記載の発明によれば、小型化、コスト面および性能の点で優れている電子式の静止画像用手振れ補正において、手振れ補正のための領域（手振れ補正用に設ける余剰領域）が不要となるので、最終的に出力される画像の画角が、撮像手段の撮像領域（有効領域）より狭くなることはない。

さらに手振れ補正された累積加算画像の各々の座標における平均をとっているので、Ｓ／Ｎ比を改善した画像を得ることができる。
（２）請求項５、６、７、８、１８に記載の発明によれば、手振れ量が大きい場合であっても、撮像手段の、手振れ補正を施さない画像データを導入しているので、静止画像が生成できなくなることは防止される。

以下、図面を参照しながら本発明の実施例を説明するが、本発明は本実施例に限定されるものではない。図１は本発明の撮像装置のシステム構成を示すブロック図である。図１において、１は撮像素子やレンズや信号処理等を備えた撮像部（本発明の撮像手段）であり、撮影した画像をキャプチャ毎に出力する。

本発明では撮像部１の有効領域と実効領域は同一領域に設定されている。すなわち手振れ補正のための余剰領域は存在しないため、大きな手振れが加えられた場合でも余剰領域が不足する問題を解消することが実現できる。同時に、実効領域が拡大したことになるため画角が狭くなる問題を解決することも実現できる。

２は、撮像部１に加えられた手振れ成分を検出する手振れ検出部であり、例えば画像認識による検出信号や、ジャイロセンサによる角速度信号等を手振れ情報として出力する。

３は、手振れ検出部２より出力される手振れ情報に基づいた補正ベクトル（手振れ量に応じたベクトル）の算出と、後述の記録部８に記録するタイミングを制御するマイコンである。

４は、撮像部１の画像データを補正する補正部（本発明の手振れ補正手段）であり、マイコン３が指定した補正ベクトルに基づいて、撮像部１の有効領域から実効領域を抽出する。

５は、キャプチャ毎に補正部４より出力される画像を時間軸方向に累積加算を行う累積加算器である。

６は、累積加算領域の座標毎に、後述する累積加算有効領域画像が累積加算された回数を記憶する累積加算カウンタ（本発明の計数手段）である。

７は、累積加算器５から出力される画像に対して、座標毎に累積加算カウンタ６より出力されるカウント値で除算を行う除算器である。

記録部８は除算器７より出力される画像を記録するものである。

本実施例においては、前記累積加算器５、累積加算カウンタ６および除算器７によって、座標毎に加算平均された静止画像を生成する本発明の静止画像生成手段を構成している。

図２は画像領域の様子を表しており、図２（ａ）は実効領域であり、最終的に生成される静止画像領域を示すものである。図２（ｂ）は撮像部１に手振れベクトル(v_x,v_y)が加わった時の実効領域における被写体を示すものである。

実効領域における座標を(x,y)、手振れベクトルを(v_x,v_y)とすると、手振れ領域の座標(x',y')は、(x',y') = (x+v_x,y+v_y)と表現できる。

図２（ｃ）は実効領域（実線で囲まれた領域）に手振れベクトル(v_x,v_y)が加わった時の手振れ画像領域（破線で囲まれた領域）と、累積加算無効領域（斜線領域）を示すものである。

本発明のように余剰領域がない状態で手振れ補正を行う場合、実効領域に投射されていない斜線領域は補正画像として使用することができないので、この領域を累積加算無効領域とする。逆に、実効領域に投射されており、補正に使用できる領域は累積加算有効領域とする。

実効領域をＡ、手振れ画像領域をＢとすると、累積加算無効領域と累積加算有効領域は以下のように表現できる。

累積加算無効領域＝Ｂ＼Ａ（ＡおよびＢの差集合である）
累積加算有効領域＝Ａ∩Ｂ（ＡおよびＢの共通部分である）
この累積加算無効領域と累積加算有効領域の情報は、図１の累積加算器５と累積加算カウンタ６で利用する。

手振れ補正された画像の累積加算において、累積加算無効領域には画像が存在しないため累積加算器５の処理を中断する。

累積加算画像をQとすると、時刻tにおける累積加算画像Q_tは次の（１）式で表現できる。

最終的に静止画を生成する際に加算平均を行うが、座標毎に加算された回数が異なるため、累積加算領域の座標毎に、累積加算有効領域画像が累積加算された回数を記憶しておく必要がある。

手振れ補正された画像の累積加算において、累積加算カウンタ６は、累積加算有効領域ではカウント値に１を加算し、累積加算無効領域では現状のカウント値を維持する。

累積加算カウンタをＳとすると、時刻tにおける累積加算カウンタＳ_tは次の（２）式で表現できる。

図３は累積加算カウント値の変化を時系列に表しており、撮像部１に対して(0,0)、(-1,-1)、(1,1)の手振れベクトルが順に加わった場合について示している。

時刻0では手振れベクトルが(0,0)にクリアされているため、図３（ａ）で示した実効領域（斜線部分）が累積加算有効領域となり、累積加算カウンタ６は、実効領域（斜線部分）の各座標に１が設定される。

時刻1では手振れベクトルが(-1,-1)であるため、図３（ｂ）で示した実効領域（斜線部分）が累積加算有効領域となり、累積加算カウンタ６は、実効領域（斜線部分）の各座標に１が累積加算される。

時刻2では手振れベクトルが(1,1)であるため、図３（ｃ）で示した斜線部分が累積加算有効領域となり、累積加算カウンタ６は、実効領域（斜線部分）の各座標に１が累積加算される。

除算器７の除算処理では、最終的に静止画を生成する際に加算平均を座標毎に行う。累積加算した画像（Ｑ）を座標毎に累積加算カウント値（Ｓ）で除算を行い、座標毎に加算平均された静止画を生成する。

静止画像をＵとすると、時刻tにおける静止画像Ｕ_tは次の（３）式で表現できる。

図４は本発明の例えば図１のマイコン３が行う制御全体のフローを示すものである。なお、この制御フローはキャプチャ毎に呼び出される。まずステップs100では、キャプチャした画像枚数をカウントするキャプチャカウンタが0であるか否かの判別を行う。その判別結果が真の場合はステップs101、偽の場合はステップs110に移る。

ステップs101では初期画像を補正の基準位置とするために手振れ補正ベクトルを(0,0)でクリアを行う。これ以降のキャプチャでは初期画像に対する手振れベクトルが手振れ補正ベクトルとして扱われる。

ステップs102では座標毎に記憶される累積加算カウンタを全て０でクリアする。

ステップｓ103ではキャプチャした初期画像または手振れ補正された画像を時間軸方向に累積加算を行う。初期画像は手振れ補正処理を介さずに必ずこのステップで累積加算を行う。これは、キャプチャ画像の手振れベクトルが大きく、全て累積加算無効領域となった場合に静止画像が生成できなくなることを防ぐためである。

ステップs104ではキャプチャカウンタに1を加算する。

ステップs105では累積加算領域の座標毎に累積加算有効領域であるかまたは累積加算無効領域であるかを判別し、累積加算有効領域である場合は該当する座標の累積加算カウント値に１を加算する。

ステップs110ではキャプチャカウンタが最大キャプチャ数より小さいか否かの判別を行う。その判別結果が真の場合はステップs111、偽の場合はステップs120に移る。

ステップs111では手振れ検出部２より取得した手振れベクトルから補正ベクトルを演算し補正を行う。ここでの手振れ補正ベクトルは初期画像を基準としたベクトルである。

ステップs120では累積加算器５から出力された画像の各々の座標において、累積加算カウンタ６から出力される累積加算カウント値で除算処理を行い、加算平均された画像を生成する。

ステップs121では除算器７から出力された画像を記録部８に記録する。

ステップs122ではキャプチャカウンタを0クリアする。

尚、本発明の静止画像生成手段は前記実施例に限らず、同様の機能を有する他の装置で構成しても良い。

本発明の実施例の全体構成を示すブロック図。本発明の実施例に係る実効領域と手振れ画像領域の関係を表す説明図。本発明の実施例に係る実効領域と手振れ画像領域の関係を表し、手振れが加わったときの各座標の様子を示す説明図。本発明の実施例における全体の制御の流れを示すフローチャート。

符号の説明

１…撮像部、２…手振れ検出部、３…マイコン、４…補正部、５…累積加算器、６…累積加算カウンタ、７…除算器、８…記録部。

Claims

手振れ補正のための領域が存在しない撮像素子を有し、被写体を撮像する撮像手段と、
前記撮像手段に加えられた手振れ成分に応じて、該撮像手段の撮像データを補正する手振れ補正手段と、
前記撮像手段の撮像領域内に手振れ画像が存在するか否かを判別する機能を有し、前記手振れ補正手段で補正された所定時間内の画像データを加算した累積加算画像の各座標毎の平均をとって静止画像を生成する静止画像生成手段と
を備えたことを特徴とする撮像装置。
前記静止画像生成手段は、前記撮像領域内に手振れ画像が存在しないと判別された座標の画像データの加算は行わないことを特徴とする請求項１に記載の撮像装置。
前記静止画像生成手段は、前記画像データの加算回数を計数する計数手段を有し、前記撮像領域内に手振れ画像が存在すると判別された場合に前記計数手段を加算計数することを特徴とする請求項１に記載の撮像装置。
前記静止画像生成手段は、前記画像データの加算回数を計数する計数手段を有し、前記撮像領域内に手振れ画像が存在すると判別された場合に前記計数手段を加算計数することを特徴とする請求項２に記載の撮像装置。
前記静止画像生成手段は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴とする請求項１に記載の撮像装置。
前記静止画像生成手段は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴とする請求項２に記載の撮像装置。
前記静止画像生成手段は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴とする請求項３に記載の撮像装置。
前記静止画像生成手段は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴とする請求項４に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項１に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項２に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項３に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項４に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項５に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項６に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項７に記載の撮像装置。
前記静止画像生成手段は、画像の各座標毎に、前記累積加算画像を、前記手振れ画像が存在すると判別された場合の前記加算回数で除して前記平均をとることを特徴とする請求項８に記載の撮像装置。
手振れ補正のための領域が存在しない撮像素子を有し、被写体を撮像する撮像手段を備え、
前記撮像手段に加えられた手振れ成分に応じて、該撮像手段の撮像データを補正する手振れ補正工程と、
前記手振れ補正工程で補正された所定時間内の画像のデータを加算する累積加算工程と、
前記撮像手段の撮像領域内に手振れ画像が存在するか否かを判別する判別工程と、
前記所定時間内における前記手振れ画像有りと判別された回数を画像の座標毎に計数する計数工程と、
前記累積加算工程で加算された累積加算画像を、座標毎に前記計数工程で計数された回数で除する除算工程とを実行することを特徴とする撮像装置の手振れ補正方法。
前記累積加算工程は、前記所定時間の最初の１フレームは、前記撮像手段の撮像データを導入して加算することを特徴とする請求項１７に記載の撮像装置の手振れ補正方法。