JP2007201570A - 画像処理装置、撮影装置、画像処理方法、および、制御プログラム - Google Patents

Abstract

【課題】動画撮影時のぶれの影響を、画像に不自然な変化を与えることなく、容易に、かつ確実に解消できるようにする。
【解決手段】制御部１０は、撮影部２０によって撮影されたフレーム中の所定位置に配置された領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、このフレームがパーン撮影またはティルト撮影されたフレームである場合には、トリミングされる領域の位置を所定量だけ初期位置側に移動させる。
【選択図】図１

Description

本発明は、撮影された画像を処理して出力画像を生成する画像処理装置、この画像処理装置の機能を具備した撮影装置、上記画像処理装置における画像処理方法、および、制御プログラムに関する。

従来、動画撮影時に生じたぶれの影響を画像処理によって軽減する方法が知られている。例えば、予め出力用の画像よりも大きなフレームを撮影し、この撮影したフレームの一部を切り出して出力用の画像とする仕様として、撮影時のカメラの動きに応じて切出領域の位置を変化させる方法があった。この方法を採用すれば、切出領域の動きによってカメラの動きを相殺することで、ぶれの影響を容易に軽減できるという利点がある。しかしながら、カメラが大きく動いた場合に、切出領域が大きく移動されて撮影したフレームの端まで達してしまい、それ以上の移動ができなくなることがあった。この問題を解消するため、カメラの動きが大きい場合に、ぶれに係る情報をリセットして切出領域の位置を初期位置に戻す方法が提案された（例えば、特許文献１参照）。
特開平３−１９０３８１号公報

しかしながら、上記従来の方法では、撮影されたフレーム中で、切出領域がフレームの端から初期位置まで急激に移動され、この移動に伴って出力用の画像中で被写体が大きく動き、見難く不自然な画像になってしまうという問題があった。また、切出領域をぶれとは関係なく移動させることで、不自然な動きを伴う画像になってしまうという問題があった。

本発明は、上述した事情に鑑みてなされたものであり、動画撮影時のぶれの影響を、画像に不自然な変化を与えることなく、容易に、かつ確実に解消できるようにすることを目的とする。

上記目的を達成するため、本発明は、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする画像処理装置を提供する。
この構成によれば、撮影されたフレーム中でトリミングする対象領域の位置を変更することでぶれの影響を解消することが可能であり、容易に、かつ確実にぶれを補正できる。そして、このぶれ補正のために移動された対象領域が、パーン撮影またはティルト撮影されたフレームをトリミングする際に初期位置側へ移動されるので、対象領域がフレームの特定の端に偏りにくくなり、いつでも十分なぶれ補正を行えるようになる。そして、パーン撮影またはティルト撮影されたフレームにおいて対象領域を初期位置側へ移動させるので、対象領域の移動が出力画像に与える影響が目立ちにくく、極めて軽微なものとなるので、不自然な画像にならない。加えて、対象領域の移動量が所定量に抑えられるので、対象領域の移動によって画像に不自然な変化を与えることがないという利点がある。

本発明の画像処理装置において、前記補正手段は、トリミングされるフレームがパーン撮影されたものである場合に、前記対象領域をフレームの横方向に移動させ、トリミングされるフレームがティルト撮影されたものである場合に、前記対象領域をフレームの縦方向に移動させるものとしてもよい。この場合、対象領域の移動が極めて目立ちにくくなるので、画像に不自然な変化を生じることなく対象領域を移動できる。

また、本発明の画像処置装置において、前記補正手段は、トリミングされるフレームの撮影時におけるぶれ量に基づいて前記対象領域の移動量を求め、その前のフレームにおける前記対象領域の位置から、求めた移動量だけ前記対象領域を移動させるものとしてもよい。この場合、前のフレームにおける位置を基準として対象領域を移動するので、画像を不自然に変化させることなく対象領域を移動できる。

また、上記課題を解決するため、本発明は、連続してフレームを撮影する撮影手段と、前記撮影手段によってフレームを撮影する毎にぶれを検出するぶれ検出手段と、前記撮影手段により撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする撮影装置を提供する。

また、上記課題を解決するため、本発明は、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、トリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする画像処理方法を提供する。

また、上記課題を解決するため、本発明は、画像処理装置を制御するためのコンピュータにより実行される制御プログラムであって、前記コンピュータを、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させる補正手段として機能させる制御プログラムを提供する。

また、本発明は、上述した画像処理装置、撮影装置、画像処理方法、および制御プログラムに適用する他、上記制御プログラムを、電気通信回線を介してダウンロード可能にし、あるいは、磁気記録媒体、光記録媒体、半導体記録媒体といった、コンピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施され得る。

上記構成によれば、撮影されたフレーム中の所定位置に配置された対象領域をトリミングすることで容易にぶれを補正することができ、かつ、この対象領域がフレームの特定の端に偏りにくくなるので、いつでも十分なぶれ補正を行えるようになる。さらに、対象領域を初期位置側へ移動させることによる影響が目立ちにくく、不自然な印象を与えない。

以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、電子機器の一態様としての携帯型デジタルビデオカメラ（以下、単に「携帯型ビデオカメラ」と言う）に本発明を適用した場合について説明する。
図１は本実施の形態に係る携帯型ビデオカメラ１の構成を示すブロック図である。この携帯型ビデオカメラ１は、本発明の画像処理装置、および撮影装置を適用したものであり、図１に示すように、制御部１０、撮影部２０、角速度検出部３０、操作部４０、リムーバブルメディア５０、Ｉ／Ｆ部５１および映像出力端子５２を備えている。

制御部１０は、携帯型ビデオカメラ１の各部を制御する制御手段、画像生成手段、および補正手段として機能するものであり、各種プログラムの実行や演算処理をするＣＰＵ１１と、このＣＰＵ１１が実行する制御プログラム１００や各種データを格納する書き換え可能なフラッシュＲＯＭ１２と、上記ＣＰＵ１１の演算結果や各種データを一時的に格納するためのワークエリアとして機能するＲＡＭ１３と、時間をカウントするタイマ回路１４とを備えている。また、上記ＲＯＭ１２に格納された制御プログラム１００にはぶれ補正プログラム１００Ａが含まれており、制御部１０が撮影時に当該ぶれ補正プログラム１００Ａを実行することで、撮影時の手ぶれの影響を排して、ぶれのない動画表示を実現する。

この制御プログラム１００は、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体６０に記録して配布することが可能である。さらに、パーソナルコンピュータと携帯型ビデオカメラ１とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体６０の制御プログラム１００を携帯型ビデオカメラ１に出力することで、フラッシュＲＯＭ１２に制御プログラム１００を格納することも可能である。

撮影部２０は、被写体を動画として撮影する撮影手段として機能するものであり、カメラコントロール回路２１、撮影カメラ２２、撮影部ＲＡＭ２３および表示パネル２４を備えている。カメラコントロール回路２１は、制御部１０の制御の下、撮影部２０の各部を制御する。また、撮影カメラ２２は、被写体が撮像されたフレームのデータ（以下、単に「フレーム」と言う）をカメラコントロール回路２１に所定のサンプリングレートで順次出力するものであり、ＣＣＤやＣＭＯＳ等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するＡ／Ｄ変換回路等を備えて構成される。撮影部２０により撮影される動画は、例えば１秒あたり３０フレーム（３０ｆｐｓ）の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。

撮影部ＲＡＭ２３はフレームを一時的に格納するバッファとして機能する。また、表示パネル２４は撮影された動画や設定画面等の各種情報を表示する機能を有し、例えば液晶ディスプレイパネルや有機ＥＬパネル等のフラットディスプレイパネルにより構成される。リムーバブルメディア５０は、撮影時の動画データを格納する記録メディアであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ２２から出力されたフレームはカメラコントロール回路２１によって所定の画像処理がなされた後、撮影部ＲＡＭ２３に一時的に格納され、また、制御部１０を介してリムーバブルメディア５０に動画データとして順次格納される。撮像部ＲＡＭ２３に格納されたフレームは表示パネル２４に表示する際に用いられ、また、リムーバブルメディア５０に格納された動画データは撮影後に撮影動画を表示（再生）する際に用いられる。

角速度検出部３０は、上記手ぶれ量を検出するぶれ検出手段として機能し、具体的には、図２に示すように、フレーム７０の横方向（以下、Ｙ軸と定義する）の移動と高さ方向（以下、Ｘ軸と定義する）の移動とのそれぞれの角速度を個別に検出すべく、前掲図１に示すように、Ｘ軸ジャイロセンサ３１およびＹ軸ジャイロセンサ３２の２つのジャイロセンサ３１、３２を有し、それぞれのジャイロセンサ３１、３２が角速度に応じた電圧値の角速度検出信号を制御部１０に出力する。制御部１０は、フレーム７０のサンプリング周期と同期して各ジャイロセンサ３１、３２の角速度検出信号を取り込み、Ｘ軸およびＹ軸のそれぞれについて手ぶれ量を算出しフレームと対応付けて、あるいは、フレームに付加してリムーバブルメディア５０に格納する。

上記手ぶれ量の算出について簡単に説明すると、制御部１０は上記角速度検出信号に基づいて角速度（ｒａｄ／秒）を算出し、この角速度（ｒａｄ／秒）をフレームのサンプリング間隔（秒）で積分することで移動角度量θ（ｒａｄ）を算出する。
そして、制御部１０は、移動角度量θ（ｒａｄ）に基づいて手ぶれ量を画素数（ｄｏｔ）として算出する。すなわち、図３に示すように、焦点距離をＬ、画角をαとし、画角α＞＞移動角度量θである場合、手ぶれ量Ｋ（ｄｏｔ）と移動角度量θとの間には、
手ぶれ量Ｋ（ｄｏｔ）＝移動角度量θ×補正係数ｒ
上記式において、
補正係数ｒ＝焦点距離Ｌ×（１＋ｔａｎ²（α／２））
画角αは焦点距離Ｌとイメージセンサのサイズ（画素数）とによって決まる値
の関係式が成り立ち、この関係式に基づいて制御部１０はＸ軸およびＹ軸について手ぶれ量をフレームごとに算出することとなる。

なお、ジャイロセンサ３１、３２の個体差等によって、角速度（ｒａｄ／秒）がゼロの場合における角速度検出信号の電圧値が異なるため、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、ぶれがない停止状態で各ジャイロセンサ３１、３２の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合（例えば９９％）以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定する構成としており、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。

操作部４０は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始／終了等の各種指示を入力するための操作キーを有している。Ｉ／Ｆ部５１は携帯型ビデオカメラ１をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア５０に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがＩ／Ｆ部５１を介してパーソナルコンピュータに出力される。映像出力端子５２は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、携帯型ビデオカメラ１は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。

そして、携帯型ビデオカメラ１は、フラッシュＲＯＭ１２に格納されたぶれ補正プログラム１００Ａを実行することにより、撮影部２０により撮影されたフレームからぶれのない出力用画像を作成するぶれ補正処理を実行する。
図４（Ａ）に示すように、携帯型ビデオカメラ１の撮影時に手ぶれが発生すると、被写体に対する撮影対象範囲の相対位置が移動する。従って、撮影された画像中で被写体が不自然に動くことになり、画像が見難く煩雑なものとなる。
ここで、撮影部２０により撮影されたフレーム７０は、携帯型ビデオカメラ１から映像出力端子５２等を介して出力される画像よりも多くの画素からなる画像となっており、制御部１０は、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。その際、トリミングする領域を移動させることによって、手ぶれの影響を軽減することが可能となる。

すなわち、携帯型ビデオカメラ１は、図４（Ｂ）に示すように、撮影部２０により撮影されたフレーム７０から、出力部７１（対象領域）をトリミングして出力画像とする。フレーム７０における出力部７１の位置は、初期状態ではフレーム７０の中央位置にあるが、この初期状態から任意に変更できる。このため、撮影時に手ぶれが発生してフレーム７０に写る被写体が移動した場合には、これを補償するように、ぶれ方向と反対の方向に出力部７１を移動させ、移動後の出力部７１をトリミングすると、図４（Ｄ）に示すように、被写体の位置がぶれ発生の前と変わらない補正画像７２が得られる。この場合の出力部７１の移動量（図中符号Ｍ）は、上述したように求められる手ぶれ量Ｋ（画素数）と同じ値としてもよいし、フレーム７０と出力部７１との面積または画素数の比に従って、手ぶれ量Ｋの値から求めた値としてもよい。
このように、手ぶれ補正処理によれば、手ぶれによるフレーム７０の移動（フレーム７０中における被写体の見かけ上の移動）が、出力部７１の移動によって相殺され、手ぶれの影響を解消できる。

ところで、上記のぶれ補正処理において移動された出力部７１は、フレームの撮影毎に累積的に移動され、出力部７１をもとの位置に戻す処理は撮影終了まで行われない。これは、携帯型ビデオカメラ１の動きに関係なく撮影中に出力部７１を移動させてしまうと、出力画像における被写体の位置が不自然に変化し、違和感を生むためである。
従って、撮影中には、出力部７１が繰り返し移動されてフレーム７０の一端側に寄ってしまい、それ以降、出力部７１を移動できなくなってしまうことがある。
例えば、図５（Ａ）に示すように、撮影開始時において出力部７１はフレーム７０のほぼ中央にある。上記のぶれ補正処理を実行すると、手ぶれ量に応じて、図５（Ｂ）に例示するように出力部７１がフレーム７０の一方側に移動され、さらに同じ方向に手ぶれが生じた場合は、手ぶれ量に応じて出力部７１が同方向に移動される。これを繰り返すと、図５（Ｃ）に例示するようにフレーム７０のほぼ端部まで出力部７１が移動されてしまう。
画像処理の都合上、携帯型ビデオカメラ１においては、フレーム７０において出力部７１が移動できる範囲、すなわち出力部７１の移動量の限界値が予め決定されている。この限界値はフレーム７０の中央位置（初期位置）からの移動量として表し、以下、補正オフセット量（図中符号ＰＡ）と呼ぶ。
図５（Ｃ）は、出力部７１の移動量が補正オフセット量ＰＡに達してしまった状態を例示している。この状態では、フレーム７０のさらに右側に出力部７１を移動させることができないので、この方向への手ぶれを補正できない。

そこで、携帯型ビデオカメラ１は、手ぶれ補正処理の実行中に、出力画像に不自然な動きを与えないように、パーン動作中およびティルト動作中に、出力部７１をフレーム７０の中央側へ移動させる処理を行う。ここで、パーン動作とは、図２に示したＹ軸に平行な軸を中心として携帯型ビデオカメラ１を回動させる動作であり、パーン撮影とは、撮影部２０による撮影中にパーン動作がなされること、およびこの撮影方法を指す。また、ティルト動作とは、図２に示したＸ軸に平行な軸を中心として携帯型ビデオカメラ１を回動させる動作であって、ティルト撮影とは、撮影部２０による撮影中にティルト動作が行われること、およびこの撮影方法を指す。
詳細に説明すると、携帯型ビデオカメラ１のパーン動作中およびティルト動作中、図５（Ｄ）に例示するように、出力部７１の位置は１フレーム毎に所定量ずつ中央側へ移動される。この所定量を、以下、復元量（図中符号ＰＢ）と呼ぶ。具体的な例としては、補正オフセット量ＰＡが３０ｄｏｔ（画素数）のとき、撮影される画像のフレームレートが３０ｆｐｓの場合は復元量ＰＢを１ｄｏｔとし、フレームレートが１５ｆｐｓの場合は復元量ＰＢを２ｄｏｔとすればよい。パーン動作中に出力部７１が初期位置まで移動されることが最も望ましいことから、一般的に、高フレームレートの場合は復元量ＰＢを小さくでき、低フレームレートの場合は復元量ＰＢを大きくするとよい。

パーン動作やティルト動作の間は携帯型ビデオカメラ１の向きが大きく変化するため、フレーム７０に対する出力部７１の相対位置が変化しても、出力する画像の視認性に影響を与えにくく、極めて自然に出力部７１を移動させることが可能である。とりわけ、パーン動作中における出力部７１の画面横方向への移動、および、ティルト動作中における出力部７１の画面縦方向への移動は、携帯型ビデオカメラ１の出力画像に対する影響が極めて軽微であり、画像を見る人にほとんど意識されない。
従って、パーン動作中およびティルト動作中に出力部７１をフレーム７０の中央側へ移動させれば、撮影中に、出力部７１を違和感なく移動させて、常に全方向の手ぶれを補正可能な状態を保つことができる。

図６は、上述した手ぶれ補正処理を示すフローチャートである。この図６に示す手ぶれ補正処理は、ＣＰＵ１１により、フラッシュＲＯＭ１２に格納されたぶれ補正プログラム１００Ａを実行することにより、実現される。
手ぶれ補正が開始されると（ステップＳ１１）、ＣＰＵ１１は、予めフラッシュＲＯＭ１２に格納された補正オフセット量ＰＡを取得し（ステップＳ１２）、さらに１フレーム当たりの復元量ＰＢを取得して（ステップＳ１３）、Ｘ軸方向およびＹ軸方向の出力部７１の移動量をクリアする（ステップＳ１４）。これによって出力部７１の移動量はゼロになり、出力部７１の位置は、図５（Ａ）に示す初期位置となる。

続いてＣＰＵ１１は、処理対象のフレームの撮影時に角速度検出部３０から出力された角速度検出信号に基づく演算処理によって、携帯型ビデオカメラ１の移動量を取得し（ステップＳ１５）、携帯型ビデオカメラ１のパーン動作またはティルト動作が行われているか否かを判別する（ステップＳ１６）。この判別は、角速度検出部３０から出力された角速度検出信号に従って、携帯型ビデオカメラ１の動きの大小、速度、動いた向き等をもとに行われる。

そして、携帯型ビデオカメラ１のパーン動作およびティルト動作のいずれでもない場合（ステップＳ１６；Ｎｏ）、ステップＳ１５で取得した移動量は手ぶれ量を示すものとして考えられる。従って、ＣＰＵ１１は、手ぶれを補償するように出力部７１をフレーム７０中で移動させるため、Ｘ軸方向およびＹ軸方向の出力部７１の移動量を、手ぶれ量に基づいて算出する（ステップＳ１７）。ここで、ＣＰＵ１１は、ステップＳ１５で取得したＸ軸方向の手ぶれ量に基づいて出力部７１のＸ軸方向の移動量を求め、Ｙ軸方向の手ぶれ量に基づいて出力部７１のＹ軸方向の移動量を求める。求めたＹ軸方向の移動量は正と負の値をとり得るので、この移動量のみに基づき、出力部７１の移動方向（画面右側／左側）の区別をすることも可能である。Ｘ軸方向の移動量についても同様である。
なお、ステップＳ１５で手ぶれ量と手ぶれの方向とが含まれる情報を取得した場合には、ステップＳ１７において、手ぶれ量と手ぶれの方向とに基づいて、出力部７１の移動量を求めるようにしてもよい。ステップＳ１７において、出力部７１のＸ軸方向およびＹ軸方向の移動量と、移動方向とを個々の情報として求めるようにしてもよい。
また、すでに出力部７１が初期位置から移動されている場合、ＣＰＵ１１は、ステップＳ１７で現在の出力部７１の移動量に求めた移動量を加算して新たな移動量とする。

そして、ＣＰＵ１１は、算出した出力部７１のＸ軸方向の移動量が補正オフセット量ＰＡを超えるか否かを判別し（ステップＳ１８）、移動量が補正オフセット量ＰＡを超える場合は、Ｘ軸方向の移動量を補正オフセット量ＰＡと同値に設定する（ステップＳ１９）。算出した移動量が補正オフセット量ＰＡを超えない場合は、算出したＸ軸方向の移動量が、そのまま出力部７１のＸ軸方向の移動量となる。
その後、ＣＰＵ１１は、算出した出力部７１のＹ軸方向の移動量が補正オフセット量ＰＡを超えるか否かを判別し（ステップＳ２０）、移動量が補正オフセット量ＰＡを超える場合は、Ｙ軸方向の移動量を補正オフセット量ＰＡと同値に設定する（ステップＳ２１）。算出した移動量が補正オフセット量ＰＡを超えない場合は、算出したＹ軸方向の移動量が、そのまま出力部７１のＹ軸方向の移動量となる。

そして、ＣＰＵ１１は、設定または算出したＸ軸方向およびＹ軸方向の移動量に従って出力部７１をフレーム７０中で移動させ、その位置における出力部７１をトリミングして補正画像７２を作成し（ステップＳ２２）、作成した補正画像７２を出力する（ステップＳ２３）。その後、撮影が継続されていれば（ステップＳ２４；Ｎｏ）、ＣＰＵ１１はステップＳ１５の処理に戻る。

一方、携帯型ビデオカメラ１のパーンまたはティルト動作中であれば（ステップＳ１６；Ｙｅｓ）、ＣＰＵ１１は、出力部７１のＸ軸方向の移動量がゼロであるか否かを判別し（ステップＳ２５）、出力部７１の移動量がゼロでなければ、移動量を復元量ＰＢだけ減ずる処理を行う（ステップＳ２６）。出力部７１の移動量がゼロであれば、この処理を行わない。
その後、ＣＰＵ１１は、出力部７１のＹ軸方向の移動量がゼロであるか否かを判別し（ステップＳ２７）、移動量がゼロでなければ、移動量を復元量ＰＢだけ減ずる処理を行う（ステップＳ２８）。出力部７１の移動量がゼロであれば、この処理を行わない。
そして、ＣＰＵ１１はステップＳ２２に移行して、復元量ＰＢだけ減じた移動量に対応する位置へ出力部７１を移動させ、あるいは出力部７１の位置を移動量ゼロの位置に止まらせたまま、ステップＳ２３で補正画像７２を作成する。

このように、通常の撮影時においては、手ぶれ量に応じて出力部７１を移動させることによって、手ぶれによる画像中の被写体の移動を補償し、パーンまたはティルト動作中に出力部７１を初期位置へ近づくよう移動させる。これによって、携帯型ビデオカメラ１による撮影時のぶれの影響を容易に解消する手ぶれ補正を行える。また、パーンまたはティルト動作中に出力部７１を初期位置側へ移動させるので、出力部７１がフレーム７０の特定の側に偏ってしまうことがなく、いつでも十分なぶれ補正を行うことができる。また、出力部７１を初期位置側へ移動させる操作が目立ちにくく、出力画像に与える影響が極めて軽微なものとなるので、不自然な画像にならない。
また、パーンまたはティルト動作中において出力部７１の位置を初期位置側へ移動させる際には、１フレームを撮影する毎に復元量ＰＢずつ出力部７１を移動させる。従って、出力部７１の移動が極めて目立ちにくく、不自然な印象を殆ど与えることなく出力部７１を初期位置側へ移動させることができる。

なお、上記実施の形態においては、パーン動作時またはティルト動作時に、出力部７１をＸ軸方向およびＹ軸方向に移動させる例について説明したが、本発明はこれに限定されるものではなく、例えば、パーン動作時にはフレーム７０の横方向すなわちＹ軸方向にのみ出力部７１を移動させ、ティルト動作時にはフレーム７０の縦方向すなわちＸ軸方向にのみ出力部７１を移動させるようにしてもよい。この場合について、変形例として以下に説明する。

［変形例］
図７は、手ぶれ補正処理の変形例を示すフローチャートである。
この図７に示すフローチャートにおいて、ステップＳ３１〜Ｓ４４における動作は、上記実施の形態におけるステップＳ１１〜Ｓ２４（図６）と同様である。
すなわち、手ぶれ補正が開始され（ステップＳ３１）、補正オフセット量ＰＡ（ステップＳ３２）および１フレーム当たりの復元量ＰＢ（ステップＳ３３）がＣＰＵ１１により取得され、Ｘ軸方向およびＹ軸方向の出力部７１の移動量がクリアされる（ステップＳ３４）。続いて、フレーム撮影中の移動量が、角速度検出部３０から出力される角速度検出信号に基づく演算処理を経て取得され（ステップＳ３５）。パーン動作またはティルト動作が行われているか否かが判別される（ステップＳ３６）。

そして、パーンまたはティルト動作中でない場合には（ステップＳ３６；Ｎｏ）、ステップＳ３５で取得した移動量すなわち手ぶれ量に基づいて、Ｘ軸方向およびＹ軸方向の出力部７１の移動量が算出され（ステップＳ３７）、この移動量が補正オフセット量ＰＡを超える場合には移動量が補正オフセット量ＰＡと同値に設定される（ステップＳ３９、Ｓ４１）。補正オフセット量ＰＡを超えない移動量は、そのまま出力部７１のＸ軸方向の移動量として設定される（ステップＳ３８、Ｓ４０；Ｙｅｓ）。
そして、設定された移動量に従って出力部７１がフレーム７０中で移動され、その位置における出力部７１をトリミングした補正画像７２が作成され（ステップＳ４２）、この補正画像７２が出力される（ステップＳ４３）。その後、撮影が終了されるまで（ステップＳ４４；Ｙｅｓ）、ステップＳ３５に戻って繰り返し処理が行われる。

一方、携帯型ビデオカメラ１のパーンまたはティルト動作中であった場合（ステップＳ３６；Ｙｅｓ）、ＣＰＵ１１は、角速度検出部３０から出力される角速度信号に基づいて携帯型ビデオカメラ１の移動方向を判別し（ステップＳ４５）、ティルト動作中の場合はステップＳ４６へ、パーン動作中の場合はステップＳ４８へ移行する。
ステップＳ４６で、ＣＰＵ１１は、出力部７１のＸ軸方向の移動量がゼロであるか否かを判別し、出力部７１の移動量がゼロでなければ、ステップＳ４７で移動量を復元量ＰＢだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
ステップＳ４８では、ＣＰＵ１１は出力部７１のＹ軸方向の移動量がゼロであるか否かを判別し、移動量がゼロでなければ、ステップＳ４９で移動量を復元量ＰＢだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
そして、ＣＰＵ１１はステップＳ４２に移行して、復元量ＰＢだけ減じた移動量に対応する位置へ出力部７１を移動させ、あるいは出力部７１の位置を移動量ゼロの位置に止まらせたまま、ステップＳ４３で補正画像７２を作成する。

この変形例によれば、パーン動作中にはフレーム７０の横方向に出力部７１を移動させ、ティルト動作中にはフレーム７０の縦方向に出力部７１を移動させるので、出力部７１を初期位置側へ移動させる操作が極めて目立たず、出力画像に対する影響が殆どないという利点がある。

なお、上述した実施の形態および変形例は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図６および図７に示したぶれ補正処理において、パーンまたはティルト動作中に、ＣＰＵ１１は１フレーム毎に出力部７１を移動させるものとしたが、本発明はこれに限定されるものではなく、複数フレーム毎に１回、出力部７１をフレーム７０の中央側へ移動させるようにしてもよい。
また、上記実施の形態では、撮影部２０により撮影されたフレーム７０に対して、図６および図７に示すぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア５０等に格納された複数フレームからなる動画像について、その表示（再生）時にぶれ補正処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時のぶれ量を示すデータとがリムーバブルメディア５０等に格納されていれば、撮影機能を有しない他の機器においてぶれ補正処理を実行することが可能である。

また、上記実施の形態および変形例では、デジタルカメラ１の動きを検出するため、ジャイロセンサ３１、３２を備えたジャイロセンサ部３０により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、デジタルカメラ１の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
また、本発明は、上記実施の形態および変形例で説明した携帯型ビデオカメラ１以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、ＰＤＡ、ノート型パソコン等の各種電子機器においても適用可能である。

第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 フレームとぶれの軸との関係を説明するための図である。 手ぶれ量の算出を説明するための図である。 ぶれ補正の様子を示す図である。 ぶれ補正時における表示部の移動の様子を示す図である。 ぶれ補正処理を示すフローチャートである。 ぶれ補正処理の変形例を示すフローチャートである。

符号の説明

１…携帯型デジタルビデオカメラ（撮影装置、画像処理装置）、１０…制御部（画像生成手段、補正手段）、２０…撮影部（撮影手段）、２４…表示パネル、３０…角速度検出部（ぶれ検出手段）、５０…リムーバブルメディア、６０…記録媒体、７０…フレーム、７１…出力部、７２…補正画像、１００…制御プログラム、１００Ａ…ぶれ補正プログラム。

Claims (6)

1. 撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
   前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、
   前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
   を特徴とする画像処理装置。
2. 前記補正手段は、トリミングされるフレームがパーン撮影されたものである場合に、前記対象領域をフレームの横方向に移動させ、トリミングされるフレームがティルト撮影されたものである場合に、前記対象領域をフレームの縦方向に移動させること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記補正手段は、トリミングされるフレームの撮影時におけるぶれ量に基づいて前記対象領域の移動量を求め、その前のフレームにおける前記対象領域の位置から、求めた移動量だけ前記対象領域を移動させること、
   を特徴とする請求項１または２記載の画像処理装置。
4. 連続してフレームを撮影する撮影手段と、
   前記撮影手段によってフレームを撮影する毎にぶれを検出するぶれ検出手段と、
   前記撮影手段により撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
   前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、
   前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
   を特徴とする撮影装置。
5. 撮影されたフレーム中の所定位置に配置された対象領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、トリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
   を特徴とする画像処理方法。
6. 画像処理装置を制御するためのコンピュータにより実行される制御プログラムであって、
   前記コンピュータを、
   撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
   前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させる補正手段と、
   して機能させる制御プログラム。
   

Images