JP2013165485A - 画像処理装置、撮像装置およびコンピュータブログラム - Google Patents

Abstract

【課題】動画撮影中にユーザの手ブレやパンニング操作によりデジタルビデオカメラが動いた場合、信頼性の高い動きベクトルが取得できず、適切な補間フレームが得られないことがある。
【解決手段】画像処理部１６０は、撮像部４００の動きの大きさを示す情報を受け取り、動きの大きさに応じた探索範囲（第１の探索範囲および第１の探索範囲とは異なる第２の探索範囲）において第１および第２のフレーム間でマッチングを行うことによって動きベクトルを算出する動きベクトル算出部３０２と、動きベクトルの算出結果に従って、補間フレームを生成する補間フレーム生成部３０３とを備える。
【選択図】図２

Description

本開示は、撮影によって取得された動画像のフレームレートを変換することが可能な画像処理装置に関する。

特許文献１は画像処理装置を開示する。この画像処理装置は、複数のフレーム画像間に挿入する補間フレーム画像を生成する。特許文献１の画像処理装置は、複数のフレーム画像の各フレーム内の画素値の変化に基づいて、補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出し、算出した探索範囲内において推定した動きベクトルに基づいて、補間フレーム画像を生成する。

特開２０１０−１７７７３９号公報

動画撮影中にユーザの手ブレやパンニング操作によりデジタルビデオカメラが動いた場合、信頼性の高い動きベクトルが取得できず、適切な補間フレームが得られないことがある。

本開示は、デジタルビデオカメラが動いた場合においても、より適切な補間フレームを生成することができる画像処理技術を提供する。

本開示の一実施形態にかかる画像処理装置は、撮像部によって取得された動画像の連続する第１のフレームおよび第２のフレームの間に挿入する補間フレームを生成する。画像処理装置は、撮像部の動きの大きさを示す情報を受け取り、動きの大きさに応じた探索範囲において第１および第２のフレーム間でマッチングを行うことによって動きベクトルを算出する動きベクトル算出部と、動きベクトルの算出結果に従って、補間フレームを生成する補間フレーム生成部とを備える。

本開示の技術によれば、デジタルビデオカメラが動いた場合においても、より適切な補間フレームを生成することができる。

例示的な実施の形態１にかかるデジタルビデオカメラの構成を示すブロック図である。 例示的な実施の形態１にかかるデジタルビデオカメラの画像処理部の構成を示す図である。 例示的な実施の形態１にかかるデジタルビデオカメラの画像処理部による動作を示すフローチャートである。 １つのフレームが複数のマクロブロックに分割されていることを示す図である。 １つのマクロブロックを水平方向にシフトさせながら水平方向の差分検出を行う動作を示す図である。 １つのマクロブロックのシフト量に対する差分評価値（ＳＡＤ）の関係を示す図である。 第１のフレームの例を示す図である。 第１のフレームに続く第２のフレームの例を示す図である。 例示的な実施の形態１にかかるデジタルビデオカメラの動きの大きさと探索範囲との関係を示す図である。 デジタルビデオカメラが静止しているときに取得された第１および第２のフレームの例を示す図である。 デジタルビデオカメラが小さく動いたときに取得された第１および第２のフレームの例を示す図である。 デジタルビデオカメラが大きく動いたときに取得された第１および第２のフレームの例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図面を参照しながら、本開示の技術をデジタルビデオカメラに適用した実施の形態１を説明する。以下の説明において、動画像を構成する個々の静止画像を示すデータを「フレーム画像」または単に「フレーム」と称する。また、連続する２つのフレームの間に挿入するフレームを「補間フレーム画像」または単に「補間フレーム」と称する。

［１−１．概要］
本実施の形態のデジタルビデオカメラ１００は動画像を撮影できる撮像装置である。本実施の形態のデジタルビデオカメラ１００は、動画像の撮影のときまたは撮影後に、フレームレートを変換することができる。本実施の形態のデジタルビデオカメラ１００は、撮影により得られた連続するフレーム画像間に、補間フレーム画像を挿入することにより、フレームレートを変更する。例えば、毎秒６０フレームの動画撮影を行っている状態から、フレーム間に補間フレーム画像を挿入することによって毎秒１２０フレームの動画撮影へと切り替えることができる。デジタルビデオカメラ１００が、フレームレートを切り替えるタイミングは、ユーザによるフレームレート変更の指示があったときでもよいし、撮影によって取得した画像（以下、「撮影画像」と称する。）から得られる情報（輝度情報など）が変更されたときであってもよいし、所定のモード（低速撮影モードなど）が選択されたときでもよい。

以下、図を参照しながら、本実施の形態にかかるデジタルカメラ１００の構成および動作を説明する。

［１−２．デジタルビデオカメラの構成］
まず、図１を参照して、本実施の形態にかかるデジタルビデオカメラの構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、１又は２以上のレンズを含む光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０によって撮像する。ＣＭＯＳイメージセンサ１４０により生成された画像データは、画像処理部１６０において各種処理が行われ、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

光学系１１０は、ズームレンズやフォーカスレンズを含む複数のレンズ群を有する。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。なお、図１には３つのレンズが例示されているが、光学系１１０を構成するレンズの数は要求される機能に応じて適宜決定される。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。

絞り２５０は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。

シャッタ１３０は、ＣＭＯＳイメージセンサ１４０に透過させる光を遮光する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。ＣＭＯＳイメージセンサ１４０は、一定時間ごとに新しい画像データを生成する。

Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０により生成されたアナログ画像データをデジタル画像データに変換する回路である。

本実施形態では、光学系１１０、絞り２５０、シャッタ１３０、ＣＭＯＳセンサ１４０、ＡＤＣ１５０を含む複数の要素が、撮像部４００を構成している。撮像部４００により、連続する複数のフレームを含むデジタル動画像データが生成され、出力される。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０によって生成された画像データに各種処理を行い、表示モニタ２２０に表示するための画像データや、メモリード２００に格納するための画像データを生成する。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０により生成された画像データに、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０により生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格等に準拠した圧縮形式等により圧縮する。画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）やマイクロコンピュータ（マイコン）などにより実現可能である。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０により生成される画像データ（フレーム）に基づいて、動きベクトルを算出することができる。そして、画像処理部１６０は、算出した動きベクトルと、当該動きベクトルに関連するフレーム画像とに基づいて、動き補償による補間フレーム画像を生成することができる。または、画像処理部１６０は、動き補償によらず、関連する複数のフレーム画像を所定の比率で足し合わせて平均化することにより補間フレームを生成することができる。補間フレームの生成処理の詳細については後述する。

コントローラ１８０は、デジタルカメラ全体を制御する。コントローラ１８０は、後述するジャイロ信号を受信し、受信したジャイロ信号に従ってデジタルビデオカメラ１００の動きの大きさ（以降、「カメラの動きの大きさ」と称する。）を画素数に換算する。コントローラ１８０は換算した画素数を示す情報（以降、「カメラの動きに関する情報」と称する。）を画像処理部１６０に送信する。コントローラ１８０は、半導体素子などにより実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、例えばマイコンなどにより実現できる。あるいは、画像処理部１６０等とともに１つの半導体チップにより実現してもよい。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどにより実現できる。

カードスロット１９０は、メモリカード２００を装着することが可能であり、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０により生成された画像ファイル等のデータを格納することが可能である。

内部メモリ２３０は、例えば、フラッシュメモリや強誘電体メモリである。内部メモリ２３０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。制御プログラムは、コントローラ１８０によって実行される。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０によって生成された画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示することが可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示することが可能である。

ジャイロセンサ２４０（動き検出器）は、デジタルビデオカメラ１００の単位時間あたりの角度変化すなわち角速度に基づいてヨーイング方向のぶれ・ピッチング方向の動きを検出する。ジャイロセンサ２４０は、検出した動きの大きさを示すジャイロ信号をコントローラ１８０に出力する。なお、撮像部４００はデジタルビデオカメラ１００に含まれるため、ジャイロセンサ２４０は、撮像部４００の角速度に基づいてヨーイング方向のぶれ・ピッチング方向の動きを検出していることになる。

なお、上記の構成はあくまでも一例であり、画像処理部１６０が後述する動作を実行するように構成されている限り、デジタルビデオカメラ１００はどのように構成されていてもよい。

［１−３．画像処理部１６０の構成］
本実施の形態にかかるデジタルビデオカメラ１００は、時間的に連続している第１のフレームおよび第２のフレームから、第１のフレームと第２のフレームとの間に挿入する補間フレームを作成する機能を備えている。図２は、本実施の形態にかかるデジタルビデオカメラ１００の上記動作を実現するための画像処理部１６０の構成を示すブロック図である。

画像処理部１６０は、撮像部４００から出力された動画像データを受け取る画像入力部３００と、連続する２つのフレーム間の動きベクトルを算出する動きベクトル算出部３０２と、２つのフレーム間に挿入する補間フレームを生成する補間画像生成部３０３と、補間フレームが挿入された動画像データを外部に出力する画像出力部３０４と各種情報を保持する内部メモリ３０５とを備えている。これらの各要素は、物理的に分離された個々の回路ブロックから実現されていてもよいし、各要素の処理を規定するプログラムを画像処理部１６０に実装されたプロセッサが実行することによって実現されていてもよい。

［１−４．動作］
続いて、本実施の形態にかかるデジタルビデオカメラ１００の動作を説明する。

電源がＯＮされると、コントローラ１８０は、デジタルビデオカメラ１００を構成する各部に電力を供給する。デジタルビデオカメラ１００は、ユーザの操作等により、撮影モードと、再生モードとを切り替えることができる。電力が供給された後、撮影モードに設定されていれば、コントローラ１８０は、光学系１１０やＣＭＯＳイメージセンサ１４０などを初期化して、撮影可能な状態にセットアップする。撮影可能な状態へのセットアップが完了すると、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０が撮影し、Ａ／Ｄコンバータ１５０によってデジタル信号に変換された画像信号をスルー画像として表示可能な信号に変換するように画像処理部１６０に指示し、生成されたスルー画像を表示モニタ２２０に表示するように制御する。表示モニタ２２０に表示されたスルー画像を見ることにより、ユーザは撮影中の画角や被写体などを確認することができる。ユーザは、任意のタイミングで、動画記録釦（操作部材２１０の一つ）を押下することにより、コントローラ１８０に動画像の記録指示を行うことができる。コントローラ１８０は、動画像の記録指示を受け付けると、ＣＯＭＳイメージセンサ１４０が撮影している画像を、所定の規格に準拠した形式により動画像として処理し、処理後の動画像データのメモリカード２００への記録を開始する。一方、ユーザは、動画記録中の任意のタイミングで、動画記録釦を押下することにより、コントローラ１８０に動画像の記録終了指示を行うことができる。

デジタルビデオカメラ１００は、動画記録中において、撮影する動画像のフレームレートを変更することができる。フレームレートが変更されるタイミングは、例えば、ユーザによる指示があったとき、撮影画像から得られる情報（輝度情報など）が変更されたとき、所定のモード（低速撮影モードなど）が選択されたとき等であり得る。或いは、予めフレームレートの変更を行うように設定しておいてもよい。

画像処理部１６０は、フレームレートの変更を要する場合、フレーム画像間に挿入する補間フレーム画像を生成する。

以下、図３を参照しながら、画像処理部１６０による補間フレーム画像を生成する処理を説明する。図３は、画像処理部１６０が実行する補間フレーム画像の生成処理を示すフローチャートである。画像入力部３００は、まず、撮像部４００から出力されるフレーム画像を順次取得する（ステップＳ３０１）。画像入力部３００が取得したフレーム画像は、動きベクトル算出部３０２、画像出力部３０４へと送られる。

動きベクトル算出部３０２は、画像入力部３００から送信されたフレーム画像およびコントローラ１８０から送信されたカメラの動きに関する情報を取得する（ステップＳ３０２）。内部メモリ３０５はカメラの動きの大きさの閾値を示す情報を予め保持している。動きベクトル算出部３０２は、カメラの動きの大きさとこの閾値とを比較する（ステップＳ３０３）。カメラの動きの大きさが閾値未満の場合、動きベクトル算出部３０２は、連続する第１および第２のフレーム間の被写体の動きベクトルの探索範囲として第１の探索範囲を設定する（ステップＳ３０４）。カメラの動きの大きさが閾値以上の場合、動きベクトル算出部３０２は、連続する第１および第２のフレーム間の被写体の動きベクトルの探索範囲として第１の探索範囲とは異なる第２の探索範囲を設定する（ステップＳ３０５）。なお、第１の探索範囲および第２の探索範囲の詳細は後述する。

後述する処理により、第１の探索範囲または第２の探索範囲において、画像入力部３００から順次入力されるフレーム中の連続する２つのフレーム間の動きベクトルを順次算出する（ステップＳ３０６）。算出された動きベクトルを示す情報は、補間画像生成部３０３に送られる。

続いて、補間画像生成部３０３は、動きベクトルの算出結果に従って、補間フレームを生成する（ステップＳ３０７）。最後に、画像出力部３０４は、補間フレームを連続する２つのフレームの間に挿入して画像処理部１６０の外部に出力する（ステップＳ３０８）。

以下、各処理を具体的に説明する。

図４Ａ〜４Ｃ、図５Ａ〜５Ｂ、図６および図７Ａ〜７Ｃを参照しながら、動きベクトル算出部３０２による動きベクトルの探索および算出動作の具体例を説明する。

図４Ａ〜４Ｃは、動きベクトル算出部３０２による個々のマクロブロックに関する差分の評価の具体例を示す。動きベクトル算出部３０２は、画像入力部３００から、時間的に連続した複数フレームを取得する。図４Ａに示すように、動きベクトル算出部３０２は、時間的に連続した第１および第２のフレーム間において、例えば１６画素×１６画素のマクロブロック４２の単位で動きベクトルの方向および大きさを検出する。具体的には、図４Ｂに示すように、動きベクトル算出部３０２は、時間的に連続した第１および第２のフレームのうち、一方のフレーム内のあるマクロブロックと、このマクロブロックに対応する他方のフレーム内の画素位置から水平方向に画素を１画素ずらした１６画素×１６画素のブロック（以降、「対応ブロック」と称する。）とを比較し、差分を計算する。また、動きベクトル算出部３０２は、一方のフレーム内のあるマクロブロックと、このマクロブロックに対応する他方のフレーム内の画素位置から垂直方向に画素を１画素ずらした対応ブロックとを比較し、その差分を計算する（不図示）。

ここで差分は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）といった評価関数によって計算される。

評価関数としてＳＡＤを用いる場合、画像上の座標（ｘ，ｙ）における動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））は、以下の式１で表される評価関数Ｐ１（ｘ，ｙ，ｄｘ，ｄｙ）を最小にするｄｘ，ｄｙを求めることによって決定される。ここで、画像の水平方向（ｘ方向）および垂直方向（ｙ方向）についてのマクロブロックのサイズ（画素数に換算された値）を、それぞれＢｘ、Ｂｙとする。また、比較対象の２つのフレームのうち、先のフレームの画素値（輝度値または特定の色成分の値）をＬ１、後のフレームの画素値をＬ２とする。

一方、評価関数としてＳＳＤを用いる場合、画像上の座標（ｘ，ｙ）における動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））は、以下の式２で表される評価関数Ｐ２（ｘ，ｙ，ｄｘ，ｄｙ）を最小にするｄｘ，ｄｙを求めることによって決定される。

動きベクトル算出部３０２は、式１、２で表されるような評価関数を用いることにより、動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））をマクロブロックごとに計算することができる。

動きベクトル算出部３０２は、図３で言及した第１の探索範囲または第２の探索範囲で水平方向および垂直方向にマクロブロックを１画素ずつずらしながら差分を計算すことにより、各画素位置での差分を得る。

図４Ｃは、水平方向に画素をずらしたときの、あるマクロブロックと対応マクロブロックとの差分（ＳＡＤ）の一例をプロットした図である。各画素位置での差分がプロットされると、図４Ｃに示すような差分の極小値を有する波形が得られる。動きベクトル算出部３０２は、処理対象としているマクロブロックの中心位置から、ＳＡＤが極小値をとる画素位置までの距離（単位：画素）およびＳＡＤが極小値をとる画素位置への向きを、動きベクトルの大きさおよび方向としてそれぞれ検出する。

以上の処理により、動きベクトル算出部３０２は、動きベクトルを算出する。

続いて、図５Ａおよび５Ｂを参照しながら、動きベクトルの探索範囲での動きベクトルの探索の例を説明する。図５Ａは第１のフレームの例を示す。図５Ｂは、第１のフレームに続く第２のフレームの例を示す。第２のフレームの被写体の一部（雲５４）は第１のフレームの画像と比べて、画像の水平方向に３２画素シフトしている。図５Ｂに示すように、第１のフレームのマクロブロック５０の画素位置に対応する、第２のフレームの破線で示す領域５１からマクロブロックを画像の水平方向にずらしながら、動きベクトル算出部３０２はパターンマッチングを行う。図５Ｂに示す動きベクトルの探索範囲内では、図５Ｂの実線で示す領域５２においてパターンが一致し、ＳＡＤが最小となる。動きベクトル５３の大きさは３２画素、動きベクトルの方向は水平方向の右向きとなる。

コントローラ１８０は、カメラの動きに関する情報を画像処理部１６０内の動きベクトル算出部３０２に送る。すでに説明したとおり、カメラの動きに関する情報はカメラの動きの大きさの情報を含んでいる。

動きベクトル算出部３０２は、取得した情報が示すカメラの動きの大きさに応じて、動きベクトルの探索範囲を設定する。より具体的には、動きベクトル算出部３０２は、カメラの動きの大きさに応じて、動きベクトルの探索範囲として第１の探索範囲または第２の探索範囲を設定する。

ここで、図６を参照しながら、第１の探索範囲および第２の探索範囲の詳細を説明する。図６はカメラの動きの大きさと動きベクトルの探索範囲との関係を示す。横軸はカメラの動きの大きさを示し、縦軸は動きベクトルの探索範囲を示す。本実施の形態では、カメラの動きの大きさが閾値未満の場合、動きベクトルの探索範囲は一定の探索範囲αであり、カメラの動きの大きさが閾値以上の場合、水平方向の動きベクトルの探索範囲が拡大する。

まず、第１の探索範囲を説明する。第１の探索範囲とは、カメラの動きの大きさが閾値未満の場合に設定される動きベクトルの探索範囲である。すでに説明したとおり、この閾値を示す情報は内部メモリ３０５に予め保持されている。また、内部メモリ３０５は一定の探索範囲αを示す情報を保持している。本実施の形態では、一定の探索範囲αとして、例えば画像の水平方向の左右にそれぞれ３マクロブロック、画像の垂直方向の上下にそれぞれ２マクロブロックを示す情報が内部メモリ３０５に保持されている。図６に示すとおり、第１の探索範囲は一定の探索範囲αに基づいて設定される。具体的には、画像の水平方向には左右にそれぞれ３マクロブロック、画像の垂直方向には上下にそれぞれ２マクロブロックが第１の探索範囲となる。このように、カメラの動きの大きさが閾値未満の場合、動きベクトルの探索範囲を第１の探索範囲に限定することにより、動きベクトル算出部３０２は動きベクトルの算出を行う。

ここで、カメラの動きの大きさが閾値未満の場合、動きベクトルの探索範囲をカメラの動きの大きさに依存しない固定値に限定する理由を説明する。カメラの動きの大きさが閾値未満の場合、被写体が大幅に移動しない限り（静止した被写体を撮影している限り）、一定の探索範囲内で動きベクトル算出が可能となるためである。カメラの動きの大きさが閾値未満のときに、動きベクトルの探索範囲が一定の探索範囲に限定されない場合、動きベクトル算出部３０２は、本来は探索する必要がない範囲にまで動きベクトルを探索することになり、演算処理の効率が悪くなる。

本実施の形態においては、カメラの動きの大きさが閾値未満の場合は、動きベクトルの探索範囲は第１の探索範囲に限定される。これにより、演算処理の効率が悪くなることを抑制することができる。なお、カメラの動きの大きさに関する所定の閾値は、デジタルビデオカメラの個々の性能に応じて、適切な補間フレーム画像が得られるよう決定される。

次に、第２の探索範囲を説明する。第２の探索範囲とは、カメラの動きの大きさが閾値以上の場合に設定される動きベクトルの探索範囲である。図６に示すとおり、第２の探索範囲はカメラの動きの大きさに応じて拡大する。換言すると、カメラの動きの大きさが閾値以上の場合、動きベクトル算出部３０２により、水平方向の動きベクトルの探索範囲はカメラの動きの大きさに応じて拡大するように設定される。

ここで、カメラの動きの大きさが閾値以上の場合、動きベクトルの探索範囲をカメラの動きの大きさに応じて拡大するように設定する理由を説明する。カメラの動きの大きさが閾値以上の場合は、デジタルビデオカメラ１００の動きに起因してフレーム内で被写体像が大きく移動している可能性が高くなる。このため、動きベクトルの探索範囲を一定の探索範囲（第１の探索範囲）内に限定して動きベクトルを算出しようとしても、第１の探索範囲内ではパターンが一致しない可能性が高くなるためである。

本実施の形態にかかるデジタルビデオカメラ１００では、カメラの動きの大きさが閾値以上の場合は、動きベクトル算出部３０２により、カメラの動きの大きさに応じて、水平方向の探索範囲が広くなるように設定される。以上の処理により、デジタルビデオカメラ１００の動きに起因してフレーム内で被写体像が大きく移動してしまったような場合においても、第２の探索範囲ではパターンが一致する可能性を高くすることができる。

本実施の形態では、処理対象のマクロブロックの画素のずらし量は１画素である。しかしながら、本開示はこれに限定されない。カメラの動きの大きさが閾値以上の場合にカメラの動きの大きさが大きくなるに従って、パターンマッチングの際に、処理対象のマクロブロックの画素のずらし量を大きくしてもよい。例えば、処理対象のマクロブロックの画素のずらし量が水平方向に３画素であれば、動きベクトルの探索範囲が水平方向に３倍に広がったとしても、画素のずらし量も３倍になるため、演算処理を効率よく行うことができる。

続いて、図７Ａ〜７Ｃを参照しながら、第１の探索範囲および第２の探索範囲での動きベクトル算出の具体例を説明する。

図７Ａはデジタルビデオカメラ１００が静止しているときに取得された第１および第２のフレームの例を示す。まず、カメラの動きの大きさが「０」であるため、動きベクトル算出部３０２は動きベクトルの探索範囲７２として第１の探索範囲を設定する。この第１の探索範囲は内部メモリ３０５に予め保持された情報に基づき設定される。本実施の形態では、水平方向には左右にそれぞれ３マクロブロック、垂直方向には上下にそれぞれ２マクロブロックが第１の探索範囲となる。第１の探索範囲では、第２のフレームの実線の領域７１において、領域７１のパターンが第１フレームのマクロブロック７０のパターンと一致し、ＳＡＤが最小となる。動きベクトル算出部３０２は動きベクトル７３を算出する。

図７Ｂはデジタルビデオカメラ１００がヨーイング方向の左向きに小さく動いたときに取得された第１および第２のフレームの例を示す。ここで、本実施の形態では、カメラの動きの大きさに関する閾値は水平方向に３２画素とする。カメラの動きの大きさが水平方向に３０画素である場合、カメラの動きの大きさは閾値未満となる。このため、動きベクトル算出部３０２は、動きベクトルの探索範囲７４として第１の探索範囲を設定する。第１の探索範囲では、第２のフレームの実線の領域７５において、領域７５のパターンが第１フレームのマクロブロック７０のパターンと一致し、ＳＡＤが最小となる。動きベクトル算出部３０２は動きベクトル７７を算出する。動きベクトル７７は被写体自身の動きベクトルにカメラの動きベクトル７６を加算したベクトルとなる。

図７Ｃはデジタルビデオカメラ１００がヨーイング方向の左向きに大きく動いたときに取得された第１および第２のフレームの例を示す。カメラの動きの大きさが水平方向に４８画素であった場合、カメラの動きの大きさは閾値以上となる。このため、動きベクトル算出部３０２は、動きベクトルの探索範囲７８として第２の探索範囲を設定する。図７Ａおよび７Ｂに示す例では、一定の探索範囲α（水平方向では左右にそれぞれ３マクロブロック、垂直方向では上下にそれぞれ２マクロブロック）が動きベクトルの探索範囲である。一方、図７Ｃに示す動きベクトルの探索範囲の例では、水平方向の探索範囲はカメラの動きの大きさに応じて拡大し、例えば水平方向の左右にそれぞれ２マクロブロックが拡大する。従って、水平方向には左右にそれぞれ５マクロブロックが動きベクトルの探索範囲７８となる。動きベクトルの探索範囲７８では、第２のフレームの実線の領域７９において、領域７９のパターンが第１フレームのマクロブロック７０のパターンと一致し、ＳＡＤが最小となる。動きベクトル算出部３０２は動きベクトル８１を算出する。動きベクトル８１は被写体自身の動きベクトルにカメラの動きベクトル８０を加算したベクトルとなる。

これに対して、水平方向の探索範囲をカメラの動きの大きさに応じて拡大しない場合、動きベクトルの探索範囲は破線の領域８２となり、領域８２内では、第１フレームのマクロブロック７０のパターンと一致するパターンが存在しない。すなわち、動きベクトル算出部３０２は動きベクトルを検出できない。

なお、本実施の形態では、動きベクトルの一定の探索範囲αはマクロブロック単位で決定したが、本開示はこれに限定されない。すなわち、動きベクトルの所定の探索範囲は画素単位で決定してもよい。

また、本実施の形態では、カメラの動きの大きさが閾値以上の場合、カメラの動きの大きさに応じて、水平方向の左右にそれぞれ探索範囲を拡大したが、本開示はこれに限定されない。コントローラ１８０から送信されるカメラの動きに関する情報はカメラの動きの方向を示す情報を含んでいてもよい。カメラの動きの方向を示す情報に基づいて、動きベクトル算出部３０２は、動きベクトルの探索範囲をさらに限定してもよい。この理由は、図７Ｃに示すようにフレーム内の被写体の移動が検出できればよく、被写体が移動する方向とは逆の方向（カメラの動きの方向）への探索範囲の拡大は必ずしも必要ではないためである。

動きベクトル算出部３０２の動作をまとめると、以下のようになる。動きベクトル算出部３０２は、カメラの動きの大きさに応じて、動きベクトルの探索範囲を設定する。これにより、カメラの動きの大きさが変化したとしても、効率よく動きベクトルを算出することができ、より適切に補間フレーム画像を得ることができる。

再び図２を参照する。図２に示すように、動きベクトル算出部３０２は、画像入力部３００から取得した、時間的に連続した複数フレーム画像と、検出した動きベクトルとを、補間画像生成部３０３に送る。動きベクトル算出部３０２は、処理対象としたフレームを構成するマクロブロックのそれぞれについて検出した動きベクトルを、補間画像生成部３０３に送る。

補間画像生成部３０３は、時間的に連続した第１および第２のフレームの一方から、検出された動きベクトルに従って、動きベクトルの中間の位置へと、動きベクトルを算出した際に処理対象としたマクロブロックが示す画像をシフトさせる（動き補償補間）。補間画像生成部３０３は、フレームを構成するすべてのマクロブロックについて、同様の動き補償補間を行うことにより、時間的に連続した第１および第２のフレーム間に挿入する補間フレーム画像を生成する。なお、補間フレーム画像は、動きベクトルに基づいて生成される連続する２つのフレームの過渡状態を示すフレームであれば、必ずしも中間状態のフレームである必要はない。

補間画像生成部３０３は、生成した補間フレーム画像を画像出力部３０４へと送る。

画像出力部３０４は、補間フレーム画像を、時間的に連続した対応するフレーム画像間（第１および第２のフレーム間）に順次挿入し、出力する。以上の処理により、画像処理部１６０は、フレームレートを変更した動画像を出力することができる。

［１−５．効果等］
以上のように、本実施の形態においては、画像処理部１６０は、撮像部４００の動きの大きさを示す情報を受け取り、動きの大きさに応じた探索範囲（第１の探索範囲および第１の探索範囲とは異なる第２の探索範囲）において第１および第２のフレーム間でマッチングを行うことによって動きベクトルを算出する動きベクトル算出部３０２と、動きベクトルの算出結果に従って、補間フレームを生成する補間フレーム生成部３０３とを備える。これにより、撮像部４００の動きの大きさを考慮した動きベクトル検出が可能となり、より適切な補間フレームを生成することができる。従って、フレームレートを高フレームレートに変更したとしても、より画質のよい動画像を表示モニタに表示させることができる。

また、内部メモリ３０５は動きベクトルの探索範囲を示す情報を保持している。第１の探索範囲は動きベクトルの探索範囲を示す情報に基づいて設定される。これにより、撮像部４００の動きの大きさが閾値未満の場合は、動きベクトルの探索範囲は所定の探索範囲に限定されるため、演算処理の効率が悪くなることを抑制することができる。

また、第２の探索範囲は撮像部４００の動きの大きさに応じて決定される。これにより、撮像部４００の動きに起因してフレーム内で被写体像が大きく移動してしまったような場合においても、信頼性の高い動きベクトルを取得することができる。

また、動きベクトル算出部３０２は、さらに、撮像部４００の動きの方向を示す情報を受け取り、動きの方向に応じて探索範囲を限定する。これにより、撮像部４００の動きの方向へは探索範囲は拡大しないため、より効率的に動きベクトルを取得することができる。

また、動きベクトル算出部３０２は、第１および第２のフレームを複数の部分に分割し、分割した部分ごとに第１および第２のフレーム間でマッチングを行うことによって部分ごとに動きベクトルを算出する。また、補間画像生成部３０３は、部分ごとに算出された動きベクトルに従って、補間フレームを生成する。これにより、フレームの部分ごとに被写体の動きを反映した補間処理が可能であり、より適切な補間フレームを生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、撮像手段として、ＣＭＯＳイメージセンサ１４０を例示したが、撮像手段はこれに限定されない。例えば、撮像手段を、ＣＣＤイメージセンサやＮＭＯＳイメージセンサによって構成してもよい。

また、画像処理部１６０とコントローラ１８０とは、１つの半導体チップによって構成してもよく、また、それぞれ別々の半導体チップによって構成してもよい。

以上の実施の形態では、本開示の技術をデジタルビデオカメラ１００（撮像装置）に適用した例を示した。しかし、本開示の技術は、撮像装置に限らず、例えば上記の画像処理部１６０の機能を有する画像処理装置に適用することもできる。そのような画像処理装置の構成は、例えば図２に示す構成と同様であり、その動作は、例えば図３に示す動作と同様である。画像処理装置は、例えばビデオカメラによって生成され、記録媒体に記録された動画像のデータを事後的に取得し、上述の処理によって補間フレームを挿入して他の動画像データとして記録することもできる。

また、上記の実施の形態ではジャイロセンサ２４０をデジタルビデオカメラ１００の動き検出手段として例示したが、本開示はこれに限定されない。デジタルビデオカメラ１００の動きを検出できるセンサであれば、他のセンサであってもよい。

また、上記の実施の形態では、ジャイロセンサ２４０のヨーイング方向の動きの検出結果に応じて、動きベクトル算出部３０２が水平方向の動きベクトルの探索範囲を限定する例を示したが、本開示はこれに限定されない。ジャイロセンサ２４０のピッチング方向の動きの検出結果に応じて、動きベクトル算出部３０２は垂直方向の動きベクトルの探索範囲をさらに限定してもよい。

また、本開示の技術はさらに、上述の補間フレーム生成処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図３に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

従って、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、デジタルビデオカメラ１００への適用に限定されない。すなわち、デジタルスチルカメラや、カメラ付き情報端末など、フレームレートが変換可能な画像処理装置に適用可能である。

１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２３０ 内部メモリ
２４０ ジャイロセンサ
３００ 画像入力部
３０２ 動きベクトル算出部
３０３ 補間画像生成部
３０４ 画像出力部
３０５ 内部メモリ
４００ 撮像部

Claims (8)

1. 撮像部によって取得された動画像の連続する第１のフレームおよび第２のフレームの間に挿入する補間フレームを生成する画像処理装置であって、
   前記撮像部の動きの大きさを示す情報を受け取り、前記動きの大きさに応じた探索範囲において前記第１および第２のフレーム間でマッチングを行うことによって動きベクトルを算出する動きベクトル算出部と、
   前記動きベクトルの算出結果に従って、前記補間フレームを生成する補間フレーム生成部と
   を備えた画像処理装置。
2. 前記動きの大きさの閾値を示す情報を保持する記憶部をさらに備え、
   前記動きの大きさが前記閾値未満である場合、前記動きベクトル算出部は第１の探索範囲を前記探索範囲として設定し、前記動きの大きさが前記閾値以上である場合、前記動きベクトル算出部は前記第１の探索範囲とは異なる第２の探索範囲を前記探索範囲として設定する、請求項１に記載の画像処理装置。
3. 前記記憶部は動きベクトルの探索範囲を示す情報をさらに保持し、
   前記第１の探索範囲は前記動きベクトルの探索範囲を示す情報に基づいて設定される、請求項２に記載の画像処理装置。
4. 前記第２の探索範囲は前記動きの大きさに応じて決定される、請求項３に記載の画像処理装置。
5. 前記動きベクトル算出部は、前記撮像部の動きの方向を示す情報をさらに受け取り、前記動きの方向に応じて前記探索範囲を限定する、請求項１に記載の画像処理装置。
6. 前記動きベクトル算出部は、前記第１および第２のフレームを複数の部分に分割し、分割した部分ごとに前記第１および第２のフレーム間でマッチングを行うことによって前記部分ごとに前記動きベクトルを算出し、
   前記補間フレーム生成部は、前記部分ごとに算出された前記動きベクトルに従って、前記補間フレームを生成する、請求項１から５のいずれかに記載の画像処理装置。
7. 請求項１から６のいずれかに記載の画像処理装置と、
   撮像によって前記第１および第２のフレームを含む動画像のデータを生成する前記撮像部と、
   前記撮像部の動きを検出する動き検出器と
   を備える撮像装置。
8. 撮像部によって取得された動画像の連続する第１のフレームおよび第２のフレームの間に挿入する補間フレームを生成する画像処理装置において用いられるコンピュータプログラムであって、前記画像処理装置のコンピュータに、
   前記撮像部の動きの大きさに応じた探索範囲において前記第１および第２のフレーム間でマッチングを行うことによって動きベクトルを算出するステップと、
   前記動きベクトルの算出結果に従って、前記補間フレームを生成するステップと
   を実行させるコンピュータプログラム。

Images