JP2013165488A - 画像処理装置、撮像装置、およびプログラム - Google Patents

Abstract

【課題】動きが急激に変化する被写体が存在する場合でも、より適切な補間フレームを作成する。
【解決手段】画像処理装置１６０は、動画像中の連続する２つのフレームの間に挿入する補間フレームを生成する。画像処理装置１６０は、動画像中の連続する第１のフレーム、第２のフレーム、および第３のフレームのうち、前記第１および第２のフレームの間でマッチングを行うことによって第１の動きベクトルを算出し、前記第２および第３のフレームの間でマッチングを行うことによって第２の動きベクトルを算出する動きベクトル算出部３０２と、前記第１の動きベクトルおよび前記第２の動きベクトルの間の差分ベクトルの大きさに応じた処理により、前記第２のフレームおよび前記第３のフレームの間に挿入する補間フレームを生成する補間フレーム生成部３１０と、を備えている。
【選択図】図２

Description

本開示は、撮影によって取得された動画像のフレームレートを変換可能な画像処理技術に関する。

特許文献１は画像処理装置を開示する。この画像処理装置は、複数のフレーム画像間に内挿する補間フレーム画像を生成する。特許文献１の画像処理装置は、複数のフレーム画像の各フレーム内の画素値の変化に基づいて、補間フレーム画像に含まれる補間画素の動きベクトルの探索範囲を算出し、算出した探索範囲内において推定した動きベクトルに基づいて、補間フレーム画像を生成する。

特開２０１０−１７７７３９号公報

従来の技術では、動きベクトルを用いて補間フレーム画像を作成した場合、動きが急激に変化する被写体が存在するとき、動きベクトルを誤って算出する可能性が高くなり、適切な補間フレームが得られないことがあった。

本開示は、動きが急激に変化する被写体が存在するときにおいても、より適切な補間フレームを作成することができる画像処理技術を提供する。

本開示の一実施形態における画像処理装置は、動画像中の連続する２つのフレームの間に挿入する補間フレームを生成する。画像処理装置は、動画像中の連続する第１のフレーム、第２のフレーム、および第３のフレームのうち、前記第１および第２のフレームの間でマッチングを行うことによって第１の動きベクトルを算出し、前記第２および第３のフレームの間でマッチングを行うことによって第２の動きベクトルを算出する動きベクトル算出部と、前記第１の動きベクトルおよび前記第２の動きベクトルの間の差分ベクトルの大きさに応じた処理により、前記第２のフレームおよび前記第３のフレームの間に挿入する補間フレームを生成する補間フレーム生成部とを備えている。

本開示の技術によれば、動きが急激に変化する被写体が存在するときにおいても、より適切な補間フレームを作成することができる。

例示的な実施の形態１にかかるデジタルビデオカメラの構成を示すブロック図である。 例示的な実施の形態１にかかるデジタルビデオカメラの画像処理部の構成を示すブロック図である。 例示的な実施の形態１にかかるデジタルビデオカメラの画像処理部による動作を示すフローチャートである。 １つのマクロブロックについて算出される動きベクトルの例を示す図である。 動きベクトルの算出にあたり、直前の動きベクトルに対応する領域の周辺ほど密に探索し、当該領域から離れるほど粗く探索する例を示す図である。 連続する第１および第２のフレームから動きベクトルおよび動き補償補間フレームを生成する処理を説明するための図であり、（ａ）は第１のフレームの例を示し、（ｂ）は動き補償補間フレームの例を示し、（ｃ）は第２のフレームの例を示している。 例示的な実施の形態１にかかるデジタルビデオカメラによって算出される動きベクトルの差分を説明するための図である。 （ａ）は、第１のフレームにおける１つのマクロブロックを示す図であり、（ｂ）は、第２のフレームにおける対応領域および動きベクトルを示す図であり、（ｃ）は、第３のフレームにおける対応領域および差分ベクトルを示す図である。 例示的な実施の形態１にかかるデジタルビデオカメラの動きベクトルの差分に対する補間フレームの合成比率の変化を説明するための図である。 動きベクトルの差分に対する補間フレームの合成比率の変化の他の例を説明するための図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、本発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
まず、本開示の技術をデジタルビデオカメラに適用した実施の形態１を説明する。以下の説明において、動画像を構成する個々の静止画像を示すデータを「フレーム画像」または単に「フレーム」と称する。また、連続する２つのフレームの間に挿入するフレームを「補間フレーム画像」または単に「補間フレーム」と称する。

［１−１．概要］
本実施の形態のデジタルビデオカメラ（以下、単に「カメラ」と呼ぶことがある。）は、動画像を撮影できる撮像装置である。本実施の形態のデジタルビデオカメラは、動画像の撮影の際リアルタイムに、または撮影後、ユーザの指示などによってフレームレートを変換することができる。本実施の形態のデジタルビデオカメラは、撮影により得られたフレーム画像間に、補間フレーム画像を挿入することにより、フレームレートを変更する。例えば、毎秒６０フレームの動画撮影を行っている状態から、フレーム間に補間フレーム画像を挿入することによって毎秒１２０フレームの動画撮影へと切り替えることができる。デジタルビデオカメラがフレームレートを切り替えるタイミングは、ユーザによるフレームレート変更の指示があったときでもよいし、撮影によって取得した画像（以下、「撮影画像」と称する場合がある。）から得られる情報（輝度情報など）が変更されたときであってもよいし、所定のモード（低速撮影モードなど）が選択されたときでもよい。

［１−２．デジタルビデオカメラの構成］
以下、図１を参照しながら、本実施の形態にかかるデジタルビデオカメラの構成を説明する。図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、１または２以上のレンズを含む光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。

光学系１１０は、ズームレンズやフォーカスレンズを含む複数のレンズ群を有する。ズームレンズを光軸に沿って移動させることにより、被写体像を拡大または縮小することができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像のピントを調整することができる。なお、図１には３つのレンズが例示されているが、光学系１１０を構成するレンズの数は、要求される機能に応じて適宜決定される。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動する。レンズ駆動部１２０は、例えばズームレンズを駆動するズームモータや、フォーカスレンズを駆動するフォーカスモータを含む。

絞り２５０は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。

シャッタ１３０は、ＣＭＯＳイメージセンサ１４０に入射させる光を遮光する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０によって形成された被写体像を光電変換することにより、画像データを生成する撮像素子である。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種の動作を行う。ＣＭＯＳイメージセンサ１４０は、一定時間ごとに新しい画像データを生成する。本実施形態では撮像素子としてＣＭＯＳイメージセンサ１４０を用いているが、ＣＣＤイメージセンサやＮＭＯＳイメージセンサなどの他の種類の撮像装置を用いてもよい。

Ａ／Ｄコンバータ（ＡＤＣ）１５０は、ＣＭＯＳイメージセンサ１４０に電気的に接続され、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する回路である。

本実施形態では、光学系１１０、絞り２５０、シャッタ１３０、ＣＭＯＳセンサ１４０、ＡＤＣ１５０を含む複数の要素が、撮像部４００を構成している。撮像部４００により、連続する複数のフレームを含むデジタル動画像データが生成され、出力される。

画像処理部１６０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）またはマイクロコンピュータ（マイコン）などで実現され得る。画像処理部１６０は、ＡＤＣ１５０に電気的に接続され、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種の処理を施し、表示モニタ２２０に表示するための画像データや、メモリカード２００に格納するための画像データを生成する。画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、例えばガンマ補正、ホワイトバランス補正、傷補正などの各種の処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格等に準拠した圧縮形式等により圧縮する。

画像処理部１６０は、さらに、ＣＭＯＳイメージセンサ１４０によって生成される画像データ（フレーム画像）に基づいて、動きベクトルを算出することができる。そして、画像処理部１６０は、算出した動きベクトルと、当該動きベクトルに関連するフレーム画像とに基づいて、動き補償による補間フレーム画像を生成することができる。また、画像処理部１６０は、動き補償によらず、関連する複数のフレーム画像を所定の比率で足し合わせて平均化することにより、補間フレームを生成することができる。これらの補間フレームの生成処理の詳細については後述する。

コントローラ１８０は、デジタルビデオカメラ全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、例えばマイコンなどで実現できる。あるいは、画像処理部１６０等とともに１つの半導体チップで実現してもよい。コントローラ１８０は、図１に示すように、画像処理部１６０その他の各部に電気的に接続され、各部に制御信号を送る。

なお、画像処理部１６０およびコントローラ１８０は、それぞれ別個の半導体チップで構成してもよいし、１つの半導体チップで構成してもよい。後述する処理が実現できれば、これらの物理的構成はどのようなものでもよい。

バッファ１７０は、画像処理部１６０およびコントローラ１８０に電気的に接続され、これらのワークメモリとして機能する記憶領域である。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を装着可能であり、機械的および電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内部メモリ２３０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２３０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶している。制御プログラムは、コントローラ１８０によって実行される。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定ボタン等を含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。

ジャイロセンサ２４０は、デジタルビデオカメラ１００の単位時間あたりの角度変化すなわち角速度に基づいてヨーイング方向のぶれおよびピッチング方向の動きを検出する動き検出器である。ジャイロセンサ２４０は、検出した動きの量を示すジャイロ信号をコントローラ１８０に出力する。

なお、上記の構成はあくまでも一例であり、画像処理部１６０が後述する動作を実行するように構成されている限り、デジタルビデオカメラ１００はどのように構成されていてもよい。

［１−３．動作］
続いて、本実施の形態にかかるデジタルビデオカメラ１００の動作を説明する。デジタルビデオカメラ１００は、時間的に連続している２つのフレームの間に挿入する補間フレームを生成する。補間フレームの生成にあたって、デジタルビデオカメラ１００の画像処理部１６０は、動画像中の連続する第１のフレーム、第２のフレーム、および第３のフレームのうち、第１および第２のフレームの間でマッチングを行うことによって第１の動きベクトルを算出し、第２および第３のフレームの間でマッチングを行うことによって第２の動きベクトルを算出する。そして、第１の動きベクトルおよび第２の動きベクトルの間の差分ベクトルの大きさに応じた処理により、第２のフレームおよび第３のフレームの間に挿入する補間フレームを生成する。

図２は、本実施の形態にかかるデジタルビデオカメラの上記の動作を実現するための画像処理部１６０の構成を示すブロック図である。画像処理部１６０は、撮像部４００から出力された動画像データを受け取る画像入力部３００と、連続する２つのフレーム間の動きベクトルを算出する動きベクトル算出部３０２と、２つのフレーム間に挿入する補間フレームを生成する補間フレーム生成部３１０と、補間フレームが挿入された動画像データを外部に出力する画像出力部３０４とを備えている。補間フレーム生成部３１０は、動きベクトルに基づく補間フレームを生成する動き補償補間画像生成部３０３と、連続する２つのフレームを加算平均することによって得られる補間フレームを生成する加算平均補間画像生成部３０７と、動きベクトルの差分を検出する動きベクトル差分検出部３０８と、動きベクトルの差分の大きさに基づいて補正フレームを生成する合成部３０６とを有している。

画像処理部１６０における上記の各機能部は、物理的に分離され、電気的に接続された個々の回路ブロックによって実現され得る。あるいは、各機能部の処理を規定するプログラムを画像処理部１６０に実装されたプロセッサが実行することによって実現されていてもよい。これらの各機能部間の接続は、図２の構成に限られず、不図示のバスおよび記録媒体を介して信号のやりとりを行うように構成されていてもよい。また、各機能部がさらに複数の要素に分離されていてもよいし、複数の機能部が１つの要素として統合されていてもよい。

画像入力部３００は、外部から連続する複数のフレームを受けて動きベクトル算出部３０２、加算平均補間画像生成部３０７、および画像出力部３０４に送出する端子およびその周辺の回路を含む。画像入力部３００は、各フレームを動きベクトル算出部３０２、加算平均補間画像生成部３０７、および画像出力部３０４に出力する。

動きベクトル算出部３０２は、連続する２つのフレーム間でブロックマッチングを行うことにより、動きベクトルを算出する。動きベクトル算出部３０２は、算出した動きベクトルおよび各フレームを動き補償補間画像生成部３０３に出力し、算出した動きベクトルを動きベクトル差分検出部３０８に出力する。

動き補償補間画像生成部３０３は、受け取った第１および第２のフレームと動きベクトルとから、第１および第２のフレームの中間状態を示すフレーム（動き補償補間フレーム）を生成して合成部３０６に出力する。動き補償補間画像生成部３０３の動作の詳細については後述する。

加算平均補間画像生成部３０７は、画像入力部３００から入力された連続する２つのフレームを画素ごとに加算平均したフレーム（加算平均補間フレーム）を生成して合成部３０６に出力する。加算平均補間画像生成部３０７の動作の詳細についても後述する。

動きベクトル差分検出部３０８は、後述する処理により、時間的に連続する２つの動きベクトル間の差分ベクトルを求め、当該差分ベクトルの大きさを示す情報を合成部３０６に出力する。合成部３０６は、動き補償補間画像生成部３０３および加算平均補間画像生成部３０７からそれぞれ入力されたフレームと、動きベクトル差分検出部３０８から入力された差分ベクトルの大きさを示す情報とに基づいて、適切な補間フレームを生成して画像出力部３０４に出力する。画像主力部３０４は、合成部３０６から出力された補間フレームを、連続する第１および第２のフレーム間に挿入して外部に出力する。

以下、デジタルビデオカメラ１００の撮影時の動作を説明する。

電源がＯＮされると、コントローラ１８０は、デジタルビデオカメラ１００を構成する各部に電力を供給する。デジタルビデオカメラ１００は、ユーザの操作等により、撮影モードと再生モードとを切り換えることができる。電力が供給された後、撮影モードに設定されていれば、コントローラ１８０は、光学系１１０やＣＭＯＳイメージセンサ１４０などを初期化して、撮影可能な状態にするためのセットアップを行う。撮影可能な状態へのセットアップが完了すると、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０が撮影し、Ａ／Ｄコンバータ１５０によってデジタル信号に変換された画像信号をスルー画像として表示可能な信号に変換するように画像処理部１６０に指示し、生成されたスルー画像を表示モニタ２２０に表示するように制御する。表示モニタ２２０に表示されたスルー画像を見ることにより、ユーザは撮影中の画角や被写体などを確認することができる。ユーザは、任意のタイミングで、動画記録ボタン（操作部材２１０の一つ）を押下することにより、コントローラ１８０に動画像の記録指示を行うことができる。コントローラ１８０は、動画像の記録指示を受け付けると、ＣＭＯＳイメージセンサ１４０が撮影している画像を、所定の規格に準拠した形式により動画像として処理し、処理後の動画像データのメモリカード２００への記録を開始する。一方、ユーザは、動画記録中の任意のタイミングで、動画記録ボタンを押下することにより、コントローラ１８０に動画像の記録終了指示を行うことができる。

デジタルビデオカメラ１００は、動画記録中において、撮影する動画像のフレームレートを変更することができる。フレームレートが変更されるタイミングは、例えば、ユーザによる指示があったとき、撮影画像から得られる情報（輝度情報など）が変更されたとき、所定のモード（低速撮影モードなど）が選択されたとき等であり得る。或いは、予めフレームレートの変更を行うように設定しておいてもよい。

画像処理部１６０は、フレームレートの変更を要する場合、フレーム画像間に挿入する補間フレーム画像を生成する。以下、画像処理部１６０による補間フレームを生成する処理を説明する。

図３は、画像処理部１６０が実行する補間フレームの生成処理を示すフローチャートである。まず、ステップＳ３０１において、画像入力部３００は、撮像部４００から出力されるフレーム画像を順次取得する。画像入力部３００が取得したフレーム画像は、動きベクトル算出部３０２、加算平均補間画像生成部３０７、画像出力部３０４へと送られる。

次に、ステップＳ３０２において、動きベクトル算出部３０２は、画像入力部３００から入力される連続する２つのフレーム間の動きベクトルを算出する。動きベクトルは、連続する２つのフレーム間で後述するブロックマッチングを行うことによって算出される。算出された動きベクトルを示す情報は、動き補償補間画像生成部３０３および動きベクトル差分検出部３０８に送られる。

続いて、ステップＳ３０３において、動きベクトル差分検出部３０８は、順次入力される複数の動きベクトルから、動きベクトルの差分を求める。ここで差分とは、連続する２つの動きベクトルの間の差分ベクトルを意味する。そして、差分ベクトルの大きさを示す情報を合成部３０６に出力する。

次に、ステップＳ３０４において、合成部３０６は、差分ベクトルの大きさが予め定められた閾値よりも大きいか否かを判定する。差分ベクトルの大きさが閾値以下である場合、ステップＳ３０５において、動き補償補間画像生成部３０３によって生成される動き補償補間画像を補間フレームとして画像出力部３０４に出力する。一方、差分ベクトルの大きさが閾値よりも大きい場合、ステップＳ３０６において、動き補償補間フレームと、加算平均補間画像生成部３０７によって生成される加算平均補間フレームとの合成フレームを補間フレームとして画像出力部３０４に出力する。その後、ステップＳ３０７において、画像出力部３０４は、合成部３０６から受け取った補間フレームを、対応する２つのフレームの間に挿入して補間後の動画像を出力する。

以上の処理により、連続する２つのフレームの間に補間フレームが挿入されたフレームレートの高い動画像が生成される。以下、動きベクトル算出部３０２、動き補償補間画像生成部３０３、加算平均補間画像生成部３０７、動きベクトル差分検出部３０８、および合成部３０６の動作をより具体的に説明する。

動きベクトル算出部３０２は、画像入力部３００から、時間的に連続する複数のフレームを取得する。動きベクトル算出部３０２は、時間的に連続する２つのフレームについて、ブロックマッチングを行うことにより、動きベクトルを算出する。ブロックマッチングは、比較対象の２つのフレームのうちの一方のフレームを複数のマクロブロックに分割し、個々のマクロブロックをテンプレートとして、他方のフレームにおける対応するマクロブロックの位置を中心とする所定の探索範囲内を移動しながら両者の類似度を求めることによってマッチングを行う方法である。これにより、一方のフレーム内の各マクロブロックについて、他方のフレームにおける対応する位置を特定することができるため、マクロブロックごとに動きベクトルを得ることができる。

動きベクトル算出部３０２は、例えば１６画素×１６画素のマクロブロック単位で動きベクトルを算出する。具体的には、時間的に連続する２つのフレームのうち、一方のフレーム内のあるマクロブロックについて、当該マクロブロックに対応する他方のフレーム内の画素の位置から水平方向および垂直方向に所定の探索範囲内でずらした同じく１６画素×１６画素のブロックと比較し、差分（例えばＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を順次計算する。ＳＡＤの代わりにＳＳＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）のような他の評価関数を計算してもよい。動きベクトル算出部３０２は、画素を除々にずらしながら当該差分を算出する。そして、処理対象のマクロブロックの中心位置に対応する画素から、この差分が最小となった画素の位置までの距離および方向（水平成分および垂直成分）を検出する。このような処理により、動きベクトル算出部３０２は、動きベクトルを算出する。

評価関数としてＳＡＤを用いる場合、画像上の座標（ｘ，ｙ）における動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））は、以下の式１で表される評価関数Ｐ１（ｘ，ｙ，ｄｘ，ｄｙ）を最小にするｄｘ，ｄｙを求めることによって決定される。ここで、画像の水平方向（ｘ方向）および垂直方向（ｙ方向）のマクロブロックの画素数に換算されたサイズを、それぞれＢｘ、Ｂｙとする。また、比較対象の２つのフレームのうち、先のフレームの画素値（輝度値または特定の色成分の値）をＬ１、後のフレームの画素値をＬ２とする。

一方、評価関数としてＳＳＤを用いる場合、画像上の座標（ｘ，ｙ）における動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））は、以下の式２で表される評価関数Ｐ２（ｘ，ｙ，ｄｘ，ｄｙ）を最小にするｄｘ，ｄｙを求めることによって決定される。

動きベクトル算出部３０２は、式１、２で表されるような評価関数を用いることにより、動きベクトル（ｄｘ（ｘ，ｙ），ｄｙ（ｘ，ｙ））をマクロブロックごとに計算することができる。

ここで、通常の撮影においては、急激に動く被写体（動きベクトルを急激に変化させる被写体）が存在するケースは少ないと想定される。このため、動きベクトルを求める演算の効率を上げるため、動きベクトル算出部３０２は、先に算出した動きベクトルに対応する領域の周辺における探索を重点的に行い、先に算出した動きベクトルに対応する領域から遠方における探索を粗く行なう。ここで「遠方」とは、画像上の座標が離れていることを意味する。画像上の座標が離れている場合には、動きベクトルとその直前に求められた動きベクトルとの間の方向が同一で大きさが異なっている場合の他、これらの方向が異なる場合も含まれる。

図４Ａ、４Ｂは、このような観点に基づく動きベクトルを算出する処理の例を説明するための図である。まず、図４Ａに示すフレームにおける１つのマクロブロック４０に着目する。直前のフレームにおけるマクロブロック４０の位置の部分画像をテンプレートとして、探索範囲４１の内部を探索した結果、領域４２の部分画像がテンプレートに最も近いと判定されたとする。この場合、ブロック４０の中心座標から領域４２の中心座標までを結ぶベクトル４４が、マクロブロック４０の位置における動きベクトルとして算出される。

続いて、動きベクトル算出部３０２は、さらに次のフレームとの間の動きベクトルを求める。動きベクトル算出部３０２は、上記と同様、先のフレームのマクロブロック４０の位置の部分画像をテンプレートとして、探索範囲４１の内部を探索する。この際、前回求めた動きベクトル４４に対応する領域４２の周辺ほど精細に探索し、領域４２から離れるほど粗く探索する。言い換えれば、当該ブロックにおける前回の動きベクトル４４が示す点（領域４２の中心）から第１の距離にある領域を、第１の距離よりも長い第２の距離にある領域よりも精細に探索する。例えば、図４Ｂに示すように、領域４２の周辺の第１領域４６内では１画素ずつ移動しながらマッチングを行い、第１領域４６の外部かつ第２領域４８の内部では２画素ずつ移動しながらマッチングを行い、第２領域４８の外部かつ探索範囲４１の内部では４画素ずつ移動しながらマッチングを行う、といった制御が行われる。このような制御により、動きベクトル演算の効率を上げることができるため、全体の処理の高速化が図られる。なお、図４Ｂに示す例では、３種類の異なる精細度が設定されているが、２段階または４段階以上の精細度が設定されていてもよい。

動きベクトル算出部３０２は、画像入力部３３０から取得した時間的に連続した複数のフレーム画像と、処理対処のフレームを構成するマクロブロックのそれぞれについて算出した動きベクトルとを、動き補償補間画像生成部３０３に送る。動きベクトル算出部３０２は、また、マクロブロックのそれぞれについて算出した動きベクトルを動きベクトル差分検出部３０８に送る。

動き補償補間画像生成部３０３は、時間的に連続した複数フレーム画像の一方から、動きベクトルによって定まる中間の位置へと、当該動きベクトルを算出した際に処理対象としたマクロブロックが示す画像の部分をシフトさせる。すなわち、当該マクロブロックの動きベクトルが（ｄｘ，ｄｙ）で表される場合、このマクロブロックが示す画像の部分を、（ｄｘ／２，ｄｙ／２）だけシフトさせる。以下、この処理を「動き補償補間」と呼ぶ。動き補償補間画像生成部３０３は、フレームを構成するそれぞれのマクロブロックについて、同様の動き補償補間を行なうことにより、時間的に連続する複数のフレーム画像間に挿入する補間フレーム画像（動き補償補間フレーム）を生成することができる。動き補償補間画像生成部３０３は、生成した動き補償補間フレーム画像を合成部３０６に送る。なお、動き補償補間フレーム画像は、動きベクトルに基づいて生成される連続する２つのフレームの過渡状態を示すフレームであれば、必ずしも中間状態のフレームである必要はない。例えば、連続する２つのフレームの間に２枚以上の補間フレームを挿入する場合、動き補償補間フレーム画像は、中間状態よりもいずれか一方のフレームに近い状態を示す。

図５は、動き補償補間画像生成部３０３の処理のイメージを示す図である。図５（ａ）〜（ｃ）は、それぞれ第１のフレーム、動き補償補間フレーム、第２のフレームの例を示している。図５（ｂ）、（ｃ）には、第１および第２のフレームの間で動きが検出されたマクロブロック（点線）が描かれている。この例では、点線で表されているマクロブロック以外では動きが検出されていない。動きベクトル算出部３０２は、図５（ｃ）において点線で表されているいくつかのマクロブロックについて、動きベクトル４０を算出する。なお、図５（ｃ）では左上の１つのマクロブロックに対応する動きベクトル４０のみが例示されている。動き補償補間画像生成部３０３は、図５（ｂ）に示すように、動きが検出された各マクロブロックを、対応する動きベクトル４０の半分の長さのベクトル４４の分だけ第１のフレームの位置から移動させる。このようにして、図５（ｂ）に示す動き補償補間フレームが生成される。

一方、加算平均補間画像生成部３０７は、画像入力部３００から、時間的に連続した複数のフレームを取得する。そして、加算平均補間画像生成部３０７は、挿入予定の補間フレームを挟むフレームであって、時間的に連続した２つのフレームを、画素ごとに加算平均する。これにより、加算平均補間画像生成部３０７は、加算平均補間フレーム画像を生成する。加算平均補間画像生成部３０７は、生成した加算平均補間フレーム画像を合成部３０６に送る。

動きベクトル差分検出部３０８は、動きベクトル算出部３０２から取得した動きベクトルの差分を、順次検出する。図６は、デジタルビデオカメラ１００が算出した特定のマクロブロックにおける時間的に連続する動きベクトルの間の差分を説明するための図である。図６において、フレームＡからフレームＥは、時間的に連続したオリジナルフレーム画像を示している。図６に示す例では、動きベクトル算出部３０２は、フレームＡおよびフレームＢに基づいて動きベクトルＡＢを算出し、動きベクトル差分検出部３０８に送る。続いて、動きベクトル算出部３０２は、フレームＢおよびフレームＣに基づいて演算した動きベクトルＢＣを、動きベクトル差分検出部３０８に送る。以下同様に、動きベクトル算出部３０２は、動きベクトルＣＤおよび動きベクトルＤＥを、動きベクトル差分検出部３０８に順次送る。本実施形態では、動きベクトルは、マクロブロックごとに算出されるが、図６では簡単のため、１つのマクロブロックについての動きベクトルのみを表している。

動きベクトル差分検出部３０８は、動きベクトル算出部３０２から順次送られてくる動きベクトルの差分を検出する。図６に示す例では、動きベクトル差分検出部３０８は、動きベクトルＡＢと動きベクトルＢＣとの差分ベクトルの大きさ（以下、「差分値」と呼ぶことがある。）｜ＢＣ−ＡＢ｜を検出する。続いて、動きベクトル差分検出部３０８は、動きベクトルＢＣと動きベクトルＣＤとの差分値｜ＣＤ−ＢＣ｜を検出する。同様に、動きベクトルＣＤと動きベクトルＤＥとの差分値｜ＤＥ−ＣＤ｜を検出する。動きベクトル差分検出部３０８は、検出した動きベクトルの差分値を、順次合成部３０６に送る。なお、差分ベクトルについても、フレーム内のマクロブロックごとに算出されるが、図６では、簡単のため、１つのマクロブロックについての差分ベクトルのみを表している。

合成部３０６は、ステップＳ３０４において、動きベクトル差分検出部３０８から通知された連続する２つの動きベクトル間の差分ベクトルの差分ベクトルの大きさ（差分値）と、所定の基準値（閾値）とを比較する。合成部３０６は、この比較結果に基づいて、フレーム画像間に挿入する補間フレーム画像を生成する。ここで、動き補償補間フレームをＦ１、加算平均補間フレームをＦ２とし、それぞれの係数をα（０＜α＜１）、β（＝１−α）とする。最終的に採用する補間フレームＦは、次式に従って生成される。
Ｆ ＝ αＦ１ ＋ βＦ２ （式３）
ここで、式３の演算は画素ごとに行われる。

動きベクトルの差分値が、所定の基準値（閾値）以下である場合、動きが急激に変化する被写体が存在する可能性が低いと考えられる。図４Ｂに示すように、動きベクトル算出部３０２は、先の２つのフレーム間で算出した動きベクトルに対応する領域の周辺を重点的に探索して次の動きベクトルを算出する。このため、動きベクトルの差分値が小さいということは、動きベクトルを高い精度で算出することができたことを意味する。従って、合成部３０６は、動きベクトルの差分値が閾値以下である場合、動きが急激に変化する被写体の存在に起因する動きベクトルの誤検出の可能性が低いため、動き補償補間フレーム画像を、フレーム画像間に挿入する補間フレーム画像として採用する。

一方、動きベクトルの差分値が、所定の基準値（閾値）よりも大きい場合、動きが急激に変化する被写体が存在している可能性が高いと考えられる。図４Ｂに示すように、動きベクトル算出部３０２は、先の２つのフレーム間で算出した動きベクトルに対応する領域の周辺を重点的に探索し、遠方については粗く探索して次の動きベクトルを算出する。このため、動きベクトルの差分値が大きいということは、算出された動きベクトルの精度が高くないことを意味する。従って、合成部３０６は、動きベクトルの差分値が閾値よりも大きい場合、動きが急激に変化する被写体の存在に起因する動きベクトルの誤検出の可能性が高いため、精度の低い動きベクトルに基づいて作成した動き補償補間フレーム画像ではなく、動きベクトルの誤検出の影響のない加算平均補間フレーム画像の比率を高めていく。

図７は、あるマクロブロックにおける動きベクトルの差分の例を示す図である。図７（ａ）〜（ｃ）は、連続する第１のフレーム、第２のフレーム、および第３のフレームをそれぞれ示している。ここでは、図７（ａ）に示す第１のフレームにおいてマクロブロック５０の位置にある被写体の部分は、図７（ｂ）に示す第２のフレームでは領域５１の位置に移動する場合を想定する。このとき、第２のフレームにおけるマクロブロック５０の中心と領域５１の中心とを結ぶベクトル５５が、この位置における第１および第２のフレーム間の動きベクトルとして算出される。

また、図７（ｂ）に示す第２のフレームにおけるマクロブロック５０の位置にある被写体の部分は、図７（ｃ）に示す第３のフレームでは領域５２の位置に移動するものとする。このとき、マクロブロック５０の中心と領域５２の中心とを結ぶベクトル５６が、この位置における第２および第３のフレーム間の動きベクトルとして算出される。

ここで、図７（ｃ）に示す動きベクトル５５と動きベクトル５６との間の差分ベクトル５９を考える。差分ベクトル５９は、ブロック５１の中心とブロック５２の中心とを結ぶベクトルであり、これらの２つの動きベクトルの変化を表している。マクロブロック５０の位置の被写体の動きの変化が大きいほど、差分ベクトル５９の大きさ（絶対値）は大きくなる。

差分ベクトル５９が大きいということは、領域５２が領域５１から大きく離れていることを意味する。上述のとおり、ブロックマッチングの際、直前の動きベクトル５５に対応する領域５１の周辺ほど精細に探索され、領域５１から離れるほど粗く探索される。したがって、差分ベクトル５９が大きいということは、動きベクトル５６が粗い探索によって得られたベクトルであることを意味する。すなわち、差分ベクトル５９が大きいほど動きベクトル５６の精度は低いと言える。

精度の低い動きベクトル５６に基づいて生成された補間フレームは、本来生成すべき補間フレームとは乖離したフレームである可能性が高い。そのため、本実施形態における補間フレーム生成部３１０は、差分ベクトル５９の大きさが所定の閾値よりもよりも大きい場合、動きベクトル５６の依存度の低いフレームを補間フレームとして生成する。

図８は、動きベクトルの差分に対応する補間フレームの合成比率を説明するための図である、図８に示すように、動きベクトルの差分値が所定の基準値（閾値）を超えるまでは、動きベクトルの誤検出の可能性が低いため、より画質の高い動き補償補間フレーム画像を、フレーム画像間に内挿する画像として採用する。一方、動きベクトルの差分値が所定の基準値を越えると、動きベクトルの誤検出の可能性が高まっていくため、動き補償補間フレーム画像の合成比率αを除々に減らしていく。一方で、動きベクトルの誤検出の影響のない加算平均補間フレーム画像の比率β（＝１−α）を増やしていく。これにより、撮影により取得されたフレームの画像中に動きが急激に変化する被写体が含まれていても、より適切に補間フレームを作成することができる。

本実施形態における所定の閾値は、デジタルビデオカメラ１００に要求される性能に応じて適当な値に設定される。例えば、図４Ｂに示すようにブロックマッチングの精度を直前の動きベクトルに対応する領域からの距離に応じて段階的に変化させる例では、領域４２の中心から第１領域４６の外周までの距離、または領域４２の中心から第２領域４８の外周までの距離が閾値として設定され得る。

合成部３０６は、生成した補間フレーム画像を画像出力部３０４へと送る。画像出力部３０４は、生成された補間フレーム画像を対応する２つの連続するフレーム画像間に配置して挿入する。これにより、画像処理部１６０は、フレームレートが変更された動画像を出力することができる。

［１−４．効果等］
以上のように、本実施の形態においては、連続する２つの動きベクトル間の差分ベクトルの大きさに基づいて、連続する２つのフレーム画像間に挿入する補間フレーム画像を作成する。これにより、被写体の動きに起因する動きベクトルの誤検出の可能性を考慮したより適切な補間フレーム画像を作成することができる。従って、フレームレートを高く変更したとしても、より画質のよい動画像を表示モニタに表示させることができる。

また、補間フレーム生成部３１０は、差分ベクトルの大きさが予め定められた閾値以下である場合には、動きベクトルに基づいて定まる第１および第２のフレームの過渡状態を示すフレーム（動き補償補間フレーム）を補間フレームとして生成し、それ以外の場合には、過渡状態を示すフレームよりも動きベクトルの依存度の低いフレーム（合成フレームまたは加算平均補間フレーム）を補間フレームとして生成する。これにより、動きベクトルの誤検出の可能性が高い場合に、品質の低い動画像を生成することを回避することができる。

また、補間フレーム生成部３１０は、上記の閾値よりも差分ベクトルの大きさの方が大きい場合には、第１および第２のフレームの加算平均を含む処理によって得られるフレームを補間フレームとして生成する。これにより、動きベクトルの誤検出の可能性が高い場合に、不適切な補間フレームが生成されることを回避することができる。

より具体的には、補間フレーム生成部３１０は、上記の閾値よりも差分ベクトルの方が大きい場合には、動き補償補間フレームと、加算平均補間フレームとの合成フレームを補間フレームとして生成する。さらに、動き補償補間フレームと加算平均補間フレームとの合成比率を差分ベクトルの大きさに応じて変える。これにより、閾値を境に補間フレームの内容が急激に変わることによる不自然な動画像の生成が回避され、より自然な補間フレームを生成し得る。

また、動きベクトル算出部３０２は、連続する第１および第２のフレームを複数の部分（例えばマクロブロック）に分割し、分割した部分ごとに第１および第２のフレーム間でマッチングを行うことによって当該部分ごとに動きベクトルを算出する。また、補間フレーム生成部３１０は、当該部分ごとに算出された動きベクトルに基づいて、補間フレームを生成する。これにより、フレームの部分ごとに被写体の動きを反映した補間処理が可能となり、より適切な補間フレームを生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施形態では、合成部３０６は、図８に示すように、差分ベクトルの大きさが所定の閾値以下であるときにはα＝１に設定し、当該閾値を超えると、差分ベクトルの大きさに対してαを線形的に減少させるが、このような例に限定されない。差分ベクトルの大きさに対するαの減少のさせ方は、曲線状であってもよい。

また、上記の実施形態では、１つの閾値が設定されるが、２つ以上の閾値が設定されていてもよい。例えば、合成部３０６は、図９に示すように、差分ベクトルの大きさが第１の閾値以下のときにはα＝１に設定し、第２の閾値以上のときはα＝０に設定し、第１の閾値から第２の閾値までの値のときにはαを０〜１の間の値に設定してもよい。この場合、例えば図４Ｂにおける領域４２の中心から第１領域４６の外周までの距離を第１の閾値に設定し、領域４２の中心から第２領域４８の外周までの距離を第２の閾値に設定することができる。これにより、より柔軟に補間フレームを生成することができる。

また、所定の閾値よりも差分ベクトルの大きさの方が大きい場合に採用される補間フレームは、動き補償補間フレームと加算平均補間フレームとの合成フレームに限らず、動き補償補間フレームよりも動きベクトルの依存度の低いフレームであればどのようなフレームであってもよい。例えば、加算平均補間フレーム自体や、第１のフレームまたは第２のフレーム自体を補間フレームとして利用してもよい。後者の場合、図２における加算平均補間画像生成部３０７は設けられている必要はない。

上記の実施形態では、差分ベクトルの大きさを所定の閾値と比較して、比較結果に応じて補間フレームの生成方法を変える例を示したが、所定の閾値を設けることは必須ではない。差分ベクトルの大きさに応じた処理によって適切な補間フレームが生成されるように構成されていればよい。例えば、差分ベクトルの大きさに反比例するように上記の合成比率αが変化するように構成されていてもよい。

また、上記の実施形態では、マクロブロック単位で動きベクトルおよび差分ベクトルが算出されるが、そのような例に限定されない。例えば、複数のマクロブロックを含むエリアごとに動きベクトルの平均と差分ベクトルの平均とを計算し、エリアごとに上述の処理を行ってもよい。エリアごとに処理を行うことにより、計算量を抑えることができる。本明細書では、実施の形態１におけるマクロブロックだけでなく、複数のマクロブロックを包含するエリアについても「ブロック」と呼ぶ。

さらに、実施の形態１における動きベクトル算出部３０２は、図４Ｂに示すように、直前の動きベクトルに対応する領域の周辺ほど重点的に探索することによって動きベクトルを算出するが、このような例に限定されない。例えば被写体の動きのパターンが予め予想できる場合は、その予想される動きにしたがって探索方法を適宜設定することができる。また、直前の動きベクトルからの変化の程度に関わらず探索の精度を一定に設定してもよい。

以上の実施形態では、本開示の技術をデジタルビデオカメラ１００（撮像装置）に適用した例を示した。しかし、本開示の技術は、撮像装置に限らず、例えば上記の画像処理部１６０の機能を有する画像処理装置に適用することもできる。そのような画像処理装置の構成は、例えば図２に示す構成と同様であり、その動作は、例えば図３に示す動作と同様である。当該画像処理装置は、例えばビデオカメラによって生成され、記録媒体に記録された動画像のデータや、電気通信回線によって送信される動画像のデータを事後的に取得し、上述の処理によって補間フレームを挿入して他の動画像のデータとして記録することもできる。

また、本開示の技術はさらに、上述の補間フレーム生成処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図３に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の技術は、デジタルビデオカメラ１００への適用に限定されない。すなわち、デジタルスチルカメラや、カメラ付き情報端末、パーソナルコンピュータ、サーバコンピュータなど、フレームレートが変換可能な画像処理装置に適用可能である。

１００ デジタルビデオカメラ
１１０ 光学系
１２０ レンズ駆動部
１３０ シャッタ
１４０ ＣＭＯＳイメージセンサ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２３０ 内部メモリ
２４０ ジャイロセンサ
３００ 画像入力部
３０２ 動きベクトル算出部
３０３ 動き補償補間画像生成部
３０４ 画像出力部
３０６ 合成部
３０７ 加算平均補間画像生成部
３０８ 動きベクトル差分検出部
３１０ 補間フレーム生成部

Claims (10)

1. 動画像中の連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置であって、
   前記動画像中の連続する第１のフレーム、第２のフレーム、および第３のフレームのうち、前記第１および第２のフレームの間でマッチングを行うことによって第１の動きベクトルを算出し、前記第２および第３のフレームの間でマッチングを行うことによって第２の動きベクトルを算出する動きベクトル算出部と、
   前記第１の動きベクトルおよび前記第２の動きベクトルの間の差分ベクトルの大きさに応じた処理により、前記第２のフレームおよび前記第３のフレームの間に挿入する補間フレームを生成する補間フレーム生成部と、
   を備える画像処理装置。
2. 前記補間フレーム生成部は、前記差分ベクトルの大きさが予め定められた閾値以下である場合には、前記第２の動きベクトルに基づいて定まる前記第２および第３のフレームの過渡状態を示すフレームを前記補間フレームとして生成し、それ以外の場合には、前記過渡状態を示すフレームよりも前記第２の動きベクトルの依存度の低いフレームを前記補間フレームとして生成する、請求項１に記載の画像処理装置。
3. 前記補間フレーム生成部は、前記差分ベクトルの大きさが前記閾値よりも大きい場合には、前記第２および第３のフレームの加算平均を含む処理によって得られるフレームを前記補間フレームとして生成する、請求項２に記載の画像処理装置。
4. 前記補間フレーム生成部は、前記差分ベクトルの大きさが前記閾値よりも大きい場合には、前記過渡状態を示すフレームと、前記第２および第３のフレームの加算平均によって得られるフレームとの合成フレームを前記補間フレームとして生成する、請求項２に記載の画像処理装置。
5. 前記補間フレーム生成部は、前記過渡状態を示すフレームと、前記第２および第３のフレームの加算平均によって得られるフレームとを、前記前記差分ベクトルの大きさに応じて異なる比率で合成することにより、前記合成フレームを生成する、請求項４に記載の画像処理装置。
6. 前記補間フレーム生成部は、前記差分ベクトルの大きさが前記閾値よりも大きい場合には、前記第２のフレームまたは前記第３のフレームを前記補間フレームとする、請求項２に記載の画像処理装置。
7. 前記動きベクトル算出部は、前記第１のフレームを複数のブロックに分割し、分割したブロックごとに前記第２のフレームにおいて対応する領域を探索することによって前記第１の動きベクトルを算出し、前記第２のフレームを複数のブロックに分割し、分割したブロックごとに前記第３のフレームにおいて対応する領域を探索することによって前記第２の動きベクトルを算出し、
   前記補間フレーム生成部は、前記第２のフレームにおけるブロックごとに算出された前記第２の動きベクトルに基づいて、前記補間フレームを生成する、
   請求項１から６のいずれかに記載の画像処理装置。
8. 前記動きベクトル算出部は、前記第２の動きベクトルを算出するために前記第３のフレームにおいて前記第２のフレーム内のブロックに対応する領域を探索する際、前記ブロックにおける前記第１の動きベクトルが示す点から第１の距離にある領域を、前記第１の距離よりも長い第２の距離にある領域よりも精細に探索する、請求項７に記載の画像処理装置。
9. 請求項１から８のいずれかに記載の画像処理装置と、
   撮像によって前記第１から第３のフレームを含む動画像のデータを生成する撮像部と、
   を備える撮像装置。
10. 撮像装置によって取得された動画像中の連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置に用いられるコンピュータプログラムであって、前記画像処理装置に搭載されたコンピュータに、
    前記動画像中の連続する第１のフレーム、第２のフレーム、および第３のフレームのうち、前記第１および第２のフレームの間でマッチングを行うことによって第１の動きベクトルを算出し、前記第２および第３のフレームの間でマッチングを行うことによって第２の動きベクトルを算出するステップと、
    前記第１の動きベクトルおよび前記第２の動きベクトルの間の差分ベクトルの大きさに応じた処理により、前記第２のフレームおよび前記第３のフレームの間に挿入する補間フレームを生成するステップと、
    を実行させるコンピュータプログラム。

Images