JP2012034198A - フレーム補間装置 - Google Patents

Abstract

【課題】フレーム補間を行う際に発生し得る映像品質の低下を抑制する。
【解決手段】フレーム補間装置１００は、動画像の各フレームの後続にｎ（ｎは自然数）枚のコピーフレームを追加し、フレーム数を増加させて出力する画像生成装置３００から、動画像の供給を受ける。フレーム補間装置１００のフレーム取得部２０は、動画像から（ｎ＋１）枚に１枚の周期でフレームをサンプリングする。補間フレーム生成部３０は、フレーム取得部２０によりサンプリングされたフレーム間の補間フレームを生成する。同一性判定部は、動画像の連続するフレームの同一性を判定する。サンプリングポイント変更部は、同一性判定部により同一と判定されたフレームが（ｎ＋１）枚より少なくまたは多く連続し、かつ一定の条件を満たすとき、周期を固定したまま、そのサンプリングポイントを移動させる。
【選択図】図２

Description

本発明は、原フレーム間の補間フレームを生成し、原フレーム間に挿入するフレーム補間装置に関する。

近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速して、１２０Ｈｚの動画像に変換して表示する技術も実用化されている。

日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。一般的なワンセグデコーダではフレーム周波数６０Ｈｚで映像出力されるため、基本的に４フレーム同じ映像が出力される。この場合、上記フレーム補間技術を用いて動画像のコマ数を増やすためのフレーム補間装置は、上記ワンセグデコーダの後段に接続される。

このようなフレーム補間装置において、フレームの連続数を常時カウントし、フレームの連続数の変化を検出し、検出した結果が４枚連続ではないときに、補間処理を停止したり、サンプリングフレームをずらしたりする技術が提案されている（たとえば、特許文献１参照）。

特開２００９−２３９３３５号公報

しかしながら、上述した技術では、入力されるフレームの連続数の変化が発生する度に、サンプリングフレームを変更することになるため、サンプリングレートが可変になる。連続フレームの検出精度が悪く、連続フレームの枚数を誤検出した場合（たとえば、入力映像には変化点があるが、検出結果には変化点がないと判定した場合）、映像がサンプリングされないことになる。その間、入力映像が出力映像に反映されないケースも発生し得る。

また、フレーム補間装置に入力される映像にはワンセグ放送の映像だけではなく、ワンセグデコーダにより、時計表示のＯＳＤ(On Screen Display)やタッチパネル形式のＯＳＤメニューなどが重畳されてくる場合もある。フレームの連続数をカウントした結果、そのＯＳＤの影響により、たとえば、連続枚数が１枚、２枚、３枚と判定されるケースも発生し得る。このケースにてサンプリングレート可変でサンプリングポイントをずらすと、パイプライン処理されているフレーム補間の演算処理にて、バンド幅の大きい処理が重なるケースが発生し、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）のバンド幅のピーク上昇がしてしまう可能性もある。

本発明はこうした状況に鑑みなされたものであり、その目的は、フレーム補間を行う際に発生し得る映像品質の低下を抑制する技術を提供することにある。

本発明のある態様のフレーム補間装置は、動画像の各フレームの後続にｎ（ｎは自然数）枚のコピーフレームを追加し、フレーム数を増加させて出力する画像生成装置から、動画像の供給を受けるフレーム補間装置であって、動画像から（ｎ＋１）枚に１枚の周期でフレームをサンプリングするフレーム取得部と、フレーム取得部によりサンプリングされたフレーム間の補間フレームを生成する補間フレーム生成部と、動画像の連続するフレームの同一性を判定する同一性判定部と、同一性判定部により同一と判定されたフレームが（ｎ＋１）枚より少なくまたは多く連続し、かつ一定の条件を満たすとき、周期を固定したまま、そのサンプリングポイントを移動させるサンプリングポイント変更部と、を備える。

本発明の別の態様は、表示装置である。この装置は、上述したフレーム補間装置と、フレーム補間装置により倍速変換された動画像を表示する表示部と、を備える。

本発明によれば、フレーム補間を行う際に発生し得る映像品質の低下を抑制することができる。

実施の形態に係る表示装置の機能構成を示す図である。 本発明の実施の形態に係るフレーム補間装置の構成を示す図である。 補間フレームの生成原理（２倍速変換）を示す図である。 実施の形態に係るフレーム補間装置の基本動作を示すタイミングチャートである。 本実施の形態に係る、３枚連続および／または５枚連続入力対策を備える制御部の構成を示す図である。 実施の形態に係るフレーム補間装置の、５枚連続入力対策が施された動作例を示すタイミングチャートである。 実施の形態に係るフレーム補間装置の、３枚連続入力対策が施された動作例を示すタイミングチャートである。 図８（ａ）〜（ｄ）は、画像生成装置から供給を受ける動画像に、３枚連続入力、４枚連続入力および５枚連続入力が周期的に含まれる例を示す図で、５枚連続入力対策前の図である。 図９（ａ）〜（ｄ）は、画像生成装置から供給を受ける動画像に、３枚連続入力、４枚連続入力および５枚連続入力が周期的に含まれる例を示す図で、５枚連続入力対策後の図である。 実施の形態に係る画像生成装置が生成したＯＳＤ領域を含むフレームを示す図である。

図１は、実施の形態に係る表示装置５００の機能構成を示す図である。表示装置５００は、ワンセグ放送などのテレビ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、スマートフォン、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。表示装置５００は、テレビ放送を受信するものに限らず、動画像を表示再生する機器であってもよい。

表示装置５００は、アンテナ２００、画像生成装置３００、フレーム補間装置１００および表示部４００を備える。画像生成装置３００は、受信した信号を復号して動画像を出力する。その際、受信した信号を復号して得られる動画像の各フレームの後続にｎ（ｎは自然数）枚のコピーフレームを追加し、フレーム数を増加させて出力する。ワンセグ放送を受信する例では、各フレームの後続に３枚のコピーフレームを追加し、フレーム数を４倍に増加させる。

画像生成装置３００は、受信部３１０、復号部３２０、複写部３３０、重畳部３４０および制御部３５０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームを複写部３３０に出力する。

複写部３３０は、復号部３２０から入力されるフレームを単純に複写し、重畳部３４０に出力する。上述したようにワンセグ放送では、１５Ｈｚで映像が送信されてくる。複写部は３３０はこの毎秒１５フレームの映像を毎秒６０フレームの映像に変換する。これにより、６０Ｈｚ駆動の表示部（表示パネル）４００で映像を表示させることができる。なお、復号されたフレームが重畳部３４０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、省略して描いている。

重畳部３４０は、複写部３３０から受け取る動画像の画面にＯＳＤを重畳する。ＯＳＤは、文字（数字を含む）、記号などで表現され、たとえば、チャンネル情報、音量情報、日付情報、時刻情報、電波状況情報、電池残量情報などが該当する。また、タッチパネル入力における操作画面なども該当する。なお、重畳部３４０はＯＳＤ領域を画面内に複数箇所、設定してもよい。ＯＳＤは、送信局ではなく受信機側により事後的に各フレームに付加される情報である。なお、ＯＳＤが重畳表示される画面位置は予め定められており、画像生成装置３００はＯＳＤの種類に応じたＯＳＤ領域の位置情報を保持する。

制御部３５０は、ＯＳＤを画面に重畳するために、ＯＳＤを重畳部３４０に設定する。制御部３５０は、受信部３１０、復号部３２０および複写部３３０の動作制御も行う。

フレーム補間装置１００は、画像生成装置３００から動画像の供給を受ける。フレーム補間装置１００は、受け取った動画像を倍速変換して映像品質を向上させる。以下、本明細書では２倍速変換する例を説明する。表示部４００は、フレーム補間装置１００により倍速変換された動画像を表示する。

図２は、本発明の実施の形態に係るフレーム補間装置１００の構成を示す図である。当該フレーム補間装置１００は、記憶部１０、フレーム取得部２０、補間フレーム生成部３０、フレーム出力部４０および制御部５０を備える。フレーム取得部２０、補間フレーム生成部３０およびフレーム出力部４０は、並列的に動作することによりパイプライン処理を実行する。

記憶部１０は、ＳＤＲＡＭで構成することが可能である。なお、記憶部１０はフレーム補間装置１００の外に設けられてもよい。フレーム取得部２０、補間フレーム生成部３０およびフレーム出力部４０のそれぞれは、各種の演算器やレジスタを組み合わせたロジック回路で構成することが可能である。当該ロジック回路は、ＳＲＡＭ（Static Random Access Memory）などで構築されたワーク領域を含む。制御部５０は、ロジック回路またはＤＳＰ（Digital Signal Processor）で構成することが可能である。

記憶部１０は、フレームを一時記憶する。より具体的には、外部から入力される原フレームおよび補間フレーム生成部３０により生成される補間フレームを記憶する。また、記憶部１０は、補間フレーム生成の演算途中で発生する中間的なデータ（たとえば、動きベクトル）も記憶する。

フレーム取得部２０は、外部から入力される動画像を構成するフレームを記憶部１０に書き込む。より具体的には、フレーム取得部２０は、画像生成装置３００から入力される動画像から（ｎ＋１）枚に１枚の周期（本実施の形態では４枚に１枚の周期）でフレームをサンプリングする。

本実施の形態では、フレーム取得部２０に入力されるフレームデータは、三原色（Ｒ、Ｇ、Ｂ）信号で規定されていることを前提とする。フレーム取得部２０は、ＲＧＢ／ＹＣ変換回路２１を含む。ＲＧＢ／ＹＣ変換回路２１は、入力される三原色（Ｒ、Ｇ、Ｂ）信号を、輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換して、記憶部１０に書き込む。その際、データ量を圧縮することができる。たとえば、４：４：４の三原色（Ｒ、Ｇ、Ｂ）信号を、４：２：２の輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換してもよい。

以下、輝度（Ｙ）信号を単にＹ信号と表記し、二つの色差（Ｃｂ、Ｃｒ）信号をまとめて、Ｃ信号と表記する。また、原フレームのＹ信号およびＣ信号をそれぞれ、原Ｙ信号および原Ｃ信号と表記し、補間フレームのＹ信号およびＣ信号をそれぞれ、補間Ｙ信号および補間Ｃ信号と表記する。

本実施の形態では、ＲＧＢ／ＹＣ変換回路２１は、ブロックマッチング用のＹ信号を生成して、記憶部１０に書き込む。たとえば、１画素未満の画素精度（たとえば、１／２画素精度、１／４画素精度）の信号を補間した、解像度が増大されたＹ信号を生成する。このＹ信号を用いれば、１画素未満の画素精度での動き補償が可能となり、より精度の高い動きベクトルの検出が可能となる。なお、１画素未満の画素精度の信号は、６タップＦＩＲフィルタなどを用いたフィルタ処理により生成することができる。

補間フレーム生成部３０は、フレーム取得部２０によりサンプリングされたフレーム間の補間フレームを生成する。より具体的には、補間フレーム生成部３０は、記憶部１０から複数の原フレームを読み出し、それらフレーム間の補間フレームを生成し、記憶部１０に書き込む。本実施の形態では、補間フレーム生成部３０は記憶部１０から２枚の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、その補間フレームを記憶部１０に書き込む。補間フレーム生成部３０は、動きベクトル検出部３１および補間フレーム算出部３５を含む。

動きベクトル検出部３１は、２枚の原フレーム間で、ブロック単位または画素単位の動きベクトルを検出する。本実施の形態では、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。

動きベクトル検出部３１は、第１ブロックマッチング回路３２および第２ブロックマッチング回路３３を含む。第１ブロックマッチング回路３２は、記憶部１０から当該２枚の原フレームとすべき、現フレームのブロックマッチング用Ｙ信号と、その前フレームのブロックマッチング用Ｙ信号を読み出す。第１ブロックマッチング回路３２は、前フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、現フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。

たとえば、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、現フレーム内の最適予測ブロックとする。また、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、現フレーム内の最適予測ブロックとしてもよい。

第１ブロックマッチング回路３２は、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。第１ブロックマッチング回路３２は、これらの演算結果を中間データとして、記憶部１０に書き込む。

第２ブロックマッチング回路３３は、第１ブロックマッチング回路３２により書き込まれた中間データを記憶部１０から読み出し、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、前フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、現フレーム内において探索する。これにより、前フレームと現フレームとの間で、画素単位の動きベクトルを検出することができる。第２ブロックマッチング回路３３は、画素単位の動きベクトルを記憶部１０に書き込む。

補間フレーム算出部３５は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前フレーム内の画素および現フレーム内の画素を合成することにより、当該補間フレーム内の各画素を生成する。以下、図３を参照しながら補間フレーム内の画素の生成方法について説明する。

図３は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、１枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。

補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。

ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。

なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。

図２に戻り、補間フレーム算出部３５は、記憶部１０から、前フレームの原Ｙ信号および原Ｃ信号、現フレームの原Ｙ信号および原Ｃ信号、ならびに前フレームと現フレームとの動きベクトルを読み出す。補間フレーム算出部３５は、上述した手法を用いて、補間フレームを生成し、その補間Ｙ信号および補間Ｃ信号を記憶部１０に書き込む。

フレーム出力部４０は、記憶部１０から、原フレームおよび補間フレームを読み出し、表示順にしたがって外部（本実施の形態では、表示部４００）に出力する。フレーム出力部４０は、ＹＣ／ＲＧＢ変換回路４１を含む。ＹＣ／ＲＧＢ変換回路４１は、記憶部１０から補間Ｙ信号および補間Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、補間フレームとして外部に出力する。また、ＹＣ／ＲＧＢ変換回路４１は、記憶部１０から原Ｙ信号およ原Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、原フレームとして外部に出力する。

制御部５０は、フレーム補間装置１００全体を統括的に制御する。制御部５０の本実施の形態に係る詳細な構成および動作は後述する。

以下、実施の形態に係るフレーム補間装置１００の基本動作を説明する。フレーム取得部２０、補間フレーム生成部３０およびフレーム出力部４０は、フレーム取得部２０に処理対象とすべきフレームが入力される周期より短い周期で動作する。ここで、処理対象とすべきフレームとは、破棄されずに、表示用および補間フレーム生成の参照用に実際に使用されるフレームを指す。以下、フレーム取得部２０に１５Ｈｚの周期でフレームが入力され、フレーム取得部２０、第１ブロックマッチング回路３２、第２ブロックマッチング回路３３、補間フレーム算出部３５およびフレーム出力部４０がそれぞれ６０Ｈｚの周期で動作する例を説明する。

本実施の形態では、フレーム取得部２０による記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０による記憶部１０への補間フレームの書き込みタイミングとがずれるよう、フレーム取得部２０および補間フレーム生成部３０の動作タイミングが設定される。以下、図４を参照して、フレーム取得部２０、補間フレーム生成部３０およびフレーム出力部４０の具体的な動作タイミングについて説明する。

補間フレーム生成部３０は、対象フレームがフレーム取得部２０に入力され記憶部１０へ書き込まれる上記対象フレームの入力期間の終了から、次のフレームの入力期間の開始までの間に、補間フレーム生成処理を終了する。当該補間フレーム生成処理とは、当該対象フレームを少なくとも記憶部１０から読み出し、その対象フレームを少なくとも参照して補間フレームを生成し、およびそれを記憶部１０に書き込む処理である。当該補間フレームは、当該対象フレームより前に挿入されるべき補間フレームである。補間フレーム生成部３０は、当該対象フレームとその１つ前のフレームを参照して当該補間フレームを生成してもよいし、当該対象フレームとその２つ以上前のフレームを参照して当該補間フレームを生成してもよいし、当該対象フレームとそれより前の複数のフレームを参照して当該補間フレームを生成してもよい。

図４は、実施の形態に係るフレーム補間装置１００の基本動作を示すタイミングチャートである。ここでは、ワンセグ放送により１５Ｈｚの周波数で受信されるフレームが、画像生成装置３００の複写部３３０による単純な複写処理によりフレーム数が４倍に増加された後、その増加されたフレームがフレーム補間装置１００に入力される例を示している。

図４では、同じフレームＡが４枚続けて入力され、その次に同じフレームＢが４枚続けて入力され、その次に同じフレームＣが４枚続けて入力される。以下、フレームＤ、フレームＥ、・・・と続く。補間フレーム生成部３０は、フレームＡとフレームＢ、フレームＢとフレームＣ、フレームＣとフレームＤ、・・・のそれぞれの間で１枚の補間フレームを生成する。これにより、入力される動画像を２倍速変換する。

フレーム取得部２０は、４枚続けて入力される同じフレームのうち、１枚を残し、３枚を破棄する。ここでは、最初の１枚のフレームを入力処理し、残りの３枚を破棄する。

補間フレーム生成部３０は、対象フレーム（Ａ）がフレーム取得部２０に入力され記憶部１０へ書き込まれる対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始までの間に、記憶部１０から対象フレーム（Ａ）とその前フレーム（ｘ）を読み出し、両フレーム間の補間フレーム（ｘＡ）を生成し、およびそれを記憶部１０へ書き込む処理を終了する。すなわち、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１（ｘＡ））、第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２（ｘＡ））および補間フレーム算出部３５による算出期間（補間Ｆ算出（ｘＡ））が、対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始までの間に、収まるよう設定される。

フレーム出力部４０は、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始から、さらにその次のフレーム（Ｃ）の入力期間（原Ｆ入力（Ｃ））の開始までの間に、補間フレーム（ｘＡ）および対象フレーム（Ａ）の順に記憶部１０から読み出して、外部に出力する。ここでは、先に、同じ補間フレーム（ｘＡ）を２枚出力し、後に、同じ対象フレーム（Ａ）を２枚出力する。

フレーム出力部４０による補間フレーム（ｘＡ）および対象フレーム（Ａ）の出力期間（補間Ｆ出力（ｘＡ）、補間Ｆ出力（ｘＡ）、原Ｆ出力（Ａ）、原Ｆ出力（Ａ））と並行して、フレーム取得部２０による次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１（ＡＢ））、第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２（ＡＢ））および補間フレーム算出部３５による算出期間（補間Ｆ算出（ＡＢ））が設定される。これにより、パイプライン処理を実現している。以下、後続のフレームＣ、Ｄ、Ｅ、・・・についても同様に処理される。

当該動作例によれば、補間フレームを生成して原フレーム間に挿入する処理をハードウェア処理で実現する場合にて、リアルタイム性を確保しつつ、メモリの負荷を軽減させることができる。すなわち、フレーム取得部２０、補間フレーム生成部３０およびフレーム出力部４０を並列的に動作させて、パイプライン処理することにより、リアルタイム性を確保することができる。

また、フレーム取得部２０から記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０から記憶部１０への補間フレームの書き込みタイミングとがずれるよう、フレーム取得部２０および補間フレーム生成部３０の動作タイミングを設定することにより、記憶部１０にかかる最大負荷を低減させることができる。

より具体的には、フレーム取得部２０による入力期間（原Ｆ入力）、および補間フレーム算出部３５による算出期間（補間Ｆ算出）では、記憶部１０にアクセスされるデータ量が多くなる。すなわち、フレーム取得部２０から記憶部１０への原フレームの書き込みは、Ｙ信号とＣ信号の両方を書き込む必要がある。また、補間フレーム算出部３５と記憶部１０との間では、記憶部１０から前フレームと現フレームそれぞれのＹ信号およびＣ信号、ならびに前フレームと現フレームとの動きベクトルを、補間フレーム算出部３５に読み出す必要がある。また、並行して、補間フレーム算出部３５から補間フレームのＹ信号およびＣ信号を記憶部１０に書き込む必要がある。

この点、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１）、および第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２）では、記憶部１０にアクセスされるデータ量は比較的少ない。第１ブロックマッチング回路３２と記憶部１０、および第２ブロックマッチング回路３３と記憶部１０とのそれぞれの間で転送される信号は、Ｙ信号または動きベクトルであり、Ｃ信号は転送されないためである。

したがって、フレーム取得部２０による入力期間（原Ｆ入力）と、補間フレーム算出部３５による算出期間（補間Ｆ算出）とが同期間にスケジュールされないように設定することにより、記憶部１０にアクセスされるデータ量の増大を抑制することができる。図４に示した動作例では、当該入力期間（原Ｆ入力）と当該算出期間（補間Ｆ算出）とがずれるように設定している。また、単位動作期間において、フレーム取得部２０による入力処理、補間フレーム算出部３５による算出処理およびフレーム出力部４０による出力処理がすべて同時に処理されないよう設定している。これにより、フレーム取得部２０、補間フレーム算出部３５およびフレーム出力部４０全体にかかる負荷が平準化される。

ここまで、画像生成装置３００からフレーム補間装置１００に、理想的に同じフレームが４枚連続して入力される例を説明した。しかしながら、現実的には画像生成装置３００側で電波干渉を避けるためにフレーム周波数を意図的に６０Ｈｚからずらすなどの要因により、画像生成装置３００での復号周波数と、画像生成装置３００から出力される映像のフレーム周波数とが完全に４倍の関係にならないケースもある。また、上述した表示装置５００のアプリケーションによっては、受信された動画像をソフトウエア処理を用いて復号しているアプリケーションもある。そのアプリケーションでは、復号処理とそれ以外の負荷が大きい処理とが同時処理されるケースも発生する場合があり、その場合、復号処理が遅延する可能性がある。このように、理想的には４枚連続して入力されるはずのところが、ときどき３枚連続または５枚連続で入力されるケースが発生し得る。

図５は、本実施の形態に係る、３枚連続および／または５枚連続入力対策を備える制御部５０の構成を示す図である。制御部５０は、同一性判定部５２およびサンプリングポイント変更部５４を備える。

同一性判定部５２は、画像生成装置３００から入力される動画像の連続するフレームの同一性を判定する。この同一性判定の具体例は後述する。

サンプリングポイント変更部５４は、同一性判定部５２により同一と判定されたフレームが（ｎ＋１）枚（本実施の形態では４枚）より少なくまたは多く連続しているとき（たとえば、３枚または５枚）、上記周期を固定したまま、そのサンプリングポイントを適応的に移動させる。

（５枚連続入力）
以下、画像生成装置３００から供給を受ける動画像に５枚連続同じフレームが含まれる場合の動作について説明する。サンプリングポイント変更部５４は、同一性判定部５２により同一と判定されたフレームが４枚より多いとき（本動作例では５枚のとき）であって、そのフレームを重複してサンプリングするとき、サンプリングポイントを少なくとも１フレーム、時間的に遅らせる。

図６は、実施の形態に係るフレーム補間装置１００の、５枚連続入力対策が施された動作例を示すタイミングチャートである。図６のタイミングチャートは、図４のタイミングチャートを基礎としている。以下、主に両者の相違点について説明する。なお、入力フレームＡ１、Ａ２、Ａ３、Ａ４はすべて同じフレームである。「」は画像生成装置３００の複写部３３０により複写されたコピーフレームであることを示す。数字は入力順番を示す。フレームＢ以降、および後述する図７の入力フレーム同様である。

また、図６の○が描かれている入力期間（原Ｆ入力）では原フレームのサンプリングが実行され、かつその原フレームが動きベクトルの算出および補間フレームの生成、ならびに表示部４００への出力に用いられる原フレームであることを示す。△が描かれている入力期間（原Ｆ入力）では原フレームのサンプリングが実行されるが、その原フレームが、その次の○が描かれている入力期間（原Ｆ入力）にサンプリングされる原フレームにより上書きされる原フレームであることを示す。

図６にて、フレームＢが５枚連続で入力される。本動作例では、同一性判定部５２は同じフレームが５枚連続するかを検出し、かつ５枚目のフレームがサンプリングポイントのフレームであるときに、次のフレーム期間でフラグ（以下、重複フラグという）を立てる。サンプリングポイント変更部５４はこの重複フラグが立つと、その期間にサンプリングポイントを移動させる。原則的にサンプリング周期は固定であるが、この重複フラグが立ったときは例外的にサンプリング周期を変更する。

フレーム取得部２０はフレームＢ１をサンプリングした後、その４枚後のフレームＢ５をサンプリングするが、どちらもフレームＢである。連続フレームの５枚目が完了した時点で、同じフレーム（ここではフレームＢ）が少なくとも５枚連続したことが判断できるため、これを条件として次のフレームＣ１が重複フラグの候補となる。さらに、このフレームＣ１の前のフレームが、原フレーム入力期間（原Ｆ入力）のサンプリングフレームに位置するので、５枚連続したフレームＢが２回連続してサンプリングされることになる。これを条件として最終的にフレームＣ１の位置に上記重複フラグが立つ。フレーム取得部２０は、当該重複フラグが立つと４枚サンプリング周期に関わらず、その期間のフレームをサンプリングする。ここでは、フレームＣ１をサンプリングする。以下、このサンプリングポイントを開始基準に、４枚サンプリング周期が再開する。

このように、フレーム取得部２０が２回連続して同じフレームをサンプリングした場合、後にサンプリングされた期間の処理は、実質的に無効なものとして処理される。より具体的にはその期間にサンプリングされたフレームＢ５は破棄される。フレーム出力部４０はその期間にフレームＡとフレームＢとの補間フレームＡＢを外部出力するが、この外部出力は有効な出力とカウントされない。すなわち、その期間後、２枚続けて補間フレームＡＢが外部出力される。ユーザは１フレーム分、多く補間フレームＡＢを見ることになるが、視認性にほとんど影響はない。

同じフレームを５枚連続検出しても、サンプリングポイントが重複フラグの立つフレームの前のフレームにない場合、当該重複フラグは立たない。この場合、サンプリングポイントの変更は行われず、サンプリング周期はそれ以前からの繰り返しタイミングが維持される。

（３枚連続入力）
以下、画像生成装置３００から供給を受ける動画像に３枚連続同じフレームが含まれる場合の動作について説明する。サンプリングポイント変更部５４は、同一性判定部５２により同一と判定されたフレームが４枚より少ないとき（本動作例では３枚のとき）であって、そのフレームを一周期内にサンプリングできないとき、サンプリングポイントを少なくとも１フレーム、時間的に進める。その際、サンプリングポイント変更部５４は、フレーム取得部２０による記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０による記憶部１０への補間フレームの書き込みタイミングとがずれるよう、サンプリングポイントを時間的に進めることが好ましい。

図７は、実施の形態に係るフレーム補間装置１００の、３枚連続入力対策が施された動作例を示すタイミングチャートである。図７のタイミングチャートは、図４のタイミングチャートを基礎としている。以下、主に両者の相違点について説明する。図４のタイミングチャートでは４枚連続して入力されるフレームのうち、最初のフレームをサンプリングしたが、図７のタイミングチャートでは４枚目のフレームをサンプリングした例で説明する。さらに、テンポラリフレームとして２枚目のフレームを事前にサンプリングする。より具体的には、第２ブロックマッチング回路３３による第２マッチング処理と並行して、フレーム取得部２０は、テンポラリフレームをサンプリングし、そのテンポラリフレームを記憶部１０または別の一時記憶部に入力する。すなわち、第２マッチング期間（ＢＭ２）と原フレーム（テンポラリフレーム）の入力期間（原Ｆ入力）が同じタイミングに設定される。

なお、図７の○が描かれている入力期間（原Ｆ入力）、および△が描かれている入力期間（原Ｆ入力）は、図６のそれらと同じ意味の入力期間（原Ｆ入力）を指す。×が描いている入力期間（原Ｆ入力）ではサンプリングが実行されない。

図７にて、フレームＣが３枚連続で入力される。本動作例では、同一性判定部５２は同じフレームが３枚連続し、その次のフレームが別のフレームに変化していることを検出し、かつ３枚連続後の次のフレームがサンプリングポイントのフレームであるとき、次のフレームの期間で、フラグ（以下、欠落フラグという）を立てる。サンプリングポイント変更部５４はこの欠落フラグが立つと、欠落フラグの立った次のフレームの期間にサンプリングポイントを移動させる。図７のタイミングチャートでは、サンプリングポイントを２フレーム、時間的に進める。

フレーム取得部２０は、フレームＢ４をサンプリングした後、その４枚後のフレームＤ１をサンプリングする。フレームＣが３枚しか連続していないためである。同一性判定部５２は同一フレームが３枚続き、その次に別のフレームの入力が完了した時点で、連続フレームが３枚で完了したことが判断できるため、これを条件として次のフレームＤ２が欠落フラグの候補となる。さらに、このフレームＤ２の前のフレームＤ１が、原フレーム入力期間（原Ｆ入力）のサンプリングフレームに位置するので、３枚連続したフレームＣは一度もサンプリングされないことになる。これを条件として最終的にフレームＤ２の位置に上記欠落フラグが立つ。フレーム取得部２０は当該欠落フラグが立つと、４枚サンプリング周期に関わらず、その期間の次のフレームＤ３をサンプリングするが、テンポラリフレームとしてのフレームＤ３のサンプリングは実行しない。以下、このサンプリングポイントを開始基準に、４枚サンプリング周期が再開する。

第１ブロックマッチング回路３２は上記欠落フラグが立つと、その直前にサンプリングされたフレームを使用せずに、テンポラリフレームを使用して第１マッチング処理を行う。ここでは、直前にサンプリングされたフレームＤ１を使用せずに、その２単位期間前にサンプリングされたテンポラリフレームＣ２を用いて、フレームＢとフレームＣとの間の第１マッチング処理を行う。それに後続する、第２ブロックマッチング回路３３による第２マッチング処理もフレームＢとフレームＣとの間で実行され、補間フレーム算出部３５による補間フレーム算出処理もフレームＢとフレームＣとの間で実行される。それに後続するフレーム出力部４０による出力処理は、通常と異なり、フレームＢとフレームＣとの間の補間フレームＢＣと、原フレームＣを１枚ずつ外部出力する。ユーザは補間フレームＢＣと原フレームＣを１フレーム分、少なく見ることになるが、視認性にほとんど影響はない。

同じフレームを３枚連続し、その次のフレームが別のフレームに変化していることを検出しても、サンプリングポイントが欠落フラグが立つフレームの前のフレームにない場合、当該重複フラグは立たない。この場合、サンプリングポイントの変更は行われず、サンプリング周期は、その前からの繰り返しタイミングが維持される。

図７のタイミングチャートでは、フレーム取得部２０による記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０による記憶部１０への補間フレームの書き込みタイミングとが重複しない。このように、図７のタイミングチャートではリアルタイム性を確保しつつ、記憶部１０の負荷増大を抑制しながら、３枚連続入力対策が施されている。

（３枚連続入力および５枚連続入力の混在）
図８（ａ）〜（ｄ）は、画像生成装置３００から供給を受ける動画像に、３枚連続入力、４枚連続入力および５枚連続入力が周期的に含まれる例を示す図で、５枚連続入力対策前の図である。図８（ａ）〜（ｄ）のそれぞれにおいて、上段はフレーム補間装置１００への入力フレームを示し、下段はフレーム補間装置１００からの出力フレームを示す。下段の小文字２文字のブロックは補間フレームであることを示す。縦の点線の右のブロックがサンプリングポイントを示す。

図８（ａ）にて、フレームＸ、Ｙ、Ｚまではそれぞれ４枚ずつ入力されるが、フレームＡ以降は、３枚連続、４枚連続および５枚連続と周期的に入力される。この周期的な現象は、画像生成装置３００への電波干渉や、画像生成装置３００における負荷変動などにより発生し、観測される現象である。なお、この現象はランダムに発生する。図８（ｄ）では、フレームＨ以降、４枚連続入力に戻っている。サンプリングされた原フレームは、６フレーム遅れて出力される。３枚連続入力、４枚連続入力および５枚連続入力が周期的に発生する場合、フレーム補間装置１００による２倍速変換は、４枚連続入力が続く場合と同様の精度で、問題なく実行される。

図８（ｂ）は、図８（ａ）と同様のパターンでフレームが入力され、サンプリングポイントが１フレーム、遅れた場合を示している。この場合も、フレーム補間装置１００による２倍速変換は、４枚連続入力が続く場合と同様の精度で、問題なく実行される。図８（ｃ）は、図８（ａ）と同様のパターンでフレームが入力され、サンプリングポイントが２フレーム、遅れた場合を示している。この場合も、フレーム補間装置１００による２倍速変換は、４枚連続入力が続く場合と同様の精度で、問題なく実行される。

図８（ｄ）は、図８（ａ）と同様のパターンでフレームが入力され、サンプリングポイントが３フレーム、遅れた場合を示している。この場合は、３枚連続入力のフレームがサンプリングポイントから外れるため、そのフレームは欠落フレームとなる。図８（ｄ）では、フレームＡ、Ｄ、Ｇ、Ｊが欠落フレームとなる。また、５枚連続入力のフレームが２回サンプリングされるため、重複フレームとなる。図８（ｄ）では、フレームＣ、Ｆ、Ｉが重複フレームとなる。図８（ｄ）では、フレーム補間装置１００による２倍速変換の精度は低下する。

図９（ａ）〜（ｄ）は、画像生成装置３００から供給を受ける動画像に、３枚連続入力、４枚連続入力および５枚連続入力が周期的に含まれる例を示す図で、５枚連続入力対策後の図である。図９（ａ）〜（ｃ）は、図８（ａ）〜（ｃ）と同様である。

図９（ｄ）は、最初に発生する３枚連続入力のフレームＡの欠落は防止できないが、最初に発生する５枚連続入力のフレームＣの検出に応じて、サンプリングポイント（ＳＰ）を１フレーム、遅らせている。これにより、その後は欠落も重複も発生しないことが分かる。

上述した３枚連続入力対策も施せば、最初に発生する３枚連続入力のフレームＡの欠落も防止することができる。しかしながら、上述したように３枚連続入力対策では、テンポラリフレームを保持する必要があり、記憶容量を増大させる必要がある。これに対し、５枚連続入力対策ではその必要がない。したがって、フレーム補間装置１００にとって、３枚連続入力より５枚連続入力のほうが対処しやすいといえる。

（同一性判定）
つぎに、同一性判定部５２によるフレーム間の同一性判定処理について説明する。同一性判定部５２は、画像生成装置３００から入力される動画像の各フレームの画素値の合計値を算出して、同一性を判定する。画素値の合計値が一致または所定の設定値の範囲内にある場合、同一のフレームと判定する。この画素値算出の基礎とすべきフレームは、ＲＧＢ／ＹＣ変換前のフレームであってもよいし、その変換後のフレームであってもよい。また、Ｙ信号のみのフレームであってもよい。この場合、判定精度は低下するが、演算量を低減することができる。

また、画像生成装置３００から入力されるフレームにＯＳＤが重畳されている場合、同一性判定部５２は、各フレームに重畳されたＯＳＤを少なくとも除いた領域から、各フレームの画素値の合計値を算出する。

図１０は、実施の形態に係る画像生成装置３００が生成したＯＳＤ領域を含むフレーム６０を示す。このフレーム６０にはＯＳＤ領域６２が表示されている。

ＯＳＤ領域６２は、種類に応じて、表示される位置および大きさが予め設定されている。たとえば、音量情報は図１０に示すようにフレーム６０の下部に表示され、チャンネル情報はフレームの左上部に表示される。

また、同一性判定部５２は、各フレームに重畳されたＯＳＤを少なくとも除いた領域においてとり得る、実質的に最大の矩形領域の画素値の合計値を算出してもよい。この場合、その演算回路のハードウェア化が容易になる。

以上説明したように本実施の形態によれば、４枚連続入力が崩れたとき、サンプリングレートを固定のまま、サンプリングポイントを移動させることにより、フレーム補間を行う際に発生し得る映像品質の低下を抑制することができる。

この点、サンプリングレートを可変する構成では、連続枚数を誤検出した場合、サンプリング自体が停止してしまう可能性があり、入力映像が出力映像に反映されない可能性がある。この点、本実施の形態によれば、連続枚数を誤検出した場合でも、映像出力が途切れることはなく、連続枚数が正確に検出された後は、正確なフレーム補間が再開されることになる。

また、上述した３枚連続入力対策では、テンポラリフレームとしてバッファするフレームをバンド幅の上昇が発生しないタイミングのフレームに設定することにより、ハンド幅の上昇を抑えることができる。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施の形態では、４枚連続入力に３枚連続入力と５枚連続入力の両方が混在した例を示したが、これに限らない。単純な４枚連続入力と５枚連続入力の組み合わせ、あるいは、単純な４枚連続入力と３枚連続入力の組み合わせであれば、対応する連続入力対策のみを採用すればよい。

具体的には、画像生成装置３００の複写部３３０を、ｎ枚（本動作例では３枚）のコピーフレームを生成するための動作周波数より高い周波数で動作するよう設定する。たとえば、６０Ｈｚより高い、６０．２Ｈｚなどで動作するよう設定する。フレーム補間装置１００は、ｎ枚のコピーフレームを生成するための動作周波数より高い周波数で動作している画像生成装置３００から、動画像の供給を受ける。これにより、４枚連続入力と５枚連続入力の組み合わせの入力フレームを受けることになり、５枚連続入力対策のみ採用することにより、回路規模の増大を抑制しつつ、倍速変換の精度を維持することができる。

また、画像生成装置３００の複写部３３０を、ｎ枚（本動作例では３枚）のコピーフレームを生成するための動作周波数より低い周波数で動作するよう設定する。たとえば、６０Ｈｚより低い、５９．８Ｈｚなどで動作するよう設定する。フレーム補間装置１００は、ｎ枚のコピーフレームを生成するための動作周波数より低い周波数で動作している画像生成装置３００から、動画像の供給を受ける。これにより、３枚連続入力と４枚連続入力の組み合わせの入力フレームを受けることになり、３枚連続入力対策のみ採用することにより、倍速変換の精度を維持することができる。

上述した３枚連続入力対策において、３枚連続入力が検出されたとき、サンプリングポイントを２フレーム進ませる処理を説明した。バンド幅の上昇を甘受できる場合、サンプリングポイントを１フレーム進ませる処理を採用してもよい。

また、上記実施の形態では、２段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、１回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。

また、上記実施の形態では、画像生成装置３００に対してフレーム補間装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、画像生成装置３００内に、複写部３３０の代わりにフレーム補間装置１００が初めから搭載されてもよい。

また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレーム補間装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。

１０ 記憶部、 ２０ フレーム取得部、 ２１ ＲＧＢ／ＹＣ変換回路、 ３０ 補間フレーム生成部、 ３１ 動きベクトル検出部、 ３２ 第１ブロックマッチング回路、 ３３ 第２ブロックマッチング回路、 ３５ 補間フレーム算出部、 ４０ フレーム出力部、 ４１ ＹＣ／ＲＧＢ変換回路、 ５０ 制御部、 ５２ 同一性判定部、 ５４ サンプリングポイント変更部、 １００ フレーム補間装置、 ２００ アンテナ、 ３００ 画像生成装置、 ３１０ 受信部、 ３２０ 復号部、 ３３０ 複写部、 ３４０ 重畳部、 ３５０ 制御部、 ４００ 表示部、 ５００ 表示装置。

Claims (8)

1. 動画像の各フレームの後続にｎ（ｎは自然数）枚のコピーフレームを追加し、フレーム数を増加させて出力する画像生成装置から、動画像の供給を受けるフレーム補間装置であって、
   前記動画像から（ｎ＋１）枚に１枚の周期でフレームをサンプリングするフレーム取得部と、
   前記フレーム取得部によりサンプリングされたフレーム間の補間フレームを生成する補間フレーム生成部と、
   前記動画像の連続するフレームの同一性を判定する同一性判定部と、
   前記同一性判定部により同一と判定されたフレームが（ｎ＋１）枚より少なくまたは多く連続し、かつ一定の条件を満たすとき、前記周期を固定したまま、そのサンプリングポイントを移動させるサンプリングポイント変更部と、
   を備えることを特徴とするフレーム補間装置。
2. 前記サンプリングポイント変更部は、前記同一性判定部により同一と判定されたフレームが（ｎ＋１）枚より多いときであって、そのフレームを重複してサンプリングするとき、前記サンプリングポイントを少なくとも１フレーム、時間的に遅らせることを特徴とする請求項１に記載のフレーム補間装置。
3. 当該フレーム補間装置は、前記ｎ枚のコピーフレームを生成するための動作周波数より高い周波数で動作している画像生成装置から、動画像の供給を受けることを特徴とする請求項１または２に記載のフレーム補間装置。
4. 前記サンプリングポイント変更部は、前記同一性判定部により同一と判定されたフレームが（ｎ＋１）枚より少ないときであって、そのフレームを一周期内にサンプリングできないとき、前記サンプリングポイントを少なくとも１フレーム、時間的に進めることを特徴とする請求項１に記載のフレーム補間装置。
5. 当該フレーム補間装置は、前記ｎ枚のコピーフレームを生成するための動作周波数より低い周波数で動作している画像生成装置から、動画像の供給を受けることを特徴とする請求項１または４に記載のフレーム補間装置。
6. 前記動画像から取得した原フレームおよび前記補間フレームを記憶するための記憶部と、
   前記記憶部から原フレームおよび補間フレームを読み出し、表示順にしたがって外部に出力するフレーム出力部と、さらに備え、
   前記フレーム取得部は、取得した原フレームを前記記憶部に書き込み、
   前記補間フレーム生成部は、前記記憶部から複数の原フレームを読み出し、それらフレーム間の補間フレームを生成し、前記記憶部に書き込み、
   前記フレーム取得部、前記補間フレーム生成部および前記フレーム出力部は、並列的に動作することによりパイプライン処理を実行し、
   前記サンプリングポイント変更部は、前記フレーム取得部による前記記憶部への原フレームの書き込みタイミングと、前記補間フレーム生成部による前記記憶部への補間フレームの書き込みタイミングとがずれるよう、前記サンプリングポイントを時間的に進めることを特徴とする請求項４または５に記載のフレーム補間装置。
7. 前記同一性判定部は、前記動画像の各フレームの画素値の合計値を算出して、前記同一性を判定することを特徴とする請求項１から６のいずれかに記載のフレーム補間装置。
8. 前記同一性判定部は、各フレームに重畳されたＯＳＤ(On Screen Display)を少なくとも除いた領域から、画素値の合計値を算出することを特徴とする請求項７に記載のフレーム補間装置。

Images