JP2011035655A - フレームレート変換装置、およびそれを搭載した表示装置 - Google Patents

Abstract

【課題】フレームレート変換処理をハードウェア処理で実現する場合にて、リアルタイム性を確保しつつ、メモリの負荷を軽減させる。
【解決手段】入力部２０は、外部から連続的に入力されるフレームを記憶部１０に書き込む。補間フレーム生成部３０は、記憶部１０から複数の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、記憶部１０に書き込む。出力部４０は、記憶部１０から原フレームおよび補間フレームを読み出し、表示順にしたがって外部に出力する。入力部２０、補間フレーム生成部３０および出力部４０は、並列的に動作することによりパイプライン処理を実行する。入力部２０による記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０による記憶部１０への補間フレームの書き込みタイミングとがずれるよう、入力部２０および補間フレーム生成部３０の動作タイミングが設定される。
【選択図】図１

Description

本発明は、補間フレームを挿入することによりフレームレートを変換するフレームレート変換装置、およびそれを搭載した表示装置に関する。

近年、フレーム補間技術を用いて動画像のコマ数を増やし、より滑らかで残像感の少ない動画像を生成する手法が実用化されている。たとえば、毎秒６０フレーム（６０Ｈｚ）の動画像を２倍速または４倍速して、１２０Ｈｚまたは２４０Ｈｚの動画像に変換して表示する技術も実用化されている。補間フレームの生成手法として、フレーム間の動きベクトルを用いる手法が注目されている（たとえば、特許文献１、２参照）。

日本では２００６年４月からワンセグ放送が開始されている。ワンセグ放送は、携帯電話機などの携帯機器を主な受信対象とする狭帯域を利用した放送である。ワンセグ放送では、通常、毎秒１５フレーム（１５Ｈｚ）で映像が送信されるため、そのコマ数を増加させる必要性が高い。

特開２００９−７１８４２号公報 特開２００９−２１８６８号公報

補間フレームを挿入して、フレーム数を増加させるフレームレート変換処理をハードウェア処理で実現する場合、そのフレームレート変換処理を分担する複数のロジック回路のそれぞれと、メモリとの間で、フレームデータの書き込みまたは読み出しを行う必要がある。また、当該フレームレート変換処理は、リアルタイムに実行される必要があり、それを実現するには、上記複数のロジック回路が並行してパイプライン処理する手法が有効である。ただし、このような手法を採用すると、メモリへのアクセスが集中してメモリの負荷が増大しやすくなる。

本発明はこうした状況に鑑みなされたものであり、その目的は、補間フレームを挿入して、フレーム数を増加させるフレームレート変換処理をハードウェア処理で実現する場合にて、リアルタイム性を確保しつつ、メモリの負荷を軽減させる技術を提供することにある。

本発明のある態様のフレームレート変換装置は、入力される画像のフレーム数を増加させて出力するフレームレート変換装置であって、外部から連続的に入力されるフレームを記憶部に書き込む入力部と、記憶部から複数の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、記憶部に書き込む補間フレーム生成部と、記憶部から原フレームおよび補間フレームを読み出し、表示順にしたがって外部に出力する出力部と、を備える。入力部、補間フレーム生成部および出力部は、並列的に動作することによりパイプライン処理を実行し、入力部による記憶部への原フレームの書き込みタイミングと、補間フレーム生成部による記憶部への補間フレームの書き込みタイミングとがずれるよう、入力部および補間フレーム生成部の動作タイミングが設定される。

本発明の別の態様は、表示装置である。この装置は、上述したフレームレート変換装置と、フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、を備える。

本発明によれば、補間フレームを挿入して、フレーム数を増加させるフレームレート変換処理をハードウェア処理で実現する場合にて、リアルタイム性を確保しつつ、メモリの負荷を軽減させることができる。

本発明の実施の形態に係るフレームレート変換装置の構成を示す図である。 補間フレームの生成原理（２倍速変換）を示す図である。 補間フレームの生成原理（４倍速変換）を示す図である。 実施の形態に係るフレームレート変換装置の動作例１を示すタイミングチャートである。 実施の形態に係るフレームレート変換装置の動作例２を示すタイミングチャートである。 実施の形態に係るフレームレート変換装置を搭載した、表示装置を示す図である。 実施の形態に係るフレームレート変換装置の動作例１の変形例１を示すタイミングチャートである。 実施の形態に係るフレームレート変換装置の動作例１の変形例２を示すタイミングチャートである。

図１は、本発明の実施の形態に係るフレームレート変換装置１００の構成を示す図である。当該フレームレート変換装置１００は、入力される動画像のフレーム数を増加させて出力する。たとえば、動画像のフレーム数を２倍または４倍に増加させて出力する。当該フレームレート変換装置１００は、記憶部１０、入力部２０、補間フレーム生成部３０、出力部４０および制御部５０を備える。入力部２０、補間フレーム生成部３０および出力部４０は、並列的に動作することによりパイプライン処理を実行する。

記憶部１０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）で構成することが可能である。なお、記憶部１０はフレームレート変換装置１００の外に設けられてもよい。入力部２０、補間フレーム生成部３０および出力部４０のそれぞれは、各種の演算器やレジスタを組み合わせたロジック回路で構成することが可能である。当該ロジック回路は、ＳＲＡＭ（Static Random Access Memory）などで構築されたワーク領域を含む。制御部５０は、ロジック回路またはＤＳＰ（Digital Signal Processor）で構成することが可能である。

記憶部１０は、フレームを一時記憶する。より具体的には、外部から入力される原フレームおよび補間フレーム生成部３０により生成される補間フレームを記憶する。また、記憶部１０は、補間フレーム生成の演算途中で発生する中間的なデータ（たとえば、動きベクトル）も記憶する。

入力部２０は、外部から入力される動画像を構成するフレームを記憶部１０に書き込む。本実施の形態では、入力部２０に入力されるフレームデータは、三原色（Ｒ、Ｇ、Ｂ）信号で規定されていることを前提とする。本実施の形態では、入力部２０は、ＲＧＢ／ＹＣ変換回路２１を含む。ＲＧＢ／ＹＣ変換回路２１は、入力される三原色（Ｒ、Ｇ、Ｂ）信号を、輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換して、記憶部１０に書き込む。その際、データ量を圧縮することができる。たとえば、４：４：４の三原色（Ｒ、Ｇ、Ｂ）信号を、４：２：２の輝度（Ｙ）信号および色差（Ｃｂ、Ｃｒ）信号に変換してもよい。

以下、輝度（Ｙ）信号を単にＹ信号と表記し、二つの色差（Ｃｂ、Ｃｒ）信号をまとめて、Ｃ信号と表記する。また、原フレームのＹ信号およびＣ信号をそれぞれ、原Ｙ信号および原Ｃ信号と表記し、補間フレームのＹ信号およびＣ信号をそれぞれ、補間Ｙ信号および補間Ｃ信号と表記する。

本実施の形態では、ＲＧＢ／ＹＣ変換回路２１は、ブロックマッチング用のＹ信号を生成して、記憶部１０に書き込む。たとえば、一画素未満の画素精度（たとえば、１／２画素精度、１／４画素精度）の信号を補間した、解像度が増大されたＹ信号を生成する。このＹ信号を用いれば、一画素未満の画素精度での動き補償が可能となり、より精度の高い動きベクトルの検出が可能となる。なお、一画素未満の画素精度の信号は、６タップＦＩＲフィルタなどを用いたフィルタ処理により生成することができる。

補間フレーム生成部３０は、記憶部１０から、二枚の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、記憶部１０に書き込む。補間フレーム生成部３０は、動きベクトル検出部３１および補間フレーム算出部３５を含む。

動きベクトル検出部３１は、二枚の原フレーム間で、ブロック単位または画素単位の動きベクトルを検出する。本実施の形態では、画素単位の動きベクトルを二段階のブロックマッチングにより検出する。

動きベクトル検出部３１は、第１ブロックマッチング回路３２および第２ブロックマッチング回路３３を含む。第１ブロックマッチング回路３２は、記憶部１０から当該二枚の原フレームとすべき、現フレームのブロックマッチング用Ｙ信号と、その前フレームのブロックマッチング用Ｙ信号を読み出す。第１ブロックマッチング回路３２は、前フレームを複数のブロック（たとえば、８×８または１６×１６のマクロブロック）に分割して、現フレーム内において、当該各ブロックと一致または誤差が最小のブロックを探索する。

たとえば、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素の差分絶対値和または差分二乗和を求め、その値が最も小さい候補ブロックを、現フレーム内の最適予測ブロックとする。また、前フレーム内の対象ブロックと現フレーム内の候補ブロック間で、両者に含まれる、対応する位置の画素が実質的に一致した数が最も多い候補ブロックを、現フレーム内の最適予測ブロックとしてもよい。

第１ブロックマッチング回路３２は、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの動きベクトルを算出する。これにより、ブロック単位の動きベクトルを検出することができる。第１ブロックマッチング回路３２は、これらの演算結果を中間データとして、記憶部１０に書き込む。

第２ブロックマッチング回路３３は、第１ブロックマッチング回路３２により書き込まれた中間データを記憶部１０から読み出し、前フレーム内の各ブロックと、現フレーム内の各最適予測ブロックとの間で、画素値が実質的に一致しなかった画素の動きベクトルを求める。たとえば、上述した手法と同様の手法を用いて、前フレーム内の各ブロック内の画素値が実質的に一致しなかった画素の領域と一致または誤差が最小の領域を、現フレーム内において探索する。これにより、前フレームと現フレームとの間で、画素単位の動きベクトルを検出することができる。第２ブロックマッチング回路３３は、画素単位の動きベクトルを記憶部１０に書き込む。

補間フレーム算出部３５は、補間フレーム内の各画素を通過する上記動きベクトルをそれぞれ特定し、その動きベクトルの始点および終点に対応する、前フレーム内の画素および現フレーム内の画素を合成することにより、当該補間フレーム内の各画素を生成する。以下、図２、３を参照しながら補間フレーム内の画素の生成方法について説明する。

図２は、補間フレームの生成原理（２倍速変換）を示す図である。２倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、一枚の補間フレームＦｉを挿入する必要がある。補間フレームＦｉは、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を二等分した時間位置に挿入される。

補間フレームＦｉの画素Ｐｉは、その画素Ｐｉを通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を平均して補間フレームＦｉの画素Ｐｉの画素値を算出してもよい。

ここで、補間フレームＦｉの画素Ｐｉを通過する動きベクトルｍｖを常に正確に求めることができれば、その動きベクトルｍｖの始点に対応する第１原フレームＦｏ１の画素Ｐｏ１を、そのまま補間フレームＦｉの画素Ｐｉに割り当ててもよい。しかしながら、動きベクトルｍｖが誤検出された場合、片方の画素Ｐｏ１しか参照しないため、大きなノイズが発生しやすくなる。そこで、本実施の形態では、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２の両方を参照する。

なお、補間フレームＦｉの対象画素を通過する動きベクトルが存在しない場合、たとえば、次のように処理する。すなわち、補間フレームＦｉ内の周辺画素から空間的に補間した画素を当該対象画素に割り当てるか、補間フレームＦｉの対象画素と同じ位置の、第１原フレームＦｏ１の画素および第２原フレームＦｏ２の画素を合成した画素を当該対象画素に割り当てる。

図３は、補間フレームの生成原理（４倍速変換）を示す図である。４倍速変換では、第１原フレームＦｏ１と第２原フレームＦｏ２との間に、三枚の補間フレーム（第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３）を挿入する必要がある。第１補間フレームＦｉ１、第２補間フレームＦｉ２および第３補間フレームＦｉ３は、第１原フレームＦｏ１と第２原フレームＦｏ２との時間間隔を四等分した時間位置にそれぞれ挿入される。

第１補間フレームＦｉ１の画素Ｐｉ１は、その画素Ｐｉ１を通過する動きベクトルｍｖの始点および終点に対応する、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第１補間フレームＦｉ１の画素Ｐｉ１の画素値を算出してもよい。すなわち、前者の画素値を３／４し、後者の画素値を１／４し、両者を加算する。

第２補間フレームＦｉ２の画素Ｐｉ２は、図２に示した補間フレームＦｉの画素Ｐｉと同様に生成することができる。第３補間フレームＦｉ３の画素Ｐｉ３も、第１原フレームＦｏ１の画素Ｐｏ１および第２原フレームＦｏ２の画素Ｐｏ２を合成することにより生成される。たとえば、両者の画素値を加重平均して、第３補間フレームＦｉ３の画素Ｐｉ３の画素値を算出してもよい。すなわち、前者の画素値を１／４し、後者の画素値を３／４し、両者を加算する。

図１に戻り、補間フレーム算出部３５は、記憶部１０から、前フレームの原Ｙ信号および原Ｃ信号、現フレームの原Ｙ信号および原Ｃ信号、ならびに前フレームと現フレームとの動きベクトルを読み出す。補間フレーム算出部３５は、上述した手法を用いて、補間フレームを生成し、その補間Ｙ信号および補間Ｃ信号を記憶部１０に書き込む。

出力部４０は、記憶部１０から、原フレームおよび補間フレームを読み出し、表示順にしたがって外部に出力する。本実施の形態では、出力部４０は、ＹＣ／ＲＧＢ変換回路４１を含む。ＹＣ／ＲＧＢ変換回路４１は、記憶部１０から補間Ｙ信号および補間Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、補間フレームとして外部（たとえば、表示パネル）に出力する。また、ＹＣ／ＲＧＢ変換回路４１は、記憶部１０から原Ｙ信号およ原Ｃ信号を読み出し、三原色（Ｒ、Ｇ、Ｂ）信号に変換し、原フレームとして外部に出力する。

制御部５０は、フレームレート変換装置１００全体を統括的に制御する。たとえば、外部（たとえば、後述する図６の主制御部３００）からの制御信号に応じて、フレームレート変換装置１００のモード切替を行う。たとえば、２倍速変換モードと４倍速変換モードのいずれかを選択し、入力部２０、補間フレーム生成部３０および出力部４０に設定する。

以下、実施の形態に係るフレームレート変換装置１００の動作を説明する。入力部２０、補間フレーム生成部３０および出力部４０は、入力部２０に処理対象とすべきフレームが入力される周期より短い周期で動作する。ここで、処理対象とすべきフレームとは、破棄されずに、表示用および補間フレーム生成の参照用に実際に使用されるフレームを指す。以下、入力部２０に１５Ｈｚの周期でフレームが入力され、入力部２０、第１ブロックマッチング回路３２、第２ブロックマッチング回路３３、補間フレーム算出部３５および出力部４０がそれぞれ６０Ｈｚの周期で動作する例を説明する。

本実施の形態では、入力部２０による記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０による記憶部１０への補間フレームの書き込みタイミングとがずれるよう、入力部２０および補間フレーム生成部３０の動作タイミングが設定される。以下、図４、図５を参照して、入力部２０、補間フレーム生成部３０および出力部４０の具体的な動作タイミングについて説明する。

まず、動作例１について説明する。動作例１の基本動作は次の通りである。補間フレーム生成部３０は、対象フレームが入力部２０に入力され記憶部１０へ書き込まれる上記対象フレームの入力期間の終了から、次のフレームの入力期間の開始までの間に、補間フレーム生成処理を終了する。当該補間フレーム生成処理とは、当該対象フレームを少なくとも記憶部１０から読み出し、その対象フレームを少なくとも参照して補間フレームを生成し、およびそれを記憶部１０に書き込む処理である。当該補間フレームは、当該対象フレームより前に挿入されるべき補間フレームである。補間フレーム生成部３０は、当該対象フレームとその一つ前のフレームを参照して当該補間フレームを生成してもよいし、当該対象フレームとその二つ以上の前のフレームを参照して当該補間フレームを生成してもよいし、当該対象フレームとそれより前の複数のフレームを参照して当該補間フレームを生成してもよい。

図４は、実施の形態に係るフレームレート変換装置１００の動作例１を示すタイミングチャートである。ここでは、ワンセグ放送により１５Ｈｚの周期で受信されるフレームが、後述する図６のフレームレート変換部３３０による単純な複写処理によりフレーム数が４倍に増加された後、その増加されたフレームが実施の形態に係るフレームレート変換装置１００に入力される例を示している。図６のフレームレート変換部３３０がフレーム数を４倍に増加させるのは、６０Ｈｚ駆動の表示パネルで表示させるためである。

図４では、同じフレームＡが四枚続けて入力され、その次に同じフレームＢが四枚続けて入力され、その次に同じフレームＣが四枚続けて入力される。以下、フレームＤ、フレームＥ、・・・と続く。動作例１では、フレームＡとフレームＢ、フレームＢとフレームＣ、フレームＣとフレームＤ、・・・のそれぞれの間で一枚の補間フレームを生成する。これにより、入力される動画像を２倍速変換する。

入力部２０は、四枚続けて入力される同じフレームのうち、一枚を残し、三枚を破棄する。ここでは、最初の一枚のフレームを入力処理し、残りの三枚を破棄する。

補間フレーム生成部３０は、対象フレーム（Ａ）が入力部２０に入力され記憶部１０へ書き込まれる対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始までの間に、記憶部１０から対象フレーム（Ａ）とその前フレーム（ｘ）を読み出し、両フレーム間の補間フレーム（ｘＡ）を生成し、およびそれを記憶部１０へ書き込む処理を終了する。すなわち、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１（ｘＡ））、第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２（ｘＡ））および補間フレーム算出部３５による算出期間（補間Ｆ算出（ｘＡ））が、対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始までの間に、収まるよう設定される。

出力部４０は、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始から、さらにその次のフレーム（Ｃ）の入力期間（原Ｆ入力（Ｃ））の開始までの間に、補間フレーム（ｘＡ）および対象フレーム（Ａ）の順に記憶部１０から読み出して、外部に出力する。ここでは、先に、同じ補間フレーム（ｘＡ）を二枚出力し、後に、同じ対象フレーム（Ａ）を二枚出力する。

出力部４０による補間フレーム（ｘＡ）および対象フレーム（Ａ）の出力期間（補間Ｆ出力（ｘＡ）、補間Ｆ出力（ｘＡ）、原Ｆ出力（Ａ）、原Ｆ出力（Ａ））と並行して、入力部２０による次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１（ＡＢ））、第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２（ＡＢ））および補間フレーム算出部３５による算出期間（補間Ｆ算出（ＡＢ））が設定される。これにより、パイプライン処理を実現している。以下、後続のフレームＣ、Ｄ、Ｅ、・・・についても同様に処理される。

次に、動作例２について説明する。動作例２の基本動作は次の通りである。補間フレーム生成部３０は、対象フレームが入力部２０に入力され記憶部１０へ書き込まれる当該対象フレームの入力期間の終了から、次のフレームの入力期間の開始を超えて、補間フレーム生成処理を行う場合、前記次のフレームの入力期間中、前記補間フレーム生成処理を一時中断する。当該補間フレーム生成処理とは、当該対象フレームを少なくとも記憶部１０から読み出し、その対象フレームを少なくとも参照して補間フレームを生成し、およびそれを記憶部１０に書き込む処理である。

図５は、実施の形態に係るフレームレート変換装置１００の動作例２を示すタイミングチャートである。動作例２も、動作例１と同様の前提条件とする。動作例２では、フレームＡとフレームＢ、フレームＢとフレームＣ、フレームＣとフレームＤ、・・・のそれぞれの間で、段階的な三枚の補間フレームを生成する。これにより、入力される動画像を４倍速変換する。

動作例２では、補間フレーム生成部３０は、対象フレーム（Ａ）が入力部２０に入力され記憶部１０へ書き込まれる対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））の開始を超えて、記憶部１０から対象フレーム（Ａ）とその前フレーム（ｘ）を読み出し、両フレーム間の補間フレーム（ｘＡ）を生成し、およびそれを記憶部１０へ書き込む、補間フレーム生成処理を行う。この場合、補間フレーム生成部３０は、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））中、当該補間フレーム生成処理を一時中断する。

出力部４０は、記憶部１０に三枚の補間フレーム（ｘＡ）の少なくとも一枚が記憶されると、三枚の補間フレーム（ｘＡ）および対象フレーム（Ａ）の順に記憶部１０から一枚ずつ読み出して、外部に出力する。

以下、より具体的に説明する。対象フレーム（Ａ）とその前フレーム（ｘ）との間の段階的な三枚の補間フレーム（ｘＡ）を生成すべく、補間フレーム生成部３０は、対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の終了から上記補間フレーム生成処理を三回繰り返す。その際、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））中、上記補間フレーム生成処理を一時中断する。

より具体的には、対象フレーム（Ａ）の入力期間（原Ｆ入力（Ａ））の、次の単位動作期間（ＢＭ１（ｘＡ））に、第１ブロックマッチング回路３２は第１マッチング処理を行う。次の単位動作期間（ＢＭ２（ｘＡ））に、第２ブロックマッチング回路３３は第２マッチング処理を行う。その次の単位動作期間（補間Ｆ１算出（ｘＡ））に、補間フレーム算出部３５は第１補間フレーム（ｘＡ）の算出処理を行う。動作例１では、この時点で補間フレームの生成処理が終了するが、動作例２では、補間フレームの生成処理がさらに継続する。ただし、対象フレーム（Ａ）の入力処理を起点する処理ラインの次の単位動作期間が、次のフレーム（Ｂ）の入力期間（原Ｆ入力（Ｂ））と重複するため、当該単位動作期間にＮＯＰ（no operation）を挿入する。

その次の単位動作期間（補間Ｆ２算出／補間Ｆ１出力（ｘＡ））に、補間フレーム算出部３５は第２補間フレーム（ｘＡ）の算出処理を行い、それと並行して、出力部４０は第１補間フレーム（ｘＡ）を記憶部１０から読み出し、外部に出力する。その次の単位動作期間（補間Ｆ３算出／補間Ｆ２出力（ｘＡ））に、補間フレーム算出部３５は第３補間フレーム（ｘＡ）の算出処理を行い、それと並行して、出力部４０は第２補間フレーム（ｘＡ）を記憶部１０から読み出し、外部に出力する。その次の単位動作期間（補間Ｆ３出力（ｘＡ））に、出力部４０は第３補間フレーム（ｘＡ）を記憶部１０から読み出し、外部に出力する。

このように、動作例２では出力部４０による四枚のフレームの出力タイミングが、動作例１と比較して一つの単位動作期間分、後ろにずれることになる。これにより、フレームレートの変換処理期間中、入力部２０、補間フレーム生成部３０および出力部４０のうち、二つが処理を実行し、一つが処理を中断するよう設定することが可能である。

以上説明しように本実施の形態によれば、補間フレームを挿入して、フレーム数を増加させるフレームレート変換処理をハードウェア処理で実現する場合にて、リアルタイム性を確保しつつ、メモリの負荷を軽減させることができる。すなわち、入力部２０、補間フレーム生成部３０および出力部４０を並列的に動作させて、パイプライン処理することにより、リアルタイム性を確保することができる。

また、入力部２０から記憶部１０への原フレームの書き込みタイミングと、補間フレーム生成部３０から記憶部１０への補間フレームの書き込みタイミングとがずれるよう、入力部２０および補間フレーム生成部３０の動作タイミングを設定することにより、記憶部１０にかかる最大負荷を低減させることができる。

より具体的には、入力部２０による入力期間（原Ｆ入力）、および補間フレーム算出部３５による算出期間（補間Ｆ算出）では、記憶部１０にアクセスされるデータ量が多くなる。すなわち、入力部２０から記憶部１０への原フレームの書き込みは、Ｙ信号とＣ信号の両方を書き込む必要がある。また、補間フレーム算出部３５と記憶部１０との間では、記憶部１０から前フレームと現フレームそれぞれのＹ信号およびＣ信号、ならびに前フレームと現フレームとの動きベクトルを、補間フレーム算出部３５に読み出す必要がある。また、並行して、補間フレーム算出部３５から補間フレームのＹ信号およびＣ信号を記憶部１０に書き込む必要がある。

この点、第１ブロックマッチング回路３２による第１マッチング期間（ＢＭ１）、および第２ブロックマッチング回路３３による第２マッチング期間（ＢＭ２）では、記憶部１０にアクセスされるデータ量は比較的少ない。第１ブロックマッチング回路３２と記憶部１０、および第２ブロックマッチング回路３３と記憶部１０とのそれぞれの間で転送される信号は、Ｙ信号または動きベクトルであり、Ｃ信号は転送されないためである。

したがって、入力部２０による入力期間（原Ｆ入力）と、補間フレーム算出部３５による算出期間（補間Ｆ算出）とが同期間にスケジュールされないように設定することにより、記憶部１０にアクセスされるデータ量の増大を抑制することができる。上述した動作例１、動作例２のいずれにおいても、当該入力期間（原Ｆ入力）と当該算出期間（補間Ｆ算出）とがずれるように設定している。動作例２では、ＮＯＰを挿入することにより、当該入力期間（原Ｆ入力）と当該算出期間（補間Ｆ算出）の重複を回避している。

動作例２では、補間フレーム算出部３５による二枚目、三枚目の補間フレームの算出期間（補間Ｆ２算出、補間Ｆ３算出）と、出力部４０による一枚目、二枚目の補間フレームの出力期間（補間Ｆ１出力、補間Ｆ２出力）とが重複するよう設定している。また、出力部４０による三枚目の補間フレームの出力期間（補間Ｆ３出力）と、補間フレーム算出部３５による次の一枚目の補間フレームの算出期間（補間Ｆ１算出）とが重複するよう設定している。また、出力部４０による原フレームの出力期間（原Ｆ出力）と、入力部２０によるその次の次の原フレームの入力期間（原Ｆ入力）とが重複するよう設定している。

このように、動作例２では、第１ブロックマッチング回路３２による第１マッチング処理および第２ブロックマッチング回路３３による第２マッチング処理を無視して考えれば、単位動作期間のそれぞれで、入力部２０による入力処理または補間フレーム算出部３による算出処理と、出力部４０による出力処理とが実行されることになる。これにより、記憶部１０にかかる負荷が平準化されるとともに、入力部２０、補間フレーム算出部３５および出力部４０全体にかかる負荷も平準化される。

動作例１でも、単位動作期間において、入力部２０による入力処理、補間フレーム算出部３５による算出処理および出力部４０による出力処理がすべて同時に処理されないよう設定している。これにより、動作例１でも、入力部２０、補間フレーム算出部３５および出力部４０全体にかかる負荷が平準化される。

図６は、実施の形態に係るフレームレート変換装置１００を搭載した、表示装置５００を示す図である。表示装置５００は、ワンセグ放送を受信し、表示再生する機能を搭載した機器である。たとえば、ワンセグ放送の受信再生専用機であってもよいし、その機能を搭載した携帯電話機、ＰＤＡ、携帯型音楽プレーヤ、電子辞書、カーナビゲーション装置などであってもよい。

当該表示装置５００は、アンテナ２００、主制御部３００、フレームレート変換装置１００および表示部４００を備える。主制御部３００は、受信部３１０、復号部３２０およびフレームレート変換部３３０を含む。受信部３１０は、アンテナ２００を介してワンセグ放送を受信し、選択されたチャンネルの信号を復調して、復号部３２０へ出力する。

復号部３２０は、受信部３１０から入力される符号化データを復号する。ワンセグ放送画像の符号化には、ＡＶＣ／Ｈ．２６４規格が採用されている。復号部３２０は、復号したフレームをフレームレート変換部３３０に出力する。なお、復号されたフレームがフレームレート変換部３３０に入力される前に、実際は図示しないスケーラによる解像度変換が施されるが、ここではそれに注目しないため、省略している。

フレームレート変換部３３０は、入力されるフレームを単純に複写して、フレーム数を増加させる。ここでは、１５Ｈｚの動画像の各フレームを３回複写してフレーム数を４倍にすることにより、１５Ｈｚの動画像を６０Ｈｚの動画像に変換する。なお、単純に複写するのではなく、増加させるべきフレームの少なくとも一枚について、連続する二枚の原フレームを簡易合成することにより、生成してもよい。たとえば、一方の原フレームの上部領域と他方の原フレームの下部領域を空間的に合成してもよい。

フレームレート変換装置１００は、上述した実施の形態で説明した手法を用いて、フレームレート変換部３３０から入力される動画像を２倍速変換または４倍速変換する。表示部４００は、フレームレート変換装置１００により倍速変換された動画像を表示する。

以上説明したようにワンセグ放送を受信して表示再生する表示装置５００に、実施の形態に係るフレームレート変換装置１００を搭載することにより、ワンセグ映像の画質を向上させることができる。なお、図６では既存の主制御部３００に対して、フレームレート変換装置１００を追加することにより、ワンセグ映像の倍速変換を実現する例を示したが、主制御部３００内に、フレームレート変換部３３０の代わりに、フレームレート変換装置１００が初めから搭載されてもよい。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

たとえば、上記実施の形態では、二段階のブロックマッチングにより画素単位の動きベクトルを検出する手法を説明したが、一回のブロックマッチングにより得られるブロック単位の動きベクトルを用いて、補間フレーム内の各画素を通過する動きベクトルを求めてよい。また、ブロックマッチングではなく、勾配法を用いて画素単位の動きベクトルを検出してもよい。

また、上記実施の形態では、ワンセグ放送される動画像を倍速変換する例を説明したが、本発明に係るフレームレート変換装置１００は、その用途に限定されることなく、様々な動画像のフレームレート変換に適用可能である。とくに、低スペックなカメラで撮影された動画像など、低フレームレートの動画像への適用に有効である。たとえば、１５Ｈｚ未満の動画像のフレームレート変換にも適用可能である。

また、図４、５ではブロックマッチング処理を二周期（ここでは６０Ｈｚを単位周期とする）で実行する例を説明した。このブロックマッチング処理を、より簡素な手法を採用して二周期未満で実行してもよいし、より高精度な手法を採用して二周期を超えて実行してもよい。

図７は、実施の形態に係るフレームレート変換装置１００の動作例１の変形例１を示すタイミングチャートである。図７のタイミングチャートは、図４のタイミングチャートと比較し、ブロックマッチング処理を二周期から四周期に変更したものである。本変形例１でも、入力部２０による入力期間（原Ｆ入力）と、補間フレーム算出部３５による算出期間（補間Ｆ算出）とが同期間にスケジュールされないように設定される。

図８は、実施の形態に係るフレームレート変換装置１００の動作例１の変形例２を示すタイミングチャートである。図７のタイミングチャートは、図４のタイミングチャートと比較し、ブロックマッチング処理を二周期から三周期に変更し、その次の周期にＮＯＰを挿入したものである。ブロックマッチング処理を三周期で実行する場合、入力部２０による入力期間（原Ｆ入力）と、補間フレーム算出部３５による算出期間（補間Ｆ算出）とが重複してしまう。これに対して、ブロックマッチング処理期間（ＢＭ１〜３）と補間フレーム算出期間（補間Ｆ算出）との間にＮＯＰを挿入することにより、本変形例２でも、入力部２０による入力期間（原Ｆ入力）と、補間フレーム算出部３５による算出期間（補間Ｆ算出）とが同期間にスケジュールされないように設定することができる。

また、図４、５では一枚の補間フレームの算出処理を一周期（ここでは６０Ｈｚを単位周期とする）で実行する例を説明した。この一枚の補間フレームの算出処理を、より簡素な手法を採用して一周期未満で実行してもよいし、より高精度な手法を採用して二周期を超えて実行してもよい。

１０ 記憶部、 ２０ 入力部、 ２１ ＲＧＢ／ＹＣ変換回路、 ３０ 補間フレーム生成部、 ３１ 動きベクトル検出部、 ３２ 第１ブロックマッチング回路、 ３３ 第２ブロックマッチング回路、 ３５ 補間フレーム算出部、 ４０ 出力部、 ４１ ＹＣ／ＲＧＢ変換回路、 ５０ 制御部、 １００ フレームレート変換装置、 ２００ アンテナ、 ３００ 主制御部、 ３１０ 受信部、 ３２０ 復号部、 ３３０ フレームレート変換部、 ４００ 表示部、 ５００ 表示装置。

Claims (7)

1. 入力される画像のフレーム数を増加させて出力するフレームレート変換装置であって、
   外部から連続的に入力されるフレームを記憶部に書き込む入力部と、
   前記記憶部から複数の原フレームを読み出し、それら原フレーム間の補間フレームを生成し、前記記憶部に書き込む補間フレーム生成部と、
   前記記憶部から原フレームおよび補間フレームを読み出し、表示順にしたがって外部に出力する出力部と、を備え、
   前記入力部、前記補間フレーム生成部および前記出力部は、並列的に動作することによりパイプライン処理を実行し、
   前記入力部による前記記憶部への原フレームの書き込みタイミングと、前記補間フレーム生成部による前記記憶部への補間フレームの書き込みタイミングとがずれるよう、前記入力部および前記補間フレーム生成部の動作タイミングが設定されることを特徴とするフレームレート変換装置。
2. 前記入力部、前記補間フレーム生成部および前記出力部は、前記入力部に処理対象とすべきフレームが入力される周期より短い周期で動作することを特徴とする請求項１に記載のフレームレート変換装置。
3. 前記補間フレーム生成部は、対象フレームが前記入力部に入力され前記記憶部へ書き込まれる前記対象フレームの入力期間の終了から、次のフレームの入力期間の開始までの間に、前記対象フレームを少なくとも読み出し、その対象フレームを少なくとも参照して前記補間フレームを生成し、およびそれを書き込む処理を終了することを特徴とする請求項２に記載のフレームレート変換装置。
4. 前記補間フレーム生成部は、対象フレームが前記入力部に入力され前記記憶部へ書き込まれる前記対象フレームの入力期間の終了から、次のフレームの入力期間の開始を超えて、前記対象フレームを少なくとも読み出し、その対象フレームを少なくとも参照して前記補間フレームを生成し、およびそれを書き込む、補間フレーム生成処理を行うことを特徴とする請求項２に記載のフレームレート変換装置。
5. 前記補間フレーム生成部は、前記次のフレームの入力期間中、前記補間フレーム生成処理を一時中断することを特徴とする請求項４に記載のフレームレート変換装置。
6. 前記補間フレーム生成部は、前記原フレーム間に、段階的な複数の補間フレームを生成する請求項１から５のいずれかに記載のフレームレート変換装置。
7. 請求項１から６のいずれかに記載のフレームレート変換装置と、
   前記フレームレート変換装置によりフレームレートが変換された画像を表示する表示部と、
   を備えることを特徴とする表示装置。

Images