JP2010239268A - 画像処理装置 - Google Patents

Abstract

【課題】処理負荷を増大させることなく、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することが可能な画像処理装置を提供する。
【解決手段】補間フレームを生成する場合に、予測ベクトル候補設定部１２１および動きベクトル検出部１２２は、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測し、局所動きベクトル平滑化部１２４が、この予測動きベクトルを、上記２つのフレームや隣接するブロックの予測ベクトルに基づいて平滑化して、局所動きベクトルを求める。大域動きベクトル検出部１２３は、上記予測ベクトルのヒストグラムに基づいて、補間フレームの動きベクトルの傾向（大域動きベクトル）を求める。そして、動きベクトル信頼判定部１２５が、局所動きベクトルと大域動きベクトルに基づいて、補間フレームを生成するようにしたものである。
【選択図】 図２

Description

この発明は、動画像の品質を改善する画像処理装置に関する。

最近、液晶ディスプレイなどで発生するフレームのボケ感を低減させるフレーム倍速技術が盛んに開発されている。このフレーム倍速技術は、主に動きベクトル検出、動きベクトル平滑化、補間画像作成で構成されている。携帯電話機など、モバイル向けの低演算能力機器でフレーム補間技術を実現するためには、処理量コストの大きい動きベクトル検出の簡略化が不可欠であるが、簡略化によって、動きベクトルの誤検出が発生するといった二律背反の課題が存在する。

例えば、特許文献１では、フレーム全体の動き（以下、グローバル動きベクトルと称する）を平滑化の候補に追加して平滑化を行っているが、単にグローバル動きベクトルを平滑化候補に加えるだけではノイズを除去できない可能性がある。特に、特許文献１のように、候補動きベクトルの中間値を選択するだけでは効果があまり期待できない。

一方、例えば、特許文献２のように、動きベクトルの信頼性に応じた内挿フレームを選択する技術もある。しかしながら、信頼性判定の結果、信頼度の高い動きベクトルが規定数以下の場合には、過去フレームを参照することになるため、メモリアクセスの面で効率が悪くなっている。また、実際には、予測誤差や動きベクトルの大きさから動きベクトルの信頼度を正確に把握することは難しいため、必ずしも画質劣化を感じない補間フレームを生成できるとは限らない。

特開平５−３０４１１ 特開２００１−２４９８８

高品質の補間フレームの生成には高い演算能力が必要とされ、低処理負荷で劣化の少ない補間フレームを生成する技術の開発が求められていた。
この発明は上記の要望に応えるべくなされたもので、処理負荷を増大させることなく、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することが可能な画像処理装置を提供することを目的とする。

上記の目的を達成するために、この発明は、時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置において、２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測して、予測動きベクトルを求めるベクトル検出手段と、このベクトル検出手段が検出した予測動きベクトルを、隣接するブロックの予測動きベクトルや２つのフレームを構成するブロックの動きベクトルに基づいて平滑化し、平滑化動きベクトルを求める平滑化手段と、補間フレームを構成する各ブロックの予測動きベクトルに基づくヒストグラムを求め、このヒストグラムから補間フレームの傾向を求める傾向検出手段と、平滑化手段が求めた平滑化動きベクトルと、傾向検出手段が求めた傾向とに基づいて、補間フレームを構成するブロックの動きベクトルを求めるベクトル生成手段とを具備して構成するようにした。

以上述べたように、この発明では、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測し、予測動きベクトルを平滑化するとともに、補間フレームを構成する各ブロックの予測動きベクトルに基づくヒストグラムを求め、このヒストグラムから補間フレームの傾向を求め、平滑化動きベクトルと、上記傾向とに基づいて、補間フレームを構成するブロックの動きベクトルを求めるようにしている。

したがって、この発明によれば、負荷の少ない処理で補間フレーム全体の傾向を求め、これを考慮して、補間フレームを構成するブロックの動きベクトルを求めることができるので、低負荷の処理で補間フレームに均一性を与えられ、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することが可能な画像処理装置を提供できる。

この発明に係わる画像処理装置を備えた移動無線端末装置の実施形態の構成を示す回路ブロック図。 図１に示した画像処理装置のフレーム補間に関わる構成を示す回路ブロック図。 図２に示したフレーム補間部の動作を説明するためのフローチャート。 図２に示した動きベクトル検出部の動作を説明するためのフローチャート。 図２に示した大域動きベクトル検出部の動作を説明するためのフローチャート。 図２に示した局所動きベクトル平滑化部の動作を説明するためのフローチャート。 図２に示した動きベクトル信頼判定部の動作を説明するためのフローチャート。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置を適用した移動無線端末装置の構成を示すブロック図である。この移動無線端末装置は、携帯電話機などのモバイル機器であって、図１に示すように、主な構成要素として、制御部１００と、無線通信部１０と、表示部２０と、通話部３０と、操作部４０と、記憶部５０と、放送受信部６０とを備え、基地局装置ＢＳおよび移動通信網ＮＷを介して通信する通信機能と、放送局ＢＣから送信される地上デジタル放送信号を受信する放送受信機能とを備える。

無線通信部１０は、制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳと無線通信を行うものであって、音声データや電子メールデータなどの送受信、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示部２０は、制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して、視覚的にユーザに情報を伝達するものである。

通話部３０は、スピーカ３１やマイクロホン３２を備え、マイクロホン３２を通じて入力されたユーザの音声を制御部１００にて処理可能な音声データに変換して制御部１００に出力したり、無線通信部１０を介して通話相手などから受信した音声データを復号してスピーカ３１から出力するものである。
操作部４０は、複数のキースイッチなどを備え、これを通じてユーザから指示を受け付けるものである。

記憶部５０は、制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。なお、記憶部５０は、ＨＤＤ、ＲＡＭ、ＲＯＭ、ＩＣメモリなどの１つ又は複数の記憶手段を含むものである。

放送受信部６０は、放送局ＢＣから送信される地上デジタル放送信号のうち、ワンセグメントを受信し、映像信号が、例えばＨ．２６４などの形式で符号化された放送データ（符号化ストリーム）を得る。なお、ここでは、低フレームレートのワンセグメントを例に挙げるが、これに限らず、より高いフレームレートのフルセグメントを受信するディジタルチューナであってもよい。

制御部１００は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御ｄｃｓデータにしたがって動作し、当該移動無線端末装置の各部を統括して制御し、例えば音声通信やデータ通信（電子メールの送受信や、Ｗｅｂブラウジング、ストリーミングデータのダウンロードなど）の通信機能を実現するものである。

さらに制御部１００は、放送受信部６０で得られた上記放送データを復号し、この復号結果に画像処理を施して、放送される映像を表示部２０に表示する放送受信制御を行う。この放送受信制御は、上記放送受信機能を実現するためのものであって、制御部１００は、図２に示すように、動画像復号部１１０と、フレーム補間部１２０と、表示ドライバ１３０とを備える。この他に、図示しないが、放送受信部６０で受信されたオーディオデータを復号するオーディオ復号部も備える。

動画像復号部１１０は、動画像の符号化データ（Video Elementary Stream）を復号し、これによって複数の動画像フレームＦ_ｔで構成される動画像と符号化情報を得る。なお、この時点で得られる動画像のフレームレートは、１５Ｈｚと仮定する。
そして動画像復号部１１０は、動画像の符号化データを復号し、動画像フレームおよび符号化情報を出力する。動画像は、フレーム補間部１２０と表示ドライバ１３０に出力される。

フレーム補間部１２０は、時間的に連続する２つの動画像フレームＦ_ｔ−１とＦ_ｔと、それぞれに対応する符号化情報とに基づいて、これらの動画像フレーム間を補間する補間フレームＦ_{ｔ−０．５}を生成するもので、予測ベクトル候補設定部１２１と、動きベクトル検出部１２２と、大域動きベクトル検出部１２３と、局所動きベクトル平滑化部１２４と、動きベクトル信頼判定部１２５と、動きベクトルバッファ１２６と、αブレンディング部１２７とを備える。

図３を参照して、フレーム補間部１２０の動作について説明する。
動画像フレームは、複数のブロックによって形成されたものとして扱われ、各ブロックには、動画像フレーム上の位置に応じた所定のブロックインデックスが与えられる。そして、ステップ３ａ〜３ｄでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｂおよび３ｃが実施される。

ステップ３ｂでは、予測ベクトル候補設定部１２１が、処理対象ブロックに対して、時間的に隣接するブロック（前補間フレームＦ_{ｔ−１．５}のブロック）の動きベクトルと、空間的に隣接する同時刻（同一フレームＦ_{ｔ−０．５}）のブロックの動きベクトルを、それぞれ予測ベクトル候補として設定する。

なお、空間的に隣接するブロックの動きベクトルについては、ラスタスキャンによって、すでに検出済みのブロックの動きベクトルだけが予測ベクトル候補として設定される。また、Ｆ_{ｔ−０．５}のブロックの動きベクトルは、後述する動きベクトルバッファ１２６が記憶する。またデコーダからの情報が得られる場合は、Ｆ_ｔを復号した際に用いた動きベクトルも使用して良い。

ステップ３ｃでは、動きベクトル検出部１２２が、ステップ３ｂで設定された予測ベクトル候補に基づいて、各予測ベクトル候補の評価値を求め、評価値が最も小さい予測ベクトル候補を検出する。図４に、ステップ３ｃの処理の詳細を示す。

動きベクトル検出部１２２は、ステップ４ａ〜４ｆにおいて、上記予測ベクトル候補に与えたインデックスを１から既定値まで順にインクリメントして予測ベクトル候補を１つずつ選択し、各予測ベクトル候補にステップ４ｂから４ｅの処理を実行する。

ステップ４ｂにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の予測誤差を算出する。
ステップ４ｃにおいて動きベクトル検出部１２２は、選択した予測ベクトル候補の評価値を算出する。例えば、ステップ４ｂで求めた予測誤差に、所定の係数λと動きベクトルコストを乗算した値を加算して、上記評価値を求める。

ステップ４ｄにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値が予め設定した最小評価値未満か否かを判定する。ここで、ステップ４ｃで求めた評価値が予め設定した最小評価値未満の場合には、ステップ４ｅに移行し、一方、最小評価値以上の場合には、当該処理を終了する。なお、最小評価値は、初期値が設定されており、処理対象ブロックごとにリセットされる。

ステップ４ｅにおいて動きベクトル検出部１２２は、ステップ４ｃで求めた評価値で最小評価値を更新する。また動きベクトル検出部１２２は、最小評価値に対応する予測ベクトル候補を動きベクトルとして決定する。

再び、図３を参照して説明する。
ステップ３ｅでは、大域動きベクトル検出部１２３が、ステップ３ａ〜３ｄの繰り返しによって動きベクトル検出部１２２が検出した複数の動きベクトルに基づいて、ヒストグラムを作成し、このヒストグラムに基づいて、頻度の高い動きベクトル（以下、大域動きベクトルと称する）を検出する。具体的には、大域動きベクトル検出部１２３は、図５に示すような処理を実行して、大域動きベクトルを検出する。以下、図５を参照して説明する。

ステップ５ａにおいて大域動きベクトル検出部１２３は、補間フレームＦ_{ｔ−０．５}を生成するにあたって、動きベクトル検出部１２２が検出した複数の動きベクトルに基づいて、動きベクトルのヒストグラムを作成し、ステップ５ｂに移行する。この動きベクトルのヒストグラムは、大域動きベクトル検出部１２３により、動きベクトルの大きさと方向ごとに算出される。つまり、動きベクトルをX,Yマップ上にプロットし、Z方向にその動きベクトルの頻度を表す。

ステップ５ｂにおいて大域動きベクトル検出部１２３は、ステップ５ａで作成したヒストグラムのうち、最大頻度の動きベクトルを検出し、ステップ５ｃに移行する。

ステップ５ｃにおいて大域動きベクトル検出部１２３は、ステップ５ｂで検出した動きベクトルを大域動きベクトルＧＭＶ（Global Motion Vector）１として保存し、ステップ５ｄに移行する。大域動きベクトルは、画面全体の動きを表している。
ステップ５ｄにおいて大域動きベクトル検出部１２３は、ブロック総数に対するステップ５ｂで検出した最大頻度の動きベクトルを有するブロックの割合が、予め設定した閾値ＴＨ_ｈｉｓｔを超えているか否かを判定する。上記割合が予め設定した閾値ＴＨ_ｈｉｓｔを超えている、すなわち、大域動きベクトルＧＭＶ１の頻度（最大頻度）がブロック総数に対して、所定の割合未満の場合には、ステップ５ｅに移行し、一方、そうでない場合には、当該処理を終了する。

ステップ５ｅにおいて大域動きベクトル検出部１２３は、所定の条件を満たす頻度が高い動きベクトルを検出し、ステップ５ｆに移行する。ここでいう所定の条件とは、図５の式に示すように、GMV1との距離が閾値以上離れていることを意味する。この条件で抽出を行うことにより、ほぼ同じ大きさと向きの動きベクトルが第２位の大域動きベクトルとして、ステップ５ｆで選択されることを防止する。
ステップ５ｆにおいて大域動きベクトル検出部１２３は、ステップ５ｅで検出した動きベクトルを大域動きベクトルＧＭＶ２として保存し、当該処理を終了する。すなわち、この一連のステップ５ａ〜５ｆは、大域動きベクトルＧＭＶ１の頻度（最大頻度）がブロック総数に対して、所定の割合（例えば、０．５）未満の場合に、第２位の頻度の大域動きベクトルＧＭＶ２を求める。

再び、図３を参照して説明する。
次に、ステップ３ｆ〜３ｉでは、ブロックインデックスがラスタスキャン順に１つずつ選択されて、選択されたブロックインデックスに対応するブロック（以下、処理対象ブロックと称する）ごとに、ステップ３ｇおよび３ｈが実施される。

ステップ３ｇでは、局所動きベクトル平滑化部１２４が、処理対象ブロックの動きベクトルと、処理対象ブロックに隣接するブロックの動きベクトルとの乖離度を下式（１）のベクトルメディアン、または下式（２）の重み付きベクトルメディアンによって算出し、局所動きベクトルを平滑化する。具体的には、局所動きベクトル平滑化部１２４は、処理対象ブロック毎に、図６に示すような処理を実行して、ブロックごとに平滑化した動きベクトルを検出する。以下、図６を参照して説明する。

ステップ６ａ〜６ｆでは、処理対象ブロックの動きベクトルを平滑化する。まず、ステップ６ａにて、平滑化対象となる動きベクトルのインデックスｉ（i＝０〜I）を走査する。左記インデックスは、処理対象ブロックと隣接するブロックの計9ブロックとし、これらの動きベクトルについて、それぞれステップ６ｂ〜６ｅの処理を実行する。
ステップ６ｂにおいて局所動きベクトル平滑化部１２４は、処理対象の動きベクトルＭＶ_iを基準動きベクトルとして設定し、ステップ６ｃに移行する。

ステップ６ｃにおいて局所動きベクトル平滑化部１２４は、基準動きベクトルＭＶ_iと他の動きベクトルＭＶ_j（j=0〜J：ただし、この場合、J=I）とに基づいて評価値Ａを算出し、ステップ６ｄに移行する。評価値Ａの算出方法の一例としては、他の動きベクトルＭＶ_jと基準動きベクトルＭＶ_iとの差の絶対値和に、処理対象ブロックの予測誤差（ステップ４ｂで算出）を乗算して求める。なお、ステップ６cで算出する評価値は、数式（１）、または数式（２）から求める。

ステップ６ｄにおいて局所動きベクトル平滑化部１２４は、最小評価値と、ステップ６ｃで求めた評価値を比較し、最小評価値がステップ６ｃで求めた評価値Ａより大きい場合には、ステップ６ｅに移行し、一方、最小評価値がステップ６ｃで求めた評価値Ａ以下の場合には、ステップ６ｆに移行して、次のインデックスの動きベクトルについて、ステップ６ｂから処理を実行する。なお、最小評価値は、新たな処理対象ブロックについて図６に示す処理を開始する際に、予め設定した初期値にリセットされる。

ステップ６ｅにおいて局所動きベクトル平滑化部１２４は、最小評価値をステップ６ｃで求めた評価値Ａで更新するとともに、この評価値Ａを得るのに用いた動きベクトル（インデックスｊ）を局所動きベクトルとして更新・保持し、ステップ６ｆに移行して、次のインデックスの動きベクトルについて、ステップ６ｂから処理を実行する。
全てのインデックスｊについて処理を完了すると、当該処理を終了し、ステップ３ｈに移行する。

再び、図３を参照して説明する。
ステップ３ｈでは、動きベクトル信頼判定部１２５が、ステップ３ｇで求められた処理対象ブロックの平滑化した動きベクトル（局所動きベクトル）について、ステップ３ｅで大域動きベクトル検出部１２３が求めた大域動きベクトルを用いて信頼性判定を行い、この判定結果にしたがって、さらに平滑化した動きベクトルを求めて、フレーム内の動きに均一性を持たせる。具体的には、動きベクトル信頼判定部１２５が、処理対象ブロックの動きベクトル（局所動きベクトル）毎に、図７に示すような処理を実行して、さらに平滑化した動きベクトルを検出する。以下、図７を参照して説明する。

ステップ７ａにおいて動きベクトル信頼判定部１２５は、処理対象ブロックの局所動きベクトルを、平滑化動きベクトルの初期値として設定し、ステップ７ｂに移行する。
ステップ７ｂにおいて動きベクトル信頼判定部１２５は、ステップ７ａで用いた局所動きベクトルの最小評価値（ステップ６ｅで更新）が、予め設定した閾値ＴＨ_{ＬＯＣＡＬ}以上か否かを判定する。ここで、最小評価値が閾値ＴＨ_{ＬＯＣＡＬ}以上の場合には、ステップ７ｃに移行し、一方、最小評価値が、閾値ＴＨ_{ＬＯＣＡＬ}未満の場合には、処理対象ブロックの局所動きベクトルを、処理対象ブロックの平滑化動きベクトルとして、動きベクトルバッファ１２６とαブレンディング部１２７に出力した後、当該処理を終了し、ステップ３ｉに移行する。

なお、閾値ＴＨ_{ＬＯＣＡＬ}は、初期値を0とし、処理対象のフレームごとに更新し、フレームを構成する各ブロックの予測誤差（ステップ４ｂで算出）を平均した値を２で割った値に設定する。

ステップ７ｃにおいて動きベクトル信頼判定部１２５は、ステップ７ａで用いた局所動きベクトルの最小評価値（ステップ６ｅで更新）を最小評価値Ｂとして設定し、ステップ７ｄに移行する。

ステップ７ｄ〜ステップ７ｈでは、動きベクトル信頼判定部１２５が、ステップ３ｅで求めた大域動きベクトルＧＭＶ１，ＧＭＶ２にインデックスｉ（ｉ＝０，１）を付与し、これらの大域動きベクトルＧＭＶ_ｉを順次用いて、ステップ７ｅ〜７ｇの処理を実行し、処理対象ブロックの局所動きベクトルの信頼性を評価し、その結果に応じて、平滑化した動きベクトルを求める。

ステップ７ｅにおいて動きベクトル信頼判定部１２５は、処理対象ブロックの局所動きベクトルの予測誤差（ステップ４ｂで算出）と、処理対象フレーム内の動きベクトルの総数と、ステップ７ｄで選択したインデックスの大域動きベクトルＧＭＶ_ｉの頻度（ステップ３ｅで検出）と、処理対象ブロックに隣接するブロックの動きベクトルＭＶ_ｊ（ステップ７ｇで算出）と、ステップ７ｄで選択したインデックスの大域動きベクトルＧＭＶ_ｉとに基づいて信頼性評価値Ｃを算出し、ステップ７ｆに移行する。

信頼性評価値Ｃの算出方法の一例としては、ステップ７ｄで選択したインデックスの大域動きベクトルＧＭＶ_ｉと上記隣接するブロックの動きベクトルＭＶ_ｊとの差の和に、重み係数として、画面内動きベクトル総数を帯域動きベクトル頻度で割った値を乗算し、さらに上記予測誤差を乗算して求める。なお、上記総数は、最初の補間フレーム作成時の大域動きベクトルを求めた後、ヒストグラムの各値を合計することで求められる。

また、信頼性評価値Ｃの別の算出方法としては、上記重み係数として、動きベクトル（仮の平滑化された動きベクトル、仮のフレームの最大頻度動きベクトル）を用いてブロックの輝度平均を求め、この輝度平均と、処理対象フレーム内で最大頻度の動きベクトルを有するブロックの輝度平均の差を用いるようにしてもよい。このように、ブロックの平均輝度差を参照することで、誤り動きベクトルが選択される可能性を抑制することができる。なお、この処理は、フレーム補間部１２０が行う。

ステップ７ｆにおいて動きベクトル信頼判定部１２５は、ステップ７ｃで設定した最小評価値Ｂが、ステップ７ｅで求めた信頼性評価値Ｃより大きいか否かを判定する。ここで、最小評価値Ｂが信頼性評価値Ｃより大きい場合には、ステップ７ｇに移行し、一方、最小評価値Ｂが信頼性評価値Ｃ以下の場合には、ステップ７ｈに移行して、次のインデックスの大域動きベクトルについて、ステップ７ｅから処理を実行する。

ステップ７ｇにおいて動きベクトル信頼判定部１２５は、最小評価値Ｂを信頼性評価値Ｃで更新するとともに、この評価値Ｃを得るのに用いた処理対象ブロックの局所動きベクトルに代わって、処理対象ブロックの動きベクトルをステップ７ｄで選択したインデックスの大域動きベクトルＧＭＶ_ｉで更新して、この更新した動きベクトルを処理対象ブロックの平滑化動きベクトルとして、動きベクトルバッファ１２６とαブレンディング部１２７に出力する。

またステップ７ｈでは、動きベクトル信頼判定部１２５が、全てのインデックスｉについて処理を完了したか否かを判断し、完了した場合には、当該処理を終了し、ステップ３ｉに移行する。また、完了していない場合には、次のインデックスの大域動きベクトルについて、ステップ７ｅから処理を実行する。

ステップ３ｉでは、フレーム補間部１２０が、全てのブロックインデックスについて処理を完了したか否かを判断し、完了した場合には、当該処理を終了し、ステップ３ｊに移行する。また、完了していない場合には、処理対象ブロックとして、次のインデックスのブロックについて、ステップ３ｇから処理を実行する。

ここまでの処理で、補間フレームを構成する各ブロックの動きベクトルが生成され、これらの動きベクトルは、動きベクトルバッファ１２６に記憶される。動きベクトルバッファ１２６に記憶された動きベクトルは、次の補間フレームを生成するために、予測ベクトル候補設定部１２１で用いられる。

ステップ３ｊでは、αブレンディング部１２７が、補間フレームを構成する補償ブロックを生成し、この補償ブロックと、動きベクトル信頼判定部１２５から出力される補間フレームＦ_{ｔ−０．５}の動きベクトルとを、対応するブロックごとに合成し、補間フレームを生成する。なお、この合成の割合は、対象となるブロックの動きベクトルの信頼度(周辺動きベクトルとの乖離度)と動いた場合の予測誤差/動かなかった場合の予測誤差の比に基づくパラメータαを用いて、α：（１−α）の比率で合成する。

以上のようにして、補間フレームＦ_{ｔ−０．５}が生成されると、表示ドライバ１３０は、動画像復号部１１０で得た動画像フレームＦ_ｔと、フレーム補間部１２０から与えられる補間フレームＦ_{ｔ−０．５}とをバッファメモリに記憶し、これらのフレームを交互に表示部２０に出力する。動画像フレームＦ_ｔおよび補間フレームＦ_{ｔ−０．５}は、それぞれフレームレートが１５Ｈｚであるが、これらを表示ドライバ１３０が交互に出力することで３０Ｈｚのフレームレートの動画像を出力することができる。そして、表示部１３０は、３０Ｈｚのフレームレートの動画像を表示する。

以上のように、上記構成の画像処理装置では、補間フレームを生成する場合に、時間的に連続する２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測し、この予測動きベクトルを、上記２つのフレームや隣接するブロックの予測ベクトルに基づいて平滑化して、局所動きベクトルを求める。また、上記予測動きベクトルのヒストグラムに基づいて、補間フレームの動きベクトルの傾向（大域動きベクトル）を求める。そして、局所動きベクトルと大域動きベクトルに基づいて、補間フレームを生成するようにしている。

したがって、上記構成の画像処理装置によれば、ヒストグラム作成という負荷の少ない処理で求めた大域動きベクトルを考慮して補間フレームを生成するので、生成された補間フレームに均一性が生じる。すなわち、低負荷の処理で補間フレームに均一性を与えられるので、処理負荷を増大させることなく、主観的に劣化の少ない補間フレームを生成して、動画像の品質を改善することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

例えば、上記実施の形態では、動きベクトル信頼判定部１２５が局所動きベクトルの信頼性を評価して、評価が低い場合には、大域動きベクトルを用いるようにした。すなわち、選択的に局所動きベクトルか大域動きベクトルを用いるようにしたが、これに代わって例えば、局所動きベクトルと大域動きベクトルの両方を評価結果に応じた割合で重み付け合成して、平滑化した動きベクトルを求めるようにしてもよい。

また局所動きベクトルの評価結果が予め設定した閾値よりも低い場合に、局所動きベクトルに代わって（大域動きベクトルの評価は行わずに）大域動きベクトルを用いるようにしたり、あるいは、局所動きベクトルと大域動きベクトルの両方を評価結果に応じた割合で重み付け合成して、平滑化した動きベクトルを求めるようにしてもよい。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

１０…無線通信部、２０…表示部、３０…通話部、３１…スピーカ、３２…マイクロホン、４０…操作部、５０…記憶部、６０…放送受信部、１００…制御部、１１０…動画像復号部、１２０…フレーム補間部、１２１…予測ベクトル候補設定部、１２２…動きベクトル検出部、１２３…大域動きベクトル検出部、１２４…局所動きベクトル平滑化部、１２５…動きベクトル信頼判定部、１２６…動きベクトルバッファ、１２７…αブレンディング部、１３０…表示ドライバ、ＢＣ…放送局、ＢＳ…基地局装置、ＮＷ…移動通信網。

Claims (6)

1. 時間的に連続する２つのフレームの間に挿入する補間フレームを生成する画像処理装置において、
   前記２つのフレームに基づいて、補間フレームを構成する各ブロックの動きベクトルを予測して、予測動きベクトルを求めるベクトル検出手段と、
   このベクトル検出手段が検出した予測動きベクトルを、隣接するブロックの予測動きベクトルや前記２つのフレームを構成するブロックの動きベクトルに基づいて平滑化し、平滑化動きベクトルを求める平滑化手段と、
   前記補間フレームを構成する各ブロックの予測動きベクトルに基づくヒストグラムを求め、このヒストグラムから補間フレームの傾向を求める傾向検出手段と、
   前記平滑化手段が求めた平滑化動きベクトルと、前記傾向検出手段が求めた傾向とに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めるベクトル生成手段とを具備することを特徴とする画像処理装置。
2. さらに、前記予測動きベクトルの予測誤差を求める誤差検出手段を備え、
   前記ベクトル生成手段は、前記平滑化手段が求めた平滑化動きベクトルについて、前記誤差検出手段が求めた予測誤差を考慮した評価値を求め、この評価値に応じて、前記傾向検出手段が求めた傾向と前記平滑化動きベクトルとに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記傾向検出手段は、前記補間フレームを構成する各ブロックの予測動きベクトルに基づくヒストグラムを求め、このヒストグラムから前記補間フレームの大域的な大域予測動きベクトルを求め、
   前記ベクトル生成手段は、前記平滑化手段が求めた平滑化動きベクトルと、前記傾向検出手段が求めた大域予測動きベクトルとに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めることを特徴とする請求項１に記載の画像処理装置。
4. さらに、前記予測動きベクトルの予測誤差を求める誤差検出手段と、
   前記大域予測動きベクトルの予測誤差を求める大域誤差検出手段とを備え、
   前記ベクトル生成手段は、前記平滑化手段が求めた平滑化動きベクトルについて、前記誤差検出手段が求めた予測誤差を考慮した第１評価値を求めるとともに、前記大域予測動きベクトルについて、前記大域誤差検出手段が求めた予測誤差を考慮した第２評価値を求め、前記第１評価値と前記第２評価値に応じて、前記大域予測動きベクトルと前記平滑化動きベクトルとに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めることを特徴とする請求項３に記載の画像処理装置。
5. 前記傾向検出手段は、前記補間フレームを構成する各ブロックの予測動きベクトルに基づくヒストグラムを求め、このヒストグラムから前記補間フレームの大域的な大域予測動きベクトルを複数求め、
   さらに、前記予測動きベクトルの予測誤差を求める誤差検出手段と、
   前記複数の大域予測動きベクトルの予測誤差をそれぞれ求める大域誤差検出手段とを備え、
   前記ベクトル生成手段は、前記平滑化手段が求めた平滑化動きベクトルについて、前記誤差検出手段が求めた予測誤差を考慮した評価値を求めるとともに、前記複数の大域予測動きベクトルについて、前記大域誤差検出手段がそれぞれ求めた予測誤差を考慮した評価値をそれぞれ求め、これらの評価値に応じて、前記複数の大域予測動きベクトルと前記平滑化動きベクトルとに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めることを特徴とする請求項３に記載の画像処理装置。
6. 前記ベクトル生成手段は、前記平滑化動きベクトルの評価値と、前記大域予測動きベクトルの評価値を比較していずれか一方のベクトルを選択し、この選択したベクトルに基づいて、前記補間フレームを構成するブロックの動きベクトルを求めることを特徴とする請求項４または請求項５に記載の画像処理装置。

Images