JP5490236B2 - 画像処理装置および方法、画像表示装置および方法 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像表示装置および画像表示方法に関し、特に、フレームレート変換処理と再帰型ノイズ低減処理を行う画像処理装置、画像処理方法、画像表示装置および画像表示方法に関する。

液晶表示装置などのホールド型表示装置には、動きのある画像を表示したときに、動く部分の輪郭がぼやけて見えるという問題がある（以下、この現象を動きぼやけという）。この動きぼやけを防止する方法として、連続した２枚のフレーム間に新たなフレームを内挿して、フレームレートを高くする方法（フレームレート変換処理）が知られている。また、動きぼやけを効果的に防止するために、フレームレート変換処理を行うときに、動きベクトルを用いて動き補償を行う方法も知られている。

これとは別に、動画に含まれるノイズを低減する方法として、動きベクトルを用いた再帰型ノイズ低減処理が知られている。図１３は、特許文献１に記載されたノイズ低減装置の構成を示すブロック図である。図１３に示すノイズ低減装置１１０において、動き検出フレーム巡回型ノイズ低減手段１１１に含まれるフレームメモリ１１６は、前フレームの出力映像信号を記憶している。ベクトル検出手段１１７は、入力映像信号とフレームメモリ１１６から出力された前フレームの出力映像信号とに基づき、動きベクトルＭＶと動き成分ＭＣ（対応画素の変化を示す量）を求める。巡回帰還量制御回路１１２は、動き成分ＭＣに基づき巡回係数ｋを求める。乗算器１１３は入力映像信号に含まれる画素値を（１−ｋ）倍し、乗算器１１４は対応する画素値（フレームメモリ１１６から動きベクトルＭＶを用いて読み出した画素値）をｋ倍し、加算器１１５は乗算器１１３、１１４の出力を加算する。加算器１１５の出力は、出力映像信号としてノイズ低減装置１１０の外部に出力されると共に、次フレームの入力映像信号に対する処理に備えてフレームメモリ１１６に記憶される。ノイズ低減装置１１０によれば、時間軸方向に相関のないノイズ（ちらつくノイズ）を低減し、動き領域における残像の発生を防止して、鮮明で高画質な画像を得ることができる。

また、動き補償によるフレームレート変換処理と動きベクトルを用いた再帰型ノイズ低減処理とを組合せた方法も考えられる。図１４は、フレームレート変換処理と再帰型ノイズ低減処理を行う画像処理装置の構成を示すブロック図である。図１４に示す画像処理装置１２０において、フレームメモリ１２１、動きベクトル検出部１２２、内挿画像生成部１２４、および、タイムベース変換部１２５は、動き補償によるフレームレート変換処理を行う。３次元ノイズ低減処理部１２３は、動きベクトル検出部１２２で検出された動きベクトルを用いて再帰型ノイズ低減処理を行う。画像処理装置１２０によれば、ホールド型表示装置で発生する動きぼやけを防止すると共に、動画を表示するときに残像感のないノイズ低減を行い、高画質な動画を表示することができる。また、フレームレート変換処理と再帰型ノイズ低減処理で動きベクトル検出部１２２を共用することにより、回路規模やメモリ容量を削減することができる。

日本国特開２００４−８８２３４号公報

しかしながら、動きベクトル検出処理では、常に正しい動きベクトルを検出できるとは限らない。例えば、動きが速い映像や、形状を変化させながら移動する物体を映した映像や、ある物体の手前または奥に別の物体が見え隠れする映像などでは、動きを追従することが困難であるために、動きベクトルの誤検出が発生しやすい。また、シーンチェンジやカメラのフラッシュなどを含む映像のように、フレーム間でシーンや輝度が大きく変化する場合には、動きベクトルの誤検出が画面全体で発生することがある。

特許文献１の第２以降の実施形態には、動きベクトルの誤検出を低減させる方法が記載されている。しかし、これらの方法を用いても、動きベクトルの誤検出を完全に防止することはできない。また、動きベクトルの誤りを補正するとノイズ低減効果が小さくなるという問題もある。

動きベクトルの誤検出が発生すると、フレームレート変換処理では、移動物体の形状に歪みが生じたり、二重像が見えたりするなどの画質劣化が生じる。再帰型ノイズ低減処理では、物体のエッジがぼやけたり、移動物体に尾引きが見えたりするなどの画質劣化が生じる。フレームレート変換処理と再帰型ノイズ低減処理の両方を行った場合には、再帰型ノイズ低減処理後の画像に動きぼやけや尾引きが生じる。また、内挿画像は再帰型ノイズ低減処理後の画像に基づき生成されるので、動きぼやけや尾引きがすでに発生していた部分にさらに歪みが生じる。この結果、内挿画像が大幅に劣化することがある。

それ故に、本発明は、フレームレート変換処理と再帰型ノイズ低減処理を行い、動きベクトルの誤検出に起因する内挿画像の大幅な劣化を防止した画像処理装置、画像処理方法、画像表示装置および画像表示方法を提供することを目的とする。

本発明の第１の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択する選択部と、
前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備える。

本発明の第２の局面は、本発明の第１の局面において、
前記入力画像に基づきシーン情報を検出するシーン情報検出部をさらに備え、
前記選択部は前記シーン情報に基づき選択を行うことを特徴とする。

本発明の第３の局面は、本発明の第１の局面において、
前記入力画像に基づきテロップ情報を検出するテロップ情報検出部をさらに備え、
前記選択部は前記テロップ情報に基づき選択を行うことを特徴とする。

本発明の第４の局面は、本発明の第１の局面において、
外部から入力された外部情報を解析する外部情報解析部をさらに備え、
前記選択部は前記外部情報解析部による解析結果に基づき選択を行うことを特徴とする。
本発明の第５の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求める第２のノイズ低減処理部と、
前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備える。

本発明の第６の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行う第１のノイズ低減処理部と、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
前記第１および第２のノイズ低減処理部の出力に対して独立した２つの加重加算を行うことにより、前記補正原画像と参照画像を求める加重加算演算部と、
前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備え、
前記加重加算演算部は、前記補正原画像として、動きベクトルの誤検出が発生しやすい場合には前記第２のノイズ低減処理部の出力に近く、そうでない場合には前記第１のノイズ低減処理部の出力に近い画像を求め、前記参照画像として前記補正原画像よりも前記第２のノイズ低減処理部の出力に近い画像を求めることを特徴とする。

本発明の第７の局面は、本発明の第６の局面において、
前記入力画像に基づきシーン情報を検出するシーン情報検出部をさらに備え、
前記加重加算演算部の加重係数は前記シーン情報に基づき変化することを特徴とする。

本発明の第８の局面は、本発明の第６の局面において、
前記入力画像に基づきテロップ情報を検出するテロップ情報検出部をさらに備え、
前記加重加算演算部の加重係数は前記テロップ情報に基づき変化することを特徴とする。

本発明の第９の局面は、本発明の第６の局面において、
外部から入力された外部情報を解析する外部情報解析部をさらに備え、
前記加重加算演算部の加重係数は前記外部情報解析部による解析結果に基づき変化することを特徴とする。

本発明の第１０の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理方法であって、
連続して入力された入力画像から動きベクトルを検出するステップと、
検出された動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求めるステップと、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用するステップと、
動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択するステップと、
検出された動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成するステップとを備える。
本発明の第１１の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理方法であって、
連続して入力された入力画像から動きベクトルを検出するステップと、
検出された動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求めるステップと、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求めるステップと、
検出された動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成するステップとを備える。

本発明の第１２の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行って画像を表示する画像表示装置であって、
表示パネルと、
フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理部と、
前記画像処理部の出力に基づき前記表示パネルを駆動する駆動回路とを備え、
前記画像処理部は、
連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択する選択部と、
前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを含む。

本発明の第１３の局面は、フレームレート変換処理と再帰型ノイズ低減処理を行って画像を表示する画像表示装置であって、
表示パネルと、
フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理部と、
前記画像処理部の出力に基づき前記表示パネルを駆動する駆動回路とを備え、
前記画像処理部は、
連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求める第２のノイズ低減処理部と、
前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを含む。

本発明の第１〜第１１の局面によれば、動き補償によるフレームレート変換処理と動きベクトルを用いた再帰型ノイズ低減処理とを行うことにより、ホールド型表示装置で発生する動きぼやけを防止すると共に、動き領域における残像の発生を防止して、鮮明で高画質な出力画像を得ることができる。また、フレームレート変換処理と再帰型ノイズ低減処理で動きベクトル検出部を共用することにより、回路規模やメモリ容量を削減することができる。また、補正原画像とは異なる方法で参照画像を求めることにより、好適な参照画像に基づき内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第１または第１０の局面によれば、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を適宜切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、状況に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に基づき内挿画像を生成することにより、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

本発明の第２の局面によれば、入力画像が表すシーンの特徴に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、シーンの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第３の局面によれば、入力画像に含まれるテロップの特徴に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、テロップの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第４の局面によれば、外部から入力された外部情報に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、外部情報に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。
本発明の第５または第１１の局面によれば、内挿画像は、再帰型ノイズ低減処理を行っていない画像に基づき生成される。したがって、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、内挿画像は、ノイズ低減フィルタを適用した画像に基づき生成される。したがって、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

本発明の第６の局面によれば、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、状況に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に与える加重係数を大きくして参照画像を求めることにより、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

本発明の第７の局面によれば、入力画像が表すシーンの特徴に応じて加重係数を変化させながら、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、シーンの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第８の局面によれば、入力画像に含まれるテロップの特徴に応じて加重係数を変化させながら、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、テロップの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第９の局面によれば、外部から入力された外部情報に応じて加重係数を変化させながら、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、外部情報に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第１２または第１３の局面によれば、ホールド型表示装置で発生する動きぼやけを低減すると共に、動き領域における残像の発生を防止して、鮮明で高画質な画像を表示することができる。また、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の各実施形態に係る画像処理装置を含む液晶表示装置の構成を示すブロック図である。 図１に示す画像処理装置における入力画像と出力画像を示す図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。 テロップを含む入力画像の例を示す図である。 図５に示す画像処理装置のテロップ情報検出部によるテロップ領域検出結果を示す図である。 本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。 図９に示す画像処理装置の加重係数制御部と加重加算演算部の詳細を示すブロック図である。 本発明の第５の実施形態の第１変形例に係る画像処理装置の構成を示すブロック図である。 本発明の第５の実施形態の第２変形例に係る画像処理装置の構成を示すブロック図である。 従来のノイズ低減装置の構成を示すブロック図である。 従来の画像処理装置の構成を示すブロック図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１０は、フレームメモリ１１、動きベクトル検出部１２、２次元ノイズ低減フィルタ処理部１３、３次元ノイズ低減処理部１４、内挿画像生成部１５、および、タイムベース変換部１６を備えている。画像処理装置１０は、動き補償によるフレームレート変換処理と動きベクトルを用いた再帰型ノイズ低減処理とを行う。

図２は、画像処理装置１０を含む液晶表示装置の構成を示すブロック図である。図２に示す液晶表示装置１は、画像処理装置１０、タイミング制御回路２、走査信号線駆動回路３、データ信号線駆動回路４、および、液晶パネル５を備えている。液晶パネル５は、ｐ本の走査信号線Ｇ１〜Ｇｐ、ｑ本のデータ信号線Ｓ１〜Ｓｑ、および、（ｐ×ｑ）個の画素回路６を含んでいる。走査信号線Ｇ１〜Ｇｐは互いに平行に配置され、データ信号線Ｓ１〜Ｓｑは走査信号線Ｇ１〜Ｇｐと直交するように互いに平行に配置される。（ｐ×ｑ）個の画素回路６は、走査信号線Ｇ１〜Ｇｐとデータ信号線Ｓ１〜Ｓｑの各交点近傍に配置される。

液晶表示装置１には外部から、フレームレートが６０Ｈｚの入力画像信号Ｖｉｎが入力される。画像処理装置１０は、入力画像信号Ｖｉｎをフレームレートが１２０Ｈｚの出力画像信号Ｖｏｕｔに変換する。出力画像信号Ｖｏｕｔは、データ信号線駆動回路４に供給される。タイミング制御回路２は、走査信号線駆動回路３とデータ信号線駆動回路４にそれぞれタイミング制御信号ＴＣ１、ＴＣ２を供給する。走査信号線駆動回路３とデータ信号線駆動回路４は、液晶パネル５の駆動回路である。走査信号線駆動回路３は、タイミング制御信号ＴＣ１に基づき、走査信号線Ｇ１〜Ｇｐを駆動する。データ信号線駆動回路４は、タイミング制御信号ＴＣ２と出力画像信号Ｖｏｕｔに基づき、データ信号線Ｓ１〜Ｓｑを駆動する。走査信号線駆動回路３とデータ信号線駆動回路４を用いて液晶パネル５を駆動することにより、１秒間に１２０枚の画像を液晶パネル５に表示することができる。

以下、入力画像信号Ｖｉｎが表す画像を入力画像、出力画像信号Ｖｏｕｔが表す画像を出力画像といい、ｎ番目の入力画像をＸ（ｎ）と表す。図３は、画像処理装置１０における入力画像と出力画像を示す図である。入力画像は１秒間に６０枚入力され、出力画像は１秒間に１２０枚出力される。出力画像には、入力画像に対してノイズ低減処理を行った画像（図３では点状模様を付した画像。以下、補正原画像という）と、画像処理装置１０で新たに生成された画像（図３では斜線を付した画像。以下、内挿画像という）とが含まれる。入力画像Ｘ（ｎ）に対応した補正原画像をＹ（ｎ）と表し、補正原画像Ｙ（ｎ）、Ｙ（ｎ＋１）の中間に内挿された内挿画像をＹ（ｎ＋０．５）と表す。以下に示すように、画像処理装置１０は、入力画像に対して再帰型ノイズ低減処理を行うことにより補正原画像を求め、入力画像に対して２次元ノイズ低減フィルタを適用した画像に基づき内挿画像を生成する。

以下、再び図１を参照して、画像処理装置１０の詳細を説明する。ここでは、入力画像Ｘ（ｎ＋１）が入力されたときの画像処理装置１０の動作を説明する。フレームメモリ１１は、入力画像信号Ｖｉｎを１フレーム分記憶し、１フレーム期間遅延させて出力する。入力画像Ｘ（ｎ＋１）が入力されたとき、フレームメモリ１１は、入力画像Ｘ（ｎ＋１）を記憶しながら、入力画像Ｘ（ｎ）を出力する。

動きベクトル検出部１２は、連続して入力された入力画像から動きベクトルを検出する。より詳細には、動きベクトル検出部１２は、入力画像Ｘ（ｎ＋１）とフレームメモリ１１から出力された入力画像Ｘ（ｎ）とに基づき、２枚の画像間の動きベクトルＭＶを検出する。動きベクトルＭＶの検出方法は任意でよい。検出された動きベクトルＭＶは、３次元ノイズ低減処理部１４と内挿画像生成部１５に供給される。

２次元ノイズ低減フィルタ処理部１３は、フレームメモリ１１から出力された入力画像Ｘ（ｎ）に対して、２次元ノイズ低減フィルタを適用する。２次元ノイズ低減フィルタの特性は、任意でよい。例えば、２次元ノイズ低減フィルタとして、ローパスフィルタやメディアンフィルタを使用することができる。２次元ノイズ低減フィルタ処理部１３の出力は、２次元ノイズ低減画像Ａ（ｎ）として内挿画像生成部１５に供給される。

３次元ノイズ低減処理部１４は、入力画像Ｘ（ｎ）に対して、動きベクトルを用いた再帰型ノイズ低減処理（３次元ノイズ低減処理）を行う。より詳細には、３次元ノイズ低減処理部１４は、動き補償画像メモリ１４１、加重係数制御部１４２、係数乗算器１４３、１４４、加算器１４５、および、動き補償画像生成部１４６を含んでいる。フレームメモリ１１から入力画像Ｘ（ｎ）が出力されたとき、動き補償画像メモリ１４１は、入力画像Ｘ（ｎ−１）に対して再帰型ノイズ低減処理と動き補償を行った動き補償画像Ｃ（ｎ）を出力する。

加重係数制御部１４２は、入力画像Ｘ（ｎ）と動き補償画像Ｃ（ｎ）を比較することにより、加重係数ｋ（ただし、０≦ｋ≦１）を決定する。加重係数制御部１４２は、例えば、入力画像Ｘ（ｎ）と動き補償画像Ｃ（ｎ）の輝度差分や輝度傾斜情報などを求め、求めた値に応じて加重係数ｋを変化させる。あるいは、加重係数制御部１４２は、入力画像Ｘ（ｎ）の輝度情報や周波数特性などに応じて、加重係数ｋを変化させてもよい。

加重係数制御部１４２で決定された加重係数ｋに基づき、係数乗算器１４３は入力画像Ｘ（ｎ）に含まれる画素値を（１−ｋ）倍し、係数乗算器１４４は動き補償画像Ｃ（ｎ）に含まれる対応する画素値をｋ倍する。加算器１４５は、係数乗算器１４３、１４４の出力を加算する。加算器１４５の出力は、３次元ノイズ低減画像Ｂ（ｎ）として、タイムベース変換部１６と動き補償画像生成部１４６に供給される。

動き補償画像生成部１４６は、３次元ノイズ低減画像Ｂ（ｎ）と動きベクトル検出部１２で検出された動きベクトルＭＶとに基づき、動き補償画像Ｃ（ｎ＋１）を生成する。動き補償画像生成部１４６は、３次元ノイズ低減処理部１４に次に供給される入力画像Ｘ（ｎ＋１）の位置と整合するように、未来から過去へ向かう動きベクトルを用いて、動き補償画像Ｃ（ｎ＋１）を生成する。生成された動き補償画像Ｃ（ｎ＋１）は、動き補償画像メモリ１４１に記憶される。

内挿画像生成部１５は、動きベクトル検出部１２で検出された動きベクトルＭＶを用いて、２次元ノイズ低減画像Ａ（ｎ）に基づき、補正原画像Ｙ（ｎ）と補正原画像Ｙ（ｎ＋１）の中間に内挿すべき内挿画像Ｙ（ｎ＋０．５）を生成する。生成された内挿画像Ｙ（ｎ＋０．５）は、タイムベース変換部１６に供給される。

タイムベース変換部１６に供給された３次元ノイズ低減画像Ｂ（ｎ）は、そのまま補正原画像Ｙ（ｎ）として使用される。タイムベース変換部１６は、補正原画像Ｙ（ｎ）と内挿画像Ｙ（ｎ＋０．５）を順次出力する。より詳細には、タイムベース変換部１６は、先に補正原画像Ｙ（ｎ）を出力し、１／１２０秒遅れて内挿画像Ｙ（ｎ＋０．５）を出力する。この結果、画像処理装置１０からは、補正原画像と内挿画像を交互に含む、フレームレートが１２０Ｈｚの出力画像信号Ｖｏｕｔが出力される。

このように画像処理装置１０では、補正原画像は、入力画像に対して再帰型ノイズ低減処理を行うことにより求められる。内挿画像は、入力画像に対して２次元ノイズ低減フィルタを適用した画像に基づき生成される。このように内挿画像は、補正画像とは異なる方法で求めた画像に基づき生成される。

以下、本実施形態に係る画像処理装置１０の効果を説明する。上述したように、画像処理装置１０は、動き補償によるフレームレート変換処理と動きベクトルを用いた再帰型ノイズ低減処理とを行う。これにより、ホールド型表示装置で発生する動きぼやけを防止すると共に、動き領域における残像の発生を防止して、鮮明で高画質な出力画像を得ることができる。特に、再帰型の処理を行うことにより、数フレーム分の画像を参照した場合と同様の効果が得られる。また、動きベクトルを用いた再帰型ノイズ低減処理を行うことにより、動きに追従した加重加算を行い、ぼやけを効果的に防止することができる。また、画像処理装置１０では、動きベクトル検出部１２で検出された動きベクトルＭＶは、フレームレート変換処理と再帰型ノイズ低減処理の両方に使用される。このようにフレームレート変換処理と再帰型ノイズ低減処理で動きベクトル検出部１２を共用することにより、回路規模やメモリ容量を削減することができる。

上述したように、フレームレート変換処理と再帰型ノイズ低減処理を行う従来の画像処理装置（例えば、図１４に示す画像処理装置１２０）には、再帰型ノイズ低減処理後の画像に基づき内挿画像を生成するために、動きベクトルの誤検出が発生したときに、内挿画像が大幅に劣化するという問題がある。

これに対して、本実施形態に係る画像処理装置１０は、入力画像Ｘ（ｎ）に再帰型ノイズ低減処理を行った画像を補正原画像Ｙ（ｎ）とし、入力画像Ｘ（ｎ）に２次元ノイズ低減フィルタを適用した画像に基づき内挿画像Ｙ（ｎ＋０．５）を生成する。このように画像処理装置１０では、動きベクトルの誤検出が発生したときに大幅に劣化する可能性がある内挿画像は、再帰型ノイズ低減処理を行った画像ではなく、再帰型ノイズ低減処理を行っていない画像に基づき生成される。したがって、画像処理装置１０によれば、動きベクトルの誤検出が発生したときでも、内挿画像の大幅な劣化を防止することができる。

また、画像処理装置１０では、内挿画像は、２次元ノイズ低減フィルタを適用した画像に基づき生成される。したがって、画像処理装置１０によれば、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。なお、再帰型ノイズ低減処理で低減できないノイズとは、時間が経過しても変化しないノイズであり、例えば静止画像において常に同じ位置に発生するモスキートノイズなどが含まれる。

また、一般に、フレームレート変換処理を行うと、エッジ歪みなどの画質劣化が生じる。画像処理装置１０は、２次元ノイズ低減フィルタを適用した画像に基づき内挿画像を生成する。したがって、画像処理装置１０によれば、エッジをぼやけさせて、内挿画像に含まれるエッジ歪みを抑制することができる。

また、画像処理装置１０を画像処理部として備えた液晶表示装置１（図２）によれば、ホールド型表示装置で発生する動きぼやけを低減すると共に、動き領域における残像の発生を防止して、鮮明で高画質な画像を表示することができる。また、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図４に示す画像処理装置２０は、第１の実施形態に係る画像処理装置１０にシーン情報検出部２１と選択部２２を追加したものである。以下の各実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置１０と同様に、図２に示す液晶表示装置１に内蔵して使用される。また、各実施形態の構成要素のうち先の実施形態と同一のものについては、同一の参照符号を付して説明を省略する。

シーン情報検出部２１は、入力画像Ｘ（ｎ）に基づきシーン情報を検出し、検出したシーン情報に基づき選択制御信号Ｐ１を出力する（詳細は後述）。選択制御信号Ｐ１は、２値の信号であり、画像単位でハイレベルとローレベルに変化する。例えば、選択制御信号Ｐ１は、入力画像Ｘ（ｎ）でシーンチェンジが発生したときにはハイレベルになり、それ以外のときにはローレベルになる。

選択部２２は、選択制御信号Ｐ１がハイレベルのときには、２次元ノイズ低減フィルタ処理部１３で求めた２次元ノイズ低減画像Ａ（ｎ）を選択し、選択制御信号Ｐ１がローレベルのときには、３次元ノイズ低減処理部１４で求めた３次元ノイズ低減画像Ｂ（ｎ）を選択する。選択部２２で選択された画像は、参照画像Ｚ（ｎ）として内挿画像生成部１５に供給される。

内挿画像生成部１５は、動きベクトル検出部１２で検出された動きベクトルＭＶを用いて、選択部２２で求めた参照画像Ｚ（ｎ）に基づき、補正原画像Ｙ（ｎ）と補正原画像Ｙ（ｎ＋１）の中間に内挿すべき内挿画像Ｙ（ｎ＋０．５）を生成する。内挿画像Ｙ（ｎ＋０．５）は、入力画像Ｘ（ｎ）でシーンチェンジが発生したときには２次元ノイズ低減画像Ａ（ｎ）に基づき生成され、それ以外のときには３次元ノイズ低減画像Ｂ（ｎ）に基づき生成される。

以下、シーン情報検出部２１について説明する。シーン情報検出部２１は、連続した２枚のフレーム間の輝度差分や画面内の動きベクトルについて統計処理を行い、入力画像Ｘ（ｎ）が表すシーンの特徴（シーン情報）を検出する。シーン情報には、例えば、シーンチェンジ、高速スクロール／パン画像、静止画像、フェードイン／アウト画像などの情報が含まれる。

シーン情報検出部２１は、例えば、連続した２枚のフレームについて画面全体の輝度ヒストグラムを求め、２つのヒストグラムの差が大きいときにシーンチェンジと判定してもよい。シーン情報検出部２１は、動きベクトルの精度情報に基づき、画面全体の中で精度が低いベクトルが多いときにシーンチェンジと判定してもよい。シーン情報検出部２１は、画像処理装置１０の外部から与えられた情報に基づき、シーンチェンジを検出してもよい。例えば、シーン情報検出部２１は、デコード部（図示せず）から受け取ったデコード結果に基づきシーンチェンジを検出してもよい。

一般に、シーンチェンジが発生したときには、動きベクトルの誤検出が多く発生する。そこで、シーン情報検出部２１は、シーンチェンジと判定したときには、ハイレベルの選択制御信号Ｐ１を出力する。このため、シーンチェンジが発生したときには、内挿画像Ｙ（ｎ＋０．５）は、３次元ノイズ低減画像Ｂ（ｎ）ではなく２次元ノイズ低減画像Ａ（ｎ）に基づき生成される。このように、シーンチェンジが発生したときには、再帰型ノイズ低減処理を行っていない画像に基づき内挿画像を生成することにより、内挿画像の大幅な劣化を防止することができる。

なお、シーンチェンジが発生すると、動きベクトルの検出精度が低い状態がしばらく続くことが多い。このため、シーン情報検出部２１は、シーンチェンジを検出したときには、しばらくの間（例えば、数フレーム期間に亘って）ハイレベルの選択制御信号Ｐ１を出力することが好ましい。

また、シーン情報検出部２１は、例えば、画面全体の動きベクトルの平均値（平均ベクトル）を求め、平均ベクトルが大きいときに高速スクロール画像と判定してもよい。シーン情報検出部２１は、画面全体の動きベクトルのヒストグラムからピークベクトル（最も頻度の高いベクトル）を求め、ピークベクトルが大きいときに高速スクロール画像と判定してもよい。シーン情報検出部２１は、所定よりも大きい動きベクトルを検出した回数や検出範囲を超えたために動きベクトルの検出に失敗した回数を数え、その回数が多いときに高速スクロール画像と判定してもよい。

一般に、高速スクロール画像では、動きベクトルの誤検出が多く発生する。そこで、シーン情報検出部２１は、高速スクロール画像と判定したときには、ハイレベルの選択制御信号Ｐ１を出力する。このため、入力画像が高速スクロール画像のときには、内挿画像Ｙ（ｎ＋０．５）は、３次元ノイズ低減画像Ｂ（ｎ）ではなく２次元ノイズ低減画像Ａ（ｎ）に基づき生成される。このように、入力画像が高速スクロール画像のときには、再帰型ノイズ低減処理を行っていない画像に基づき内挿画像を生成することにより、内挿画像の大幅な劣化を防止することができる。

また、シーン情報検出部２１は、例えば、連続した２枚のフレーム間の輝度差分が十分に小さいときには静止画像と判定してもよい。シーン情報検出部２１は、平均ベクトルやピークベクトルがゼロベクトルに十分に近いときや、検出した動きベクトルがゼロベクトルである場合が多いときに、静止画像と判定してもよい。

一般に、静止画像では、動きベクトルの誤検出はほとんど発生しない。そこで、シーン情報検出部２１は、静止画像と判定したときには、ローレベルの選択制御信号Ｐ１を出力する。このため、入力画像Ｘ（ｎ）が静止画像のときには、内挿画像Ｙ（ｎ＋０．５）は３次元ノイズ低減画像Ｂ（ｎ）に基づき生成される。

このように画像処理装置２０では、補正原画像は、入力画像に対して再帰型ノイズ低減処理を行うことにより求められる。内挿画像は、入力画像に対して２次元ノイズ低減フィルタを適用した画像、および、入力画像に対して再帰型ノイズ低減処理を行った画像を切り替えて得られた参照画像に基づき生成される。このように内挿画像は、補正画像とは異なる方法で求めた参照画像に基づき生成される。

以上に示すように、本実施形態に係る画像処理装置２０は、入力画像Ｘ（ｎ）に基づきシーン情報を検出するシーン情報検出部２１と、２次元ノイズ低減フィルタ処理部１３および３次元ノイズ低減処理部１４の出力のいずれかを選択し、参照画像Ｚ（ｎ）を求める選択部２２とを備えている。選択部２２は、シーン情報検出部２１で検出されたシーン情報に基づき選択を行う。

したがって、本実施形態に係る画像処理装置２０によれば、入力画像が表すシーンの特徴に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、シーンの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に基づき内挿画像を生成することにより、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

（第３の実施形態）
図５は、本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。図５に示す画像処理装置３０は、第２の実施形態に係る画像処理装置２０において、シーン情報検出部２１をテロップ情報検出部３１に置換したものである。

テロップ情報検出部３１は、入力画像Ｘ（ｎ）に基づきテロップ情報を検出し、検出したテロップ情報に基づき選択制御信号Ｐ２を出力する（詳細は後述）。選択制御信号Ｐ２は、２値の信号であり、画像内の画素、行あるいは帯状領域（複数の行で構成される）を単位としてハイレベルとローレベルに変化する。例えば、入力画像Ｘ（ｎ）がテロップを含む場合、選択制御信号Ｐ２は、テロップ領域の内部ではハイレベルとなり、テロップ領域の外部ではローレベルとなる。

選択部２２と内挿画像生成部１５は、第２の実施形態と同様に動作する。したがって、入力画像Ｘ（ｎ）がテロップを含む場合、内挿画像Ｙ（ｎ＋０．５）は、例えばテロップ領域の内部では２次元ノイズ低減画像Ａ（ｎ）に基づき生成され、テロップ領域の外部では３次元ノイズ低減画像Ｂ（ｎ）に基づき生成される。

以下、テロップ情報検出部３１について説明する。テロップ情報検出部３１は、画面内の動きベクトルについて統計処理を行い、入力画像Ｘ（ｎ）に含まれるテロップ領域の位置と速度を求める。テロップ領域の位置は、座標、行番号あるいは帯状領域の番号などを用いて表される。

図６は、テロップを含む入力画像の例を示す図である。図６に示す入力画像３５の下から約１／４の部分には、テロップ３６が含まれている。テロップ３６内の文字（以下、テロップ文字という）は、左方向に一定の速度（以下、テロップ速度という）で移動する。入力画像３５を複数のブロックに分割して、ブロック毎に動きベクトルを検出した場合、テロップ文字を含むブロックでは、テロップ速度に相当する動きベクトルが検出される。一方、テロップ文字を含まないブロックの動きベクトルは、ほぼゼロベクトルとなる。したがって、テロップ文字を含むブロックとテロップ文字を含まないブロックを区別して、テロップ領域を検出することができる。テロップ情報検出部３１は、図７に示すように、入力画像３５からテロップ領域３７（破線で示す領域）を検出する。

一般に、テロップ文字は、表示画面内で高速に移動する。テロップ文字と背景の境界部分では、文字の後ろに背景のテクスチャが見え隠れするので、フレーム間で相関が取れない領域が多く発生する（この領域は、オクリュージョン領域と呼ばれる）。オクリュージョン領域では、動きベクトルの誤検出が発生しやすい。また、多くのテロップ文字は、はっきりしたエッジを有する。このため、動きベクトルの誤検出に起因する内挿画像の劣化は、テロップ領域では顕著になる。

テロップ情報検出部３１は、例えば、テロップ領域の内部ではハイレベルの選択制御信号Ｐ２を出力し、テロップ領域の外部ではローレベルの選択制御信号Ｐ２を出力してもよい。テロップ情報検出部３１は、テロップ領域内で動きのある部分についてはハイレベルの選択制御信号Ｐ２を出力し、動きのない部分や動きの小さい部分についてはローレベルの選択制御信号Ｐ２を出力してもよい。テロップ情報検出部３１は、テロップ領域内でテロップ速度に近い速度で移動している部分についてはハイレベルの選択制御信号Ｐ２を出力し、それ以外の部分についてはローレベルの選択制御信号Ｐ２を出力してもよい。

このため、テロップが存在する部分では、内挿画像Ｙ（ｎ＋０．５）は、３次元ノイズ低減画像Ｂ（ｎ）ではなく２次元ノイズ低減画像Ａ（ｎ）に基づき生成される。このように、テロップが存在する部分では、再帰型ノイズ低減処理を行っていない画像に基づき内挿画像を生成することにより、テロップを含む内挿画像の大幅な劣化を防止することができる。

このように画像処理装置３０では、補正原画像は、入力画像に対して再帰型ノイズ低減処理を行うことにより求められる。内挿画像は、入力画像に対して２次元ノイズ低減フィルタを適用した画像、および、入力画像に対して再帰型ノイズ低減処理を行った画像を切り替えて得られた参照画像に基づき生成される。このように内挿画像は、補正画像とは異なる方法で求めた参照画像に基づき生成される。

以上に示すように、本実施形態に係る画像処理装置３０は、入力画像Ｘ（ｎ）に基づきテロップ情報を検出するテロップ情報検出部３１と、２次元ノイズ低減フィルタ処理部１３および３次元ノイズ低減処理部１４の出力のいずれかを選択し、参照画像Ｚ（ｎ）を求める選択部２２とを備えている。選択部２２は、テロップ情報検出部３１で検出されたテロップ情報に基づき選択を行う。

したがって、本実施形態に係る画像処理装置３０によれば、入力画像に含まれるテロップの特徴に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、テロップの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に基づき内挿画像を生成した部分については、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

（第４の実施形態）
図８は、本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。図８に示す画像処理装置４０は、第２の実施形態に係る画像処理装置２０において、シーン情報検出部２１を外部情報解析部４１に置換したものである。

本実施形態に係る画像処理装置４０には、外部から外部情報信号Ｒが入力される。外部情報解析部４１は、外部情報信号Ｒを解析し、得られた解析結果に基づき選択制御信号Ｐ３を出力する（詳細は後述）。選択制御信号Ｐ３は、２値の信号であり、画像、画素、行あるいは帯状領域を単位としてハイレベルとローレベルに変化する。例えば、選択制御信号Ｐ３は、入力画像Ｘ（ｎ）が直前の入力画像と異なるときにはハイレベルとなり、それ以外のときにはローレベルとなる。

選択部２２と内挿画像生成部１５は、第２の実施形態と同様に動作する。したがって、内挿画像Ｙ（ｎ＋０．５）は、例えば入力画像Ｘ（ｎ）が直前の入力画像と異なるときには２次元ノイズ低減画像Ａ（ｎ）に基づき生成され、それ以外のときには３次元ノイズ低減画像Ｂ（ｎ）に基づき生成される。

以下、外部情報解析部４１について説明する。外部情報解析部４１に入力される外部情報信号Ｒには、例えば、入力画像のジャンル情報（アニメーション、映画、ニュースなど）、表示装置の画調モード情報（ゲーム、映画、ＰＣなど）、重畳画像情報（ＯＳＤ（On Screen Display ）、マルチ画面、字幕など）、ユーザ設定情報（ノイズ低減の強度設定値など）などが含まれる。

例えば、ジャンル情報がアニメーションや映画を示す場合には、入力画像は２４ｐ形式や３０ｐ形式などの映像をプルダウンした映像である場合が多い。例えば２４ｐ形式の映像をプルダウンした映像には、２４フレーム／秒の映像を６０フレーム／秒で表示するために、同じ画像が２枚または３枚ずつ連続して含まれる。

同じ画像が連続して入力された場合には、後の画像には３次元ノイズ低減処理を行うことが好ましい。これに対して、異なる画像が入力された場合には、動きベクトルの誤検出が発生しやすいので、後の画像には２次元ノイズ低減フィルタを適用することが好ましい。外部情報解析部４１は、外部情報信号Ｒを解析して求めたジャンル情報に基づき、同じ画像が連続して入力されたか否かを判断する。外部情報解析部４１は、同じ画像が入力されたときにはローレベルの選択制御信号Ｐ３を出力し、異なる画像が入力されたときにはハイレベルの選択制御信号Ｐ３を出力する。外部情報解析部４１は、画調モード情報に基づき同様の制御を行ってもよい。

なお、２４ｐ形式の映像に対して動き補償によるフレームレート変換処理を行い、フレームレートが１２０Ｈｚの映像を生成する場合（すなわち、２４フレーム／秒のフレーム間に４枚の内挿画像を内挿して、１２０フレーム／秒の映像に変換する場合）には、第１の実施形態に係る画像処理装置１０を使用することが好ましい。

また、ＯＳＤや字幕が重畳された入力画像では、文字に２次元ノイズ低減フィルタを適用すると、ぼやけて読みにくくなる。このため、ＯＳＤや字幕が重畳された部分には３次元ノイズ低減処理を行うことが好ましい。外部情報解析部４１は、外部情報信号Ｒを解析して求めた重畳画像情報に基づき、ＯＳＤや字幕が重畳された部分を求める。外部情報解析部４１は、ＯＳＤや字幕が重畳された部分についてはローレベルの選択制御信号Ｐ３を出力し、それ以外の部分についてはハイレベルの選択制御信号Ｐ３を出力する。画像処理装置４０では、外部情報解析部４１における解析結果に従い、内挿画像Ｙ（ｎ＋０．５）は、２次元ノイズ低減画像Ａ（ｎ）および３次元ノイズ低減画像Ｂ（ｎ）のいずれかに基づき生成される。

このように画像処理装置４０では、補正原画像は、入力画像に対して再帰型ノイズ低減処理を行うことにより求められる。内挿画像は、入力画像に対して２次元ノイズ低減フィルタを適用した画像、および、入力画像に対して再帰型ノイズ低減処理を行った画像を切り替えて得られた参照画像に基づき生成される。このように内挿画像は、補正画像とは異なる方法で求めた参照画像に基づき生成される。

以上に示すように、本実施形態に係る画像処理装置４０は、外部情報を解析する外部情報解析部４１と、２次元ノイズ低減フィルタ処理部１３および３次元ノイズ低減処理部１４の出力のいずれかを選択し、参照画像Ｚ（ｎ）を求める選択部２２とを備えている。選択部２２は、外部情報解析部４１による解析結果に基づき選択を行う。

したがって、本実施形態に係る画像処理装置４０によれば、外部から入力された外部情報に応じて、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像を切り替えて参照画像を求め、これに基づき内挿画像を生成することができる。したがって、外部情報に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に基づき内挿画像を生成した部分については、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

（第５の実施形態）
図９は、本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。図９に示す画像処理装置５０は、第２の実施形態に係る画像処理装置２０において、選択部２２を加重係数制御部５１と加重加算演算部５２に置換したものである。

シーン情報検出部２１は、入力画像Ｘ（ｎ）に基づきシーン情報を検出する。ただし、本実施形態に係るシーン情報検出部２１は、選択制御信号Ｐ１に代えて、検出したシーン情報を示すシーン情報信号Ｑ１を出力する。シーン情報信号Ｑ１は、多値の信号でもよく、複数の信号でもよい。

図１０は、加重係数制御部５１と加重加算演算部５２の詳細を示すブロック図である。図１０に示すように、加重加算演算部５２は、係数乗算器５４ａ、５５ａおよび加算器５６ａを含む補正原画像用の加重加算部５３ａと、係数乗算器５４ｂ、５５ｂおよび加算器５６ｂを含む内挿画像用の加重加算部５３ｂとを含んでいる。

加重係数制御部５１は、シーン情報信号Ｑ１に基づき、加重係数α、β（ただし、０≦α≦１、０≦β≦１）を求める（詳細は後述）。加重加算演算部５２には、２次元ノイズ低減フィルタ処理部１３で求めた２次元ノイズ低減画像Ａ（ｎ）、３次元ノイズ低減処理部１４で求めた３次元ノイズ低減画像Ｂ（ｎ）、および、加重係数制御部５１で求めた加重係数α、βが入力される。係数乗算器５４ａは２次元ノイズ低減画像Ａ（ｎ）に含まれる画素値を（１−α）倍し、係数乗算器５５ａは３次元ノイズ低減画像Ｂ（ｎ）に含まれる画素値をα倍し、加算器５６ａは係数乗算器５４ａ、５５ａの出力を加算する。係数乗算器５４ｂは２次元ノイズ低減画像Ａ（ｎ）に含まれる画素値を（１−β）倍し、係数乗算器５５ｂは３次元ノイズ低減画像Ｂ（ｎ）に含まれる画素値をβ倍し、加算器５６ｂは係数乗算器５４ｂ、５５ｂの出力を加算する。

補正原画像用の加重加算部５３ａの出力は、補正原画像Ｙ（ｎ）としてタイムベース変換部１６に供給される。内挿画像用の加重加算部５３ｂの出力は、参照画像Ｚ（ｎ）として内挿画像生成部１５に供給される。２次元ノイズ低減画像Ａ（ｎ）、３次元ノイズ低減画像Ｂ（ｎ）、補正原画像Ｙ（ｎ）および参照画像Ｚ（ｎ）の間には、次式（１）および（２）が成立する。
Ｙ（ｎ）＝（１−α）×Ａ（ｎ）＋α×Ｂ（ｎ） …（１）
Ｚ（ｎ）＝（１−β）×Ａ（ｎ）＋β×Ｂ（ｎ） …（２）
（ただし、０≦α≦１、０≦β≦１）

内挿画像生成部１５は、動きベクトル検出部１２で検出された動きベクトルＭＶを用いて、内挿画像用の加重加算部５３ｂで求めた参照画像Ｚ（ｎ）に基づき、補正原画像Ｙ（ｎ）と補正原画像Ｙ（ｎ＋１）の中間に内挿すべき内挿画像Ｙ（ｎ＋０．５）を生成する。

以下、加重係数制御部５１について説明する。入力画像Ｘ（ｎ）の動き量が大きい場合には、動きベクトルの誤検出が発生しやすい。この場合、３次元ノイズ低減画像Ｂ（ｎ）は劣化する可能性があるので、加重係数制御部５１は加重係数αを小さくする。これにより、２次元ノイズ低減画像Ａ（ｎ）に近い補正原画像Ｙ（ｎ）が得られる。また、内挿画像Ｙ（ｎ＋０．５）は補正原画像Ｙ（ｎ）よりも劣化しやすいので、加重係数制御部５１は加重係数βを加重係数αよりも小さくする。このため、内挿画像Ｙ（ｎ＋０．５）は、補正原画像Ｙ（ｎ）よりも２次元ノイズ低減画像Ａ（ｎ）に近い参照画像Ｚ（ｎ）に基づき生成される。これにより、内挿画像の大幅な劣化を防止することができる。

入力画像Ｘ（ｎ）の動き量が小さい場合には、動きベクトルの誤検出は発生しにくく、内挿画像の大幅な劣化も生じにくい。この場合、加重係数制御部５１は、加重係数αを大きくする。これにより、３次元ノイズ低減画像Ｂ（ｎ）に近い補正原画像Ｙ（ｎ）が得られる。内挿画像Ｙ（ｎ＋０．５）にはフレームレート変換処理による劣化が多少生じるので、加重係数制御部５１は加重係数βを加重係数αよりも少し小さくする。

なお、ほぼ静止している画像は、元々ぼやけが少なく鮮明な画像であることが多い。このような画像に２次元ノイズ低減フィルタを適用すると、ぼやけが発生し、逆に画像が劣化したように見える。したがって、ほぼ静止している画像には３次元ノイズ低減処理を行うことが好ましい。これに対して、動きの大きい画像は元々ぼやけているので、２次元ノイズ低減フィルタを適用しても、ぼやけたと感じにくい。したがって、動きの大きい画像には２次元ノイズ低減フィルタを適用することが好ましい。

このように画像処理装置５０では、補正原画像は、２次元ノイズ低減画像と３次元ノイズ低減画像に対して加重係数αを用いた加重加算を行うことにより求められる。内挿画像は、２次元ノイズ低減画像と３次元ノイズ低減画像に対して加重係数βを用いた加重加算を行って求めた参照画像に基づき生成される。このように内挿画像は、補正画像とは異なる方法で求めた参照画像に基づき生成される。

以上に示すように、本実施形態に係る画像処理装置５０は、入力画像Ｘ（ｎ）に基づきシーン情報を検出するシーン情報検出部２１と、２次元ノイズ低減フィルタ処理部１３および３次元ノイズ低減処理部１４の出力に対して、独立した２つの加重加算を行う加重加算演算部５２とを備えている。補正原画像Ｙ（ｎ）は加重加算演算部５２による一方の加重加算で求めた画像であり、参照画像Ｚ（ｎ）は加重加算演算部５２による他方の加重加算で求めた画像である。加重加算演算部５２の加重係数α、βは、シーン情報検出部２１で検出されたシーン情報に基づき変化する。

したがって、本実施形態に係る画像処理装置５０によれば、入力画像が表すシーンの特徴に応じて加重係数を変化させながら、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、シーンの特徴に応じて好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。また、ノイズ低減フィルタを適用した画像に与える加重係数を大きくして参照画像を求め、これに基づき内挿画像を生成した場合には、内挿画像に含まれる、再帰型ノイズ低減処理では低減できないノイズを低減することができる。

なお、第５の実施形態については、以下の変形例を構成することができる。図１１および図１２は、第５の実施形態の変形例に係る画像処理装置の構成を示すブロック図である。図１１に示す画像処理装置６０は、第３の実施形態に係る画像処理装置３０を変形したものである。画像処理装置６０では、テロップ情報検出部３１はテロップ情報を示すテロップ情報信号Ｑ２を出力し、加重係数制御部５１はテロップ情報信号Ｑ２に基づき加重加算演算部５２の加重係数を変化させる。図１２に示す画像処理装置７０は、第４の実施形態に係る画像処理装置４０を変形したものである。画像処理装置７０では、外部情報解析部４１は外部情報の解析結果を示す解析結果信号Ｑ３を出力し、加重係数制御部５１は解析結果信号Ｑ３に基づき加重加算演算部５２の加重係数を変化させる。

これら変形例に係る画像処理装置６０、７０は、画像処理装置５０と同様の効果を奏する。すなわち、画像処理装置６０、７０によれば、入力画像に含まれるテロップの特徴に応じて（あるいは、外部から入力された外部情報に応じて）加重係数を変化させながら、再帰型ノイズ低減処理を行った画像と再帰型ノイズ低減処理を行っていない画像に対して加重加算を行って参照画像を求め、これに基づき内挿画像を生成することができる。したがって、テロップの特徴に応じて（あるいは、外部情報に応じて）好適な内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

また、第１〜第５の実施形態では、フレームレートを２倍にするために、連続した２枚の補正原画像の中間に１枚の内挿画像を内挿する画像処理装置について説明した。これに代えて、本発明の画像処理装置は、フレームレートを２倍よりも大きくするために、連続した２枚の補正原画像の間に複数の内挿画像を内挿してもよい。また、本発明の画像処理装置は、２次元ノイズ低減フィルタ処理部１３に代えて、入力画像Ｘ（ｎ）に対して１次元ノイズ低減フィルタを適用する１次元ノイズ低減フィルタ部を備えていてもよい。１次元ノイズ低減フィルタは、画像の水平方向または垂直方向のいずれかについてフィルタ処理を行う。

以上に示すように、本発明の画像処理装置、画像処理方法、画像表示装置および画像表示方法によれば、補正原画像とは異なる方法で参照画像を求めることにより、好適な参照画像に基づき内挿画像を生成し、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止することができる。

本発明の画像処理装置、画像処理方法、画像表示装置および画像表示方法は、動きベクトルの誤検出が発生した場合でも、内挿画像の大幅な劣化を防止するという効果を奏するので、フレームレート変換処理と再帰型ノイズ低減処理を行う各種の画像処理装置、画像処理方法、画像表示装置および画像表示方法に利用することができる。

１…液晶表示装置
２…タイミング制御回路
３…走査信号線駆動回路
４…データ信号線駆動回路
５…液晶パネル
６…画素回路
１０、２０、３０、４０、５０、６０、７０…画像処理装置
１１…フレームメモリ
１２…動きベクトル検出部
１３…２次元ノイズ低減フィルタ処理部
１４…３次元ノイズ低減処理部
１５…内挿画像生成部
１６…タイムベース変換部
２１…シーン情報検出部
２２…選択部
３１…テロップ情報検出部
３５…入力画像
３６…テロップ
３７…テロップ領域
４１…外部情報解析部
５１…加重係数制御部
５２…加重加算演算部
５３…加重加算部

Claims (13)

1. フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
   連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
   前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
   動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択する選択部と、
   前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備えた、画像処理装置。
2. 前記入力画像に基づきシーン情報を検出するシーン情報検出部をさらに備え、
   前記選択部は前記シーン情報に基づき選択を行うことを特徴とする、請求項１に記載の画像処理装置。
3. 前記入力画像に基づきテロップ情報を検出するテロップ情報検出部をさらに備え、
   前記選択部は前記テロップ情報に基づき選択を行うことを特徴とする、請求項１に記載の画像処理装置。
4. 外部から入力された外部情報を解析する外部情報解析部をさらに備え、
   前記選択部は前記外部情報解析部による解析結果に基づき選択を行うことを特徴とする、請求項１に記載の画像処理装置。
5. フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
   連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
   前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求める第２のノイズ低減処理部と、
   前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備えた、画像処理装置。
6. フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理装置であって、
   連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行う第１のノイズ低減処理部と、
   前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
   前記第１および第２のノイズ低減処理部の出力に対して独立した２つの加重加算を行うことにより、前記補正原画像と参照画像を求める加重加算演算部と、
   前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを備え、
   前記加重加算演算部は、前記補正原画像として、動きベクトルの誤検出が発生しやすい場合には前記第２のノイズ低減処理部の出力に近く、そうでない場合には前記第１のノイズ低減処理部の出力に近い画像を求め、前記参照画像として前記補正原画像よりも前記第２のノイズ低減処理部の出力に近い画像を求めることを特徴とする、画像処理装置。
7. 前記入力画像に基づきシーン情報を検出するシーン情報検出部をさらに備え、
   前記加重加算演算部の加重係数は前記シーン情報に基づき変化することを特徴とする、請求項６に記載の画像処理装置。
8. 前記入力画像に基づきテロップ情報を検出するテロップ情報検出部をさらに備え、
   前記加重加算演算部の加重係数は前記テロップ情報に基づき変化することを特徴とする、請求項６に記載の画像処理装置。
9. 外部から入力された外部情報を解析する外部情報解析部をさらに備え、
   前記加重加算演算部の加重係数は前記外部情報解析部による解析結果に基づき変化することを特徴とする、請求項６に記載の画像処理装置。
10. フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理方法であって、
    連続して入力された入力画像から動きベクトルを検出するステップと、
    検出された動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求めるステップと、
    前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用するステップと、
    動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択するステップと、
    検出された動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成するステップとを備えた、画像処理方法。
11. フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理方法であって、
    連続して入力された入力画像から動きベクトルを検出するステップと、
    検出された動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求めるステップと、
    前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求めるステップと、
    検出された動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成するステップとを備えた、画像処理方法。
12. フレームレート変換処理と再帰型ノイズ低減処理を行って画像を表示する画像表示装置であって、
    表示パネルと、
    フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理部と、
    前記画像処理部の出力に基づき前記表示パネルを駆動する駆動回路とを備え、
    前記画像処理部は、
    連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
    前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用する第２のノイズ低減処理部と、
    動きベクトルの誤検出が発生しやすい場合には前記ノイズ低減フィルタを適用して得られた画像を、そうでない場合には前記補正原画像を参照画像として選択する選択部と、
    前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを含む、画像表示装置。
13. フレームレート変換処理と再帰型ノイズ低減処理を行って画像を表示する画像表示装置であって、
    表示パネルと、
    フレームレート変換処理と再帰型ノイズ低減処理を行い、補正原画像と内挿画像を出力する画像処理部と、
    前記画像処理部の出力に基づき前記表示パネルを駆動する駆動回路とを備え、
    前記画像処理部は、
    連続して入力された入力画像から動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトルを用いて前記入力画像に対して再帰型ノイズ低減処理を行うことにより、前記補正原画像を求める第１のノイズ低減処理部と、
    前記入力画像に対して動きベクトルを用いないノイズ低減フィルタを適用することにより、参照画像を求める第２のノイズ低減処理部と、
    前記動きベクトルを用いて前記参照画像に基づき前記内挿画像を生成する内挿画像生成部とを含む、画像表示装置。
    

Images