JP2009194657A - 画像処理装置、その制御方法 - Google Patents

Abstract

【課題】インターレース方式で表示される画像に対して、精細感の低下を抑制しつつフリッカを軽減する。
【解決手段】複数の副画素から構成される画素を複数含むフィールド画像を取得する取得手段と、第１フィールド画像と、当該第１フィールド画像の次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定する判定手段と、前記判定手段によりフリッカが発生する可能性が高いと判定された場合、前記フレーム画像において、所定画素を構成する複数の副画素が、当該所定画素と、当該所定画素に垂直方向に隣接する画素とに分散するように、前記フレーム画像に含まれる副画素の配置を変換する制御手段と、前記フレーム画像をインターレース方式により出力する出力手段と、を備えることを特徴とする画像処理装置を提供する。
【選択図】図１４

Description

本発明は、インターレース方式で表示される画像を処理する画像処理装置、及びその制御方法に関する。

飛び越し走査（インターレース）方式によって画像を表示する表示装置が知られている。このような表示装置が表示する画像には、ちらつき（フリッカ）が発生する場合がある。

従来、デジタル信号処理を用いてフリッカを軽減させる技術として、画像に対して時間方向にローパスフィルタを適用する技術（時間的ローパスフィルタ技術）が知られている。また、画像に対して垂直方向及び時間方向にローパスフィルタを適用することによって、ラインフリッカを軽減させる技術も知られている。

時間的ローパスフィルタ技術は、各画素のデータに対して時間方向にフィルタを適用する技術である。そして、フレームメモリに蓄積された映像信号を複数フレームにわたってフィルタリングすることで、時間方向に対するフリッカを軽減させることが可能である（例えば、特許文献１参照。）
また、画像に対して垂直方向及び時間方向にローパスフィルタを適用する技術として、奇数ライン発光フレーム（ＯＤＤフレーム）と偶数ライン発光フレーム（ＥＶＥＮフレーム）とを同一ラインとして扱う技術が知られている。その上で時間方向にローパスフィルタを適用すると、時間方向及び垂直方向にローパスフィルタが適用されたことになり、フリッカが軽減される（例えば、特許文献２及び３参照）。
特開平８−２８６６５３号公報 特開２００１−１５４６４８号公報 特開平１０−３１４６５号公報

しかしながら、上述した従来の技術では、画像に対してローパスフィルタを適用するため、画像の精細感が損なわれる。即ち、精細感を維持することと、フリッカを抑制することとはトレードオフの関係にあり、精細感の維持とフリッカの軽減とを両立することが困難であった。

本発明はこのような状況に鑑みてなされたものであり、インターレース方式で表示される画像に対して、精細感の低下を抑制しつつフリッカを軽減する処理を行う技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、複数の副画素から構成される画素を複数含むフィールド画像を取得する取得手段と、第１フィールド画像と、当該第１フィールド画像の次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定する判定手段と、前記判定手段によりフリッカが発生する可能性が高いと判定された場合、前記フレーム画像において、所定画素を構成する複数の副画素が、当該所定画素と、当該所定画素に垂直方向に隣接する画素とに分散するように、前記フレーム画像に含まれる副画素の配置を変換する制御手段と、前記フレーム画像をインターレース方式により出力する出力手段と、を備えることを特徴とする画像処理装置を提供する。

また、第２の本発明は、画像処理装置の制御方法であって、複数の副画素から構成される画素を複数含むフィールド画像を取得する取得工程と、第１フィールド画像と、当該第１フィールド画像の次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定する判定工程と、前記判定工程においてフリッカが発生する可能性が高いと判定された場合、前記フレーム画像において、所定画素を構成する複数の副画素が、当該所定画素と、当該所定画素に垂直方向に隣接する画素とに分散するように、前記フレーム画像に含まれる副画素の配置を変換する制御工程と、前記フレーム画像をインターレース方式により出力する出力工程と、を備えることを特徴とする制御方法を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、インターレース方式で表示される画像に対して、精細感の低下を抑制しつつフリッカを軽減する処理を行うことが可能となる。

以下、添付図面を参照して、本発明の実施例を説明する。以下で説明される個別の実施例は、本発明の上位概念から下位概念までの種々の概念を理解するために役立つであろう。

なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施例によって限定されるわけではない。また、実施例の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

図１は、本発明の実施例１に係る画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、ＲＧＢ表色系で表される映像信号（インターレース信号）を受信して処理し、テレビなどの表示装置のインターレースパネルに対して出力する。画像処理装置１０は、表示装置と一体化されていてもよい。

画像処理装置１０は、入力された映像信号からフィールド画像を取得する。フィールド画像は、複数の副画素（サブピクセル）から構成される画素を複数含む。複数のサブピクセルは、本実施例では、赤（Ｒ）の副画素、緑（Ｇ）の副画素、及び青（Ｂ）の副画素を含む。従って、画像処理装置１０に入力される映像信号はＲＧＢ表色系で表される信号（ＲＧＢ信号）である。

画像処理装置１０に入力された映像信号は、サブピクセル制御部５、及びＲＧＢ／ＹＰｂＰｒ変換部６に入力される。ＲＧＢ／ＹＰｂＰｒ変換部６は、映像信号を、ＹＰｂＰｒ表色系で表される信号（色差信号）に変換する。ＲＧＢ／ＹＰｂＰｒ変換部６は、色差信号（Ｙ成分（輝度成分）のみでよい）を、高周波成分検出部１、動き成分検出部２、及び輝度成分検出部３に入力する。

高周波成分検出部１、動き成分検出部２、及び輝度成分検出部３は、入力された色差信号に基づいて映像信号の性質を判定し、判定結果をフリッカ検出制御部４に通知する。フリッカ検出制御部４は、第１フィールド画像と、その次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定し、判定結果をサブピクセル制御部５に通知する。詳細は後述するが、簡単に説明すると、フリッカ検出制御部４は、高周波成分検出部１、動き成分検出部２、及び輝度成分検出部３から通知された判定結果に基づき、映像信号（フレーム画像）がフリッカを発生しそうであるか否かを判定する。

サブピクセル制御部５は、映像信号がフリッカを発生しそうであるとフリッカ検出制御部４によって判定された場合、フリッカを軽減するための処理を行い、インターレースパネル（表示装置）に対して出力する。一方、映像信号がフリッカを発生しそうでないとフリッカ検出制御部４によって判定された場合、サブピクセル制御部５は、画像処理装置１０に入力された映像信号をそのまま出力する。

以下、高周波成分検出部１、動き成分検出部２、輝度成分検出部３、フリッカ検出制御部４、及びサブピクセル制御部５が行う処理の詳細を順に説明する。

（高周波成分検出部１）
図２は、色差信号から高周波成分を検出する高周波成分検出部１の構成を示すブロック図である。高周波成分検出部１は、フレームメモリ１０１、及び高周波検出部１０２を有する。

フレームメモリ１０１は、高周波成分の検出対象の色差信号を保存するメモリである。高周波検出部１０２は、フレームメモリ１０１に保存された色差信号から高周波成分の検出を行う。

図３は、高周波成分検出部１のフレームメモリ１０１が行う保存処理を示す模式図である。図３は、垂直方向の所定の１ラインのみに注目した図であり、縦軸は垂直ラインを示し、横軸はフィールド時間を示す。また、図中「ｏ」は奇数フィールドを示し、「ｅ」は偶数フィールドを示す。フレームメモリ１０１は、入力された色差信号のＹ成分を１フレーム（２フィールド＝１フレーム）分、保存する。

映像信号のＹ成分は、図３（ａ）に示すように、フレームメモリ１０１に順次入力される。この際、フレームメモリ１０１は、図３（ｂ）に示すように、２フィールド分のＹ信号を１フレーム分のＹ信号として保存する。

より具体的には、フレームメモリ１０１は、図３（ｃ）に示すように、奇数フィールドで入力されたＹ１信号及びＹ３信号を、図３（ｄ）に示すようにインターレース形式で保存する。そして、フレームメモリ１０１は、図３（ｃ）に示すように、偶数フィールドで入力されたＹ２信号及びＹ４信号を、図３（ｄ）に示すように、前の奇数フィールドについて保存した信号を上書きしないように飛び越し走査を行って保存する。

高周波検出部１０２は、このようにして保存された１フレーム分のＹ信号から、高周波成分を検出する。

図４は、高周波成分検出部１の高周波検出部１０２が行う高周波成分検出処理の流れを示すフローチャートである。図４に示す処理は、各フレームに対して実行される。

図４において、変数ｍは水平画素数を表し（但し、左端の画素でｍ＝０とする）、変数ｎは垂直ライン数を表し（但し、上端のラインでｎ＝０とする）、Ａ（ｍ，ｎ）は座標（ｍ，ｎ）における入力信号の画素データを表す。また、Ｍｍａｘは入力信号の（水平画素数−１）の値を表し、Ｎｍａｘは入力信号の（垂直ライン数−１）の値を表す。また、Ｓは高周波成分を検出するための階調差の差分閾値（第４閾値）を表し、Ｚ（ｍ，ｎ）は座標（ｍ，ｎ）において高周波成分が検出されたか否かを示す判定値である。また、Ｂｓｕｍは入力信号の全画素の判定値の合計値であり、ｈは処理対象のフレームが高周波成分を持つフレームであるか否かを判定するための閾値（第５閾値）である。また、ｆｎは処理対象のフレームのフレーム番号を示し、Ｋｈ（ｆｎ）は処理対象のフレームが高周波成分を持つフレームであるか否かを示す判定値である。

図４に示す処理の開始時に、ｍ及びｎは０に初期化される。

Ｓ１０１で、高周波検出部１０２は、フレームメモリ１０１から読み出した画素データＡ（ｍ，ｎ）と、その下の画素の画素データＡ（ｍ，ｎ＋１）との差（具体的には、輝度の差）の絶対値を算出する。そして、絶対値が閾値Ｓより大きいか否かを判定する。大きければ高周波成分が検出されたと判断してＳ１０２に進み、Ｚ（ｍ，ｎ）＝１とする。そうでなければＳ１０３に進み、Ｚ（ｍ，ｎ）＝０とする。

Ｓ１０４で、高周波検出部１０２は、ｍがＭｍａｘ以上であるか否かを判定し、ｍがＭｍａｘ以上でなければｍに１を加えてＳ１０１に戻る。また、Ｓ１０５で、Ｓ１０４と同様に、高周波検出部１０２は、ｎがＮｍａｘ以上であるか否かを判定し、ｎがＮｍａｘ以上でなければｎに１を加えてＳ１０１に戻る。このようにして、処理対象のフレームの全画素について、判定値Ｚが決定される。

Ｓ１０６で、高周波検出部１０２は、全画素の判定値Ｚの合計値Ｂｓｕｍを算出し、Ｓ１０７で、合計値Ｂｓｕｍが閾値ｈより大きいか否かを判定する。大きければ、処理対象のフレームから高周波成分が検出されたと判断してＳ１０８に進み、Ｋｈ（ｆｎ）＝１とする。そうでなければＳ１０９に進み、Ｋｈ（ｆｎ）＝０とする。

つまり入力される映像信号の各フレームは、画素ごとに高周波成分を持っているかどうか判定され、その判定値Ｚ（ｍ，ｎ）が全画素について加算される。そして合計値Ｂｓｕｍの大きさによって高周波成分の検出結果が判定される。判定結果（Ｋｈ（ｆｎ））は、フリッカ検出制御部４に出力される。

（動き成分検出部２）
図５は、色差信号から動き成分を検出する動き成分検出部２の構成を示すブロック図である。動き成分検出部２は、ＡＰＬ計算部２０１、遅延メモリ２０２、及び動き判定検出部２０３を有する。

図５において、動き成分検出部２に入力されたＹ信号は、ＡＰＬ計算部２０１へ入力される。ＡＰＬ計算部２０１は、フィールドごとに平均階調値(Average Picture Level)を算出する。算出された平均階調値（平均輝度）は、フィールド遅延を行う遅延メモリ２０２と、動き判定検出部２０３とに入力される。動き判定検出部２０３は、時間的に隣接する２フィールドの平均階調値の差分値に基づき、動き判定を行う。

図６は、動き成分検出部２のＡＰＬ計算部２０１が行う処理を示す模式図である。図６は、垂直方向の所定の１ラインのみに注目した図であり、横軸はフィールド時間を示す。図６（ａ）は、ＡＰＬ計算部２０１に入力される入力信号を示し、縦軸は垂直ラインを示す。図６（ｂ）は、ＡＰＬ計算部２０１において算出された平均階調値を示す（縦軸）。ＡＰＬ計算部２０１は、図６（ｂ）に示すようにフィールドごとに算出した平均階調値を、遅延メモリ２０２と動き判定検出部２０３とへ出力する。

図７は、動き成分検出部２の動き判定検出部２０３が行う動き成分検出処理の流れを示すフローチャートである。図７に示す処理は、各フレームに対して行われる。

図７において、Ｃは動き検出を判定するための閾値（第６閾値）であり、ｆｎは処理対象のフレームのフレーム番号を示す。また、ＡＰＬ（ｆｎ）、ＡＰＬ（ｆｎ−１）はそれぞれ、ｆｎ番目、ｆｎ−１番目のフィールドについて算出された平均階調値、Ｄｈ（ｆｎ）は動き判定の結果を示す判定値である。

Ｓ２０１において、動き判定検出部２０３は、処理対象のフィールドの平均階調値ＡＰＬｎと、遅延メモリ２０２から出力される１つ前のフィールドの平均階調値ＡＰＬｎ−１との差の絶対値を算出する。そして、絶対値が閾値Ｃよりも大きい場合には、動きのあるフィールドであると判断してＳ２０２に進み、Ｄｈ（ｆｎ）＝１とする。そうでなければ、Ｓ２０３に進み、Ｄｈ（ｆｎ）＝０とする。判定値Ｄｈ（ｆｎ）は、フリッカ検出制御部４へ出力される。

（輝度成分検出部３）
図８は、輝度成分検出を行う輝度成分検出部３の構成を示すブロック図である。輝度成分検出部３は、γ変換部３０１、ＡＰＬ計算部３０２、遅延メモリ３０３、及び輝度成分判定部３０４を有する。

輝度成分検出部３に入力された映像信号のＹ成分は、γ変換部３０１へ入力される。γ変換部３０１は、入力されたＹ信号に対して、画像処理装置１０の出力先であるインターレースパネルで表示された場合のγ特性になるようにγ変換を行う。これにより、入力されたＹ信号は、インターレースパネルで発光された場合の輝度信号に変換される。γ変換部３０１でγ変換された信号は、ＡＰＬ計算部３０２へ入力される。ＡＰＬ計算部３０２及び遅延メモリ３０３の機能は、図５に示すＡＰＬ計算部２０１及び遅延メモリ２０２の機能と同様であるため、説明を省略する。

輝度成分判定部３０４は、ＡＰＬ計算部３０２で算出された平均輝度値と、遅延メモリ３０３から出力される１つ前のフィールドの平均輝度値とに基づき、輝度判定処理を行う。

図９は、輝度成分検出部３の輝度成分判定部３０４が行う輝度成分検出判定処理の流れを示すフローチャートである。図９に示す処理は、各フレームに対して行われる。

図９において、Ｆは輝度成分判定のための閾値（第７閾値）であり、ｆｎは処理対象のフレームのフレーム番号を示す。また、ＰＡＰＬ（ｆｎ）、ＰＡＰＬ（ｆｎ−１）はそれぞれ、ｆｎ番目、ｆｎ−１番目のフィールドについて算出された平均階調値、Ｅｈ（ｆｎ）は動き判定の結果を示す判定値である。

Ｓ３０１において、輝度成分判定部３０４は、処理対象のフィールドの平均階調値ＰＡＰＬｎと、遅延メモリ３０３から出力される１つ前のフィールドの平均階調値ＰＡＰＬｎ−１との差の絶対値を算出する。そして、絶対値が閾値Ｆよりも大きい場合には、明るいフィールドであると判断してＳ３０２に進み、Ｅｈ（ｆｎ）＝１とする。そうでなければ、Ｓ３０３に進み、Ｅｈ（ｆｎ）＝０とする。判定値Ｅｈ（ｆｎ）は、フリッカ検出制御部４へ出力される。

（フリッカ検出制御部４）
図１０は、フリッカ検出制御部４が行うフリッカ検出処理の流れを示すフローチャートである。図１０に示す処理は、各フレームに対して行われる。

図１０のＳ４０１乃至Ｓ４０３から明らかなように、フリッカ検出制御部４は、
●高周波成分検出部１から得られた判定値（Ｋｈ（ｆｎ））
●動き成分検出部２から得られた判定値（Ｄｈ（ｆｎ））
●輝度成分検出部３から得られた判定値（Ｅｈ（ｆｎ））
の全てが１である場合に、ｆｎ番目のフレームにおいてフリッカが発生する可能性が高いと判断し、Ｓ４０５においてサブピクセル制御をＯＮにする。そうでなければ、Ｓ４０６において、サブピクセル制御をＯＦＦにする。フリッカ検出制御部４は、サブピクセル制御のＯＮ／ＯＦＦをサブピクセル制御部５に通知する。

なお、フレームにおいてフリッカが発生する可能性が高いか否かを判断する基準は、上で説明した基準に限られるものではない。例えば、Ｋｈ（ｆｎ）、Ｄｈ（ｆｎ）、及びＥｈ（ｆｎ）のうちの少なくとも１つが１である場合に、フリッカ検出制御部４は、ｆｎ番目のフレームにおいてフリッカが発生する可能性が高いと判断してもよい。また、Ｋｈ（ｆｎ）、Ｄｈ（ｆｎ）、及びＥｈ（ｆｎ）以外の、任意の知られている技術を用いてもよい。

（サブピクセル制御部５）
図１１は、サブピクセル制御（フリッカを軽減させるためにサブピクセルの配置を変換する処理）を行うサブピクセル制御部５の構成を示すブロック図である。サブピクセル制御部５は、フレームメモリ５０１、サブピクセル分解部５０２、及びフレームメモリ５０３を備える。

サブピクセル制御部５は、画像処理装置１０に入力されたフィールド単位の映像信号（ＲＧＢ信号）を、２フィールドを１フレームとして、フレームメモリ５０１に保存する。即ち、奇数フィールド（ＯＤＤフィールド）及び偶数フィールド（ＥＶＥＮフィールド）の信号をまとめてフレーム信号として、フレームメモリ５０１に保存する。

図１２は、サブピクセル制御部５が行うサブピクセル制御を示す模式図である。図１２は、垂直方向の所定の１ラインのみに注目した図であり、縦軸は垂直ラインを示し、横軸はフィールド時間を示す。実際のサブピクセル制御では、全垂直ラインに対して同じ処理が適用される。

映像信号は、図１２（ａ）に示すように、フレームメモリ５０１に順次入力される。フレームメモリ５０１は、図１２（ｂ）に示すように、フィールドごとに奇数ライン、偶数ラインと、インターレース方式で出力されるようにして、サブピクセル分解部５０２へ映像信号を出力する。図１２（ｂ）では、入力信号のフレーム単位で上から順番にＲ１，Ｇ１，Ｂ１と番号を割り振った状態を示している。従ってこの図１２（ｂ）では奇数ラインが発光するフィールドではＲ１，Ｇ１，Ｂ１、Ｒ３，Ｇ３，Ｂ３が発光し、偶数ラインが発光するフィールドではＲ２，Ｇ２，Ｂ２、Ｒ４，Ｇ４，Ｂ４が発光する状態を示している。

次に、サブピクセル分解部５０２は、図１２（ｂ）に示すように入力されるフレームに対するサブピクセル制御がＯＮであるとフリッカ検出制御部４から通知されている場合、フレームメモリ５０３に対して、図１２（ｃ）に示すように保存処理を行う。即ち、フレームメモリ５０３へ保存を行う際に、Ｇ成分の画素を１画素だけ下にずらす。

なお、図１２（ｃ）では、Ｇ成分の画素を下にずらしているが、上にずらしても構わない。また、Ｇ成分の画素ではなく、Ｒ成分又はＢ成分をずらしてもよい。或いは、Ｒ成分及びＧ成分の画素をずらしてもよい。即ち、任意の１又は２の色成分の画素をずらせばよい。換言すれば、サブピクセル分解部５０２は、フレーム画像において、所定画素を構成する複数のサブピクセルが、所定画像及びこれに垂直方向に隣接する画素とに分散するように、サブピクセルの配置を変換する。但し、Ｇ成分と、Ｒ成分及びＢ成分とが分離するようにずらすと、フリッカの軽減効果が特に高い。

サブピクセル分解部５０２にてＧ成分の画素を下に１画素ずらす場合、一番上のデータ及び２番目のデータを、ｇ１＝Ｇ１／２として、画素値の半分の値を保存してもよい。こうすることで、ずらすことによるデータの欠落が防止される。また一番下のデータ（ｎ番目）は、ｇｎ−１＝（Ｇｎ−１＋Ｇｎ）／２とすることにより、データの欠落を防止してもよい。

図１２（ｄ）は、フレームメモリ５０３から映像信号の出力を行った様子を示す図である。サブピクセル制御部５ではインターレース信号を出力するために図１２（ｃ）に示すようにフレーム単位で保存したフレームデータを、図１２（ｄ）に示すようにフィールド単位に分解し、インターレース方式により出力を行う。

前述の通り、この図１２（ｂ）、（ｃ）、（ｄ）では緑（Ｇ）のサブピクセル配列を変換する例を示したが、これに限定するものではない。赤（Ｒ）または青（Ｂ）で変換を行っても構わない。

図１３は、入力映像信号と、サブピクセル制御部５によってサブピクセル制御が適用された出力映像信号とを示す模式図である。図１３（ａ）及び（ｂ）において、縦軸はインターレースパネルで表示される際の垂直ラインを示し、横軸はフィールド時間を示す。図１３は、各フィールド時間で１画素を構成するＲ，Ｇ，Ｂサブピクセルの発光状態を示しており、白丸はそのサブピクセルが発光状態にあることを示し、黒丸はサブピクセルが非発光状態にあることを示している。

図１３（ａ）は、サブピクセル制御部５に入力される映像信号を示す。図１３（ａ）において、フィールド単位で垂直方向に１ラインおきにデータが表示される映像信号が時間的に入力されている様子が示される。従って、フィールド単位で奇数ラインのみが発光するフィールド、偶数ラインのみが発光するフィールド（実際には非発光）が交互に表れるため、フリッカが認識されやすい。

図１３（ｂ）は、サブピクセル制御部５によってサブピクセル制御が適用された映像信号を示す。図１３（ａ）では、奇数フィールド及び偶数フィールドで発光／非発光が繰り返されることによりフリッカが認識されたが、図１３（ｂ）では、奇数フィールドと偶数フィールドの輝度差が減少しているので、フリッカが軽減されている。

図１４は、図１３を空間方向から見た模式図である。図１４において、１３０１は発光している赤のサブピクセル、１３０２は発光している緑のサブピクセル、１３０３は発光している青のサブピクセルを示す。また、１３０４は発光していない赤のサブピクセル、１３０５は発光していない緑のサブピクセル、１３０６は発光していない青のサブピクセルを示す。図１４は、垂直方向に同じ色が並んでいるストライプ構造である。

図１４の上側は、垂直方向に１ラインおきにデータが表示される映像信号を示す。図１４の下側は、サブピクセル制御部５によってサブピクセルの配置変換が行われた映像信号を示す。この処理では、サブピクセルの配置を垂直方向に動かしているだけなので、垂直方向に対して２画素単位あたりの輝度は変化しない。従って、コントラストも変化しない。

また、横一列で発光していた状態が、処理後はＶ時型になるのみであるので、空間周波数も変化しない。従って、本実施例によれば、周波数及びコントラストを維持したままサブピクセルの配置変換を行って、フリッカを軽減することが可能である。

また、高周波成分検出方法、動き検出方法、輝度成分判定方法の一例を示したが、ある判定値を元にそれぞれの判定を行い、この情報を元にフリッカを検出できる場合は、これ以外の方法を使用して構わない。

以上説明したように、本実施例によれば、フリッカ検出制御部４は、入力された映像信号においてフリッカが発生する（視聴者に認識される）可能性が高いか否かを判定する。可能性が高い場合、サブピクセル制御部５は、フレーム画像において、サブピクセルの配置を変換する。

これにより、インターレース方式で表示される画像に対して、精細感の低下を抑制しつつフリッカを軽減することが可能になる。

実施例１では、画像処理装置１０は、フリッカが発生する可能性が高いと判定された場合、フレーム画像全体に対してサブピクセルの配置の変換を行った。実施例２では、フレーム画像において、フリッカが発生する可能性が高い領域（フリッカ領域）のみに対してサブピクセルの配置の変換を行う構成を説明する。これにより、入力映像信号に対して加えられる変更が減少するため、画質が向上する。

図１５は、本発明の実施例２に係る画像処理装置２０の構成を示すブロック図である。図１５において、画像処理装置１０（図１参照）と同様の構成要素には同一の符号を付し、説明を省略する。また、画像処理装置２０に入力される映像信号は、画像処理装置１０に入力される映像信号と同様である（実施例１参照）。

画像処理装置２０に入力された映像信号は、サブピクセルエリア制御部５１、及びＲＧＢ／ＹＰｂＰｒ変換部６に入力される。ＲＧＢ／ＹＰｂＰｒ変換部６は、色差信号（Ｙ成分（輝度成分）のみでよい）を、高周波成分エリア検出部１１、動き成分エリア検出部２１、及び輝度成分エリア検出部３１に入力する。

以下、高周波成分エリア検出部１１、動き成分エリア検出部２１、輝度成分エリア検出部３１、フリッカ検出制御部４１、及びサブピクセルエリア制御部５１が行う処理の詳細を順に説明する。

（高周波成分エリア検出部１１）
図１６は、フレーム画像において高周波成分の領域（高周波領域）の検出を行う高周波成分エリア検出部１１の構成を示すブロック図である。図１６において、図２と同様の構成要素には同一の符号を付し、説明を省略する。

高周波成分エリア検出部１１は、フレームメモリ１０１、及び高周波エリア検出部１１２を有する。高周波エリア検出部１１２は、フレームメモリ１０１に保存された色差信号から高周波領域の検出を行う。

図１７は、高周波成分エリア検出部１１の高周波エリア検出部１１２が行う高周波領域検出処理の流れを示すフローチャートである。図１７に示す処理は、各フレームに対して実行される。図１７において、図４と同様のステップには同一の符号を付し、説明を省略する。また、図４と同様の変数及び定数についても、説明を省略する。但し、閾値Ｓは、請求項の第１閾値に対応する。

図１７において、Ｐｈはエリアの縦方向を認識する範囲を制限する閾値、Ｑｈはエリアの横方向を認識する範囲を制限する閾値、Ｌｈ（ｆｎ）は高周波領域があるかどうかの判定値である。

Ｓ１１０６で、高周波エリア検出部１１２は、判定値Ｚ（ｍ，ｎ）に基づいて高周波領域を検出する。具体的には、面積がＰｈ×Ｑｈ以上でＺ（ｍ，ｎ）＝１の値が連続する領域を検出する。そのような領域が検出された場合、処理対象のフレームに高周波領域が存在すると判断してＳ１１０７に進み、Ｌｈ（ｆｎ）＝１とする。そうでなければＳ１１０８に進み、Ｌｈ（ｆｎ）＝０とする。

図１５に示すように、高周波成分エリア検出部１１は、高周波領域の位置に関する情報を、動き成分エリア検出部２１、輝度成分エリア検出部３１、及びサブピクセルエリア制御部５１に通知する。また、Ｌｈ（ｆｎ）を、動き成分エリア検出部２１、輝度成分エリア検出部３１、及びフリッカ検出制御部４１に通知する。

（動き成分エリア検出部２１）
図１８は、動き成分検出を行う動き成分エリア検出部２１の構成を示すブロック図である。図１８において、図４と同様の構成要素には同一の符号を付し、説明を省略する。

動き成分エリア検出部２１は、ＡＰＬ計算部２１１、遅延メモリ２０２、及び動き判定エリア検出部２１３を有する。

図１９は、動き成分エリア検出部２１が行う動き成分検出処理の流れを示すフローチャートである。図１９に示す処理は、各フレームに対して行われる。

図１９において、Ｃａは動き検出を判定するための閾値（第２閾値）であり、ｆｎは処理対象のフレームのフレーム番号を示す。また、ＡＡＰＬ（ｆｎ）、ＡＡＰＬ（ｆｎ−１）はそれぞれ、ｆｎ番目、ｆｎ−１番目のフィールドの高周波領域について算出された平均階調値、Ｄａｈ（ｆｎ）は動き判定の結果を示す判定値である。

Ｓ２１０１で、ＡＰＬ計算部２１１は、処理対象のフレームに高周波領域が含まれるか否か（即ち、Ｌｈ（ｆｎ）が１であるか否か）を判定する。含まれていればＳ２１０２に進み、そうでなければＳ２１０５に進む。

Ｓ２１０２で、ＡＰＬ計算部２１１は、入力された映像信号のＹ成分（輝度成分）、及び高周波成分エリア検出部１１からのエリア情報をもとに、高周波領域のフィールド内信号の平均階調値を算出する。算出された平均階調値は遅延メモリ２０２、及び動き判定エリア検出部２１３に出力される。

Ｓ２１０３で、動き判定エリア検出部２１３は、遅延メモリ２０２から出力される１フィールド前の平均階調値ＡＡＰＬ（ｆｎ−１）と、ＡＰＬ計算部２１１から出力される平均階調値ＡＡＰＬ（ｆｎ）との差の絶対値を算出する。そして、これが閾値Ｃａよりも大きいか否かを判定する。大きい場合、動きのある高周波領域であると判断してＳ２１０４に進み、Ｄａｈ（ｆｎ）＝１とする。そうでなければ、Ｓ２１０５に進む。

Ｓ２１０５で、動き判定エリア検出部２１３は、Ｄａｈ（ｆｎ）＝０とする。

判定値Ｄａｈ（ｆｎ）は、フリッカ検出制御部４へ出力される。

（輝度成分エリア検出部３１）
図２０は、輝度成分エリア検出を行うための輝度成分エリア検出部３１の構成を示すブロック図である。図２０において、図８と同様の構成要素には同一の符号を付し、説明を省略する。

輝度成分エリア検出部３１は、γ変換部３０１、ＡＰＬ計算部３１２、遅延メモリ３０３、及び輝度成分エリア判定部３１４を有する。

図２１は、輝度成分エリア検出部３１が行う輝度成分検出判定処理の流れを示すフローチャートである。図２１に示す処理は、各フレームに対して行われる。

図２１において、Ｆａは輝度成分判定のための閾値（第３閾値）であり、ｆｎは処理対象のフレームのフレーム番号を示す。また、ＡＰＡＰＬ（ｆｎ）、ＡＰＡＰＬ（ｆｎ−１）はそれぞれ、ｆｎ番目、ｆｎ−１番目のフィールドの高周波領域について算出された平均階調値、ＡＥｈ（ｆｎ）は動き判定の結果を示す判定値である。

Ｓ３１０１で、ＡＰＬ計算部３１２は、処理対象のフレームに高周波領域が含まれるか否か（即ち、Ｌｈ（ｆｎ）が１であるか否か）を判定する。含まれていればＳ３１０２に進み、そうでなければＳ３１０５に進む。

Ｓ３１０２で、ＡＰＬ計算部３１２は、γ変換部３０１から入力されたγ変換後の輝度成分信号と、高周波成分エリア検出部１１からのエリア情報をもとに、高周波領域のフィールド内信号の平均輝度値を求める。ＡＰＬ計算部３１２で計算された平均輝度値は、遅延メモリ３０３と輝度成分エリア判定部３１４へ出力される。

Ｓ３１０３で、輝度成分エリア判定部３１４は、遅延メモリ３０３から出力される１フィールド前の平均階調値ＡＰＡＰＬ（ｆｎ−１）と、ＡＰＬ計算部３１２から出力される平均階調値ＡＰＡＰＬ（ｆｎ）との差の絶対値を算出する。そして、これが閾値Ｆａよりも大きいか否かを判定する。大きい場合、明るい高周波領域であると判断してＳ３１０４に進み、ＡＥｈ（ｆｎ）＝１とする。そうでなければ、Ｓ３１０５に進む。

Ｓ３１０５で、輝度成分エリア判定部３１４は、ＡＥｈ（ｆｎ）＝０とする。

判定値ＡＥｈ（ｆｎ）は、フリッカ検出制御部４へ出力される。

（フリッカ検出制御部４１）
図２２は、フリッカ検出制御部４１が行うフリッカ検出処理の流れを示すフローチャートである。図２２に示す処理は、各フレームに対して行われる。

図２２のＳ４０１１乃至Ｓ４０１３から明らかなように、フリッカ検出制御部４１は、
●高周波成分エリア検出部１１から得られた判定値（Ｌｈ（ｆｎ））
●動き成分エリア検出部２１から得られた判定値（Ｄａｈ（ｆｎ））
●輝度成分エリア検出部３１から得られた判定値（ＡＥｈ（ｆｎ））
の全てが１である場合に、ｆｎ番目のフレームの高周波領域においてフリッカが発生する可能性が高い（即ち、高周波領域はフリッカ領域である）と判断し、Ｓ４０１５においてサブピクセル制御をＯＮにする。そうでなければ、Ｓ４０１６において、サブピクセル制御をＯＦＦにする。フリッカ検出制御部４１は、サブピクセル制御のＯＮ／ＯＦＦをサブピクセルエリア制御部５１に通知する。

なお、高周波領域においてフリッカが発生する可能性が高いか否かを判断する基準は、上で説明した基準に限られるものではない。例えば、フリッカ検出制御部４１は、図１７のＳ１１０６においてＹＥＳと判定される領域をフリッカ領域として検出してもよい。

（サブピクセルエリア制御部５１）
サブピクセルエリア制御部５１は、フリッカ検出制御部４１から得られた判定情報をもとにサブピクセル制御を行う。実施例２に係るサブピクセル制御は、高周波成分を検出したエリアのみ（即ち、フリッカ領域のみ）に対してサブピクセルの配置の変換を行うことを除き、基本的には実施例１において図１２乃至図１４を参照して説明したものと同様である。

但し、フリッカ領域内の画素とフリッカ領域外の画素との境界において画質が劣化することを抑制するために、図２３乃至図２５を参照して以下に説明するように変換を行ってもよい。

図２３乃至図２５は、サブピクセルエリア制御部５１によってサブピクセル制御が適用されたフレーム画像をインターレースパネルに表示した際の空間方向状態を示す模式図である。

図２３において、２２０１は発光している赤のサブピクセル、２２０２は発光している緑のサブピクセル、２２０３は発光している青のサブピクセルを示す。また、２２０４は発光していない赤のサブピクセル、２２０５は発光していない緑のサブピクセル、２２０６は発光していない青のサブピクセルを示す。図２３は、垂直方向に同じ色が並んでいるストライプ構造である。

図２３において、サブピクセルを入れ替えるペア画素はＭ２２０１及びＭ２２０２である。図２３において、Ｍ２２０３はＭ２２０２に接する画素である。Ｍ２２０３の発光がマゼンダ色であるため、配置を入れ替えるサブピクセルを赤と青にする（２２０７，２２０８）。こうすることで入れ替えるピクセルの色連続性が保たれることになり、違和感を軽減することができる。

図２４では、上辺側のサブピクセルの配置を置き換える場合を示す。図２４において、２３０１は発光している赤のサブピクセル、２３０２は発光している緑のサブピクセル、２３０３は発光している青のサブピクセルを示す。また、２３０４は発光していない赤のサブピクセル、２３０５は発光していない緑のサブピクセル、２３０６は発光していない青のサブピクセルを示す。図２４は、垂直方向に同じ色が並んでいるストライプ構造である。

図２４において、サブピクセルを入れ替えるペア画素はＭ２３０１及びＭ２３０２である。図２４において、Ｍ２３０３はＭ２３０１に接する画素である。Ｍ２３０３の発光がマゼンダ色であるため、配置を入れ替えるサブピクセルを緑にする（２３０７）。こうすることで入れ替える画素の境界（Ｍ２３０１及びＭ２３０３）の色連続性が保たれることになり、違和感を軽減することができる。

図２５では、フリッカ領域全体でのサブピクセルの配置を置き換える様子を示す。図２５において、２４０１は発光している赤のサブピクセル、２４０２は発光している緑のサブピクセル、２４０３は発光している青のサブピクセルを示す。また、２４０４は発光していない赤のサブピクセル、２４０５は発光していない緑のサブピクセル、２４０６は発光していない青のサブピクセルを示す。図２５は、垂直方向に同じ色が並んでいるストライプ構造である。

図２３及び図２４と同様に、上辺及び下辺で、サブピクセル配置の変換を行う画素と行わない画素との境界で色の連続性が保たれるように変換を行う。上辺及び下辺以外のエリアのサブピクセルについては、上辺及び下辺のどちらに合わせても構わない。

図２３乃至図２５を参照して説明したことは、換言すれば、サブピクセルエリア制御部５１は、垂直方向に隣接するフリッカ領域の内外の画素それぞれが表す色が近くなるようにサブピクセルの配置を変換するということである。

また、高周波成分検出方法、動き検出方法、輝度成分判定方法の一例を示したが、ある判定値を元にそれぞれの判定を行い、この情報を元にフリッカ領域を検出できる場合は、これ以外の方法を使用して構わない。

以上説明したように、本実施例によれば、サブピクセルエリア制御部５１は、フレーム画像において、フリッカが発生する可能性が高い領域（フリッカ領域）に対してサブピクセルの配置の変換を行う。換言すれば、フリッカ領域以外の領域に対してはサブピクセルの配置の変換を行わない、ということである。

これにより、入力映像信号に対して加えられる変更が減少するため、画質が向上する。

［その他の実施例］
上述した各実施例の画像処理装置は、例えば、テレビジョン装置に適用可能である。図２６は、画像処理装置１０又は画像処理装置２０を適用可能なテレビジョン装置２５０の構成を示すブロック図である。

テレビジョン装置２５０は、表示制御装置２５１と画像表示装置２５２とを備える。

表示制御装置２５１は、衛星放送や地上放送等の映像信号を受信するチューナ部２５１１を備える。また、チューナ部２５１１が受信した画像を画像表示装置２５２の表示フォーマットに変換して画質調整後、映像信号出力を行う画質調整部２５１２を備える。

画像表示装置２５２は、表示パネル２５２２と、表示パネル２５２２を駆動するためのタイミング発生回路や表示パネル２５２２を駆動するための信号を生成する回路を含む駆動制御部２５２１とを備える。

図２７及び図２８は、テレビジョン装置２５０に対する画像処理装置１０（又は画像処理装置２０）の適用例を示す図である。図２７に示すように、画質調整部２５１２の出力と駆動制御部２５２１の入力との間に画像処理装置を設けてもよい。或いは、図２８に示すように、画質調整部２５１２に画像処理装置１０を組み込んでもよい。

また、上述した各実施例の機能を実現するためには、各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、上述した各実施例の機能が実現される。この場合、記録媒体から読み出されたプログラムコード自体が上述した各実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、上述した各実施例の機能を実現するための構成は、コンピュータが読み出したプログラムコードを実行することだけには限られない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含まれている。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって上述した各実施例の機能が実現される場合も含むものである。

本発明の実施例１に係る画像処理装置の構成を示すブロック図である。 色差信号から高周波成分を検出する高周波成分検出部の構成を示すブロック図である。 高周波成分検出部のフレームメモリが行う保存処理を示す模式図である。 高周波成分検出部の高周波検出部が行う高周波成分検出処理の流れを示すフローチャートである。 色差信号から動き成分を検出する動き成分検出部の構成を示すブロック図である。 動き成分検出部のＡＰＬ計算部が行う処理を示す模式図である。 動き成分検出部の動き判定検出部が行う動き成分検出処理の流れを示すフローチャートである。 輝度成分検出を行う輝度成分検出部の構成を示すブロック図である。 輝度成分検出部の輝度成分判定部が行う輝度成分検出判定処理の流れを示すフローチャートである。 実施例１に係るフリッカ検出制御部が行うフリッカ検出処理の流れを示すフローチャートである。 サブピクセル制御（フリッカを軽減させるためにサブピクセルの配置を変換する処理）を行うサブピクセル制御部の構成を示すブロック図である。 サブピクセル制御部が行うサブピクセル制御を示す模式図である。 入力映像信号と、サブピクセル制御部によってサブピクセル制御が適用された出力映像信号とを示す模式図である。 図１３を空間方向から見た模式図である。 本発明の実施例２に係る画像処理装置の構成を示すブロック図である。 フレーム画像において高周波成分の領域（高周波領域）の検出を行う高周波成分エリア検出部の構成を示すブロック図である。 高周波成分エリア検出部の高周波エリア検出部が行う高周波領域検出処理の流れを示すフローチャートである。 動き成分検出を行う動き成分エリア検出部の構成を示すブロック図である。 動き成分エリア検出部が行う動き成分検出処理の流れを示すフローチャートである。 輝度成分エリア検出を行うための輝度成分エリア検出部の構成を示すブロック図である。 輝度成分エリア検出部が行う輝度成分検出判定処理の流れを示すフローチャートである。 実施例２に係るフリッカ検出制御部が行うフリッカ検出処理の流れを示すフローチャートである。 サブピクセルエリア制御部によってサブピクセル制御が適用されたフレーム画像をインターレースパネルに表示した際の空間方向状態を示す模式図である。 サブピクセルエリア制御部によってサブピクセル制御が適用されたフレーム画像をインターレースパネルに表示した際の空間方向状態を示す模式図である。 サブピクセルエリア制御部によってサブピクセル制御が適用されたフレーム画像をインターレースパネルに表示した際の空間方向状態を示す模式図である。 実施例１又は実施例２に係る画像処理装置を適用可能なテレビジョン装置の構成を示すブロック図である。 実施例１又は実施例２に係る画像処理装置のテレビジョン装置に対する適用例を示す図である。 実施例１又は実施例２に係る画像処理装置のテレビジョン装置に対する適用例を示す図である。

Claims (8)

1. 複数の副画素から構成される画素を複数含むフィールド画像を取得する取得手段と、
   第１フィールド画像と、当該第１フィールド画像の次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定する判定手段と、
   前記判定手段によりフリッカが発生する可能性が高いと判定された場合、前記フレーム画像において、所定画素を構成する複数の副画素が、当該所定画素と、当該所定画素に垂直方向に隣接する画素とに分散するように、前記フレーム画像に含まれる副画素の配置を変換する制御手段と、
   前記フレーム画像をインターレース方式により出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判定手段は、前記フレーム画像においてフリッカが発生する可能性が高いフリッカ領域を検出する検出手段を備え、
   前記制御手段は、前記フリッカ領域に対して、前記フレーム画像に含まれる副画素の配置を変換し、前記フリッカ領域以外の領域に対しては前記フレーム画像に含まれる副画素の配置を変換しない
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記フレーム画像において垂直方向に隣接する画素の輝度の差の絶対値が第１閾値より大きい高周波領域を、前記フリッカ領域として検出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記高周波領域において、
   前記第１フィールド画像の平均輝度と前記第２フィールド画像の平均輝度との差の絶対値が第２閾値より大きく、且つ
   前記出力手段による出力先の表示装置で表示された場合のγ特性になるようにγ変換された、前記第１フィールド画像の平均輝度と前記第２フィールド画像の平均輝度との差の絶対値が第３閾値より大きい
   場合に、前記高周波領域を前記フリッカ領域として検出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、垂直方向に隣接する前記フリッカ領域内の画素と前記フリッカ領域外の画素それぞれが表す色が近くなるように、前記フレーム画像に含まれる副画素の配置を変換する
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、
   前記フレーム画像において垂直方向に隣接する画素の輝度の差の絶対値が第４閾値より大きい画素の数が第５閾値より多く、且つ
   前記第１フィールド画像の平均輝度と前記第２フィールド画像の平均輝度との差の絶対値が第６閾値より大きく、且つ
   前記出力手段による出力先の表示装置で表示された場合のγ特性になるようにγ変換された、前記第１フィールド画像の平均輝度と前記第２フィールド画像の平均輝度との差の絶対値が第７閾値より大きい
   場合に、フリッカが発生する可能性が高いと判定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記複数の副画素は、赤の副画素、緑の副画素、及び青の副画素を含み、
   前記制御手段は、前記緑の副画素が、前記赤の副画素及び前記青の副画素とは別の画素に配置されるように、前記フレーム画像に含まれる副画素の配置を変換する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像処理装置の制御方法であって、
   複数の副画素から構成される画素を複数含むフィールド画像を取得する取得工程と、
   第１フィールド画像と、当該第１フィールド画像の次に取得された第２フィールド画像とから構成されるフレーム画像をインターレース方式で表示した場合にフリッカが発生する可能性が高いか否かを判定する判定工程と、
   前記判定工程においてフリッカが発生する可能性が高いと判定された場合、前記フレーム画像において、所定画素を構成する複数の副画素が、当該所定画素と、当該所定画素に垂直方向に隣接する画素とに分散するように、前記フレーム画像に含まれる副画素の配置を変換する制御工程と、
   前記フレーム画像をインターレース方式により出力する出力工程と、
   を備えることを特徴とする制御方法。

Images