JP4203090B2 - 画像表示装置および画像表示方法 - Google Patents

Description

本発明は、表示映像の視覚的なコントラストを高めることが可能な画像表示装置および画像表示方法に関する。

近年、液晶表示装置に代表される、光源と、光源からの光強度を変調する光変調素子とを備えた画像表示装置が、広く普及している。しかし、これらの画像表示装置では、光変調素子が理想的な変調特性を有していないために、特に黒を表示した際に、光変調素子からの光漏れに起因するコントラストの低下を招く。

このコントラスト低下を抑制するために、入力映像に応じて光源の輝度変調を行う方法が複数提案されている。例えば特許文献１では、入力映像の階調の最頻値または平均値を求め、最頻値または平均値に基づいて光源の輝度を制御している。また特許文献２では、ピーク値と平均値を求め、ピーク値と平均値に基づいて光源の輝度を制御している。また特許文献３では、平均値を求め、平均値に基づいて光源の輝度を制御している。
特開２００５−１４８７０９号公報 特許第３５８３１２４号 特許第３４９５３６２号

上記技術は、いずれも、入力映像に応じて、光源の輝度を制御することにより、一定の光源輝度による画像表示装置に比べ、コントラストを増幅させることが可能である。上記技術は、いずれも、入力映像の階調の平均値、最頻値、ピーク値等の代表値に基づいて光源輝度を制御している。しかし、このような代表値が同一であっても、階調の分布が大きく異なる映像は多量に存在し、上記技術では、それら全ての映像に対し同一の光源輝度が設定されることとなるため、入力映像のコントラストが十分に得られないこともあった。

本発明は、上記課題に鑑みてなされたものであり、入力映像の視覚的なコントラストをさらに高めることのできる画像表示装置および画像表示方法を提供する。

本発明の一態様としての画像表示装置は、光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を有する画像表示部と、
入力映像の１フレームから所定階調毎に各階調範囲を代表する階調と、各階調範囲に含まれる画素の頻度とを対応づけたヒストグラムを生成するヒストグラム生成部と、
（Ａ）第１〜第ｎの光源輝度の各々ごとに、各前記階調に対して予め設定された明るさと、前記階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分を算出する差分算出部と、
（Ｂ）前記階調毎に得られる明るさの差分に、前記ヒストグラムに示される前記階調の頻度を乗算する乗算部と、
（Ｃ）前記階調毎の乗算により得られる値の合計が、予め定めた閾値以下または最小となる光源輝度を前記第１〜第ｎの光源輝度から選択する光源輝度選択部と、
を有する光源輝度算出部と、
前記入力映像の１フレームを前記光変調素子部に与えるとともに、選択された前記光源輝度を前記光源部に設定する制御部と、を備える。

本発明の一態様としての画像表示方法は、
入力映像の１フレームから所定階調毎に各階調範囲を代表する階調と、各階調範囲に含まれる画素の頻度とを対応づけたヒストグラムを生成し、
第１〜第ｎの光源輝度の各々ごとに、各前記階調に対して予め設定された明るさと、前記階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分を算出し、
前記階調毎に得られる明るさの差分に、前記ヒストグラムに示される前記階調の頻度を乗算し、
前記階調毎の乗算により得られる値の合計が、予め定めた閾値以下または最小となる光源輝度を前記第１〜第ｎの光源輝度から選択し、
選択した前記光源輝度を、光源輝度を調整可能な光源部に設定し、
与えられた画像に基づき前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部に対し前記入力映像の１フレームを与える。

本発明によれば、入力映像の視覚的なコントラストをさらに高めることができる。

図１に、本発明の第１の実施形態による画像表示装置の構成を示す。第１の実施形態による画像表示装置は、ヒストグラム生成部１１、バックライト輝度算出部（光源輝度算出部）１２、タイミングコントローラ（制御部）１３、バックライト駆動部１４、画像表示部１５により構成され、画像表示部１５は、光変調素子部としての液晶パネル１６と、液晶パネル１６の背面に設置された光源部としてのバックライト１７により構成される液晶表示部である。入力映像は、ヒストグラム生成部１１及びタイミングコントローラ１３に入力される。ヒストグラム生成部１１では、入力映像から所定階調毎に各階調範囲に含まれる画素数をカウントし、各階調範囲を代表する階調と、各階調範囲に含まれる画素数（画素数は画素の頻度の一例である）とを対応づけたヒストグラムを生成する。バックライト輝度算出部１２では、ヒストグラム生成部１１で生成されたヒストグラムに基づいてバックライト１７の発光輝度（光源輝度）を算出する。タイミングコントローラ１３では、入力映像と、バックライト輝度算出部１２により算出されたバックライト輝度との同期を調整して、入力映像は、液晶パネル１６を駆動するための同期信号と共に液晶パネル１６へ送出され、バックライト輝度は、バックライト駆動部１４に送出される。バックライト駆動部１４では、入力されたバックライト輝度に基づいて実際にバックライト１７を駆動、制御する為のバックライト駆動信号が生成され、バックライト１７へ送出される。最後に、入力映像が液晶パネル１６に書き込まれ、同時に、バックライト駆動部１４から出力されたバックライト駆動信号に基づいてバックライト１７が発光することにより、液晶パネル１６に画像が表示される。

次に、各部の動作の詳細を説明する。

（ヒストグラム生成部１１）
ヒストグラム生成部１１では、入力映像の１フレーム（入力画像）において所定階調毎に各階調範囲に含まれる画素数（画素の頻度）をカウントして、いわゆるヒストグラムを生成する。なお、ヒストグラムにおける頻度は画素数以外にも、例えば以下のような総画素数で正規化した値であっても良い。

ここで、ｈ_ｎ（ｘ）は、階調ｘの総画素数で正規化された頻度、ｈ（ｘ）は、階調ｘの頻度である。また、頻度に対する重みを考慮した構成とすることもできる。

ここで、ｈ_α（ｘ）は、階調ｘの頻度ｈ（ｘ）に対し、重みαをべき乗で与えた値である。αを０より大きく１未満の値とすることで、少ない頻度と多い頻度の差が相対的に小さくなったｈ_α（ｘ）が得られる。入力映像の形式は、様々に想定され得るが、本実施形態においては、赤、緑、青の３チャンネルにより構成される入力映像であり、ヒストグラム生成部１１では、それぞれのチャンネルを区別せずに、１つのヒストグラムを生成している。その他の構成としては、画素毎の赤、緑、青の３チャンネルの階調のうち、最も大きい階調を用いてヒストグラムを生成する構成としても良い。また、入力映像の形式が輝度及び色差信号により構成されるＹ、Ｃｂ、Ｃｒの３チャンネルの入力映像であった場合は、輝度チャンネルであるＹのヒストグラムを生成する構成としても良いし、数式３に従ってこの入力映像を赤、緑、青の３チャンネルの映像に変換した後、上記の通り、ヒストグラムを生成する構成としても良い。

ここで、Ｙ、Ｃｂ、Ｃｒは、８ビットに正規化された輝度及び色差信号の値であり、Ｒ、Ｇ、Ｂは、８ビットに正規化された赤、緑、青の３チャンネルの映像信号の値である。なお、数式３は、変換の一例であり、その他の変換係数が用いられても構わない。また、上記とは逆に、赤、緑、青の３チャンネルの入力映像に対し、数式４に従ってＹチャンネルの値に変換し、ヒストグラムを生成する構成とすることも可能である。

入力映像の赤、緑、青の各チャンネルが８ビットの階調である場合、各階調の頻度をカウントし、ヒストグラムを生成すると、図２に示すように、０から２５５階調の頻度分布が得られる。この例では階調範囲は１でり、０〜２５５の各階調それ自体が、各階調範囲を代表する階調となる。ただし、ヒストグラムの生成は、図２に示すように１階調毎の頻度を算出する構成以外にも、ヒストグラムを保持するメモリ量の削減、またはヒストグラムを生成する処理量を削減する目的で、２以上の階調毎のヒストグラムを生成する構成とすることもできる。例えば、図３は、３２階調毎のヒストグラムの一例である。入力映像の階調が８ビットの場合、２値表現において、下位５ビットを０とすることで、入力映像は、上位３ビットで表現されることとなり、つまり３２階調毎の階調となる。各階調範囲（例えば０階調から３１階調）は、その範囲の中央値で代表させればよい。例えば、図３の例であれば、０階調から３１階調は１６階調、３２階調から６３階調は４８階調とする。また、更なる計算量やメモリの削減の為に、ヒストグラムの一部の階調のみを検出する構成としても良い。例えば、階調全体のヒストグラムを生成した後、その平均値、中央値、最頻値となる階調を算出し、これらの階調（またはこれらのうち少なくとも１つの階調）以外の階調に相当する頻度を０とする構成としても良い。以上の処理により生成されたヒストグラムは、バックライト輝度算出部１２へ入力される。

（バックライト輝度算出部１２）
バックライト輝度算出部１２では、ヒストグラム生成部１１により生成されたヒストグラムに基づいてバックライト輝度を算出する。以下、バックライト輝度算出方法について、図４のフローチャートに基づき詳細に説明する。

設定ステップ１（Ｓ１１）では、画像表示部１５で表示したい階調−明るさ特性を設定する。バックライト輝度算出部１２には、予め、画像表示部１５の最大ダイナミックレンジを設定しておく。例えば、最大が１、最小が０の理想的な最大ダイナミックレンジであれば、数式５のように表される。

ここで、Ｄ_ｍｉｎ、Ｄ_ｍａｘは、それぞれ画像表示部１５で表示する最大ダイナミックレンジの最小値及び最大値である。また、最大ダイナミックレンジは、予め設定されたバックライト光源輝度の輝度変調範囲及び液晶パネル１６の特性に基づいて、数式６のように設定することもできる。

ここで、Ｉ_ｍｉｎ、Ｉ_ｍａｘは、それぞれバックライト光源輝度の変調範囲の最小値および最大値を表し、Ｔ_ｍｉｎ、Ｔ_ｍａｘは、それぞれ液晶パネル１６の最小透過率、最大透過率を表している。なお、Ｉ_ｍｉｎ、Ｉ_ｍａｘ、Ｔ_ｍｉｎ、Ｔ_ｍａｘは、相対値で構わないため、例えばＩ_ｍｉｎは、Ｉ_ｍａｘを１とした場合の相対値、Ｔ_ｍｉｎは、Ｔ_ｍａｘを１とした場合の相対値として設定すればよい。なお、解析的には最大ダイナミックレンジは数式６のように表現されるが、実際には、液晶パネル１６に表示可能な最小階調（８ビット表現が可能な液晶パネルであれば、０階調）を、バックライト１７の輝度変調範囲の最小のバックライト輝度で表示した場合における画像表示部１５の測定輝度を、画像表示部１５で表示可能な最小表示輝度とし、また、液晶パネル１６に表示可能な最大階調（８ビット表現が可能な液晶パネルであれば、２５５階調）を、バックライト１７の輝度変調範囲の最大のバックライト輝度で表示した場合における画像表示部１５の測定輝度を画像表示部１５で表示可能な最大表示輝度として、Ｄ_ｍａｘを１に、そして最大表示輝度を１と正規化した際の最小表示輝度をＤ_ｍｉｎに設定する構成とすることもできる。

次に、上記により求められた最大ダイナミックレンジ内の階調−明るさ特性を設定する。明るさが輝度であれば、階調−輝度特性は、解析的には数式７のように算出できる。

ここで、ｘは８ビットで表現された階調、γは入力映像の補正に利用されているガンマ値を示している。ガンマ値は一般的に２．２が用いられている。数式７は、階調−輝度特性を表しているが、人間の明るさの感度特性は、輝度の対数に比例するため、階調−明るさ特性は、数式８のような階調−対数輝度特性としても良い。

また、数式９のように、均等色空間において定義されている明度を用いて、階調−明度特性としても良い。

明度は、厳密にはＣＩＥ（International Commission on Illumination）で規格化されており、暗い領域で非線形に変化するものであるが、数式９では、１／３乗に比例する、簡易的なものとしている。

上記

は、階調毎に予め設定された明るさに相当する。

なお、階調−明るさ特性は、数式７から数式９等を用いて算出しても良いが、以下のような構成としても良い。例えば、Ｄ_ｍｉｎ、Ｄ_ｍａｘを定めた上で、階調ｘと明るさＧ（ｘ）の関係から、階調ｘと明るさＧ（ｘ）とを対応付けたルックアップテーブルデータを作成しておく。テーブルデータの一例を図５に示す。そして、作成したテーブルデータを、図６に示すようにバックライト輝度算出部１２によってアクセス可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８等に格納しておく。各階調の明るさを求める場合は、階調ｘによりＲＯＭ１８を参照することで、階調ｘに対応する明るさを求める。なお、Ｄ_ｍｉｎ、Ｄ_ｍａｘが複数用意されており、例えば使用者の指示によりＤ_ｍｉｎ、Ｄ_ｍａｘの組み合わせが変更される場合は、それぞれの組み合わせに応じた複数のテーブルデータを用意しておき、設定された組み合わせのテーブルデータを参照する構成にしても良い。

設定ステップ２（Ｓ１２）では、画像表示部１５の実際の階調−明るさ特性を設定する。あるバックライト光源輝度Ｉにおける、画像表示部１５のダイナミックレンジは、数式１０のように表される。

ここで、ｄ_ｍｉｎ（Ｉ）、ｄ_ｍａｘ（Ｉ）は、それぞれ、バックライト光源輝度がＩの時の画像表示部１５で表示可能なダイナミックレンジの最小値及び最大値である。なお、解析的には画像表示部１５のダイナミックレンジは数式１０のように表現されるが、ｄ_ｍｉｎ、ｄ_ｍａｘは、実際には、液晶パネル１６に表示可能な最小階調（８ビット表現が可能な液晶パネルであれば、０階調）をバックライト光源輝度Ｉで表示した場合における画像表示部１５の測定輝度を、バックライト光源輝度Ｉの場合の画像表示部１５で表示可能な最小表示輝度とし、また、液晶パネル１６に表示可能な最大階調（８ビット表現が可能な液晶パネルであれば、２５５階調）をバックライト光源輝度Ｉで表示した場合における画像表示部１５の測定輝度を、バックライト光源輝度Ｉ_ｍａｘの場合の画像表示部１５で表示可能な最大表示輝度として、ｄ_ｍａｘ（Ｉ_ｍａｘ）を１と正規化した際の最大表示輝度をｄ_ｍａｘ（Ｉ）に，ｄ_ｍａｘ（Ｉ_ｍａｘ）を１と正規化した際の最小表示輝度をｄ_ｍｉｎ（Ｉ）に設定する構成とすることもできる。

バックライト光源輝度Ｉにおける画像表示部１５の階調−明るさ特性の設定において、明るさが輝度であれば、画像表示部１５の階調−輝度特性（一般にはガンマ特性と呼ばれる）は、解析的には、数式１１のように表される。

ここで、ｘは８ビットで表現された階調、Γは液晶パネル１６の補正に利用されているガンマ値を示している。ガンマ値は一般的に２．２が用いられている。数式１１は、階調−輝度特性を表しているが、人間の明るさの感度特性は、輝度の対数に比例するため、階調−明るさ特性は、数式１２のような階調−対数輝度特性としても良い。

また、数式１３のように、均等色空間において定義されている明度を用いて、階調−明度特性としても良い。

なお、数式９と同様に、数式１３の明度は１／３乗に比例するという簡易的なものとしている。

上記

はいずれも、階調xを光源輝度Iにより画像表示部に表示した際の明るさに相当する。

なお、階調−明るさ特性は、数式１１から数式１３等を用いて算出する方法としても良いが、以下のような構成としても良い。例えば、ｄ_ｍｉｎ（Ｉ）、ｄ_ｍａｘ（Ｉ）を定めた上で、階調ｘと明るさｇ（ｘ、Ｉ）の関係から、階調ｘと明るさｇ（ｘ、Ｉ）とを対応付けたルックアップテーブルデータを作成しておく。テーブルデータの一例を図７に示す。図７のテーブルデータは、バックライト光源輝度が０．１から１．０まで０．１刻みのデータに対する階調と明るさの対応付けを保持したものである。そして、作成したテーブルデータを、図６に示すようにバックライト輝度算出部１２によってアクセス可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８等に格納しておく。各階調の明るさを求める場合は、階調ｘ及びバックライト光源輝度ＩによりＲＯＭ１８を参照することで、バックライト光源輝度Ｉの場合の階調ｘに対応する明るさを求める。また、図７では、各バックライト光源輝度Ｉに対する階調−明るさ特性を保持しているが、その他の構成として、図８に示すように、バックライト光源輝度Ｉ_ｍａｘ（＝１．０）の階調−明るさ特性のみ保持しておき、その他のバックライト光源輝度に対しては、バックライト光源Ｉ_ｍａｘ時の明るさに対し比例計算を行う構成としても良い。

なお、設定ステップ１（Ｓ１１）及び設定ステップ２（Ｓ１２）は、入力映像の毎フレーム行う必要は無く、最初に１度（例えば、画像表示装置の電源投入時等）行えばよい。また、階調−明るさ特性が既にテーブルデータとして保持されている場合は、設定ステップ１（Ｓ１１）及び設定ステップ２（Ｓ１２）は、省略することができる。

初期化ステップ１（Ｓ１３）では、以降の処理に用いる変数を初期化する。例えば、数式１４のような処理を行う。

ここで、Ｅ_ｍｉｎは、後述する出力バックライト光源輝度更新ステップ（Ｓ１６）で用いる最小評価値を表し、Ｉ_ｏｐｔは、最終的に決定される出力バックライト光源輝度を表す。記号←は、右辺の値を左辺に代入することを表している。ＭＡＸ＿ＶＡＬは、後述する評価値Ｅ（Ｉ）が取りえる最大値である。

初期化ステップ２（Ｓ１４）では、後述する評価値更新ステップ（Ｓ１５）で用いる評価値Ｅ（Ｉ）を、数式１５に示すように初期化する。

評価値更新ステップ（Ｓ１５）では、まず現在の階調ｘ、バックライト光源輝度Ｉの場合の、最大ダイナミックレンジにおける明るさＧ（ｘ）と画像表示部１５における明るさｇ（ｘ、Ｉ）との差分を算出し、この差分値にヒストグラム生成部１１で求めた階調ｘの頻度ｈ（ｘ）を乗算し、評価値Ｅ（Ｉ）に加算する（Ｓ１５ａ）。例えば、差分を絶対値で評価する場合は、数式１６のように表される。上記差分の算出を行う処理は、差分算出部による処理に相当し、上記乗算を行う処理は、乗算部による処理に相当する。

また、差分を二乗誤差として評価する場合は、数式１７のように表される。

なお、数式１６、数式１７では、階調−明るさ特性を用いて評価を行っているが、これらは設定ステップ１（Ｓ１１）及び設定ステップ２（Ｓ１２）で設定した階調−明るさ特性を用いればよい。階調−明るさ特性として階調−明度特性を用いるのであれば、差分を二乗誤差とした場合の評価は、数式１８のように表される。

なお、階調ｘの頻度ｈ（ｘ）は、ヒストグラム生成部で生成したｈ_ｎ（ｘ）や、ｈ_α（ｘ）に適宜変更して適用することもできる。更に、ヒストグラム生成部で求められたｈ（ｘ）に対し、評価値更新ステップにて、重みを加える構成とすることもできる。例えば評価値の更新が数式１６によって行われるのであれば、以下のように表される。

ここでαは階調ｘの頻度ｈ（ｘ）にべき乗で与える重みである。αの値は様々に取り得るが、０より大きく、１以下の値とするのが経験的に確認されている。

現在の階調ｘによる評価値の更新が終了した後、全ての階調ｘについての評価値の更新が終了したかを判定し（Ｓ１５ｂ）、終了していれば（ＹＥＳ）出力バックライト光源輝度更ステップ（Ｓ１６）へ進む。一方、終了していなければ（ＮＯ）、階調ｘを更新して（Ｓ１５ｃ）、再度評価値の更新（Ｓ１５ａ）を行う。例えばヒストグラム生成部１１で求めたヒストグラムにおいて０階調から２５５階調について１階調毎の頻度を求めたのであれば、階調ｘが２５５以上かを判定し、２５５未満であれば、階調ｘに１を加算して階調ｘを更新する。

なお、上述した設定ステップ１（Ｓ１１）及び設定ステップ２（Ｓ１２）において、階調−明るさ特性Ｇ（ｘ）及びｇ（ｘ、Ｉ）をテーブルデータとして保持しておく構成について説明したが、更にＧ（ｘ）とｇ（ｘ、Ｉ）の差分をテーブルデータとして保持しておく構成とすることもできる。すなわち、評価値Ｅ（Ｉ）を、数式１６を用いて評価するのであれば、図９に一例を示すように、変調するバックライト光源輝度毎に、階調ｘと、Ｇ（ｘ）とｇ（ｘ、Ｉ）との絶対値差分とを対応付けたテーブルデータを、図６に示すＲＯＭ１８等に保持しておき、数式１６の評価時に、階調ｘとバックライト光源輝度Ｉでテーブルデータを参照し、差分値を求める。

出力バックライト光源輝度更新ステップ（Ｓ１６）では、現在のバックライト光源輝度Ｉにおける評価値更新ステップ（Ｓ１５）で求められた評価値Ｅ（Ｉ）が最小評価値Ｅ_ｍｉｎより小さいかどうかを判定し（Ｓ１６ａ）、小さければ（ＹＥＳ）、現在のバックライト光源輝度Ｉへ出力バックライト光源輝度Ｉ_ｏｐｔを更新し、最小評価値Ｅ_ｍｉｎを現在の評価値Ｅ（Ｉ）へ更新する（Ｓ１６ｂ）。最後に、予め設定された全てのバックライト光源輝度（第１〜第ｎの光源輝度）について評価が終了したかを判定し（１６ｃ）、終了していなければ（ＮＯ）バックライト光源輝度Ｉを更新して（Ｓ１６ｄ）、再度初期化ステップ２（Ｓ１４）に戻る。例えばバックライト光源輝度の変調範囲がＩ_ｍｉｎからＩ_ｍａｘで０．１刻みであれば、現在のバックライト光源輝度ＩがＩ_ｍａｘ未満であれば、バックライト光源輝度Ｉに０．１を加算してバックライト光源輝度Ｉを更新する。一方、終了していれば（ＹＥＳ）、そのときの出力バックライト光源輝度Ｉ_ｏｐｔがバックライト輝度算出部１２から出力される。つまり、バックライト輝度算出部１２は、最小の評価値が得られるバックライト光源輝度を複数のバックライト光源の中から選択し、これを出力バックライト光源輝度Ｉ_ｏｐｔとして出力する。この処理は、例えば選択部による処理に相当する。ここでは予め定められた複数のバックライト光源輝度のうち最小の評価値が得られるバックライト光源輝度を選択する例を説明したが、これ以外に、予め定めた閾値以下となる評価値が得られた時点で処理を終了し、このときのバックライト光源輝度を選択する構成とすることもできる。これによれば必ずしも全てのバックライト光源輝度について評価値を求める計算をする必要がなくなるためバックライト輝度算出部１２における処理時間を短縮することが可能となる。

ここで評価値Ｅ（Ｉ）は、画像表示部１５に表示したい階調−明るさ特性における入力映像のヒストグラムと、現在のバックライト光源輝度Ｉでの画像表示部１５の階調−明るさ特性における入力映像のヒストグラムとの類似度を表している。すなわち、評価値Ｅ（Ｉ）が小さいほど、現在のバックライト光源輝度Ｉで画像表示部１５に実際に表示される映像のヒストグラムが、画像表示部１５に表示したい映像のヒストグラムに類似していることを示している。よって、複数のバックライト光源輝度Ｉについて評価値Ｅ（Ｉ）を求め、Ｅ（Ｉ）が最小となるバックライト光源輝度Ｉを出力バックライト光源輝度Ｉ_ｏｐｔに設定する。

（タイミングコントローラ１３）
タイミングコントローラ１３では、液晶パネル１６へ送出する映像信号と、バックライト駆動部１４へ送出するバックライト光源輝度信号のタイミングを制御する。ヒストグラム生成部１１では基本的な動作として１フレームの入力映像の全ての画素を走査してヒストグラムを生成しているため、タイミングコントローラ１３に映像が入力されるタイミングと、同じ映像のバックライト光源輝度がバックライト輝度算出部１２より入力されるタイミングは１フレーム期間、あるいはそれ以上異なる。そのため、タイミングコントローラ１３では、上記タイミングの遅延を調整するために、例えばフレームバッファを用いて入力映像の出力タイミングを遅延させて、入力映像の出力タイミングをバックライト光源輝度信号の出力に同期させる。あるいは、一般に入力映像は時間的にある程度連続したものであるため、例えば、ｎフレームの入力映像より求めたバックライト光源輝度Ｉ（ｎ）を、ｎ＋１フレームの入力映像と同期させる構成とすることもできる。すなわち、実際に画像表示部１５に表示される映像に対し、バックライト光源輝度が１フレーム期間遅延していることとなる。この場合、入力映像をタイミングコントローラ１３で大きく遅延させる必要が無いため、メモリ量を小さくすることが可能となる。なお、タイミングコントローラ１３では、液晶パネル１６を駆動する為に必要となる様々な同期信号（水平同期信号、垂直同期信号等）も併せて生成され、入力映像と共に液晶パネル１６へ送出される。

（バックライト駆動部１４）
バックライト駆動部１４では、タイミングコントローラ１３より出力されたバックライト光源輝度信号に基づいて、実際にバックライト１７を発光させる為の駆動信号を生成する。バックライト駆動信号は、バックライト１７に設置されている光源の種類により異なる構成となるが、一般に液晶表示装置のバックライト光源としては冷陰極管や発光ダイオード（ＬＥＤ）等が用いられている。これらは、印加する電圧や電流を制御することにより、その輝度を変調することが可能である。ただし、一般的には、発光と非発光の期間を高速に切り替えることにより輝度を変調するＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御が用いられる。本実施形態では、比較的発光強度の制御が容易であるＬＥＤ光源をバックライト光源として用い、ＬＥＤ光源をＰＷＭ制御により輝度変調する構成とした。よって、バックライト駆動部１４では、バックライト光源輝度信号に基づいてＰＷＭ制御信号が生成され、バックライト１７へ送出される。

（画像表示部１５）
上述したように、画像表示部１５は、光変調素子部としての液晶パネル１６と、光源の輝度を変調可能な、液晶パネル１６の背面に設置されたバックライト１７により構成される。画像表示部１５では、タイミングコントローラ１３より出力された映像信号を液晶パネル１６（光変調素子）に書き込み、バックライト駆動部１４より出力されたバックライト駆動信号によってバックライト１７を点灯させることで、入力映像の表示を行う。なお、上述の通り、本実施形態では、バックライト光源としてＬＥＤ光源を用いている。

以上、説明したように、本実施形態によれば、入力映像の階調の分布を考慮して光源輝度を制御するようにしたことにより、より高精度な光源輝度の制御が可能となり、よって、視覚的コントラストが優れ、かつ消費電力の低減した画像表示装置を提供することができる。

本発明の第２の実施形態による画像表示装置の基本的な構成は、第１の実施形態と同様であるが、バックライト輝度算出部において、予め定められた階調変換を行った後、評価値の算出を行うこと、及び入力映像に対して予め定められた階調変換を行った後、液晶パネルへ送出することを特徴とする。

図１０に、本発明の第２の実施形態による画像表示装置の構成を示す。第１の実施形態と同様に、階調−明るさ特性を、テーブルデータ（ＲＯＭ１８内の第１ルックアップテーブル）（図５および図７参照）を参照して求める構成が用いられている。入力映像は、第１の実施形態と同様に、ヒストグラム生成部２１及びタイミングコントローラ２３に入力され、ヒストグラム生成部２１でヒストグラムが生成される。バックライト輝度算出部２２は、ＲＯＭ１８内の階調−明るさ特性が保持された第１ルックアップテーブルと、ＲＯＭ１９内の所定の階調変換規則が保持された第２ルックアップテーブルを参照してバックライト光源輝度を算出し、タイミングコントローラ２３へ送出する。タイミングコントローラ２３は、第１の実施形態に比べて、更に映像変換部３０を備えており、入力映像と、バックライト輝度算出部２２により算出されたバックライト輝度との同期を調整すると共に、映像変換部３０において第２ルックアップテーブルを参照して入力映像の階調変換を行う。映像変換部３０により階調変換された入力映像は、液晶パネル２６を駆動するための同期信号と共に液晶パネル２６へ送出され、バックライト輝度は、バックライト駆動部２４に送出される。バックライト駆動部２４では、入力されたバックライト輝度に基づいて実際にバックライトを駆動、制御する為のバックライト駆動信号が生成され、バックライトへ送出される。最後に、階調変換された入力映像が液晶パネル２６に書き込まれ、同時に、バックライト駆動部２４から出力されたバックライト駆動信号に基づいてバックライトが発光することにより、液晶パネル２６に画像が表示される。

以下に、第１の実施形態と異なる構成となるバックライト輝度算出部２２及びタイミングコントローラ２３について詳細に説明する。なお、その他の構成については、第１の実施形態と同様であるため、説明は省略する。

（バックライト輝度算出部２２）
バックライト輝度算出部２２の処理は、基本的な流れは、第１の実施形態と同様であるが、評価値更新ステップにおいて、所定の階調変換を行った後、評価値を算出することが特徴である。評価値更新ステップ以外の構成は、第１の実施形態と同様であるため、ここでは、評価値更新ステップについて図１１に示すフローチャートを用いて詳細に説明する。

第１の実施形態における評価値更新ステップでは、現在の階調ｘ、バックライト光源輝度Ｉの場合の、最大ダイナミックレンジにおける明るさＧ（ｘ）と画像表示部における明るさｇ（ｘ、Ｉ）の差分を算出し、この差分値にヒストグラム生成部で求めた階調ｘの頻度ｈ（ｘ）を乗算し、評価値Ｅ（Ｉ）に加算する構成とした。これに対し、第２の実施形態の評価値更新ステップ（Ｓ２５）では、階調ｘに対して予め定められた階調変換ｆ（ｘ）を行った後、現在の階調ｘおよびバックライト光源輝度Ｉにおいて、最大ダイナミックレンジにおける明るさＧ（ｘ）と画像表示部２５における明るさｇ（ｆ（ｘ）、Ｉ）との差分を算出し、この差分値にヒストグラム生成部２１で求めた階調ｘの頻度ｈ（ｘ）を乗算し、評価値Ｅ（Ｉ）に加算する（Ｓ２５ａ）。階調変換がｆ（ｘ）で表される場合は、階調変換は階調ｘにのみ依存する構成であるため、つまりバックライト光源輝度等によらず常に一定の階調変換となっている。しかし、本実施形態では、より視覚的コントラストを改善するために、バックライト光源輝度Ｉにより異なる階調変換ｆ（ｘ、Ｉ）を行う構成とした。例えば、差分を絶対値で評価する場合は、数式２０のように表される。

また、差分を二乗誤差として評価する場合は、数式２１のように表される。

なお、数式２０、数式２１では、階調−明るさ特性を用いて評価を行っているが、これらは設定ステップ１及び設定ステップ２で設定した階調−明るさ特性で評価すればよい。階調−明るさ特性として階調−明度特性を用いるのであれば、差分を二乗誤差とした場合の評価は、数式２２のように表される。

現在の階調ｘによる評価値の更新が終了した後、全ての階調ｘについての評価値の更新が終了したかを判定し（Ｓ２５ｂ）、終了していなければ（ＮＯ）、階調ｘを更新して（Ｓ２５ｃ）、再度評価値の更新を行う（Ｓ２５ａ）。例えばヒストグラム生成部２１で求めたヒストグラムにおいて０階調から２５５階調について１階調毎の頻度を求めたのであれば、まず階調ｘが２５５以上かを判定し、２５５未満であれば、階調ｘに１を加算して階調ｘを更新する。

階調変換ｆ（ｘ、Ｉ）の構成は、様々に考えられるが、本実施形態では、図１２のような入力階調ｘ、出力階調ｆ（ｘ、Ｉ）の関係とした。すなわち、バックライト光源輝度が小さい時は、低階調側の入力階調に対する出力階調の傾きを大きくし、バックライト光源輝度が大きい時は、高階調側の入力階調に対する出力階調の傾きを大きくした。バックライト光源輝度Ｉが小さい場合は、入力映像において多くの階調が低階調側に存在しているため、低階調側の入力階調に対する出力階調の傾きを大きくすることで、より暗部のコントラストを増加させることができる。逆にバックライト光源輝度Ｉが大きい場合は、入力映像において多くの階調が高階調側に存在しているため、高階調側の入力階調に対する出力階調の傾きを大きくすることで、明部のコントラストをより増加させることができる。なお、図１２では、２つの傾きの異なる直線を組み合わせた階調変換の構成としているが、例えば、滑らかな曲線状の階調変換の構成としても良い。階調変換ｆ（ｘ、Ｉ）はバックライト輝度算出部２２内部で計算により求めることも可能であるが、本実施形態では、入力階調ｘと出力階調ｆ（ｘ、Ｉ）とを対応付けたテーブルデータを第２ルックアップテーブルとして、ＲＯＭ１９に保持する構成とした。第２ルックアップテーブルの一例を図１３に示す。評価値更新ステップでは、現在の階調ｘとバックライト光源輝度Ｉにより第２ルックアップテーブルを参照して出力階調ｆ（ｘ、Ｉ）を求める。次に、第１の実施形態と同様に、出力階調ｆ（ｘ、Ｉ）とバックライト光源輝度Ｉにより第１ルックアップテーブルを参照して、対応する明るさを求める。

（タイミングコントローラ２３）
タイミングコントローラ２３の基本的な動作は、第１の実施形態と同様であるが、本実施形態におけるタイミングコントローラ２３は、更に映像変換部３０を備えており、入力映像に対し、階調変換を行った後、変換された入力映像を液晶パネル２６に送出する構成となっている。映像変換部３０以外の動作は、第１の実施形態と同様なため、ここでは、映像変換部３０の動作について詳細に説明する。

映像変換部３０では、入力映像の各画素の階調を、当該階調とバックライト輝度算出部２２で算出されたバックライト光源輝度Ｉ_ｏｐｔを用いて第２ルックアップテーブルを参照することで変換する。すなわち、水平画素位置ｕ、垂直画素位置ｖの入力映像の階調Ｌ（ｕ、ｖ）に対し、数式２３の処理を行う。

ここで、Ｌ_ｏｕｔ（ｕ、ｖ）は、変換された位置（ｕ、ｖ）の入力映像の画素の階調である。数式２３の処理を入力映像の１フレーム全ての画素に対して行うことで、入力映像が変換され、変換された入力映像はバックライト光源輝度信号とのタイミングを制御されながら、液晶パネル２６へ送出される。

以上、説明したように、本実施形態によれば、視覚的コントラストが優れ、かつ消費電力の低減した画像表示装置を提供することができる。

本発明の第３の実施形態による画像表示装置の基本的な構成は、第２の実施形態と同様であるが、バックライト輝度算出部での階調変換に関し、入力映像から求められたヒストグラムの頻度が０でない最小階調及び頻度が０でない最大階調に基づく階調変換を行った後、評価値の算出を行うこと、及び入力映像に対してこれと同じ階調変換を行った後、液晶パネルへ送出することを特徴とする。

図１４に、本発明の第３の実施形態による画像表示装置の構成を示す。入力映像は、第２の実施形態と同様に、ヒストグラム生成部３１及びタイミングコントローラ３３に入力され、ヒストグラム生成部３１でヒストグラムが生成される。生成されたヒストグラムは、バックライト輝度算出部３２及び階調範囲検出部３８へ送出される。階調範囲検出部３８では、ヒストグラムから頻度が０でない最小の階調と最大の階調を検出する。バックライト輝度算出部３２は、ＲＯＭ３９内の階調−明るさ特性が保持されているルックアップテーブルの参照と、階調範囲検出部３８により検出された最小階調及び最大階調に基づき決定される階調変換とに基づき、バックライト光源輝度を算出し、タイミングコントローラ３３へ送出する。タイミングコントローラ３３は、第２の実施形態と同様に、映像変換部４０を備えており、入力映像と、バックライト輝度算出部３２により算出されたバックライト輝度との同期を調整すると共に、映像変換部４０において、階調範囲検出部３８で検出された最小階調及び最大階調に基づく階調変換を入力映像に対して行う。映像変換部４０により階調変換された入力映像は、液晶パネル３６を駆動するための同期信号と共に液晶パネル３６へ送出され、バックライト輝度は、バックライト駆動部３４に送出される。バックライト駆動部３４では、入力されたバックライト輝度に基づいて実際にバックライトを駆動、制御する為のバックライト駆動信号が生成され、バックライト３７へ送出される。最後に、階調変換された入力映像が液晶パネル３６に書き込まれ、同時に、バックライト駆動部３４から出力されたバックライト駆動信号に基づいてバックライト３７が発光することにより、液晶パネル３６に画像が表示される。

以下に、第２の実施形態と異なる構成となる階調範囲検出部３８、バックライト輝度算出部３２及び映像変換部４０について詳細に説明する。なお、その他の構成については、第２の実施形態と同様であるため、説明は省略する。

（階調範囲検出部３８）
階調範囲検出部３８では、ヒストグラム生成部３１により検出されたヒストグラムを参照することで、頻度が０でない最小の階調及び最大の階調を検出する。すなわち、入力映像に含まれる最小階調及び最大階調を検出する。検出方法は、様々に考えられるが、本実施形態では、０階調から走査を開始して、頻度が０でない最初の階調を最小階調、２５５階調から走査を開始して、頻度が０でない最初の階調を最大階調とする構成とした。なお、最小階調、最大階調は、上記の通り、厳密に求める必要はなく、例えば、頻度が全体のある所定の割合（例えば５％等）に相当する頻度を超えた階調を最小階調、最大階調とする構成としても良い。すなわち、０階調から走査を開始して、累積頻度が全体の５％を超えた階調を最小階調、２５５階調から走査を開始して、累積頻度が全体の５％を超えた階調を最大階調とする構成としてもよい。上記のような構成とすることで、例えば入力映像に含まれるノイズの影響等を軽減することができる。

（バックライト輝度算出部３２）
バックライト輝度算出部３２の処理は、基本的な流れは、第２の実施形態と同様であるが、評価値更新ステップにおいて行う階調変換の方法が第２の実施形態と異なった構成となっている。階調変換以外の構成は、第２の実施形態と同様であるため、ここでは、階調変換規則について説明する。

本実施形態による階調変換規則は、階調範囲検出部３８により検出された最小階調Ｌ_ｍｉｎ、及び最大階調Ｌ_ｍａｘに基づいて行うことを定めている。より具体的には、最小階調Ｌ_ｍｉｎ、及び最大階調Ｌ_ｍａｘを液晶パネル３６で表示可能な最小階調（０階調）及び最大階調（８ビットであれば２５５階調）まで伸張する。よって、階調変換ｆ（ｘ、Ｌ_ｍｉｎ、Ｌ_ｍａｘ）は、数式２４のように表される。

本実施形態における評価値更新ステップのフローチャートを図１５に示す。評価値更新ステップ（Ｓ３５）では、数式２４に示す階調変換ｆ（ｘ、Ｌ_ｍｉｎ、Ｌ_ｍａｘ）を用いて評価値の算出を行う（Ｓ３５ａ）。現在の階調ｘによる評価値の更新が終了した後、全ての階調ｘについての評価値の更新が終了したかを判定し（Ｓ３５ｂ）、終了していなければ（ＮＯ）、階調ｘを更新して（Ｓ３５ｃ）、再度評価値の更新を行う（Ｓ３５ａ）。

（映像変換部４０）
映像変換部４０では、入力映像の各画素の階調を、当該階調と階調範囲検出部３８で検出された最小階調、最大階調を参照することで、変換する。すなわち、水平画素位置ｕ、垂直画素位置ｖの入力映像の階調Ｌ（ｕ、ｖ）に対し、数式２５の処理を行う。

ここで、Ｌ_ｏｕｔ（ｕ、ｖ）は、変換された位置（ｕ、ｖ）の入力映像の画素の階調である。数式２５を入力映像の１フレーム全ての画素に対して行うことで、入力映像が変換される。

以上、説明したように、本実施形態によれば、視覚的コントラストが優れ、かつ消費電力の低減した画像表示装置を提供することができる。

本発明の第４の実施形態による画像表示装置の基本的な構成は、第２の実施形態と同様であるが、バックライト輝度算出部での階調変換が、バックライト光源輝度Ｉに対して１つの階調変換規則ではなく複数の階調変換規則により評価値の算出を行って出力バックライト光源輝度と階調変換規則を決定すること、及び決定された階調変換規則により入力映像に対して階調変換を行った後、液晶パネル４６へ送出することを特徴とする。

図１６に、本発明の第４の実施形態による画像表示装置の構成を示す。図１６は、第２の実施形態とほぼ同一の構成であるが、第２の実施形態における第２ルックアップテーブルが、保持されているデータの異なる第３のルックアップテーブルとなっている。入力映像は、第２の実施形態と同様に、ヒストグラム生成部４１及びタイミングコントローラ４３に入力され、ヒストグラム生成部４１でヒストグラムが生成される。バックライト輝度算出部４２は、階調−明るさ特性が保持されている第１ルックアップテーブルと、複数の階調変換規則が保持された第３ルックアップテーブルを参照してバックライト光源輝度を算出し、タイミングコントローラ４３へ送出する。タイミングコントローラ４３は、バックライト輝度算出部４２により算出されたバックライト輝度との同期を調整すると共に、映像変換部５０において第３ルックアップテーブルを参照して入力映像の階調変換を行う。映像変換部５０により階調変換された入力映像は、液晶パネル４６を駆動するための同期信号と共に液晶パネル４６へ送出され、バックライト輝度は、バックライト駆動部４４に送出される。バックライト駆動部４４では、入力されたバックライト輝度に基づいて実際にバックライトを駆動、制御する為のバックライト駆動信号が生成され、バックライト４７へ送出される。最後に、階調変換された入力映像が液晶パネル４６に書き込まれ、同時に、バックライト駆動部４４から出力されたバックライト駆動信号に基づいてバックライト４７が発光することにより、液晶パネル４６に画像が表示される。

以下に、第２の実施形態と異なる構成となるバックライト輝度算出部４２及び映像変換部５０について詳細に説明する。なお、その他の構成については、第２の実施形態と同様であるため、説明は省略する。

（バックライト輝度算出部４２）
バックライト輝度算出部４２の処理は、基本的な流れは、第２の実施形態と同様であるが、第２の実施形態では、複数のバックライト光源輝度を評価し最適値を得られるバックライト光源輝度を選択していたが、本実施形態では、複数のバックライト光源輝度及び複数の階調変換規則の各組み合わせを評価し最適値を得られるバックライト光源輝度及び階調変換規則の組み合わせを選択する点が、第２の実施形態と異なっている。本実施形態におけるバックライト輝度算出部４２の動作について、図１７に示すフローチャートを用いて詳細に説明する。

設定ステップ１（Ｓ４１）及び設定ステップ２（Ｓ４２）は、第１の実施形態と同様である。

初期化ステップ１（Ｓ４３）の基本的な構成は、第１の実施形態と同様であるが、本実施形態では、数式１４の初期化ステップ１に加え、数式２６に示す処理を追加する。

ここで、ｉは、入力階調ｘに対して複数設定されている階調変換規則ｆ_ｉ（ｘ）を選択する階調変換選択番号である。本実施形態では、図１８に示す１０種類の階調変換規則を設定している。なお、階調変換規則は、図１８に示すように、バックライト光源輝度Ｉに依存しない構成としても良いが、バックライト光源輝度Ｉ毎に異なる複数の階調変換規則を設定することもできる。その場合、階調変換規則は、ｆ_ｉ（ｘ、Ｉ）のように、階調ｘとバックライト光源輝度Ｉの関数の形で表現される。なお、階調変換ｆ_ｉ（ｘ）はバックライト輝度算出部４２内部で計算により求めることも可能であるが、本実施形態では、入力階調ｘと出力階調ｆ_ｉ（ｘ）を対応付けたテーブルデータを第３ルックアップテーブルとして、ＲＯＭ４９に保持する構成とした。第３ルックアップテーブルの一例を図１９に示す。後述する評価値更新ステップ（Ｓ４５）では、現在の階調ｘと、階調変換選択番号ｉとにより第３ルックアップテーブルを参照して出力階調ｆ_ｉ（ｘ）を求める。

初期化ステップ２（Ｓ４４）では、評価値更新ステップ（Ｓ４５）で用いる評価値Ｅ（Ｉ、ｉ）を、数式２７に示すように初期化する。

評価値更新ステップ（Ｓ４５）では、第２の実施形態と同様に、バックライト光源輝度Ｉと、階調変換選択番号ｉにより選択されている階調変換規則ｆ_ｉ（ｘ）とを用いて評価値Ｅ（Ｉ、ｉ）を算出する（Ｓ４５ａ）。例えば、明るさを輝度とし、差分を二乗誤差で表現した場合は、階調ｘ毎の評価値の更新は、数式２８のように表される。

数式２８の処理を、全ての階調ｘについて行うことにより、バックライト光源輝度Ｉ及び階調変換規則ｆ_ｉ（ｘ）の場合の評価値Ｅ（Ｉ、ｉ）が算出される（Ｓ４５ｂ、Ｓ４５ｃ）。

出力バックライト光源輝度及び出力階調変換規則更新ステップ（Ｓ４６）では、第２の実施形態では、バックライト光源輝度Ｉについてのみ評価を行っていたが、本実施形態では、バックライト光源輝度Ｉ及び階調変換規則ｆ_ｉ（ｘ）の組ついて評価を行う。まず、現在のバックライト光源輝度Ｉ及び階調変換規則ｆ_ｉ（ｘ）における評価値更新ステップ（Ｓ４５）で求められた評価値Ｅ（Ｉ、ｉ）が最小評価値Ｅ_ｍｉｎより小さいかどうかを判定し（Ｓ４６ａ）、小さければ（ＹＥＳ）、現在のバックライト光源輝度Ｉを出力バックライト光源輝度Ｉ_ｏｐｔとし、現在の階調変換規則ｆ_ｉ（ｘ）を指し示す階調変換選択番号ｉをｉ_ｏｐｔとして、最小評価値Ｅ_ｍｉｎを現在の評価値Ｅ（Ｉ、ｉ）に更新する（Ｓ４６ｂ）。次に、予め設定された全ての階調変換選択番号に対する階調変換規則について評価が終了したかを判定し（Ｓ４６ｃ）、終了していなければ（ＮＯ）、ｉに１を加算して階調変換規則を更新する（Ｓ４６ｄ）。終了していれば（ＹＥＳ）、更に、予め設定された全てのバックライト光源輝度Ｉについて評価が終了したかを判定し（Ｓ４６ｅ）、終了していなければ（ＮＯ）バックライト光源輝度Ｉを更新して（Ｓ４６ｆ）、再度初期化ステップ２（Ｓ４４）に戻る。終了していれば（ＹＥＳ）、そのときの出力バックライト光源輝度Ｉ_ｏｐｔ及び出力階調変換選択番号ｉ_ｏｐｔがバックライト輝度算出部４２より出力される。

（映像変換部５０）
映像変換部５０では、第２の実施形態と同様に、入力映像の各画素の階調を、当該階調とバックライト輝度算出部４２で算出された出力階調変換選択番号を用いて第３ルックアップテーブルを参照することで変換する。すなわち、水平画素位置ｕ、垂直画素位置ｖの入力映像の階調Ｌ（ｕ、ｖ）に対し、数式２９の処理を行う。

ここで、Ｌ_ｏｕｔ（ｕ、ｖ）は、変換された位置（ｕ、ｖ）の入力映像の画素の階調である。数式２９を入力映像の１フレーム全ての画素に対して行うことで、入力映像が変換され、バックライト光源輝度信号とのタイミングを制御されながら、液晶パネル４６へ送出される。

以上、説明したように、本実施形態によれば、視覚的コントラストが優れ、かつ消費電力の低減した画像表示装置を提供することができる。

本発明の第５の実施形態による画像表示装置の基本的な構成は、第１の実施形態と同様であるが、ヒストグラム生成部において、過去における複数フレームのヒストグラムを保持し、現在の入力映像に対するヒストグラムと過去における複数フレームのヒストグラムとを加算したヒストグラムを生成することを特徴とする。

図２０に、本発明の第５の実施形態による画像表示装置の構成を示す。図２０の基本的な構成は、第１の実施形態と同様であるが、更にヒストグラム保持部５８が追加されている。ヒストグラム生成部５１以外の要素５２〜５７は、第１の実施形態と同様であるため説明を省略し、ここでは、ヒストグラム生成部５１の動作について詳細に説明する。

（ヒストグラム生成部５１）
本実施形態によるヒストグラム生成部５１の動作は、基本的には第１の実施形態と同様であるが、過去における複数フレームのヒストグラムをヒストグラム保持部５８に保持し、ヒストグラム生成部５１からは、現在の入力映像のヒストグラムと過去における複数フレームのヒストグラムとを加算した時間累積ヒストグラムを、バックライト輝度算出部５２に送出することを特徴とする。

時間累積ヒストグラムの生成過程を、図２１を用いて説明する。図２１は、時刻ｔ＝２〜ｔ＝４におけるヒストグラム生成部５１より出力されるヒストグラムを示している。第１の実施形態では、時刻ｔ＝２で出力されるヒストグラムは、時刻ｔ＝２における入力映像のヒストグラムであるが、本実施形態では、過去２フレーム分の時刻ｔ＝０、ｔ＝１のヒストグラムがヒストグラム保持部５８に保持されており、時刻ｔ＝２では、時刻ｔ＝０、ｔ＝１、ｔ＝２のヒストグラムを加算した時間累積ヒストグラムが出力される。なお時間累積ヒストグラムの縦軸のスケールは時刻ｔ＝０、ｔ＝１、ｔ＝２のヒストグラムの縦軸のスケールと異なっている。時刻ｔ＝３では、時刻ｔ＝１、ｔ＝２、ｔ＝３のヒストグラムが加算されたヒストグラムが出力され、以下同様に処理される。本実施形態では、過去２フレーム分のヒストグラムをヒストグラム保持部５８に保持する構成としたが、より多くの過去のフレームのヒストグラムを保持する構成としても良い。ただし、保持する過去フレームのヒストグラムの数を多くすると、ヒストグラムが大きく変化した場合に、その変化が時間累積ヒストグラムに現れるまでに大きく時間が経過し、その結果、現在の入力映像と大きく乖離したヒストグラムを用いてバックライト光源輝度の算出を行う可能性がある。そこで、特に過去フレームを多く保持する場合は、図２２に示すように、映像シーンの変化（シーンチェンジ）を検出するシーンチェンジ検出部５９を更に設け、シーンチェンジ検出部５９によりシーンチェンジが検出された場合は、ヒストグラム保持部５１に保持されている過去フレームのヒストグラムをリセット（頻度を全て０にする）する構成が良い。シーンチェンジ検出部５９によるシーンチェンジ検出方法は、様々に考えられるが、本実施形態では、時間的に隣接する２フレームから検出されたヒストグラムを用いて検出する方法とした。時刻ｔの階調ｘの頻度をｈ（ｘ、ｔ）とすると、シーンチェンジは、数式３０を用いて検出される。

ここで、ｓ（ｔ）は、時刻ｔにおけるシーンチェンジ検出結果を表し、１がシーンチェンジ、０が非シーンチェンジを表す。Ｔ_ｓはシーンチェンジを判定する閾値である。シーンチェンジ検出を用いたヒストグラム生成部５９の動作を、図２３を用いて説明する。図２３は、時刻ｔ＝２とｔ＝３の間でシーンチェンジが検出された場合の動作の様子を示している。時刻ｔ＝２の出力されるヒストグラムは、上記の通り時刻ｔ＝０、ｔ＝１、ｔ＝２のヒストグラムが加算されたヒストグラムとなる。その後、ｔ＝２の入力映像のヒストグラムと、ｔ＝３の入力映像のヒストグラムからシーンチェンジが検出されると、ヒストグラム保持部５８に保持されている過去のフレームｔ＝１、ｔ＝２のヒストグラムがリセット、すなわち、頻度が全て０にクリアされる。その結果、時刻ｔ＝３における出力されるヒストグラムは、シーンチェンジ前のｔ＝１、ｔ＝２のヒストグラムの影響を受けない。次いで、時刻ｔ＝４では、時刻ｔ＝２、ｔ＝３、ｔ＝４のヒストグラムを加算したヒストグラムが出力されるが、この時も、シーンチェンジ前の時刻ｔ＝２のヒストグラムはリセットされているため、シーンチェンジ前のヒストグラムの影響を受けない。

上記のように、過去のフレームのヒストグラムを加算した時間累積ヒストグラムを用いてバックライト光源輝度を算出することにより、入力映像のノイズや動きに伴う小さい変化に対し、過剰にバックライト光源輝度が変動することを抑制することができる。その結果、バックライト光源輝度の過剰な変動による、画像表示部に発生するちらつき（フリッカ）を抑制することができる。

以上、説明したように、本実施形態によれば、視覚的コントラストが優れ、かつ消費電力の低減した画像表示装置を提供することができる。

本発明の第６の実施形態による画像表示装置の基本的な構成は、第１の実施形態と同様であるが、本実施形態では、バックライト輝度算出部において、バックライト光源輝度のフレーム間の変動量に制限を設けたことを特徴とする。バックライト輝度算出部の処理が拡張された点を除き本実施形態は第１の実施形態と同様であるため以下第１の実施形態で用いた図１及び図４により説明を行う。

本実施形態によるバックライト輝度算出部１２では、第１の実施形態と同様に、出力バックライト光源輝度Ｉ_ｏｐｔが算出される。その後、以下の数式３１及び数式３２に示す処理により、フレーム間のバックライト光源輝度の変動を制限する。

ただし、

である。ここで、Ｉ_ｏｐｔ（ｔ）は、時刻ｔにおける出力バックライト光源輝度、Ｔ_Ｉは変動の制限幅を表す。つまり、数式３１は、バックライト光源輝度がフレーム間でＴ_１より大きく変動する場合は、その変動量をＴ_Ｉに制限することを示している。上記のような処理を行うことで、入力映像のフレーム間で、バックライト光源輝度が大きく変動することを制限することができ、その結果、バックライト光源輝度の過剰な変動による、画像表示部１５に発生するちらつき（フリッカ）を抑制することができる。しかし、上記構成では、シーンチェンジ等の要因により、表示映像がフレーム間で大きく変化した場合も、バックライト光源輝度の変化量が制限されてしまい、その結果、表示映像に対してバックライト光源輝度の変化が大きく遅延する可能性がある。そのため、図２４に示すように、シーンチェンジ検出部６９を設け、シーンチェンジ検出結果に基づいてバックライト光源輝度のフレーム間の変動量を制御する構成とすることが望ましい。本実施形態では、第５の実施形態と同様の構成によるシーンチェンジ検出方法（数式３０）による検出結果を用いて、以下のように変動の制限幅Ｔ_Ｉを制御した。

ここで、βは、１より大きい正の実数であり、Ｔ_Ｉ（ｔ）は、時刻ｔにおけるフレーム間のバックライト光源輝度の変化量の制限幅である。すなわち、シーンチェンジでない場合（ｓ（ｔ）＝０）は、数式３１と同じ制限幅Ｔ_Ｉを用い、シーンチェンジの場合（ｓ（ｔ）＝１）は、制限幅Ｔ_Ｉに係数βを乗じたＴ_Ｉより大きい制限幅とする。数式３３により求められた制限幅Ｔ_Ｉ（ｔ）を用いて数式３１の処理を行うことにより、シーンチェンジ時の大きいバックライト光源輝度の変化時には、シーンの変化にバックライト光源輝度の変動を追従させることが可能となる。

なお、上記実施形態では、入力映像に対する出力バックライト光源輝度を算出した後、出力バックライト光源輝度の時間変動を制限する構成としているが、その他の構成も考えられる。例えば、第１の実施形態では、予め定められたバックライト光源輝度変調範囲Ｉ_ｍｉｎからＩ_ｍａｘの全ての範囲ついて、出力バックライト光源輝度更新ステップ（図４のＳ１６）において評価値Ｅ（Ｉ）を算出し、出力バックライト光源輝度を決定しているが、評価するバックライト光源輝度の範囲を１フレーム前の出力バックライト光源輝度の近傍に限定する構成にすることにより、フレーム間の出力バックライト光源輝度の過剰な変動を制限することができる。すなわち、時刻ｔでの初期化ステップ１（Ｓ１３）におけるバックライト光源輝度Ｉの初期値の代入において、第１の実施形態では、Ｉ_ｍｉｎを設定していたが、本実施形態では、以下のように変更する。

ここで、Ｉ_ｏｐｔ（ｔ−１）は、時刻ｔ−１の出力バックライト光源輝度を示している。ただし、ＩがＩ_ｍｉｎ未満となる場合は、ＩをＩ_ｍｉｎに修正する。更に、出力バックライト光源輝度更新ステップ（Ｓ１６）での、バックライト光源輝度変調範囲全ての処理が完了したかの判定（Ｓ１６ｃ）において、第１の実施形態では、変調範囲の最大値Ｉ_ｍａｘ未満かどうかを判定していたが、本実施形態ではＩがＩ_ｏｐｔ（ｔ−１）＋Ｔ_Ｉ未満かつＩ_ｍａｘ未満であるかを判定し、上記が成り立つ場合は、バックライト光源輝度を更新し（Ｓ１６ｄ）、初期化ステップ２（Ｓ１４）に戻り、成り立たない場合は、処理を終了するように変更する。上記構成により、バックライト光源輝度は、前フレームにおける出力バックライト光源輝度Ｉ_ｏｐｔ（ｔ−１）に対し±Ｔ_Ｉの範囲でのみしか評価されないため、出力バックライト光源輝度Ｉ_ｏｐｔ（ｔ）もその範囲に決定される。その結果、出力バックライト光源輝度の時間変動を制限することが可能となる。なお、上記構成においても、シーンチェンジ検出を組み合わせることは可能であり、その場合、Ｔ_Ｉ（ｔ）は数式３３を用いて求める構成とすればよい。

以上、画像表示部の構成として液晶パネルとバックライトとを組み合わせた透過型液晶表示装置における実施形態について説明してきたが、本発明は、透過型液晶表示装置以外にも様々な画像表示部の構成に適応可能である。例えば、光変調素子としての液晶パネルと、ハロゲン光源等の光源を組み合わせた投射型の画像表示部にも適用可能である。また、光源部としてのハロゲン光源と、ハロゲン光源からの光の反射を制御することにより画像の表示を行うデジタルマイクロミラーデバイスを光変調素子として利用する投射型の画像表示部でも良い。デジタルマイクロミラーデバイスを用いた投射型の画像表示部の一例を図２５に示す。

ハロゲン光源７７とデジタルマイクロミラーデバイス７６との間には、すなわち、白色の光を出射する光源の光軸上には、色を表すためのカラーホイール７１が設置される。カラーホイール７１は、例えば、透過色が赤、緑、青になるような領域に分割されている。光源の光軸上のカラーホイール７１が赤の時に、デジタルマイクロミラーデバイス７６に到達する光源の色は、赤となり、同時に、デジタルマイクロミラーデバイス７６には入力画像の赤成分の画像が表示される。デジタルマイクロミラーデバイス７６で反射した光はレンズ７２を介して出力される。以下同様に緑、青についても行い、この切り替えを非常に高速に行うことで、カラー画像が表示される。

第１の実施形態による画像表示装置の構成を示す図。 １階調毎のヒストグラムの一例を示す図。 ３２階調毎のヒストグラムの一例を示す図。 第１の実施形態に係るバックライト輝度算出部の動作を説明するフローチャート。 階調ｘと明るさＧ（ｘ）とを対応付けたテーブルデータの一例を示す図。 図１の画像表示装置にＲＯＭを追加した図。 階調ｘと明るさｇ（ｘ、Ｉ）とを対応付けたテーブルデータの例を示す図。 バックライト光源輝度Ｉ_ｍａｘ（＝１．０）の階調−明るさ特性のみを保持したテーブルデータの例を示す図。 バックライト光源輝度毎に、階調ｘと、Ｇ（ｘ）とｇ（ｘ、Ｉ）との絶対値差分とを対応付けたテーブルデータの例を示す図。 第２の実施形態による画像表示装置の構成を示す図。 第２の実施形態における評価値更新ステップを説明するフローチャート。 入力階調ｘと出力階調ｆ（ｘ、Ｉ）との関係を表すグラフ。 入力階調ｘと出力階調ｆ（ｘ、Ｉ）とを対応付けたテーブルデータの一例を示す図。 第３の実施形態による画像表示装置の構成を示す図。 第３の実施形態における評価値更新ステップを説明するフローチャート。 第４の実施形態による画像表示装置の構成を示す図。 第４の実施形態におけるバックライト輝度算出部の動作を説明するフローチャート。 １０種類の階調変換規則を示す図。 入力階調ｘと出力階調ｆ_ｉ（ｘ）を対応付けたテーブルデータの一例を示す図。 第５の実施形態による画像表示装置の構成を示す図。 時間累積ヒストグラムの生成過程を説明する図。 図２０の画像表示装置にシーンチェンジ検出部を追加した図。 シーンチェンジ検出を用いたヒストグラム生成部の動作を説明する図。 第６の実施形態による画像表示装置の構成を示す図。 デジタルマイクロミラーデバイスを用いた投射型の画像表示部の一例を示す図。

符号の説明

１１、２１、３１、４１、５１：ヒストグラム生成部
１２、２２、３２、４２、５２：バックライト輝度算出部
１３、２３、３３、４３、５３：タイミングコントローラ
１４、２４、３４、４４、５４：バックライト駆動部
１５、２５、３５、４５、５５、７５：画像表示部
１６、２６、３６、４６、５６：液晶パネル
１７、２７、３７、４７、５７：バックライト
１８、１９、３９、４８、４９：ＲＯＭ
３０、４０、５０：映像変換部
３８：階調範囲検出部
５８：ヒストグラム保持部
５９、６９：シーンチェンジ検出部
７１：カラーホイール
７２：レンズ
７６：デジタルマイクロミラーデバイス
７７：ハロゲン光源
Ｓ１１、Ｓ４１：設定ステップ１
Ｓ１２、Ｓ４２：設定ステップ２
Ｓ１３、Ｓ４３：初期化ステップ１
Ｓ１４、Ｓ４４：初期化ステップ２
Ｓ１５、Ｓ２５、Ｓ３５、Ｓ４５：評価値更新ステップ
Ｓ１６、Ｓ４６：出力バックライト光源輝度更新ステップ

Claims (26)

1. 光源輝度を調整可能な光源部と、与えられた画像に基づいて前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部と、を有する画像表示部と、
   入力映像の１フレームから所定階調毎に各階調範囲を代表する階調と、各階調範囲に含まれる画素の頻度とを対応づけたヒストグラムを生成するヒストグラム生成部と、
   （Ａ）第１〜第ｎの光源輝度の各々ごとに、各前記階調に対して予め設定された明るさと、前記階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分を算出する差分算出部と、
   （Ｂ）前記階調毎に得られる明るさの差分に、前記ヒストグラムに示される前記階調の頻度を乗算する乗算部と、
   （Ｃ）前記階調毎の乗算により得られる値の合計が、予め定めた閾値以下または最小となる光源輝度を前記第１〜第ｎの光源輝度から選択する光源輝度選択部と、
   を有する光源輝度算出部と、
   前記入力映像の１フレームを前記光変調素子部に与えるとともに、選択された前記光源輝度を前記光源部に設定する制御部と、
   を備えた画像表示装置。
2. 前記明るさは、
   前記光源部を最大輝度に設定した際の、前記画像表示部の輝度に対する相対輝度、
   前記光源部を最大輝度に設定した際の、前記画像表示部の明度に対する相対明度、
   前記光源部を最大輝度に設定した際の、前記画像表示部の対数輝度に対する相対対数輝度、のいずれかであることを特徴とする請求項１記載の画像表示装置。
3. 前記差分は、
   前記階調について予め設定された明るさと、前記階調を前記画像表示部に表示した際の明るさとの絶対値差分、
   前記階調について予め設定された明るさと、前記階調を前記画像表示部に表示した際の明るさとの差分を二乗した値、のいずれかであることを特徴とする請求項１記載の画像表示装置。
4. 前記ヒストグラム生成部は、各前記階調の頻度をそれぞれα乗（αは０より大きい実数）した値を各前記階調の頻度として用いることを特徴とする請求項１記載の画像表示装置。
5. 前記乗算部は、前記階調毎の明るさの差分に、前記ヒストグラムにおける前記階調の頻度をα乗（αは０より大きい実数）した値を乗算することを特徴とする請求項１記載の画像表示装置。
6. 前記差分算出部は、各前記階調に対して所定の階調変換規則によって階調変換を行い、各前記階調に対して予め設定された明るさと、当該階調を変換した階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分を算出し、
   前記制御部は、前記入力映像の１フレームが前記所定の階調変換規則に従って変換された画像を前記光変調素子部に与える、ことを特徴とする請求項１記載の画像表示装置。
7. 前記所定の階調変換規則は、前記第１〜第ｎの光源輝度毎に異なることを特徴とする請求項６記載の画像表示装置。
8. 小さい光源輝度に対応する前記所定の階調変換規則ほど、低階調側の入力階調に対する出力階調の傾きが大きいことを特徴とする請求項７記載の画像表示装置。
9. 大きい光源輝度に対応する前記所定の階調変換規則ほど、高階調側の入力階調に対する出力階調の傾きが大きいことを特徴とする請求項７記載の画像表示装置。
10. 前記第１〜第ｎの各光源輝度毎に複数の階調変換規則が与えられ、
    前記光源輝度選択部は、前記光源輝度毎かつ前記階調変換規則毎に計算される前記合計の値が予め定めた閾値以下または最小となる光源輝度及び階調変換規則を選択し、
    前記制御部は、前記入力映像の１フレームが前記選択された階調変換規則に従って変換された画像を前記光変調素子部に与えることを特徴とする請求項６記載の画像表示装置。
11. 前記所定の階調変換規則は、前記入力映像の１フレームにおける最小階調から所定範囲の階調を前記光変調素子部に表示可能な最小階調に、前記入力映像の１フレームにおける最大階調から所定範囲の階調を前記光変調素子部に表示可能な最大階調に伸張するものであることを特徴とする請求項６記載の画像表示装置。
12. 各前記階調と、当該階調を前記所定の階調変換規則によって変換した階調とを対応付けたテーブルデータを保持するテーブル保持部をさらに備え、
    前記差分算出部は、前記テーブルデータを参照することにより前記階調の変換された階調を求めることを特徴とする請求項６記載の画像表示装置。
13. 各前記階調と、当該階調に対して予め設定された明るさとを対応付けたテーブルデータを保持したテーブル保持部をさらに備え、
    前記差分算出部は、前記テーブルデータを参照することにより前記階調の予め設定された明るさを求めることを特徴とする請求項１記載の画像表示装置。
14. 前記第１〜第ｎの各光源輝度毎に、各前記階調と、当該階調を前記光源輝度により前記画像表示部に表示した際の明るさとを対応付けたテーブルデータを保持したテーブル保持部をさらに備え、
    前記差分算出部は、前記テーブルデータを参照することにより前記階調を前記光源輝度により前記画像表示部に表示した際の明るさを求めることを特徴とする請求項１記載の画像表示装置。
15. 前記第１〜第ｎの各光源輝度毎に、各前記階調と、当該階調に対して予め設定された明るさと前記階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分とを対応付けたテーブルデータを保持したテーブル保持部をさらに備え、
    前記差分算出部は、前記光源輝度と前記階調とに基づいて前記テーブルデータを参照することにより前記差分を求めることを特徴とする請求項１記載の画像表示装置。
16. 前記ヒストグラム生成部は、前記入力映像の１フレームにおける各前記階調の頻度から算出される、前記入力映像の階調の平均値、中央値、最頻値の少なくとも１つ以上の階調以外の頻度を０にしたヒストグラムを生成することを特徴とする請求項１記載の画像表示装置。
17. 前記ヒストグラム生成部は、過去における複数のフレームのヒストグラムを保持するヒストグラム保持部を更に有し、現在のヒストグラムに、前記ヒストグラム保持部に保持される前記過去における複数のフレームのヒストグラムを加算することを特徴とする請求項１記載の画像表示装置。
18. 映像シーンの変化を検出するシーンチェンジ検出部を更に備え、
    前記ヒストグラム生成部は、前記シーンチェンジ検出部により映像シーンの変化が検出された場合には、前記ヒストグラム保持部に保持されている前記過去における複数のフレームのヒストグラムを消去することを特徴とする請求項１７記載の画像表示装置。
19. 前記光源輝度選択部は、現在の入力映像の１フレームに対して選択される光源輝度を、１フレーム期間過去における入力映像の１フレームに対して設定された光源輝度から第１の輝度範囲に入るように補正することを特徴とする請求項１記載の画像表示装置。
20. 映像シーンの変化を検出するシーンチェンジ検出部を更に備え、
    前記光源輝度選択部は、前記シーンチェンジ検出部により映像シーンの変化が検出された場合には、現在の入力映像の１フレームに対して選択される光源輝度を、前記第１の輝度範囲より大きい第２の輝度範囲に入るように補正することを特徴とする請求項１９記載の画像表示装置。
21. 前記画像表示部は、前記光変調素子部としての液晶パネルと、前記液晶パネルの前面または背面から光を照射する前記光源部と、を有する投射型または透過型の液晶表示部であることを特徴とする請求項１記載の画像表示装置。
22. 前記画像表示部は、前記光変調素子部としてのデジタルマイクロミラーデバイスと、前記デジタルマイクロミラーデバイスの前面から光を照射する前記光源部とを有する投射型の表示部であることを特徴とする請求項１記載の画像表示装置。
23. 前記光源部は、発光ダイオードであることを特徴とする請求項２１または２２記載の画像表示装置。
24. 入力映像の１フレームから所定階調毎に各階調範囲を代表する階調と、各階調範囲に含まれる画素の頻度とを対応づけたヒストグラムを生成し、
    第１〜第ｎの光源輝度の各々ごとに、各前記階調に対して予め設定された明るさと、前記階調を前記光源輝度により前記画像表示部に表示した際の明るさとの差分を算出し、
    前記階調毎に得られる明るさの差分に、前記ヒストグラムに示される前記階調の頻度を乗算し、
    前記階調毎の乗算により得られる値の合計が、予め定めた閾値以下または最小となる光源輝度を前記第１〜第ｎの光源輝度から選択し、
    選択した前記光源輝度を、光源輝度を調整可能な光源部に設定し、
    与えられた画像に基づき前記光源部からの光の透過率または反射率を変調することにより画像表示を行う光変調素子部に対し前記入力映像の１フレームを与える、画像表示方法。
25. 前記差分の算出は、各前記階調に対して所定の階調変換規則によって階調変換を行い、各前記階調に対して予め設定された明るさと、前記階調を変換した階調を前記画像表示部に表示した際の明るさとの差分を算出することを含み、
    前記入力映像の１フレームを与えることは、前記入力映像の１フレームが前記所定の階調変換規則に従って変換された画像を前記光変調素子部に与えることを含む、ことを特徴とする請求項２４記載の画像表示方法。
26. 前記第１〜第ｎの各光源輝度毎に複数の階調変換規則を用意し、
    前記光源輝度の選択は、前記光源輝度毎かつ前記階調変換規則毎に計算される前記合計の値が予め定めた閾値以下または最小となる光源輝度及び階調変換規則を選択することを含み、
    前記入力映像の１フレームを与えることは、前記入力映像の１フレームが前記選択された階調変換規則に従って変換された画像を前記光変調素子部に与えることを含む、ことを特徴とする請求項２５記載の画像表示方法。

Images