(実施形態1)
図1は、本発明に係る映像表示装置の一実施形態を説明するための図で、映像表示装置の要部の構成例を示すものである。映像表示装置は、入力映像信号に画像処理を施して映像表示するもので、例えば、映像表示装置は、テレビ受信装置等を構成する。
図1で例示する映像表示装置は、信号処理部1、エリアアクティブ制御・輝度ストレッチ部4、バックライト制御部5、バックライト部6、表示制御部7、表示部8、映像合成部9、チューナ10a、10b、デコーダ部11a、11b、リモコン信号処理部12、および画面設定部13を備える。
ここで、信号処理部1は、発光検出部2、マッピング部3を備える。また、画面設定部13は、表示指示検出部13aを備える。なお、本発明の制御部は、バックライト部6と表示部8を制御するものであり、制御部の例としては、信号処理部1、エリアアクティブ制御・輝度ストレッチ部4、バックライト制御部5、および表示制御部7が挙げられる。
チューナ10a、10bは、アンテナAにより受信された放送信号のうち、ユーザにより指定された放送信号を受信し、受信した放送信号をデコーダ部11a、11bに出力する。この映像表示装置は、1つの番組の映像信号のみを表示する1画面表示と、2つの番組の映像信号(第1の入力映像信号および第2の入力映像信号)を表示する2画面表示とを切り換えることができ、1画面表示の場合は、一方のチューナ10aのみが用いられ、2画面表示の場合は、2つのチューナ10a、10bが用いられる。
また、この映像表示装置は、番組の映像信号(第1の入力映像信号)とともにデータ放送の映像信号(第2の入力映像信号)を表示するデータ放送表示を行うことができ、この場合も、一方のチューナ10aのみが用いられる。
デコーダ部11a、11bは、チューナ10a、10bにより入力された放送信号をデコードし、放送信号から番組の映像信号やデータ放送の映像信号などを抽出し、抽出した映像信号を映像合成部9に出力する。
リモコン信号処理部12は、図示しないリモコン受光部を備え、リモコンRから受信したリモコン信号を解析し、2つの番組の映像信号を表示する2画面表示を行うか否かを示す情報や、番組の映像信号とデータ放送の映像信号を表示する2画面表示を行うか否かを示す情報、ユーザにより指定された受信番組の情報などを取得する。そして、リモコン信号処理部12は、画面設定部13に対して、取得した情報を出力する。
画面設定部13は、表示指示検出部13aを備える。表示指示検出部13aは、リモコン信号処理部12から2つの番組の映像信号を表示する2画面表示を行うことを示す情報を受信することにより、2つの番組の映像信号を表示する指示がユーザからあったことを検出する。
そして、画面設定部13は、その指示があったことを検出した場合、チューナ10a、10bの両方を機能させるとともに、それぞれのデコーダ部11a、11bに対して映像合成部9に番組の映像信号を出力するように指示をする。さらに、画面設定部13は、信号処理部1、エリアアクティブ制御・輝度ストレッチ部4に対して、2画面表示が実行されることを示す信号を出力する。
また、表示指示検出部13aは、リモコン信号処理部12から番組の映像信号とデータ放送の映像信号を表示する2画面表示を行うことを示す情報を受信することにより、番組の映像信号とデータ放送の映像信号を表示する指示がユーザからあったことを検出する。
そして、画面設定部13は、その指示があったことを検出した場合、チューナ10aのみを機能させるとともに、デコーダ部11aに対して映像合成部9に番組の映像信号とデータ放送の映像信号とを出力するように指示をする。さらに、画面設定部13は、信号処理部1、エリアアクティブ制御・輝度ストレッチ部4に対して、2画面表示が実行されることを示す信号を出力する。
2つの番組の映像信号を表示する指示、または、番組の映像信号とデータ放送の映像信号を表示する指示がない場合、画面設定部13は、チューナ10aのみを機能させるとともに、デコーダ部11aに対して映像合成部9に番組の映像信号を出力するように指示をする。さらに、画面設定部13は、信号処理部1、エリアアクティブ制御・輝度ストレッチ部4に対して、1つの番組の映像信号のみを表示する1画面表示が実行されることを示す信号を出力する。
映像合成部9は、2つの番組の映像信号を表示する2画面表示が実行される場合、デコーダ部11a、11bにより出力された2つの番組の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。
また、映像合成部9は、番組の映像信号とデータ放送の映像信号を表示する2画面表示が実行される場合、デコーダ部11aにより出力された番組の映像信号とデータ放送の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。
また、映像合成部9は、1つの番組の映像信号を表示する1画面表示がなされる場合、デコーダ部11aにより出力された番組の映像信号を、他の映像信号と合成することなく、エリアアクティブ制御・輝度ストレッチ部4に出力する。
一画面表示が実行される場合は、デコーダ部11aにより出力された番組の映像信号は、信号処理部1のマッピング部3で生成されたトーンマッピングの情報に基づいて、トーンマッピングが適用された後、エリアアクティブ制御・輝度ストレッチ部4に入力される。
エリアアクティブ制御・輝度ストレッチ部4は、入力された映像信号に従って、映像信号による画像を所定領域に分割し、分割領域ごとに映像信号の最大階調値を抽出する。そしてその抽出した値に基づきバックライト部6の点灯率を計算する。点灯率は、映像の分割領域に対応したバックライト部6の領域ごとに定められるもので、ここで言う点灯率とは後述するように実際には変更されるため、仮の値であると言える。
また、バックライト部6は、表示部8を照明するための光源の一例であり、複数のLEDにより構成され、領域ごとに輝度の制御が可能となっている。バックライト部6の領域ごとの点灯率は、予め定められた演算式に基づき決定されるが、基本的に高階調の明るい最大階調値を有する領域では、LEDの輝度は低下することなく維持され、低階調の暗い最大階調値を有する領域では、LEDの輝度を低下させるような演算が行われる。
なお、最大階調値の代わりに平均階調値など、入力映像信号の明るさに関連する他の特徴量から点灯率を計算してもよく、平均階調値から点灯率を計算する場合には、高階調の明るい平均階調値を有する領域では、LEDの輝度は低下することなく維持され、低階調の暗い平均階調値を有する領域では、LEDの輝度を低下させるような演算などが行われるようにすればよい。
そして、エリアアクティブ制御・輝度ストレッチ部4は、各領域の点灯率からバックライト部6の全体の平均点灯率を計算し、その平均点灯率に応じて、所定の演算式により、バックライト部6の最大発光輝度のストレッチ量(以下、輝度ストレッチ量)を計算する。バックライト部6の最大発光輝度(LEDの最大発光輝度)をこの輝度ストレッチ量だけストレッチすることで、画面内の全領域で取り得る最大の画面輝度を、基準輝度から所定量だけストレッチすることができる。このストレッチする元となる基準輝度は、例えば最大階調値のときに画面輝度が550(cd/m2)となるような輝度である。この基準の輝度は、この例に限ることなく適宜定めることができる。
以下、画面内の全領域で取り得る、最大階調値のときのストレッチ後の最大の画面輝度を、「Max輝度」と呼ぶ。上述のように輝度ストレッチ量は平均点灯率により決まる値であり、Max輝度は輝度ストレッチ量により決まる値であるため、図2のグラフで例示するように、Max輝度は平均点灯率に応じて決まる値と言える。なお、図2は、エリアアクティブ制御・輝度ストレッチ部4における処理例を説明するための図で、バックライト部6の平均点灯率(ウィンドウサイズ)に対するMax輝度(cd/m2)の関係を示すグラフの一例を示している。
なお、図2のグラフでは、平均点灯率が小さな範囲において、Max輝度が基準輝度(この例では550cd/m2)より小さくなっており、このことは輝度ストレッチ量がマイナスとなっていることを示している。この例のように、平均点灯率によっては輝度ストレッチ量がマイナスとなる場面があったとしても、図2のMax輝度のグラフを全ての平均点灯率に亘って積分した積分値は、基準輝度を全ての平均点灯率に亘って積分した積分値より大きいことから、全体的に見れば最大発光輝度や最大画面輝度(つまり最大表示輝度)が「ストレッチ」により増強されていると言える。
エリアアクティブ制御・輝度ストレッチ部4は、平均点灯率に応じて計算した輝度ストレッチ量だけ最大発光輝度がストレッチするように、上記した領域ごとの点灯率(仮の点灯率)を変更する。このような、分割領域ごとの点灯率の計算および平均点灯率に応じた点灯率の変更(ストレッチ後の点灯率の計算)を含む一連の分割領域ごとの点灯率の制御をエリアアクティブ制御と呼ぶ。
このように、入力映像信号による画像を複数の領域に分割し、その分割領域の映像信号の階調値に基づいて、その分割領域に対応する光源の領域の点灯率を変化させ、光源の全ての領域について光源の領域の点灯率を平均した平均点灯率を求め、その平均点灯率に予め関係付けられた表示部8の画面上で取り得る最大表示輝度(Max輝度)に基づいて、光源の輝度をストレッチすることが好ましい。そのため、エリアアクティブ制御・輝度ストレッチ部4は、平均点灯率に応じて決まるMax輝度を、フィードバックのために信号処理部1のマッピング部3に出力する。
信号処理部1の発光検出部2では、1画面表示が行われる場合に、映像合成部9により出力された番組の映像信号の明るさに関係する所定の特徴量に基づき、フレームごとに画素値を積算したヒストグラムを生成し、そのヒストグラムを用いて発光している部分を検出する。発光している部分は、ヒストグラムの平均値と標準偏差とにより求められるもので、ヒストグラムごとの相対的な値として検出される。すなわち、発光検出部2は、映像信号の明るさに関連する所定の特徴量に対して、画素数を積算したヒストグラムを生成し、そのヒストグラムの所定範囲の上位領域を発光部分として検出する。この処理については、後に詳しく説明する。
映像信号のN+1番目のフレームfN+1について説明すると、マッピング部3は、発光検出部2でフレームfN+1について検出された発光部分の情報と、エリアアクティブ制御・輝度ストレッチ部4から出力されたN番目のフレームfNのMax輝度とを使用して、フレームfN+1用のトーンマッピングの情報を生成し、その情報を映像信号のフレームfN+1に適用するために乗算器に出力する。
このトーンマッピングの情報は、フレームfN+1における発光していないとみなす部分(非発光部分)に対して、バックライト部6の輝度ストレッチ分に相当する輝度を低下させるように生成される。この乗算器は、トーンマッピングを映像信号に適用するためのものであり、フレームfN+1の映像信号の各画素値に対し、フレームfN+1用のトーンマッピングが示すゲイン係数を乗算し、その結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。
また、エリアアクティブ制御・輝度ストレッチ部4は、バックライト部6を制御するための制御データをバックライト制御部5に出力し、バックライト制御部5は、そのデータに基づいてバックライト部6のLEDの発光輝度を分割領域ごとに制御する。この制御データは、上記した領域ごとのストレッチ後の点灯率になるように、バックライト部6を制御するデータである。
映像信号のフレームfN+1を表示させる際のバックライト部6への制御データは、フレームfNのMax輝度をフィードバックして得たトーンマッピングを適用したフレームfN+1の映像信号について、バックライト部6の領域ごとの点灯率を上記予め定められた演算式に基づき計算した後、ストレッチにより変更することで、得ることができる。バックライト部6のLEDの輝度は、PWM(Pulse Width Modulation)制御で行われるが、電流制御もしくはこれらの組み合わせによって所望の値となるように制御することもできる。
さらに、エリアアクティブ制御・輝度ストレッチ部4は、表示部8を制御するための表示制御データを表示制御部7に出力し、表示制御部7は、その表示制御データに基づいて表示部8の表示を制御する。映像信号のフレームfN+1を表示させる際の表示制御データは、フレームfNのMax輝度をフィードバックして得たトーンマッピングをフレームfN+1に適用した後の映像信号について、その映像信号が示す映像を表示するように、表示部8を制御するデータである。表示部8は、バックライト部6のLEDにより照明されて画像を表示する液晶パネルが用いられる。
このように、エリアアクティブ制御・輝度ストレッチ部4では、平均点灯率に応じてバックライト輝度をストレッチしてバックライト部6のLEDの輝度を増大させ、この輝度ストレッチの情報(上記のMax輝度)を信号処理部1に戻して、映像信号に対してバックライト部6の輝度ストレッチ分に相当する輝度を低下させる。輝度ストレッチはバックライト部6の全体に対して行われ、映像信号処理による輝度低下は、発光部分を除く発光していないとみなす部分(非発光部分)に生じる。
つまり、エリアアクティブ制御・輝度ストレッチ部4では、バックライト輝度をストレッチしてバックライト部6のLEDの輝度を増大させ、映像信号のうち非発光部分の輝度を低下させる、といった処理により発光部分の表示輝度をエンハンスする(以下、発光部分エンハンス処理)。このような映像信号処理とバックライトの輝度制御処理とによって、発光している部分のみの画面輝度を増大させ、高いコントラストで映像表現を行うことができ、画質を向上させることができる。
映像信号のうち非発光部分の輝度を低下させる処理では、非発光部分に対してバックライト部6の輝度ストレッチ分に相当する輝度を低下させることが、非発光部分の画面輝度をある程度保つ上で好ましい。すなわち、エリアアクティブ制御・輝度ストレッチ部4は、非発光部分(つまり、所定の特徴量が低い所定領域)において、光源の輝度のストレッチによる表示部8の表示輝度の増加分を、映像信号の輝度の低下により低減させることが好ましい。
本発明の主たる目的は、入力映像信号に対して発光部分エンハンス処理を行い、輝き感およびコントラスト感を高めつつ、複数画面表示が行われる場合に、輝き感およびコントラスト感が不自然なものとなることを防止できるようにすることにある。このための構成として、映像表示装置は、表示指示検出部13aと、本発明の制御部の一例である信号処理部1、エリアアクティブ制御・輝度ストレッチ部4、バックライト制御部5、および表示制御部7とを備える。
上述したように、表示指示検出部13aは、2つの番組の映像信号を表示する2画面表示の実行指示がユーザからあったか否か、または、番組の映像信号とデータ放送の映像信号とを表示する2画面表示の実行指示がユーザからあったか否かを検出する。そして、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部4は、2画面表示の実行指示があったことが検出されない場合に発光部分エンハンス処理を実行し、その実行指示があったことが検出された場合に発光部分エンハンス処理を停止する。
なお、発光部分エンハンス処理とは、上述したように、光源の輝度をストレッチして増大させるとともに、入力映像信号の明るさに関連する所定の特徴量に対して、画素数を積算したヒストグラムを生成し、ヒストグラムの所定範囲の上位領域を発光部分として検出し、入力映像信号のうち発光部分を除く非発光部分の映像信号の輝度を低下させることにより、発光部分の表示輝度をエンハンスするものである。
図3は、映像表示装置により実行される2画面表示の例を示す図である。図3(A)には、2つの番組の映像20a、20bが示されている。映像20aは暗い映像であり、映像20bは明るい映像である。仮にこのような2画面表示に対して、上述したような発光部分エンハンス処理を実行したとすると、暗い映像20aの点灯率と明るい映像20bの点灯率とが平均化された平均点灯率を用いて発光部分エンハンス処理が実行されるので、それぞれの映像20a、20bに適した発光輝度が設定されなくなる場合がある。そこで、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部4は、表示指示検出部13aにより2つの番組の映像信号を表示する指示がユーザからあったことが検出された場合に、発光部分エンハンス処理を停止する。
また、図3(B)には、番組の映像21aとデータ放送の映像21bとが示されている。このような2画面表示がなされた場合、ユーザは文字を注視することになる。そのため、上述したような発光部分エンハンス処理を実行した結果、データ放送の映像21bの部分が過度に明るくなると、画質が劣化し、ユーザが眩しさを感じる。これを防止するため、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部4は、表示指示検出部13aにより番組の映像信号とデータ放送の映像信号を表示する指示がユーザからあったことが検出された場合に、発光部分エンハンス処理を停止する。
発光部分エンハンス処理を停止する場合、信号処理部1は、発光検出部2での処理を停止させ、マッピング部3は、例えば、デフォルト設定のトーンマッピング(一例として入出力が1対1に対応したトーンカーブなど)を乗算器に出力する。また、エリアアクティブ制御・輝度ストレッチ部4は、エリアアクティブ制御、輝度ストレッチに係る処理を停止し、入力映像信号に対して、バックライト部6を制御するための制御データをバックライト制御部5に出力すると共に、表示部8を制御するための表示制御データを表示制御部7に出力する。これらの制御データおよび表示制御データとしては、例えば、デフォルト設定のデータを用いることができる。
なお、上記のエリアアクティブ制御は、映像を所定の複数の領域(エリア)に分割し、分割領域ごとにLEDの発光輝度を制御するものであるが、発光部分エンハンス処理を停止させた場合でも、このエリアアクティブ制御については実行してもよい。例えば、後述の図4(C)に示すように、分割領域毎に映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域毎のLEDの点灯率(駆動duty)を決定する。この場合、輝度ストレッチは行わないため、平均点灯率から求めたMax輝度に応じてバックライト輝度をストレッチする処理は停止される。そして、これに伴い、輝度ストレッチの情報(Max輝度)をエリアアクティブ制御・輝度ストレッチ部4から信号処理部1にフィードバックする処理も停止される。
以下に上記の構成を有する本実施形態の各部の処理例をより具体的に説明する。
図4は、エリアアクティブ制御・輝度ストレッチ部4における平均点灯率の算出処理例を説明するための図であり、図5は、図4のバックライトの平均点灯率と画素の階調値を説明するための図である。
本発明の実施形態に適用されるエリアアクティブ制御は、映像を所定の複数の領域(エリア)に分割し、その分割した領域に対応するLEDの発光輝度を領域ごとに制御するものである。ここでは、エリアアクティブ制御・輝度ストレッチ部4が、入力映像信号に基づいて、1フレームの映像を予め定められた複数の領域(上記のエリア)に分割し、その分割した領域に対応するLEDの発光輝度をその分割領域ごとに制御する。
まず、エリアアクティブ制御・輝度ストレッチ部4は、図4(A)に例示するような映像について、図4(B)に示すように全画面の映像領域を縦方向に12分割、横方向に12分割してなる144個の領域に分割する。また、バックライト部6として各領域につき少なくとも1つのLEDが配設されているものとする。
そして、エリアアクティブ制御・輝度ストレッチ部4は、各領域について、映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域ごとのLEDの仮の点灯率を決定する。上述したように、最大階調値の代わりに、映像信号の階調平均値などの他の明るさに関する特徴量を用いてもよい。この特徴量としては統計値が用いられる。以下、最大階調値を抽出した例により説明する。図4(B)では、各領域について、LEDの点灯率をグレイスケールで図示しており、例えば図4(A)の映像のうち花火があるような階調が高く明るい部分では、図4(B)に示すように、点灯率を上げて明るくなるようにしている。このときの処理を更に具体的に説明する。
1フレームの各分割領域から最大階調値を抽出したときの様子およびその最大階調値に対応した点灯率の一例を図4(C)に示す。また、図4(D)に各領域の点灯率と画面全体の平均点灯率とを示す。図4(C),(D)では、説明を簡単にするため、1フレームの画面を8つの領域(エリアNo.1〜8)に分割した例を挙げるが、図4(B)のようにより多くの領域に分割して処理することもでき、最大では設けたLEDの数と同じ数の領域に分割して処理できる。
まず、エリアNo.1〜8の領域のそれぞれについて、領域内の最大階調値からその領域のバックライトの仮のLEDの点灯率を計算する。仮の点灯率は、例えばLEDの駆動duty(以下、LED duty)によって示すことができる。この場合、点灯率の最大値は100%である。なお、上述したように、LEDの輝度はPWMおよび/または電流制御によって所望の値となるように制御されるが、以下の説明では、説明の簡略化のためにPWM制御のみを採用した例を挙げている。後述のストレッチ処理によりPWM制御におけるデューティが100%を超える場合は、電流制御を兼用することができる。
各領域のLEDの仮の点灯率の決定においては、最大階調値が低く暗い領域については、点灯率を下げてバックライトの輝度を低下させる。各領域の実際の点灯率は、表示したい階調を正確に表示し、かつLED dutyをできるだけ低くするように決定する。各領域においてLED dutyをできるだけ低くしたいが、表示したい階調をつぶしたりせずに正確に表示する必要があるため、領域内の最大階調が表示でき、なおかつできるだけLED dutyを低くするようなLED duty(仮の点灯率)を設定し、それをもとに表示部8(ここではLCDパネル)の階調を設定する。
一例として、映像の階調値が0−255の8ビットデータで表現される場合で、かつ、図4(C)のうちの1つのエリア内の複数の画素の階調値が図5(A)で示される場合について説明する。図5(A)で示す画素群では、最大階調値が128であり、この場合には、図5(B)で示すように、そのエリアでのバックライトの点灯率を(1/(255/128))2.2=0.217倍(21.7%)に低下させる。そして、エリアアクティブ制御・輝度ストレッチ部4は、このように仮の点灯率を決めるとともに、表示部8における画素ごとの階調値を、その画素が含まれる領域についての仮の点灯率を考慮して計算すればよい。例えば、表示したい階調値が96の場合、96/(128/255)=192であるため、階調値192を用いて画素を表現すればよい。同様にして、図5(A)の各画素に対して表示させる際の階調値を計算した結果を、図5(C)に示す。
なお、本発明では、仮の点灯率から求めた平均点灯率に基づき輝度ストレッチを行うため、実際の点灯率は上述の場合に21.7%のままではないが、その輝度ストレッチ分(正しくは前フレームでの輝度ストレッチ分)をマッピング部3によるトーンマッピングで既に反映させ、その結果が上記表示したい階調値(「96」で例示)である。よって、表示制御部7は、図5(A)で示す画素群については、図5(C)で示す階調値の表示制御データで、表示部8を表示制御すればよい。
図4(C)の例では、グレイスケールで示した各領域の最大階調値に対して、パーセンテージで示したようにバックライトの点灯率が10〜90%の範囲で決定されている。なお、図4(C)のパーセンテージをエリア別に並べたグラフが図4(D)である。この点灯率計算方法はその一例を示すものであるが、基本的には明るい高階調の領域はバックライト輝度を下げることなく、低階調の暗い領域についてバックライトの輝度を低下させるように予め定めた演算式に従って各領域の仮の点灯率を計算する。
次に、エリアアクティブ制御・輝度ストレッチ部4は、映像信号の最大階調値から計算した領域ごとのバックライトの仮の点灯率を平均して、1フレームにおけるバックライト部6の平均点灯率を計算する。計算された画面全体の平均点灯率は、各領域において点灯率が高い領域が多くなれば当然高くなる。この例では、平均点灯率は、図4(D)に実線で示したようなレベルとなり、実際の値は約53%となる。
実際のバックライト部6の輝度は、平均点灯率に応じて決まる、出し得る最大発光輝度の値(上記したMax輝度に対応する最大発光輝度)に基づいて、つまり上記の輝度ストレッチ量に基づいて、各領域の仮の点灯率をストレッチすることで増強される。
このMax輝度は、取り得る画面輝度の最大値であり、例えば図2のような関係に基づき決定される。図2のグラフにおける横軸は、バックライトの平均点灯率(ウィンドウサイズ)であるが、この平均点灯率は、点灯率100%の点灯領域(ウィンドウ領域)と点灯率0%の消灯領域との比として表すことができる。点灯領域がない状態では平均点灯率はゼロであり、点灯領域のウィンドウが大きくなるに従って平均点灯率は増大し、全点灯では平均点灯率は100%になる。
図2では、バックライトが全点灯(平均点灯率100%)のときのMax輝度を例えば、550(cd/m2)とし、これをストレッチ前の基準輝度とする。そして本実施形態では、平均点灯率が100%から下がっていくに従って、Max輝度を増大させる。なお、8ビット表現の場合、階調値が255階調の画素が画面内で最も画面輝度が高くなり、取り得る最大の画面輝度(Max輝度)になる。このことから、同じ平均点灯率であっても、画素の階調値によってはMax輝度まで画面輝度が上がらないことがわかる。
図2では、平均点灯率がPのときに、Max輝度の値は最も大きくなり、このときの最大の画面輝度は1500(cd/m2)となる。つまりPのときには、取り得る最大の画面輝度は、全点灯時の550(cd/m2)に比較して1500(cd/m2)までストレッチされることになる。Pは、比較的平均点灯率が低い位置に設定されている。つまり全体に暗い画面で平均点灯率が低く、かつ一部に高階調のピークがあるような画面のときに、最高で1500(cd/m2)になるまでバックライトの輝度がストレッチされる。
また、高い平均点灯率のときほど、バックライトの輝度のストレッチの程度が小さい理由は、もともと明るい画面ではバックライトの輝度を過度に行うと却って眩しく感じることがあるため、ストレッチの程度を抑えるようにするためである。
また、平均点灯率が低い範囲は、暗い画面の映像に相当するものであり、バックライトの輝度をストレッチして画面輝度を上げるよりも、逆にバックライトの輝度を抑えてコントラストを向上させ、黒浮きを抑えて表示品位を保つことが好ましい。よって、図2の例では、このような低平均点灯率における黒浮き抑制のための設定を採用し、平均点灯率Pから平均点灯率0(全黒)まではMax輝度の値を徐々に低下させている。
エリアアクティブ制御・輝度ストレッチ部4は、図2の曲線に従って、バックライトの輝度をストレッチし、その制御信号をバックライト制御部5に出力する。ここでは上記のように映像の分割領域ごとに検出される最大階調値に応じて平均点灯率が変化し、その平均点灯率に応じて輝度ストレッチの状態が変化する。
エリアアクティブ制御・輝度ストレッチ部4に入力される映像信号は、以下に説明する信号処理部1による信号処理により生成されたトーンマッピングの情報を用いてトーンマッピングが適用され、低階調領域がゲインダウンされる。これにより、低階調の非発光領域ではバックライトの輝度がストレッチされた分、映像信号のゲインダウンによって輝度が低減され、結果として発光している領域のみで画面輝度がエンハンスされ、輝き感が増すようになっている。
エリアアクティブ制御・輝度ストレッチ部4は、図2の曲線に従ってバックライトの平均点灯率から求めたMax輝度の値を、信号処理部1のマッピング部3に出力する。そして、エリアアクティブ制御・輝度ストレッチ部4から出力されたMax輝度を使用して、マッピング部3はトーンマッピングを行う。
つぎに、信号処理部1について説明する。
信号処理部1の発光検出部2では、発光している部分を映像信号から検出する。図6は、入力映像信号の輝度信号Yから生成したYヒストグラムの例を示す図である。発光検出部2では、入力した映像信号のフレームごとに、輝度階調ごとの画素数を積算してYヒストグラムを生成する。横軸は輝度Yの階調値で、縦軸は階調値ごとに積算した画素数(頻度)を示している。ここでは、輝度Yについて発光部分を検出するものとする。輝度Yは、発光部分を検出するためのヒストグラムを作成する映像の特徴量の一例であり、特徴量の他の例については後述する。
Yヒストグラムが生成されると、そのYヒストグラムから平均値(Ave)、標準偏差(σ)を計算し、これらを用いて2つの閾値Thを計算する。
第2の閾値Th2は、発光境界を定めるものであり、Yヒストグラムにおいてこの閾値Th2以上の画素は、発光している部分であるものとみなして処理を行う。第2の閾値Th2は、Nを所定の定数、σを標準偏差として、下式(1)で表すことができる。つまり、発光検出部2では、下式(1)のTh2以上の画素を発光部分として検出する。
Th2 = Ave+Nσ ・・・式(1)
また、第1の閾値Th1は、Th2より小さい領域の階調性などの違和感を抑えるために設定されるもので、MをM<Nを満たす所定の定数として、下式(2)で表すことができる。
Th1 = Ave+Mσ ・・・式(2)
発光検出部2が検出した第1および第2の閾値Th1,Th2の値は、マッピング部3に出力され、トーンマッピングの生成に使用される。
図7は、マッピング部3が生成するトーンマッピングの一例を示す図である。図7において、横軸は映像の輝度値の入力階調で、縦軸は出力階調である。発光検出部2で検出された第2の閾値Th2以上の画素については、映像の中で発光している部分であり、発光している部分を除いて圧縮ゲインを適用してゲインダウンする。このときに、発光境界であるTh2より小さい領域に一律に一定の圧縮ゲインを適用して出力階調を抑えると、階調性に違和感が生じる。従って、発光検出部2にて第1の閾値Th1を設定して検出し、Th1より小さい領域に対して第1のゲインG1を設定し、Th1とTh2の間を線形で結ぶように第2のゲインG2を設定してトーンマッピングを行う。
つぎに、ゲインの設定方法について説明する。
マッピング部3には、エリアアクティブ制御・輝度ストレッチ部4からMax輝度の値が入力される。Max輝度は、上述したように、バックライトの平均点灯率から定められる最大画面輝度を示すもので、Max輝度の値として、例えばそれに対応する、最大発光輝度を示すバックライトデューティ(LED duty)の値を用いることができる。
第1のゲインG1は、第1の閾値Th1より小さい領域に適用されるもので、下式(3)により設定される。
G1=(Ls/Lm)1/γ ・・・式(3)
ここで、Lsは、基準輝度(バックライト輝度をストレッチしないときの基準輝度;一例として最大の画面輝度が550cd/m2となるときの輝度)であり、Lmは、エリアアクティブ制御・輝度ストレッチ部4から出力されたMax輝度である。従って、第1の閾値Th1より小さい領域に適用される第1のゲインG1は、バックライトの輝度ストレッチにより増加する画面輝度分を低減させるように、映像信号の出力階調を低下させる。
第2の閾値Th2以上のトーンマッピングは、f(x)=xとする。つまり、入力階調=出力階調とし、出力階調を低下させる処理は行わない。第1の閾値Th1〜第2の閾値Th2までの間は、第1のゲインG1によって低下させた第1の閾値Th1の出力階調と、第1の閾値Th1の出力階調とを直線で結ぶように設定する。つまり、G2=(Th2−G1・Th1)/(Th2−Th1)によって第2のゲインG2を決定する。
上記の処理により、図7に示すようなトーンマッピングを得る。このときに、Th1、Th2の接続部分については、所定の範囲(例えば接続部分±Δ(Δは所定値))を2次関数でスムージングするとよい。
マッピング部3が生成したトーンマッピングは、映像合成部9により出力された映像信号に適用され、バックライトの輝度ストレッチ量に基づき低階調部分の出力が抑えられた映像信号が、エリアアクティブ制御・輝度ストレッチ部4に入力される。
図8は、エリアアクティブ制御・輝度ストレッチ部4で出力するフレームfN,fN+1のMax輝度について説明するための図である。なお、図8で示すグラフは、図2で示したグラフと同じである。
エリアアクティブ制御・輝度ストレッチ部4は、上述したように、マッピング部3で生成したトーンマッピングを適用した映像信号を入力し、その映像信号に基づいてエリアアクティブ制御を行い、平均点灯率に基づくMax輝度の決定も行う。このときのフレームをフレームfNとする。フレームfNのMax輝度の値は、マッピング部3に出力される。マッピング部3では、入力したフレームfNのMax輝度を使用して図7に示すようなトーンマッピングの情報を生成し、フレームfN+1の映像信号に適用する。
こうして、本実施形態では、エリアアクティブ制御の平均点灯率に基づくMax輝度をフィードバックして、次のフレームのトーンマッピングに使用する。マッピング部3は、フレームfNで決定されたMax輝度に基づいて、図7で説明したように、第1の閾値Th1より小さい領域について映像出力を低下させるゲイン(第1のゲインG1)を適用する。Th1とTh2の間の領域についてTh1とTh2の間を線形で結ぶ第2のゲインG2を適用してTh1とTh2の間の映像出力を低下させる。
図8の例では、平均点灯率がP以上の高点灯率の領域において、フレームfNで非発光部分の映像出力を低下させるゲインが適用されているため、フレームfN+1では、領域ごとの最大階調値が低下して点灯率が下がる傾向となり、フレームfN+1では、Max輝度が上がる傾向となる。これにより、フレームfN+1ではさらにバックライトの輝度ストレッチ量が大きくなって、画面の輝き感が増す傾向となる。ただし、この傾向はPより低点灯率の領域では見られず、逆の傾向となる。
図9は、エリアアクティブ制御・輝度ストレッチ部4の処理により、画面輝度がエンハンスされる状態を示す図である。図9において、横軸は入力映像信号の階調値で、縦軸は表示部8の画面輝度(cd/m2)であり、S2,S3は、それぞれ発光検出部2で使用した第1および第2閾値Th1,Th2の階調値の位置に相当する。
上記のように発光検出部2で検出した第2の閾値Th2以上の領域では、バックライトの輝度ストレッチ量に応じて映像信号の出力階調を低下させる信号処理が行われていない。この結果、S3〜S4では、入力映像信号は、エリアアクティブ制御により決定されたMax輝度に従うγカーブでエンハンスされて表示される。S4は入力映像信号が最高階調値(255)であるときの画面輝度を示しており、例えばMax輝度が1500(cd/m2)である場合、最高階調での画面輝度は1500(cd/m2)となる。
一方、S1〜S2までの入力階調値の場合には、上記のように、バックライトの輝度ストレッチにより増加する画面輝度分を低減させるように第1のゲインG1が映像信号に適用されているため、基準輝度に基づくγカーブで画面表示される。エリアアクティブ制御・輝度ストレッチ部4で決定されたMax輝度に従って、マッピング部3で輝度ストレッチ分に対応して、閾値Th1(S2に相当)より小さい範囲で映像信号の出力値を抑えたからである。S2〜S3は、Th1〜Th2のトーンマッピングに応じて画面輝度が遷移する。
Max輝度が大きくなると、S1〜S2の基準輝度に基づく曲線と、S3〜S4のMax輝度に基づく曲線との画面輝度方向の差が大きくなる。基準輝度に基づく曲線は、前述のように、最大階調値の画面輝度が、バックライト輝度をストレッチしないときの基準輝度(一例として最大階調値の画面輝度が550cd/m2)となるγカーブであり、Max輝度に基づく曲線は、最大階調値の画面輝度が、エリアアクティブ制御・輝度ストレッチ部4で決定されたMax輝度となるγカーブである。
こうして、入力映像信号が0階調(S1)からS2までの間では、基準輝度で画面輝度を制御する。階調が低く暗い映像の場合には、輝度を上げて表示させるとコントラストの低下や黒浮き等の品位低下が生じるため、バックライトの輝度ストレッチ分だけ映像信号処理により輝度を抑えて画面輝度が上がらないようにする。
また、入力映像信号がS3以上の範囲は、発光しているとみなしている範囲であるので、輝度ストレッチによりバックライトをストレッチした状態で、映像信号を抑えることなく維持する。これにより、画面輝度がエンハンスされ、より輝き感のある高品位の画像表示を行うことができる。なお、S1〜S2までのγカーブは、基準輝度に一致させる必要はなく、発光部分のエンハンス領域との差を持たせるレベルのものであれば、ゲインG1を適宜調整して設定することができる。
(実施形態2)
図10は、本発明に係る映像表示装置の他の実施形態(実施形態2)を説明するための図で、映像表示装置の要部の他の構成例を示すものである。
実施形態2の映像表示装置は、実施形態1の映像表示装置と同様の構成を有しているが、実施形態1の映像表示装置と異なり、トーンマッピングを行う際に用いるMax輝度の値をエリアアクティブ制御・輝度ストレッチ部4で決定することなく、発光検出部2が発光部分の検出結果に基づき輝度ストレッチ量を決定し、マッピング部3がその決定された輝度ストレッチ量に基づいてトーンマッピングを実行する。従って、マッピング部3では、実施形態1のように、輝度ストレッチによるMax輝度値をエリアアクティブ制御・輝度ストレッチ部4から取得する必要はない。無論、発光検出部2が発光部分の検出のみを行い、マッピング部3が、発光部分の検出結果から輝度ストレッチ量を計算するように構成してもよい。
図11は、映像信号の輝度信号Yから生成したYヒストグラムの例を示すものである。この映像信号は、映像合成部9により出力されたものである。なお、2画面表示の場合、実施形態1と同様に、信号処理部1は、発光検出部2での処理を停止させるので、1画面表示における映像信号にのみ以下に説明する処理が実行される。
実施形態1と同様に、発光検出部2では、入力した映像信号のフレームごとに、画素の輝度階調ごとの画素数を積算してYヒストグラムを生成する。そしてそのYヒストグラムから平均値(Ave)、標準偏差(σ)を計算し、これらを用いて2つの閾値Th1,Th2を計算する。実施形態1と同様に、第2の閾値Th2は、発光境界を定めるものであり、Yヒストグラムにおいてこの閾値Th2以上の画素は、発光している部分であるものとみなすものである。
本実施形態では、さらに第3の閾値Th3を設定する。第3の閾値Th3は、Th1とTh2の間にあり、発光部分の画素の状態を検出するために設けられる。閾値Th3は、Th2と同じ値でもよいが、Th2以上の発光部分にマージンを持たせて広めにとり、処理を行いやすくするために設けられている。従って、Th3は下式(4)のようになる。
Th3 = Ave+Qσ(M<Q≦N) ・・・式(4)
図12は、第3の閾値Th3以上の画素に応じた輝度ストレッチの設定例を示す図である。横軸は閾値Th3以上の画素値のスコア、縦軸はスコアに応じた輝度ストレッチ量を示している。
スコアは、[輝度がある閾値より大きい画素の割合]×[閾値からの距離(輝度の差)]と定義し、第3の閾値Th3より大きい階調値を持つ画素の画素数をカウントし、閾値Th3からの距離に重み付けをして算出することにより得られた明るさの度合いを示すもので、例えば、下式(5)により計算される。
式(5)において、count[i]は、階調値iごとに画素数をカウントした値である。また、i2−(Th3)2は、図11で示したような輝度についての距離(輝度の差)を指し、代わりに、明度L*における閾値からの距離を採用してもよい。なお、この2乗は輝度を表すものであり、実際には2.2乗となる。つまり、デジタルのコード値がiの場合、輝度はi2.2となる。そのとき、明度L*は(i2.2)1/3≒iとなる。実際の映像表示装置で検証した結果、輝度での閾値からの差が明度での閾値からの差などより効果的であった。また、式(5)において、全画素数とはi>Th3に限らず全ての画素数をカウントした値を指す。スコアとしてこのような計算値を採用すると、発光部分のうちTh3から離れた高階調の画素が多い場合にはスコアが高くなる。また、Th3より大きな画素数が一定であっても、階調が高い画素が多い方がスコアは高くなる。
そして、スコアが一定以上に高いレベルでは、輝度ストレッチ量を高く設定し、高階調の輝いている映像をより高輝度にストレッチして輝き感を増す。この例では、スコアが一定以上の高い部分では、輝度ストレッチ後に取りうる最大の画面輝度が1500(cd/m2)となるように設定する。また、スコアが低い場合には、スコアが小さくなるほど輝度ストレッチ量が小さくなるように設定する。
輝度ストレッチ量は、実施形態1で説明したものであって、Max輝度と同様に例えばバックライトデューティの値によって示されるものである。発光検出部2が検出した第1および第2の閾値Th1,Th2の値、およびTh3以上の画素のスコアに従って決定される輝度ストレッチ量は、マッピング部3に出力され、トーンマッピングの情報の生成に使用される。
マッピング部3におけるトーマッピングの処理は、実施形態1と同様である。つまり図6に示すように、発光検出部2にて検出したTh1より小さい領域に対して第1のゲインG1を設定し、Th1とTh2の間を線形で結ぶように第2のゲインG2を設定する。このとき、マッピング部3は、ゲインG1の設定に際して、発光検出部2で検出した輝度ストレッチ量を使用し、バックライトの輝度ストレッチ量に応じて映像信号処理により輝度を低下させる。
得られたトーンマッピングは、映像合成部9により出力された映像信号に適用され、その後その映像信号は、エリアアクティブ制御・輝度ストレッチ部4に出力される。
エリアアクティブ制御・輝度ストレッチ部4における処理は、実施形態1と同様である。ただし、エリアアクティブ制御・輝度ストレッチ部4は、実施形態1のようにバックライトの平均点灯率からMax輝度を決定し、信号処理部1に出力する必要はなく、逆に信号処理部1の発光検出部2で検出された輝度ストレッチ量に基づいてバックライト部6のLEDの輝度をストレッチする。
つまり、エリアアクティブ制御・輝度ストレッチ部4では、映像を所定の複数の領域(エリア)に分割し、その分割領域ごとに映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域ごとのLEDの点灯率を決定する。例えば最大階調値が低く暗い領域については、点灯率を下げてバックライトの輝度を低下させる。そして、この状態で輝度ストレッチ量に応じてバックライト全体の投入電力を増大させて、バックライトの輝度全体をUPする。これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分のみの輝度が高くなって、高コントラストの品位の高い映像を表示することができる。入力映像信号と画面輝度との関係は、実施形態1に示す図9と同様になる。
このように、発光検出部2では、検出した発光部分の領域を含む所定範囲(上述の例ではTh3以上の範囲)の映像について、画素ごとの明るさに重みを付けて画素数をカウントすることにより明るさの度合いを示すスコアを計算し、そのスコアに応じて輝度ストレッチ量を決め、エリアアクティブ制御・輝度ストレッチ部4でその輝度ストレッチ量でストレッチされるようにする。そのため、輝度ストレッチ量はエリアアクティブ制御・輝度ストレッチ部4とマッピング部3に出力される。エリアアクティブ制御・輝度ストレッチ部4は、輝度ストレッチ量に応じて輝度をストレッチする。マッピング部3は、輝度ストレッチ量に応じてゲインカーブを変えるなどして、ストレッチした輝度を映像信号処理により低下させる。
そして、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部4は、発光部分エンハンス処理を、表示指示検出部13aの検出結果に応じて、実行または停止する。例えば、信号処理部1およびエリアアクティブ制御・輝度ストレッチ部4は、2画面表示を行うことが表示指示検出部13aにより検出された場合に、発光部分エンハンス処理を停止し、1画面表示を行うことが表示指示検出部13aにより検出された場合に、発光部分エンハンス処理を実行する。本発明に係る表示指示検出部13aの構成は実施形態1と同様であるため、詳しい説明を省略する。
発光部分エンハンス処理を停止する場合、信号処理部1は発光検出部2での処理を停止させるため、輝度ストレッチ量(N)は算出されず、マッピング部3およびエリアアクティブ制御・輝度ストレッチ部4に輝度ストレッチ量(N)が出力されることはない。
この場合、マッピング部3は、例えば、デフォルト設定のトーンマッピング(一例として入出力が1対1に対応したトーンカーブなど)を乗算器に出力する。また、エリアアクティブ制御・輝度ストレッチ部4は、エリアアクティブ制御、輝度ストレッチに係る処理を停止し、入力映像信号に対して、バックライト部6を制御するための制御データをバックライト制御部5に出力すると共に、表示部8を制御するための表示制御データを表示制御部7に出力する。これらの制御データおよび表示制御データとしては、例えば、デフォルト設定のデータを用いることができる。
なお、上記のエリアアクティブ制御については実施形態1と同様に実行してもよい。例えば、前述の図4(C)に示すように、分割領域毎に映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域毎のLEDの点灯率(駆動duty)を決定する。この場合、輝度ストレッチは行わないため、平均点灯率から求めたMax輝度に応じてバックライト輝度をストレッチする処理は中止される。
(実施形態3)
図13は、本発明に係る映像表示装置の他の実施形態(実施形態3)を説明するための図で、映像表示装置の要部の更に他の構成例を示すものである。
実施形態3の映像表示装置は、実施形態2の映像表示装置と同様の構成を有し、実施形態2と同様の動作を行うが、実施形態2の映像表示装置と異なり、エリアアクティブ制御・輝度ストレッチ部4の代わりに、エリアアクティブ制御を行わない輝度ストレッチ部4aを備える。この輝度ストレッチ部4aでは、信号処理部1のマッピング部3から出力された輝度ストレッチ量を用いて、バックライト部6の輝度をストレッチする。
つまり輝度ストレッチ部4aは、マッピング部3により生成されたトーンマッピングの情報を用いてトーンマッピングが適用された映像信号を入力し、その映像信号を表示する表示制御データを表示制御部7に出力する。このときにエリアアクティブ制御による処理は行わない。一方、輝度ストレッチ部4aは、発光検出部2から出力された輝度ストレッチ量を用いてバックライト部6全体を一律にストレッチする。
これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分の輝度が高くなって、高コントラストの品位の高い映像を表示することができる。
そして、信号処理部1および輝度ストレッチ部4aは、発光部分エンハンス処理を、表示指示検出部13aの判定結果に応じて、実行または停止する。例えば、信号処理部1および輝度ストレッチ部4aは、2画面表示を行うことが表示指示検出部13aにより検出された場合に、発光部分エンハンス処理を停止し、1画面表示を行うことが表示指示検出部13aにより検出された場合に、発光部分エンハンス処理を実行する。本発明に係る表示指示検出部13aの構成は実施形態1、2と同様であるため、詳しい説明を省略する。
発光部分エンハンス処理を停止する場合、信号処理部1は発光検出部2での処理を停止させるため、輝度ストレッチ量(N)は算出されず、マッピング部3および輝度ストレッチ部4aに輝度ストレッチ量(N)が出力されることはない。
この場合、マッピング部3は、例えば、デフォルト設定のトーンマッピング(一例として入出力が1対1に対応したトーンカーブなど)を乗算器に出力する。また、輝度ストレッチ部4aは、輝度ストレッチに係る処理を停止し、入力映像信号に対して、バックライト部6を制御するための制御データをバックライト制御部5に出力すると共に、表示部8を制御するための表示制御データを表示制御部7に出力する。これらの制御データおよび表示制御データとしては、例えば、デフォルト設定のデータを用いることができる。
なお、前述の実施形態1において、図1のエリアアクティブ制御・輝度ストレッチ部4の代わりに、実施形態3と同様にエリアアクティブ制御を実行しない輝度ストレッチ部4aを設けるようにしてもよい。そのような構成の場合、輝度ストレッチ部4aで平均点灯率(ただし、この例では仮の点灯率自体が画面全体の仮の平均点灯率である)からMax輝度を求め、それに基づきLEDの発光輝度を上げると共に、そのMax輝度をマッピング部3にフィードバックすればよい。
(実施形態4)
図14は、本発明に係る映像表示装置の他の実施形態(実施形態4)を説明するための図で、映像表示装置の要部の他の構成例を示すものである。
実施形態4では、表示指示検出部13aにより第1の入力映像信号とともに、第2の入力映像信号を表示する指示がユーザからあったことが検出された場合に、ジャンル検出部13bが、第1の入力映像信号のジャンル、および、第2の入力映像信号のジャンルを検出し、エリアアクティブ制御・輝度ストレッチ部4が、第1の入力映像信号のジャンルの情報に応じて決定された第1の制御特性の設定に基づいて第1の入力映像信号に対する発光部分エンハンス処理を実行するとともに、第2の入力映像信号のジャンルの情報に応じて決定された第2の制御特性の設定に基づいて第2の入力映像信号に対する発光部分エンハンス処理を実行する。
ここで、第1の入力映像信号、および、第2の入力映像信号とは、2つの番組の映像信号の2画面表示が行われる場合には、それらの2つの番組の映像信号であり、番組の映像信号とデータ放送の映像信号の2画面表示が行われる場合には、その番組の映像信号とデータ放送の映像信号である。以下、この処理について詳しく説明する。
放送番組のジャンル情報は、例えば、デジタル放送の放送信号に重畳して送信されてくる電子番組情報(EPG情報)の一部にジャンルコードとして含まれている。そして、その放送信号がチューナ10a、10bにより受信され、デコーダ11a、11bでデコード処理される。そして、この放送信号の中からジャンル情報としてジャンルコードが抽出される。
ジャンル情報としてのジャンルコードは、地上デジタル放送の規格により定められている。例えば、「ニュース/報道」、「スポーツ」、「情報/ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ/特撮」、「ドキュメンタリー/教養」、「演劇/公演」、「趣味/教育」、「その他」のジャンルが予め大分類として規定される。
また、大分類ごとに複数の中分類が規定されている。例えば、「スポーツ」の大分類においては、「スポーツニュース」、「野球」、「サッカー」、「ゴルフ」、「その他の球技」、「相撲・格闘技」、「オリンピック・国際大会」、「マラソン・陸上・水泳」、「モータースポーツ」、「マリン・ウィンタースポーツ」、「競馬・公営競技」、「その他」が中分類として規定されている。また「映画」の大分類には、「洋画」、「邦画」、「アニメ」などが中分類として規定されている。
図14で例示する映像表示装置は、信号処理部1a、1b、1cを備える。信号処理部1a、1bは、それぞれデコーダ11a、11bによるデコード処理により得られた番組の映像信号を処理する処理部であり、信号処理部1cは、デコーダ11aによるデコード処理により得られたデータ放送の映像信号を処理する処理部である。
そして、信号処理部1a、1b、1cは、それぞれ発光検出部2a、2b、2c、および、マッピング部3a、3b、3cを備える。発光検出部2a、2bは、実施形態1で説明したようにして、デコーダ部11a、11bによりデコード処理がなされた番組の映像信号に対し、発光部分の検出を行う。発光検出部2cは、デコーダ部11aによりデコード処理がなされたデータ放送の映像信号に対し、発光部分の検出を行う。
マッピング部3a、3bは、例えばジャンル情報が「映画」である場合、図15に一例を示すように、図7に示したトーンマッピング(図15の点線)の代わりに、第1の閾値Th1がより大きな値に設定されたトーンマッピング(図15の太い実線)を映像信号に適用する。これにより、映像のコントラストをより高めることができる。
他のジャンル情報やデータ放送についても同様に、Max輝度の制御特性、トーンマッピングが設定されており、それらを用いて、マッピング部3a、3bは、ジャンル情報に応じたトーンマッピングを行い、マッピング部3cは、データ放送に応じたトーンマッピングを行う。これにより、入力映像信号ごとに最適な表示を行うことが可能となる。
ジャンル検出部13bは、デコーダ部11a、11bから番組の映像信号のジャンルの情報を取得する。そして、ジャンル検出部13bは、取得したジャンルの情報を信号処理部1a、1b、エリアアクティブ制御・輝度ストレッチ部4に出力する。また、ジャンル検出部13bは、番組の映像信号とデータ放送の映像信号の2画面表示の実行指示があったことを表示検出部13aが検出した場合に、信号処理部1cにデータ放送の映像信号が入力されることを通知する。信号処理部1cは、この通知を受けた場合に起動され、データ放送の映像信号用に設定された制御特性に応じて信号処理がなされる。
映像合成部9は、2つの番組の映像信号が2画面表示される場合、トーンマッピングが適用された2つの番組の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。番組の映像信号とデータ放送の映像信号が2画面表示される場合も、映像合成部9は、トーンマッピングが適用された番組の映像信号とデータ放送の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。1つの番組の映像信号が1画面表示される場合は、映像合成部9は、トーンマッピングが適用された1つの番組の映像信号を、他の映像信号と合成することなく、そのままエリアアクティブ制御・輝度ストレッチ部4に出力する。
エリアアクティブ制御・輝度ストレッチ部4は、入力映像信号のジャンルに応じた発光部分エンハンス処理を実行する。例えば、エリアアクティブ制御・輝度ストレッチ部4は、ジャンル情報が「映画」である場合、図16に示すように、図2に示したMax輝度の制御特性のグラフ(図16の点線)の代わりに、平均点灯率が中程度の領域においてMax輝度の値が抑制され、Max輝度の値が最大となる平均点灯率Pがやや低い位置に設定された制御特性のグラフ(図16の実線)を用いる。これにより、ユーザが映画をじっくり見る際の眩しさを抑制しつつ、比較的小面積の明るい部分の輝きを重視して、映像を表示することができる。
なお、2画面表示が行われる場合、平均点灯率およびMax輝度は、映像信号ごとに算出される。すなわち、一方の映像信号に対応するバックライトの各領域の点灯率から、その映像信号に対する平均点灯率を算出するとともに、その平均点灯率からMax輝度を決定し、他方の映像信号に対応するバックライトの各領域の点灯率から、その映像信号に対する平均点灯率を算出するとともに、その平均点灯率からMax輝度を決定する。
なお、図14に示した映像表示装置の他の構成は、実施形態1において図1を用いて説明した構成と同様であるので説明を省略する。
(実施形態5)
図17は、本発明に係る映像表示装置の他の実施形態(実施形態5)を説明するための図で、映像表示装置の要部の他の構成例を示すものである。
実施形態5の映像表示装置は、実施形態4の映像表示装置と同様の構成を有しているが、実施形態4の映像表示装置と異なり、トーンマッピングを行う際に用いるMax輝度の値をエリアアクティブ制御・輝度ストレッチ部4で決定することなく、発光検出部2a、2b、2cが発光部分の検出結果に基づき輝度ストレッチ量を決定し、マッピング部3a、3b、3cが決定された輝度ストレッチ量に基づいてトーンマッピングを実行する。
従って、マッピング部3a、3b、3cでは、実施形態4のように、輝度ストレッチによるMax輝度値をエリアアクティブ制御・輝度ストレッチ部4から取得する必要はない。無論、発光検出部2a、2b、2cが発光部分の検出のみを行い、マッピング部3a、3b、3cが、発光部分の検出結果から輝度ストレッチ量を計算するように構成してもよい。
上記トーンマッピングは、以下のようにして行われる。発光検出部2a、2b、2cはそれぞれ、入力した番組の映像信号またはデータ放送の映像信号のフレームごとに、画素の輝度階調ごとの画素数を積算して、図11に示したようなYヒストグラムを生成する。
そして、発光検出部2a、2b、2cは、そのYヒストグラムから平均値(Ave)、標準偏差(σ)を計算し、これらを用いて2つの閾値Th1,Th2を計算する。さらに発光検出部2a、2b、2cは、第3の閾値Th3をそれぞれ設定する。Th3は、例えば、実施形態2に示した式(4)により算出される。
また、発光検出部2a、2b、2cは、例えば、実施形態2で説明したように、第3の閾値Th3以上の階調値を持つ画素の画素数をカウントし、閾値Th3からの距離に重み付けをして算出することにより得られた明るさの度合いを示すスコアを式(5)により算出する。
スコアが一定以上に高いレベルでは、図12に一例を示したように、輝度ストレッチ量を高く設定し、高階調の輝いている映像をより高輝度にストレッチして輝き感を増す。この例では、スコアが一定以上の高い部分では、輝度ストレッチ後に取りうる最大の画面輝度が1500(cd/m2)となるように設定する。また、スコアが低い場合には、スコアが小さくなるほど輝度ストレッチ量が小さくなるように設定する。
発光検出部2a、2b、2cがそれぞれ検出した第1および第2の閾値Th1,Th2の値、およびTh3以上の画素のスコアに従って決定される輝度ストレッチ量は、マッピング部3a、3b、3cに出力され、トーンマッピングの情報の生成に使用される。
マッピング部3a、3b、3cにおけるトーマッピングの処理は、実施形態4と同様である。つまり図15に示すように、発光検出部2a、2b、2cにて検出したTh1より小さい領域に対して第1のゲインG1を設定し、Th1とTh2の間を線形で結ぶように第2のゲインG2を設定する。このとき、マッピング部3a、3b、3cは、ゲインG1の設定に際して、発光検出部2a、2b、2cで検出した輝度ストレッチ量を使用し、バックライトの輝度ストレッチ量に応じて映像信号処理により輝度を低下させる。
得られたトーンマッピングは、デコーダ部11a、11bにより出力された番組の映像信号またはデータ放送の映像信号に適用される。具体的には、2つの番組の映像信号の2画面表示が行われる場合、デコーダ部11a、11bにより出力された2つの番組の映像信号のそれぞれに対して、トーンマッピングが適用される。また、番組の映像信号とデータ放送の映像信号の2画面表示が行われる場合、デコーダ部11aにより出力された番組の映像信号とデータ放送の映像信号のそれぞれに対して、トーンマッピングが適用される。番組の映像信号の1画面表示が行われる場合、デコーダ部11aにより出力された番組の映像信号に対して、トーンマッピングが適用される。
映像合成部9は、2つの番組の映像信号を表示する2画面表示が実行される場合、トーンマッピングが適用された2つの番組の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。また、映像合成部9は、番組の映像信号の表示とデータ放送の映像信号を表示するデータ放送表示が実行される場合、トーンマッピングが適用された番組の映像信号とデータ放送の映像信号を合成し、合成の結果得られた映像信号をエリアアクティブ制御・輝度ストレッチ部4に出力する。また、映像合成部9は、番組の映像信号の1画面表示がなされる場合、トーンマッピングが適用された1つの番組の映像信号を、他の映像信号と合成することなく、エリアアクティブ制御・輝度ストレッチ部4に出力する。
エリアアクティブ制御・輝度ストレッチ部4における処理は、実施形態4と同様である。ただし、エリアアクティブ制御・輝度ストレッチ部4は、実施形態4のようにバックライトの平均点灯率からMax輝度を決定し、信号処理部1a、1b、1cに出力する必要はなく、逆に信号処理部1a、1b、1cの発光検出部2a、2b、2cで検出された輝度ストレッチ量に基づいてバックライト部6のLEDの輝度をストレッチする。
つまり、エリアアクティブ制御・輝度ストレッチ部4では、映像を所定の複数の領域(エリア)に分割し、その分割領域ごとに映像信号の最大階調値を抽出し、抽出した最大階調値に応じて領域ごとのLEDの点灯率を決定する。例えば最大階調値が低く暗い領域については、点灯率を下げてバックライトの輝度を低下させる。そして、この状態で輝度ストレッチ量に応じてバックライト全体の投入電力を増大させて、バックライトの輝度全体をUPする。これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分のみの輝度が高くなって、高コントラストの品位の高い映像を表示することができる。入力映像信号と画面輝度との関係は、実施形態1に示す図9と同様になる。
このように、発光検出部2a、2b、2cでは、検出した発光部分の領域を含む所定範囲(上述の例ではTh3以上の範囲)の映像について、画素ごとの明るさに重みを付けて画素数をカウントすることにより明るさの度合いを示すスコアを計算し、そのスコアに応じて輝度ストレッチ量を決め、エリアアクティブ制御・輝度ストレッチ部4でその輝度ストレッチ量でストレッチされるようにする。そのため、輝度ストレッチ量はエリアアクティブ制御・輝度ストレッチ部4とマッピング部3a、3b、3cに出力される。エリアアクティブ制御・輝度ストレッチ部4は、輝度ストレッチ量に応じて輝度をストレッチする。マッピング部3a、3b、3cは、輝度ストレッチ量に応じてゲインカーブを変えるなどして、ストレッチした輝度を映像信号処理により低下させる。
そして、実施形態4で説明したように、信号処理部1a、1b、1cおよびエリアアクティブ制御・輝度ストレッチ部4は、表示指示検出部13aにより、第1の入力映像信号とともに第2の入力映像信号を表示する指示があったことが検出された場合に、第1の制御特性の設定に基づいて第1の入力映像信号に対する発光部分エンハンス処理を実行するとともに、第2の制御特性の設定に基づいて第2の入力映像信号に対する発光部分エンハンス処理を実行する。
ここで、第1の入力映像信号、および、第2の入力映像信号とは、2つの番組の映像信号の2画面表示が行われる場合には、それらの2つの番組の映像信号であり、番組の映像信号とデータ放送の映像信号の2画面表示が行われる場合には、その番組の映像信号とデータ放送の映像信号である。
例えば、マッピング部3a、3b、3cは、実施形態4において図15を用いて説明したような方法で、それぞれの映像信号に対し、ジャンル検出部13bにより検出された映像信号のジャンルに応じてトーンマッピングを行う。また、エリアアクティブ制御・輝度ストレッチ部4は、実施形態4において図16を用いて説明したような方法で、それぞれの映像信号に対し、ジャンル検出部13bにより検出された映像信号のジャンルに応じてバックライト部6の輝度を調整する。
図17に示した映像表示装置の他の構成は、実施形態4において図14を用いて説明した構成と同様であるので説明を省略する。
(実施形態6)
図18は、本発明に係る映像表示装置の他の実施形態(実施形態6)を説明するための図で、映像表示装置の要部の他の構成例を示すものである。
実施形態6の映像表示装置は、実施形態5の映像表示装置と同様の構成を有しているが、実施形態5の映像表示装置と異なり、エリアアクティブ制御・輝度ストレッチ部4の代わりに、エリアアクティブ制御を行わない輝度ストレッチ部4aを備える。この輝度ストレッチ部4aでは、信号処理部1a、1b、1cのマッピング部3a、3b、3cから出力された輝度ストレッチ量を用いて、バックライト部6の輝度をストレッチする。
つまり、輝度ストレッチ部4aは、映像合成部9により出力された映像信号を入力し、その映像信号を表示する表示制御データを表示制御部7に出力する。このとき、エリアアクティブ制御による処理は行わない。一方で、輝度ストレッチ部4aは、発光検出部2a、2b、2cから出力された輝度ストレッチ量を用いて、各輝度ストレッチ量に対応する映像信号の表示画面に対するバックライト部6をそれぞれストレッチする。
これにより、発光している明るい映像はより明るくなって輝き感が増す。また、非発光部分は、映像信号処理により輝度ストレッチに相当する輝度が低減されているため、結果として、画面上では発光部分の輝度が高くなって、高コントラストの品位の高い映像を表示することができる。
そして、実施形態4で説明したように、信号処理部1a、1b、1cおよびエリアアクティブ制御・輝度ストレッチ部4は、表示指示検出部13aにより、第1の入力映像信号とともに第2の入力映像信号を表示する指示があったことが検出された場合に、第1の制御特性の設定に基づいて第1の入力映像信号に対する発光部分エンハンス処理を実行するとともに、第2の制御特性の設定に基づいて第2の入力映像信号に対する前記発光部分エンハンス処理を実行する。
ここで、第1の入力映像信号、および、第2の入力映像信号とは、2つの番組の映像信号の2画面表示が行われる場合には、それらの2つの番組の映像信号であり、番組の映像信号とデータ放送の映像信号の2画面表示が行われる場合には、その番組の映像信号とデータ放送の映像信号である。
例えば、マッピング部3a、3b、3cは、実施形態4において図15を用いて説明したような方法で、それぞれの映像信号に対し、ジャンル検出部13bにより検出された映像信号のジャンルに応じてトーンマッピングを行う。また、輝度ストレッチ部4aは、実施形態4において図16を用いて説明したような方法で、それぞれの映像信号に対し、ジャンル検出部13bにより検出された映像信号のジャンルに応じてバックライト部6の輝度を調整する。
図18に示した映像表示装置の他の構成は、実施形態4において図14を用いて説明した構成と同様であるので説明を省略する。
なお、前述の実施形態4において、図14のエリアアクティブ制御・輝度ストレッチ部4の代わりに、同様にエリアアクティブ制御を実行しない輝度ストレッチ部4aを設けるようにしてもよい。そのような構成の場合、輝度ストレッチ部4aで平均点灯率(ただし、この例では仮の点灯率自体が画面全体の仮の平均点灯率である)からMax輝度を求め、それに基づきLEDの発光輝度を上げると共に、そのMax輝度をマッピング部3a、3b、3cにフィードバックすればよい。
(他の特徴量)
上記の各例では、発光検出部2、2a、2b、2cにおける発光部分の検出処理において、映像の特徴量として輝度Yを使用し、輝度のヒストグラムを生成してその中から発光部分を検出していた。しかし、ヒストグラムを生成する特徴量として、輝度の他、例えばCMI(Color Mode Index)、もしくは、1つの画素を構成するRGBの映像信号の階調値のうち最も高い階調値(Max RGBとする)を用いることができる。
CMIは、注目する色がどの程度明るいかを示す指標である。ここではCMIは輝度とは異なり、色の情報も加味された明るさを示している。CMIは、下式(6)により定義される。
(L*/L*modeboundary)×100 ・・・式(6)
上記L*は相対的な色の明るさの指標で、L*=100のときに、物体色として最も明るい白色の明度となる。上記式(6)において、L*は注目している色の明度であり、L*modeboundaryは、注目している色と同じ色度で発光して見える境界の明度である。ここでL*modeboundary≒最明色(物体色で最も明るい色)の明度となることがわかっている。CMI=100となる色の明度を発光色境界とよび、CMI=100を超えると発光していると定義する。
映像表示装置で表示すべき放送映像信号からCMIを計算する手法を図19を参照して説明する。放送映像信号はBT.709規格に基づいて規格化されて送信される。従ってまず放送映像信号のRGBデータをBT.709用の変換行列を用いて3刺激値XYZのデータに変換する。そしてYから変換式を用いて明度L*を計算する。注目する色のL*が図19の位置PL1にあったものとする。次に変換したXYZから色度を計算し、既に知られている最明色のデータから、注目する色と同じ色度の最明色のL*(L*modeboundary)を調べる。図19上の位置はPL2である。
これらの値から、上記式(6)を用いてCMIを計算する。CMIは、注目画素のL*とその色度の最明色のL*(L*modeboundary)との比で示される。
上記のような手法で映像信号の画素ごとにCMIを求める。規格化された放送信号であるため全ての画素は、CMIが0〜100の範囲のいずれかをとる。そして1フレーム映像に対して、横軸をCMIとし、縦軸を頻度としてCMIヒストグラムを作成する。ここで平均値Ave.と標準偏差σとを算出し、各閾値を設定して発光部分を検出する。
Max RGBは、RGBデータのうちの最大階調値をもつデータである。RGBの組み合わせにおいて、2つの色が同じ色度であることは、RGBの比が変化しないことと同義である。つまりCMIにおいて同じ色度の最明色を演算する処理は、RGBデータの比率を変えずに一定倍したときに、RGBデータの階調が最も大きくなるときのRGBの組み合わせを得る処理になる。
例えば、図20(A)に示すような階調のRGBデータをもつ画素を注目画素とする。注目画素のRGBデータに一定の数を乗算したとき、図20(B)に示すようにRGBのいずれかが最初に飽和したときの色が、元画素と同じ色度で最も明るい色である。そして最初に飽和した色(この場合R)の注目画素の階調をr1、最明色のRの階調をr2とするとき、下式(7)によってCMIに類似した値を得ることができる。RGBに一定倍したときに最初に飽和する色は、注目画素のRGBのうち最大の階調をもつ色になる。
(r1/r2)×100 ・・・式(7)
そして画素ごとに上記のような式(7)による値を算出してヒストグラムを作成する。このヒストグラムから平均値Aveと標準偏差σを計算し、各閾値を設定して発光部分を検出することができる。