JP5527195B2 - 映像表示装置 - Google Patents

Description

本発明は、映像を入力し、視聴可能な映像処理技術または映像表示技術に関する。

従来、入力されるRGB信号を輝度信号と色差信号に変換し、１フレーム毎に輝度信号の特徴点を抽出し、輝度信号や色差信号を補正して表示を行うマルチメディア計算機システムの例が提案されていた（例えば、特許文献１第４頁、図１参照）。

特開２００２−１３２２２５号公報

バッテリーで動作する携帯端末装置に適用した場合、１フレーム毎に輝度信号や色差信号を補正していると、消費電力が多くなる。外出中に携帯端末装置を充電する機会が得られないことがあり、消費電力が多くなると、使用時間が短くなり、使い勝手が悪くなってしまう。そのため、低消費電力で良好な画像表示を行うことができる装置が求められている。また、表示装置に外光が入射した場合、画像が見にくくなり、屋外等で携帯端末装置を使い難いという問題がある。

そこで、本発明は、ユーザーの使い勝手を向上した映像処理技術または映像表示技術を提供することを目的とする。

上記課題を解決するためには、例えば、特許請求の範囲に記載されるように構成すればよい。

本発明によれば、使い勝手を向上した映像処理技術または映像表示技術を提供することができる。

携帯電話の構成例を示すブロック図である。 高画質化回路の構成例を示すブロック図である。 色差と彩度の関係を説明する特性図である。 特徴点検出部の構成例を示すブロック図である。 輝度特徴点検出部の検出処理の一例を示すフロー図である。 輝度ヒストグラムの一例である。 色相特徴点検出部の検出処理の一例を示すフロー図である。 色相ヒストグラムの一例である。 彩度特徴点検出部の検出処理の一例を示すフロー図である。 彩度ヒストグラムの一例である。 I/F部の構成例を示すブロック図である。 シーンチェンジ検出部の検出処理の一例を示すフロー図である。 変調部における輝度補正の処理フロー例である。 輝度ヒストグラムと補正特性の一例である。 輝度ヒストグラムと補正特性の一例である。 輝度ヒストグラムと補正特性の一例である。 変調部における色相補正部の処理フロー例である。 変調部における彩度補正部の処理フロー例である。 携帯電話の構成例を示すブロック図である。 照度センサーの入出力特性例を示す図である。 補正データの一例である。 高画質化回路の構成例を示すブロック図である。 輝度信号の入力階調に対する出力階調の特性例を示す図である。 輝度信号の入力階調に対する出力階調の特性例を示す図である。 バックライト及びバックライト駆動回路の構成例を示すブロック図である。 LED電流値の一例を示す図である。

本発明は、携帯端末装置全般、例えば携帯電話、ＰＨＳ、ＰＤＡ、ノート型ＰＣ、携帯型ＴＶ、携帯型映像記録装置・再生装置等に適用可能であるが、ここでは携帯電話を例として説明する。

図１は、携帯電話の構成例を示すブロック図である。通信アンテナ１は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路２に入力する。また、無線回路２から出力された高周波電気信号を電波に変換して発信する。無線回路２は、ＣＰＵ（Central Processing Unit）７の指示に基づき、通信アンテナ1で受信した高周波電気信号を復調し、符号復号処理回路３に入力する。また、符号復号処理回路３の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ1に出力する。符号復号処理回路３は、ＣＰＵ７の制御に従って無線回路２の出力信号に復号処理を施し、通話用音声信号をレシーバ５に出力し、文字や画像データをＣＰＵ７に出力する。また、マイク４から入力された音声、またはユーザがキー７を操作して編集した文字や画像データに符号化処理を施す。なお、本実施例では、情報や指示を入力するのに用いる操作部としてキーを用いたが、これに限定するものではなく、音声入力部やタッチパネル方式の入力部を用いても良い。

ＣＰＵ７は、携帯電話全般の処理を行う。例えば、ＣＰＵバス８を介してメモリ９からプログラムを取得し、符号復号処理回路３、無線回路２及び通信アンテナ1を制御して着信待ちを行う。メモリ９には、上記プログラムの他、あらかじめ携帯電話に記録されている固定パターンやメロディ等の着信音、電話帳、アドレス帳等の個人情報やダウンロードした着信メロディや画像データ等を格納する。そして、着信があった場合、CPU７がメモリ９の電話帳から発信者の名前や着信メロディ、着信画像を読み出し、音声データをDAC（Digital Analog Converter）１０を介してスピーカー１１から出力すると共に、画像データをビデオI/F（Interface）１４、高画質化回路１５を介して表示装置１６に表示し、ユーザーに着信があったことを通知する。そして、ユーザーがキー６を操作することにより通話やメールの送受信が可能となる。

ＴＶアンテナ１２は、受信したＴＶ放送電波を高周波電気信号に変換し、TVチューナー１３に出力する。TVチューナー１３は、入力信号に復調処理を施してCMOSレベルの電気信号に変換し、CPU７に出力する。CPU７がTVチューナー１３を初期化したり、選局を指示したりする。チューナー１３は、CPU７からの要求に応じて、定期的にビットレートエラー等の受信状態を示す情報をCPU７に送信する。

CPU７は、TVチューナー１３から入力された信号に映像と音声の分離処理、及び、それぞれの復号処理を施し、映像は高画質化回路１５を介して表示装置１６に表示され、音声はDAC１０を経由してスピーカー１１で再生される。これにより、ユーザーは、TV放送を視聴することができる。尚、受信するＴＶ放送はアナログ放送、デジタル放送のいずれでも構わない。本実施例では、CPU7はTVチューナー１３の出力を直接接続できるインターフェースを有しているが、これに限られるものでなく、インターフェース変換用の回路を使用しても良い。このインターフェース変換用の回路は、CPU上に搭載またはスタック形式で実装しても良い。また、携帯電話がアプリケーションプロッセッサやコプロッセッサ等の画像処理装置を搭載している場合、インターフェース変換用の回路をこのプロセッサと同一シリコンチップ上に搭載、または別シリコンチップのスタック形式で実装しても良い。また、インターフェース変換用の回路を表示装置１６のコントローラーやドライバIC、TVチューナー１３内部に実装しても良い。また、上記インターフェース変換用の回路とCPU7の接続部分はCPU７に専用の端子を設けても良いし、CPUバス８に接続しても良い。

バッテリー２０は、リチウムイオン又はニッケル水素等の充電可能な二次電池で構成され、携帯電話を構成する各部品が動作するための電力を供給する。電源回路１９は、バッテリー２０から供給された電力を基に携帯電話の各構成に電圧供給する。また、バッテリー２０の残量が少なくなった場合には、家庭用コンセント、カーバッテリー等から供給された電力によってバッテリー２０の充電を行う。なお、図１では、携帯電話の各構成と電源回路１９との接続関係の図示を省略している。

また、高画質化回路１５は、CPU7から出力されたビデオ信号に高画質化処理を施して、表示装置１６に出力する。バックライト１７は、バックライト駆動回路１８からの給電によって表示装置１６の照明光を生成し、表示装置１６に照射する。バックライト１７の光源には、例えば冷陰極官や白色LEDや赤、緑、青の３色LED等を使用する。バックライト駆動回路１８は、バックライト１７を駆動するために、電源回路１９またはバッテリー２０から供給された電圧を昇圧または降圧させる。また、バックライト駆動回路１８はCPU７の制御によって明るさや色を調節可能である。バックライト駆動回路１８は、図１に示すように独立した構成としても良いし、電源回路１９の一部としても良い。例えば、電源回路１９がLSI化されている場合は、同一シリコンチップ上での混載または別シリコンチップのスタック形式で実装しても良い。

高画質化回路１５の構成例を示すブロック図を図２に示す。RGB-YUV変換部１５１は、CPU7からビデオI/F１４を介して入力されたRGB形式のビデオ信号を輝度信号と色差信号に変換し、輝度信号をY、色差信号をR-Y，及び、B-Yとして出力する。

上記RGB形式のビデオ信号をYUV信号に変換は下記式にて行うことができる。

Y＝0.290×R＋0.5870×G＋0.1140×B ・・・（１）
Cb＝(-0.1687)×R＋(-0.3313)×G＋0.5000×B ・・・（２）
Cr＝0.5000×R＋(-0.4187)×G＋(-0.0813)×B ・・・（３）
色差-HS変換部１５３は、RGB-YUV変換部１５１から入力された色差信号R-Y及び、B-Yに色相、彩度変換を施し、色相Hと彩度Sを出力する。特徴点検出部１５４は、RGB-YUV変換部１５１から入力された輝度信号Yと色差-HS変換部１５３から入力された色相S及び彩度Hから入力されたビデオ信号の最小レベル、平均レベル、最大レベル、ヒストグラム等の特徴点データを算出し、I/F部１５５に書き込む。I/F部１５５は所定のタイミングでCPU7に割り込み信号１４１を発行する。CPU７は、割り込み信号１４１を検出すると、内部バス１５５１を介してI/F部１５５に格納された特徴点データを読み出しし、所定のアルゴリズムによって補正データを決定し、内部バス１５５１を介してI/F部１５５に書き込む。変調部１５２は、入力された輝度信号Y，色相S及び彩度HにI/F部１５５にCPU７からライトされた補正データに従って変調を施し、輝度Y‘，色相S’及び彩度H‘として出力する。HS-色差変換部１５６は、入力された色相S’信号及び彩度H信号を色差信号（R-Y）'及び（B-Y）'に変換して出力する。YUV-RGB変換部１５７はであり、入力された輝度Y‘及び色差信号（R-Y）'及び（B-Y）'をRGB形式に変換して出力する。上記YUV-RGB変換は下式で行うことができる。

R＝Y＋1.402×V ・・・（４）
G＝Y＋(-0.34414)×U＋(-0.71414)×V ・・・（５）
B＝Y＋1.772×U ・・・（６）
セレクタ１５８は、YUV-RGB変換部１５７の出力またはビデオI/F１４のスルー信号１４２を選択して表示装置１６に出力する。セレクタ１５８の制御はCPUから行っても良いし、バッテリー残量がある一定値以下になったときや、開閉式の携帯電話の場合は開閉に連動させて切り換えても良い。また、開閉に連動させる場合、折り畳み形状の場合は開いた時にYUV-RGB変換部１５７側を選択した方が良いし、スライドや回転、さらに、折り畳み形状であっても折り畳み方向の回転軸に加え、表示装置を１８０°回転させる方向の第２の軸を備えた２軸ヒンジ形式の携帯電話等、閉じた状態で表示装置を観視可能な形状の場合は閉じた時にセレクタ１５８においてYUV-RGB変換部１５７側を選択しても良い。また、TV視聴時、静止画、動画閲覧時はセレクタ１５８においてYUV-RGB変換部１５７側を選択するなど、表示させるコンテンツに応じて切り換えても良い。また、携帯電話の形状や開閉状態に関係なく、待ち受け状態ではスルー信号１４２を選択するようにしても良い。

なお、メール本文や字幕等のテキストデータが入力された場合は高画質化回路１５におけるRGB-YUV変換を始めとする処理が不要なため、CPU７はスルー信号１４２を選択するように制御する。この場合、点線159で囲われた部分の動作を停止する。これにより、低消費電力化を図ることができる。具体的には高画質化回路１５への動作クロック供給を停止したり、点線１５９内部のブロックへの電源供給を停止したりする。なお、電源供給を停止する場合、電源回路１９の出力を停止しても良いし、高画質化回路１５側で電源吸入経路を切断するスイッチを設けることにより電源供給を停止しても良い。

次に、色差-HS変換部１５３の動作の概要を図を用いて説明する。図３は、色相（H）と彩度（S）の関係を説明するための特性図である。横軸はB-Y信号のレベルを表し、縦軸はR-Y信号のレベルを表す。B-Y信号とR-Y信号のベクトル和が色相・彩度を表すベクトルで、角度が色相H、大きさが彩度Sである。よって、色相Hは（７）式で、彩度Sは（８）式で求めることができる。

H＝tan^-1((R＝Y)/(B-Y))・・・（７）
S＝SQR((R-Y)²＋(B-Y)²) ・・・（８）
特徴点検出部１５４は、例えば図４に示すように、輝度特徴点検出部1541，色相特徴点検出部1542，彩度特徴点検出部1543により構成される。図５は、輝度特徴点検出部1541の検出処理の一例を示すフロー図である。輝度特徴点検出部1541は、フローに示すように、輝度特徴点検出部1541は、フレーム単位で時々刻々と入力されてくる輝度信号Yのレベル判定を行い、最大レベル、最小レベル、エリアごとレベルの頻度、平均レベル等の特徴点データを取得する。図５では、輝度レベルの入力階調が０〜２５５であり、この入力階調を１６段階の階調エリアに分割する場合の検出処理例について説明するが、検出処理をこれに限るものではない。例えば、８段階や３２段階など、メモリやゲート容量等のリソースが供される範囲で自由に設定できる。なお、輝度特徴点検出部1541により実行される検出処理プログラムは、メモリ９に記憶しても良いし、輝度特徴検出部1541に設けられらメモリに記憶するようにしても良い。

まず、第ｎ画素目の輝度レベルY(n)がメモリ９に記憶された最小レベルYminより小さいか否かを比較する（S501）。なお、最小レベルYmin、最大レベルYmaxの初期値として、それぞれ２５５と０とがメモリ９に記憶されている。輝度レベルが現在の最小レベルより小さい場合、第ｎ画素目の輝度レベルを最小レベルとしてメモリ９に記憶する（S502）。輝度レベルが最小レベル以上の場合、第ｎ画素目の輝度レベルが最大レベルより大きいか比較を行う（S503）。輝度レベルが最大値よりも大きい場合、第ｎ画素目の輝度レベルを最大値とする（Ｓ504）。輝度レベルが最大値以下の場合、第ｎ画素目の輝度レベルが０〜１５か判定を行う（Ｓ505）。輝度レベルが０〜１５の場合、Yhst0の値に１を加える（Ｓ606）。Yhst0とは、０〜１５の階調エリア内に含まれる輝度レベルの数を示すものである。

輝度レベルが０〜１５ではない場合は、輝度レベルが１６〜３１か判定を行う（Ｓ507）。Yesの場合は、Yhst１の値に１を加える（S508）。Noの場合は、次々と他の階調エリアに含まれるか否かを判断する。

輝度レベルのエリア分けを終了すると、現在の合計輝度レベルに、第ｎ画素目の輝度レベルを加算する（S511）。S512で、１フレーム分の処理が完了したか判定し、yesの場合は合計輝度レベルを画素数ｎで割ることにより、平均輝度レベルを算出して処理を終了する（S514）。Noの場合はnに１を加え、S501に戻って次の画素の輝度レベルの処理を行う。

図６に、輝度ヒストグラムの例を示す。横軸が輝度ヒストグラムのエリア、縦軸が頻度である。このヒストグラムを取得することにより、輝度の特徴を容易に把握することができる。例えば、単純に暗い画面なのか、または、暗い画面の中に月や星等の明るい場所が存在する画面なのかを判定することができる。

図７は、色相特徴点検出部1542の検出処理の一例を示すフロー図である。色相特徴点検出部1542は、フローに示すように、フレーム単位で時々刻々と入力されてくる色相信号Hのレベル判定を行い、最大レベル、最小レベル、エリアごとのレベルの頻度、平均レベルを取得する。図７では、色相レベルの範囲が０〜３５９であり、このレベルを１２段階の色相エリアに分割する場合の処理例について説明するが、検出処理をこれに限るものではない。なお、輝度特徴点検出と同様、実行される検出処理プログラムは、メモリ９に記憶しても良いし、色相特徴点検出部1542に設けられらメモリに記憶するようにしても良い。

輝度レベルと同様、S701〜S710により、第ｎ画素目の色相レベルH(n)が、色相エリアHhst0〜Hhst11のいずれに含まれるかを検出する。色相レベルのエリアが判定されると、現在の合計色相レベルに、第ｎ画素目の色相レベルを加算し（S711）、１フレーム分の処理が完了したか判定する（S712）。処理が完了した場合（yes）は、平均色相レベルを算出して処理を終了する（S714）。Noの場合はnに１を加え（S713）、S701に戻って次の画素の色相レベルの処理を行う。

図８に、以上のようにして検出したエリア頻度を用いて作成した色相ヒストグラムの例を示す。横軸が色相ヒストグラムのエリア、縦軸が頻度である。ヒストグラムを生成することにより、色相の変化の特徴を容易に把握することができる。 図９は、彩度特徴点検出部1543の検出処理の一例を示すフロー図である。彩度特徴点検出部1543は、フレーム単位で時々刻々と入力されてくる彩度信号Sのレベル判定を行い、最大レベル、最小レベル、エリアごとのレベルの頻度、平均レベルを取得する。図９では、彩度レベルの範囲が０〜９９であり、このレベルを１０段階のエリアに分割する場合の処理例について説明するが、検出処理をこれに限るものではない。なお、輝度特徴点検出と同様、実行される検出処理プログラムは、メモリ９に記憶しても良いし、彩度特徴点検出部1543に設けられらメモリに記憶するようにしても良い。

輝度レベルと同様、S901〜S910により、第ｎ画素目の彩度レベルS(n)が、色相エリアShst0〜Shst9のいずれに含まれるかを検出する。彩度レベルのエリアが判定されると、現在の合計彩度レベルに、第ｎ画素目の彩度レベルを加算し（S911）、１フレーム分の処理が完了したか判定する（S912）。処理が完了した場合（yes）は、平均彩度レベルを算出して処理を終了する（S914）。Noの場合はnに１を加え（S913）、S901に戻って次の画素の彩度レベルの処理を行う。

図１０に、彩度ヒストグラムの例を示す。横軸が彩度ヒストグラムのエリア、縦軸が頻度である。この色相ヒストグラムを取得することにより、入力されたビデオ信号の彩度の変化を検出することができる。

図１１は、I/F部１５５の内部構成の一例を示すブロック図である。I/Fレジスタ部１５５１を介してCPU7と高画質化回路１５の間で信号の書き込み、読み出しを行う。シーンチェンジ検出部１５５２は、特徴点検出部１５４から輝度レベル、色相、彩度の特徴点データが入力されると、これらデータを保存する。そして、新たなデータが入力されると、データを書き換えるとともに、新旧データの差分の有無を判定する。差分がある場合、シーンチェンジが発生したと判定し、CPU7に対してINT１４１を発行する。CPU７は、I/Fレジスタ１５５１から新しい特徴点データを読み出して新しい補正データを生成し、I/Fレジスタ１５５１の補正データを更新する。本例では、CPU７がI/Fレジスタ１５５１から特徴点データを読み出したが、I/Fレジスタ１５５１がCPU７にデータを送信しても良い。なお、シーンチェンジとは、例えば、番組からCM（コマーシャルメッセージ）に変わった場合や、番組中で昼のシーンから夜のシーンに変わった場合、撮影場所が変わった場合、スタジオ画像から現地画像への切換、さらに、スタジオやスタジアム内におけるTVカメラの切り換わりなどが挙げられる。

図１２は、シーンチェンジ検出部１５５２の検出処理の一例を示すフロー図である。S1201において、新旧の最小輝度レベルの差分を求めるとともに、新データをI/Fレジスタ１５５１に書き込む。最大輝度レベル，平均輝度レベル，エリアごとの頻度に関しても同様に差分を求める。エリア１５の頻度の差分を求めると（S1202）、色相特徴点の処理に移行する。色相に関しても輝度と同様にS1203〜S1204により最小色相レベル、最大色相レベル，平均色相レベル，頻度の差分を求め、彩度特徴点の差分を求める（S1205〜S1206）。輝度、色相、彩度の特徴点の差分が“０”即ち、前のフレームと同一であったか判定し（S1207）、差分がない場合は補正データの更新は必要ないと判断し、処理を終了する。一方、noの場合は、シーンチェンジが発生したと判断し、CPU7に対して割り込み要求１４１を出力し（S1208）、処理を終了する。

上記説明したようにシーンチェンジ検出部１５５２が動作することにより、前のフレームと同じ絵柄の場合は、CPU7による特徴点データの読み出し、補正データの生成、I/Fレジスタ１５５１への書き込み処理を省略できるため、CPU7の処理負荷低減するとともに、データ転送のための消費電流を低減することができる。

なお、図１２には、輝度、色相、彩度のすべての差分を検出する例を示したが、これに限定するものではない。また、最小値、最大値等のすべての特徴点について差分を検出しなくても良い。CPU７での処理負荷を低減するためには、ユーザーの視覚への影響が大きい輝度信号の平均レベルの差分の有無に基づいて、シーンチェンジを検出するのが最も有効である。また、例えば輝度の最小値と最大値の両方が変化したとき、輝度の最小値と色相の平均値等のように各特徴点データの組み合わせで判定しても良い。ヒストグラムの分布エリア（横軸）が変化した場合にシーンチェンジと判定しても良い。

また、図１２の例では、特徴点データの差分が０である場合にシーンチェンジ無しと判定したが、ある一定の閾値を設け、それを超えた時にシーンチェンジと判定しても良い。この閾値は、各特徴点データで個別に設定することが望ましい。また、字幕の有無による補正データの更新を防ぐため、例えば白側のヒストグラムの頻度が変化してもシーンチェンジと判定しない等、特定の階調エリアや頻度のエリアを無視するようにしても良い。なお、輝度レベル等を用いてシーンチェンジを検出した場合に追加して、シーンチェンジ検出部１５５２は、一定の時間またはフレーム数ごとにシーンチェンジと判定し、INT１４１を出力するようにしても良い。

CPU７により生成された補正データに基づいて、変調部１５２により、輝度、色相、彩度の変調を行う。以下、変調方法について説明を行う。

図１３に、変調部１５２において輝度信号を変調する場合の処理フローの例を示す。まず、輝度ヒストグラムの第１階調エリア（Yhst0）が０か否かの判定を行う（S1301）。Noの場合、Blacklevelを０にする（S1302）。ここで、Blacklevel とは、出力階調を０に固定する入力階調の範囲を示すものであり、Blacklevelを０にするとは、出力階調を０にする範囲がない状態である。Yesの場合、輝度ヒストグラムの第２階調エリア（Yhst1）が０か否かの判定を行う（S1303）。Noの場合、Blacklevelを０〜１５とす（S1304）る。Yesの場合、輝度ヒストグラムの第３階調エリア（Yhst2）が０か判定を行う（S1305）。Noの場合、Blacklevelを０〜３１とする（S1306）。Yesの場合、第４階調エリア（Yhst3）移行の判定は行わず、Blacklevelを０〜４７とする。このように限界値を設けることにより、輝度が過度に補正されるのを防ぐことができる。

次に、輝度ヒストグラムの第１６階調エリア（Yhst１５）が０か判定を行う（S1308）。Noの場合、Whitelevelを２５５とする（S1309）。ここで、Whitelevelとは、出力階調を２５５に固定する入力階調の範囲を示すものであり、Whitelevelを２５５とするとは、出力階調を２５５にする範囲がない状態である。Yesの場合、輝度ヒストグラムの第１５階調エリア（Yhst1４）が０か判定を行う（S1310）。Noの場合、Whitelevelを２３９〜２５５とする（S1311）。Yesの場合、輝度ヒストグラムの第１４階調エリア（Yhst１３）が０か判定を行う（S1312）。Noの場合、Whitelevelを２２３〜２５５とする（S1313）。Yesの場合、輝度ヒストグラムの第１３階調エリア（Yhst１２）の判定は行わず、Whitelevelを２０７〜２５５とする（S1314）。このように白側の限界値を設けることにより、過補正を防ぐことができる。

出力階調を０または２５５に固定する範囲が決まると、黒側及び、白側の階調を０または２５５に固定した階調分（潰した分）を除いた入力階調に出力可能な０〜２５５までの階調を使用するように伸張処理を行う（S1501）。これにより、入力階調に対する出力階調の傾き（Ygain）を大きくするように補正することができる。

図１４〜図１６を用いて、変調部１５２における輝度信号の変調方法例を説明する。

図１４（ａ）は、輝度ヒストグラムである。この例では、黒側である０〜４７（Yhst0〜2）までの階調が存在しない。即ち、黒が少なく、白っぽい（黒レベルが浮き気味の）ビデオ信号が入力された場合の例である。図１３の処理フローに当てはめると、Blacklevel＝０〜47，Whitelevel＝255となり、伸長処理されることにより、傾きYgain＝1.22に補正される。入力階調に対する出力階調の関係を補正したものを補正特性という。

図１４（ｂ）に、この補正特性による補正イメージを示す。点線1401は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1402が補正特性である。入力ビデオ信号の階調が存在しない０〜４７を０に固定した分、入力階調４７〜２５５に対する出力階調の傾きが大きくなっている。これにより、入力階層に対する出力階層のコントラストを大きく、視聴しやすい画像を表示することができる。

図１５は白側に階調が存在しないビデオ信号が入力された場合の補正例を示す図である。図１５（ａ）は、入力されたビデオ信号の輝度ヒストグラムである。白側である２０７〜２５５（Yhst13〜15）までの階調が存在しない、即ち、黒っぽい映像のビデオ信号が入力された場合の例である。図１３の処理フローに当てはめると、Blacklevel＝0，Whitelevel＝207〜255，Ygain＝1.22となる。

この補正特性による補正のイメージを図１５（ｂ）に示す。点線1501は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1502が補正特性である。入力ビデオ信号の階調が存在しない２０７〜２５５の出力階層を２５５に固定した分、入力階調０〜２０７に対する出力階調の傾きを大きくし、出力ダイナミックレンジ限界の0まで伸張する。このような補正特性とすることにより、入力階層に対する出力階層のコントラストを大きくなり、黒側の階調が見やすい画像を表示することができる。

図１６は、黒側と白側に階調が存在しないビデオ信号が入力された場合の補正例である。図１６（ａ）は入力されたビデオ信号の輝度ヒストグラムである。この例では、黒側である０〜３１（Yhst0〜１），白側である２２３〜２５５（Yhst1４〜15）までの階調が存在しない。図１３の処理フローに当てはめると、Blacklevel＝０〜３１，Whitelevel＝223〜255，Ygain＝1.33となる。

この補正特性による補正のイメージを図１６（ｂ）に示す。点線1601は、補正をしない場合の入力階調に対する出力階調の特性を示したものである。実線1602が補正特性である。入力ビデオ信号の階調が存在しない０〜３１と２２３〜２５５の出力階層をそれそれ０と２５５に固定した分、入力階調３１〜２２３に対する出力階調の傾きを大きくし、出力ダイナミックレンジ限界の0から２５５まで伸張するものである。このように補正することにより、中間階層のコントラストが大きく、視聴しやすい画像を表示することができる。

図１７に、色相補正のフロー例を示す。本実施例では、ユーザーが予め、黄、赤、マゼンダ、青、シアン、緑等の色の中から、特に鮮やかにしたい、強調したい色を選択しておく。そして、ユーザーの選択された色および色相ヒストグラムのピークエリアHhst maxにより、色補正を行う。図１７は、例えば、青が選択されている場合の補正処理を示す。まず、色相ヒストグラムのピークHhst maxが、青に該当するエリアH hst9の前のエリアであるH hst8に該当するか判定を行う（S1701）。判定の結果がyesの場合は、色相調整値Hadjを１０とする（S1702）。Noの場合、色相ヒストグラムのピークエリアHhst maxが、青に該当するエリアH hst9の後ろのエリアであるH hst10に該当するか判定を行う（S1703）。判定の結果がyesの場合は、色相調整値Hadjを−１０とする（S1704）。Noの場合、Hadjを０とし、処理を終了する。これにより、ユーザーが設定した色を強調することができる。

図１７の例では、ユーザーが事前に設定した色に基づいて補正を行ったが、これに限定するものではない。例えば、色相ヒストグラムのピークエリアを検出し、ピークエリアの前後のエリアの色をピークエリアの色に補正するようにしても良い。これにより、浜辺の映像の場合など、青色近辺の成分が多い場合には色相を青側に調節して、青を強調した映像を表示することができる。

図１８に、彩度補正のフロー例を示す。彩度の最大レベルが８０以下であるか判定し（S1801）、noの場合は彩度のゲインSgainを１．２とする（S1802）。Yesの場合、Sgainを１．０とし（S1803）、終了する。これにより、最大彩度がある一定値以下の場合は彩度ゲインを強調してより色鮮やかな表示を行うことができる。なお、図１８の例では、最大彩度が一定値以下の場合に補正を行ったが、これに限定するものではない。最大彩度がある一定値以上の場合に、色潰れの発生を避けるため、ゲインを低下させても良い。

以上説明したようにシーンチェンジを検出し、信号変調を行うことにより、消費電力を抑えつつ、コントラストのはっきりした良好な画像を視聴することができる。

変調部１５２が入力映像信号に変調を施すタイミングは、CPU7からの指示の直後でも良いし、一定の時間またはフレーム経過後でも良い。また、徐々に目的の補正特性に収束させるよう過渡的に行っても良い。また、CPU７が復号前の画像ファイルのヘッダー情報により圧縮率が高いと判断した場合や、TVチューナー１３から取得したビットエラーレート等により受信状態が良くないと判断した場合には、ブロックノイズが発生する可能性が高いため、補正の程度を弱くし、ブロックノイズが強調されるのを防ぐようにしても良い。また、逆に圧縮率が低いと判断した場合にはブロックノイズが発生する可能性が低いため、補正の程度を強くして、より高画質な表示を行うようにしても良い。例えば、圧縮率が高い場合、Blacklevelの限界値を２３に変更したり、色相調整値Hadjを５に変更したり、彩度ゲインSgainを１．１に変更して、補正の程度を弱くする。

また、本実施例では上述の高画質化処理を高画質化回路１５で実現する場合の例について説明したが、CPU７の処理能力に余裕があれば高画質化回路１５を使用せず、高画質化の一部または全ての処理をCPU7でソフト的に行っても良い。

また、本実施例ではI/F部１５５内にシーンチェンジ検出部１５５２を設け、そのブロックからのINT１４１によってCPU7が補正データの生成、更新処理を行う場合の例について述べたが、符号化された画像を復号した際にIピクチャーやIDR(Instantaneous Decoding Refresh)ピクチャー等の特定のピクチャーを生成したときに行っても良い。

図１９は、携帯電話の別の構成例を示すブロック図である。図１と同一部分には同一符号を付し、説明は省略する。携帯電話は屋内や屋外の様々な場所で使用されるため、使用状況に応じて周囲の照度が異なる。晴れた日の屋外等、明るい環境では、周囲の光が表示装置１６に入射し、表示画像の低輝度側、即ち、黒側の階調が識別し難くなるという問題がある。図１９に示す携帯電話は、照度センサ２１を有し、入力信号の特徴点による補正に加え、照度による補正データを重畳する。

照度センサ２１は、フォトトランジスタやフォトダイオード等により構成される。照度センサ２１の出力特性の一例を図２０に示す。横軸は環境照度、縦軸は照度センサの出力レベルであり、環境照度が大きくなるに従って照度センサ２１の出力レベルも大きくなるものとする。なお、本例では、照度を検出する手段として、照度センサ７を設けたが、CMOSやCCDのカメラの出力信号を使用して照度を検出するようにしても良い。

メモリ９には、照度センサ２１により検出された照度が所定値以上になった場合に出力階調を補正する補正データを記憶する。図２１に、補正データの一例を示す。階調エリアYhstごとの補正値を設定している。本例では、黒側の階調を識別しやすくするように、黒側の出力階層を補正するようにしている。なお、本例では、照度が所定以上の場合の補正データを1種類設けているが、照度に応じて、補正値の大きさや補正する階調範囲を変更した複数種類の補正データを設けるようにしても良い。これら複数種類の補正データは、メモリ９に記憶しても良いし、例えば図２１に示した補正データを基準データとし、これに照度に応じた係数を乗算することにより算出するようにしても良い。

図２２に、高画質化回路１５の内部ブロック図を示す。図２に示す高画質化回路に、RGBゲイン調整部１５１０を追加したものである。図１と同一部分には同一符号を付し、説明は省略する。

照度センサ７により検出された照度はCPU７に入力される。照度が所定以上の場合、CPU７はRGBゲイン調整部１５１０へ出力階調の補正を指示する制御信号を出力する。RGBゲイン調整部１５１０は、CPU7からの制御に応じて、I/F部１５５を通じて補正データをメモリ９から読み出し、ビデオ信号のゲインを調節する。以下、RGBゲイン調整部１５１０による照度による補正データの重畳動作を図２３を用いて説明する。

図２３（ａ）は、Blacklevel＝0、Whitelevel＝255であり、変調部１５２で補正されなかった場合の輝度信号の入力階調に対する出力階調の特性を示したものである。照度が所定値以上の場合、図２３（ｂ）に示すように、入力階調に対する出力階調を補正する。具体的には、ＲＧＢゲイン調整部１５１０により、黒側の出力階調を強調するように補正が施され、明るい環境でも、視聴しやすい画像を表示することができる。一方、照度が所定値未満の場合、RGBゲイン調整部１５１０は補正を行わず、入力階調に対する出力階調は、図２３（ａ）のままである。

図２３（ｃ）は、Blacklevel＝0〜47、Whitelevel＝255であり、変調部１５２により、入力階調４７〜２５５に対する出力階調が補正された状態を示している。照度が所定値以上の場合、図２３（ｄ）に示すように、ＲＧＢゲイン調整部１５１０は、メモリ９から読み出した補正データを用いて、入力階調に対する出力階調を補正する。本例では、Blacklevel＝0〜47の範囲については、ＲＧＢゲイン調整部１５１０により補正を行わないように制御しているが、RGBゲイン調整部１５１０での補正量が一定以下の場合には、ゲイン変調を施してもさほど問題はない。

なお、以上の例では、照度に応じて、黒側の階調を強調したが、これに限定するものではなく、周囲の光の色に応じて補正を行うようにしても良い。例えば、外光の色が夕日などの赤みがかった光の場合には、外光の影響により、表示画像の色も赤みがかってしまうという問題がある。

この問題を解消するために、照度センサ２１がRGB（Red-Green-Blue）独立した３系統の検出素子を有し、それら検出素子の比率をCPU7で計算する。これにより、外光の強さに加えて色によって、変調を行う。

CPU7は、照度センサ２１のRGB各出力色の比率を計算し、RGBいずれかの成分が多い場合には、RGBゲイン調整部１５１０に対し、成分が多い色については補正値を下げるように制御する。例えば、周囲の光が夕日や白熱灯の場合など、周囲の光にＲ成分が多いことを検出すると、RGBゲイン調整部１５１０に対し、Ｇ，Ｂに対してＲの補正データが少なくなるように指示する。

図２４（ａ）は、変調部１５２で輝度信号の入力階調に対する出力階調が補正されなかった場合に、RGBゲイン調整部１５１０により補正した状態を示したものである。また、図２４（ｂ）は、変調部１５２により、入力階調４７〜２５５に対する出力階調が補正された場合に、RGBゲイン調整部１５１０により補正した状態を示したものである。それそれ、Ｇ，Ｂに対してＲのゲインを下げるように補正している。これにより、表示装置１６上でのＲＧＢの比率を所望の比率に保ち、良好な表示を行うことができる。ここでは外光にＲ成分が多い場合の例について説明したが、外光にＧあるいはBが多い場合も、同様に補正することができる。

また、入力信号の変調に加えて、周囲の光の色に応じて。バックライト１７の色を変調するようにしても良い。バックライト１７及びバックライト駆動回路１８の構成例を図２５に示す。光源素子（LED）１７１〜１７３は、それぞれR-LED、G-LED、B-LEDである。電流制御手段１８３〜１８５は、制御回路１８１の指示に基きそれぞれLED171〜LED173の電流を個別に制御する。DC-DCコンバータ１８２は、LED１７１〜１７３を駆動するように、バッテリー２０から供給された電圧を昇圧または降圧する。制御回路１８１は、CPU7の指示により、電流制御手段１８３〜１８５の電流値を設定する。一般にLED１７１〜LED１７３の光度は、アノード−カソード間を流れる電流に比例するため、CPU7から制御回路１８１及び調整手段１８３〜１８５を介してLED１７１〜LED１７３の電流を制御する光度を個別に制御できる。

図２６に、周囲の光にRの成分が多い場合のLED１７１〜LED１７３の制御例を示す。縦軸は、LED１７１〜LED１７３に流す電流を示している。R成分が多い場合、R-LED171の電流をLED172及びLED173に対して少なくするように制御する。このように制御することにより、周囲の光の色によって表示画像の色が変化してしまうことを防止することができる。外光にR成分が多い場合の例について説明したが、外光にGが多い場合は緑色LED172の電流をR、Bのそれに比べて少なくすれば良く、外光にBが多い場合はB-LED173の電流をR、Gのそれに比べて少なくすれば良い。

なお、本例では、光源素子としてR-LED171、G-LED172、B-LED173を各１個づつ使用する場合について説明したが、これに限られるものでなく、微小なLEDを各色複数系統配置したLEDアレイ型のバックライトや有機ELディスプレイのような自発光型のディスプレイを光源として使用した場合に本制御方法を適用しても良い。

以上、バックライト１７によって外光の色に対する補正を行う場合の例について説明したが、外光照度が高い場合にはLED１７１〜LED１７３の電流を同じ割合で増加させることによって良好な画像観視が可能である。また、逆に外光照度が低い場合にはLED１７１〜LED１７３の電流を同じ割合で減少させることにより低消費電力化が可能である。

以上、携帯電話等の携帯端末装置を例にして説明してきたが、本発明の適用は、携帯端末装置に限られない。映像を視聴可能な映像処理装置であれば、いかなる装置に適用しても良い。例えば、通信機能を有していない端末装置であっても構わない。また、高画質表示の低消費電力化が可能なことからバッテリーで動作する携帯端末に特に有効であるが、家庭用コンセントからの給電で動作する据え置き型の端末装置であっても構わない。

１…通信アンテナ、２…無線回路、３…符号復号処理回路、４…マイク、５…レシーバ、６…キー、７…CPU、８…ＣＰＵバス、９…メモリ、１０…DAC、１１…スピーカー、１２…TVアンテナ、１３…TVチューナー、１４…ビデオI/F、１５…高画質化回路、１６…表示装置、１７…バックライト、１８…バックライト駆動回路、１９…電源回路、２０…バッテリー、１５１…RGB-YUV変換回路、１５２…変調部、１５３…色差-HS変換部、１５４…特徴点検出部、１５５…I/F部、１５６…HS-色差変換、１５７…YUV-RGB変換部、１５８…セレクタ、１５９…電源OFF可能エリア、１５５１…内部バス、１５４１…輝度特徴点検出部、１５４２…色相特徴点検出部、１５４３…彩度特徴点検出部、１５１０…RGBゲイン調整部、２１…照度センサ、１７１…R-LED、１７２…G-LED、１７３…B-LED、１８１…制御回路、１８２…DC-DCコンバーター、１８３〜１８５…電流制御手段、１４１…INT、２１…照度センサ

Claims (7)

1. 明るさを検出する照度センサと、
   入力映像信号に補正処理を行う映像処理部と、
   映像処理部で映像処理を行った映像を表示する表示部と、
   前記映像処理部の前記補正処理における輝度信号の入出力特性を制御する制御部とを備え、
   前記制御部による制御状態には、
   前記入力映像信号に変化があるときに、前記映像信号の輝度または色相または彩度の分布と、前記照度センサにより検出された明るさに応じて、前記補正処理における輝度信号の入出力特性を更新する第１の制御状態と、
   前記入力映像信号に変化がないときであって、前記照度センサにより検出された明るさが所定値以上のときに、前記補正処理における輝度信号の入出力特性を更新する第２の制御状態がある
   ことを特徴とする映像表示装置。
2. 前記表示部の光源の光量を可変する光量可変部をさらに備え、
   前記光量可変部は、前記照度センサにより検出された明るさに応じて、前記光源の光量を可変し、前記照度センサの検出した明るさが低いときよりも高いときの方が、前記光量が大きくなるように変化させることを特徴とする請求項１に記載の映像表示装置。
3. 前記光量可変部は、前記光源の色の割合を変えずに光量を可変することを特徴とする請求項２に記載の映像表示装置。
4. 明るさを検出する照度センサと、
   空中を伝送される信号を受信可能な無線受信部と、
   前記無線受信部の受信信号に基く映像信号を入力映像信号として、該入力映像信号に補正処理を行う映像処理部と、
   映像処理部で映像処理を行った映像を表示する表示部と、
   前記映像処理部の前記補正処理における輝度信号の入出力特性を制御する制御部と、
   前記表示部の光源の光量を可変する光量可変部と
   を備え、
   前記制御部による制御状態には、
   前記入力映像信号に変化があるときに、前記映像信号の輝度または色相または彩度の分布と、前記照度センサにより検出された明るさに応じて、前記補正処理における輝度信号の入出力特性を更新する第１の制御状態と、
   前記入力映像信号に変化がないときであって、前記照度センサにより検出された明るさが所定値以上のときに、前記補正処理における輝度信号の入出力特性を更新する第２の制御状態があり、
   前記光量可変部は、前記照度センサにより検出された明るさに応じて、前記光源の色の割合を変えずに光量を可変し、前記照度センサの検出した明るさが低いときよりも高いときの方が、前記光量が大きくなるように変化させる
   ことを特徴とする映像表示装置。
5. 前記制御部は、前記第２の制御状態に、階調範囲に応じて、前記補正処理における輝度信号の入出力特性を更新する状態があることを特徴とする請求項１ないし４のいずれか一項に記載の映像表示装置。
6. 前記制御部は、前記第２の制御状態に、前記輝度信号の黒側の階調を大きくするように前記補正処理における輝度信号の入出力特性を更新する状態があることを特徴とする請求項１ないし５のいずれか一項に記載の映像表示装置。
7. 前記入力映像信号の変化は、シーンチェンジ部分であることを特徴とする請求項１ないし６のいずれか一項に映像表示装置。

Images