JP4552397B2 - 画像処理装置およびその方法 - Google Patents

Description

本発明は、有機ＥＬ（Electroluminescence ）ディスプレイなどの、入力画像に対して所定の処理を施して表示部に表示させる画像処理装置およびその方法に関するものである。

画像表示装置、たとえば液晶ディスプレイなどでは、多数の画素をマトリクス状に並べ、表示すべき画像情報に応じて画素毎に光強度を制御することによって画像を表示する。
これは有機ＥＬディスプレイなどにおいても同様であるが、有機ＥＬディスプレイは各画素回路に発光素子を有する、いわゆる自発光型のディスプレイであり、液晶ディスプレイに比べて画像の視認性が高い、バックライトが不要、応答速度が速い、等の利点を有する。
また、各発光素子の輝度はそれに流れる電流値によって制御される、すなわち発光素子が電流制御型であるという点で液晶ディスプレイなどとは大きく異なる。

有機ＥＬディスプレイにおいては、液晶ディスプレイと同様、その駆動方式として単純マトリクス方式とアクティブマトリクス方式とが可能であるが、前者は構造が単純であるものの、大型かつ高精細のディスプレイの実現が難しいなどの問題がある。そのため、各画素内部の発光素子に流れる電流を、画素内部に設けた能動素子（一般にはＴＦＴ：Thin Film Transistor、薄膜トランジスタ）によって制御する、アクティブマトリクス方式の開発が盛んに行われている。

図５は、アクティブマトリクス型有機ＥＬディスプレイにおける画素回路の第１の構成例を示す回路図である（たとえば特許文献１、２参照）。

図５の画素回路１０は、ｐチャネルの薄膜電界効果トランジスタ（以下、ＴＦＴという）１１およびｎチャネルのＴＦＴ１２、キャパシタＣ１１、発光素子である有機ＥＬ素子（ＯＬＥＤ）１３を有する。また、図５において、ＤＴＬはデータ線を、ＷＳＬは走査線をそれぞれ示している。
有機ＥＬ素子は多くの場合整流性があるため、ＯＬＥＤ(Organic Light Emitting Diode)と呼ばれることがあり、図５その他では発光素子としてダイオードの記号を用いているが、以下の説明においてＯＬＥＤには必ずしも整流性を要求するものではない。
図５ではＴＦＴ１１のソースが電源電位ＶCCに接続され、発光素子１３のカソード（陰極）は接地電位ＧＮＤに接続されている。図５の画素回路１０の動作は以下の通りである。

走査線ＷＳＬを選択状態（ここではハイレベル）とし、データ線ＤＴＬに書き込み電位ＶDATAを印加すると、ＴＦＴ１２が導通してキャパシタＣ１１が充電または放電され、ＴＦＴ１１のゲート電位はＶDATAとなる。

走査線を非選択状態（ここではローレベル）とすると、データ線ＤＴＬとＴＦＴ１１とは電気的に切り離されるが、ＴＦＴ１１のゲート電位はキャパシタＣ１１によって安定に保持される。

ＴＦＴ１１および発光素子１３に流れる電流は、ＴＦＴ１１のゲート・ソース間電圧Ｖｇｓに応じた値となり、発光素子１３はその電流値に応じた輝度で発光し続ける。
上記のように、走査線ＷＳＬを選択してデータ線に与えられた輝度情報を画素内部に伝える操作を、以下「書き込み」と呼ぶ。
上述のように、図５の画素回路１０では、一度ＶDATAの書き込みを行えば、次に書き換えられるまでの間、発光素子１３は一定の輝度で発光を継続する。

図６は、アクティブマトリクス型有機ＥＬディスプレイにおける画素回路の第２の構成例を示す回路図である。

図６の画素回路２０は、ｐチャネルＴＦＴ２１，ＴＦＴ２２、ｎチャネルＴＦＴ２３，ＴＦＴ２４、キャパシタＣ２１、発光素子である有機ＥＬ素子ＯＬＥＤ２５を有する。また、図６において、ＤＴＬはデータ線を、ＷＳＬは走査線を、ＥＳＬは消去線をそれぞれ示している。
この画素回路２０の動作について、図７に示すタイミングチャートを参照しながら以下に説明する。

まず、状態（期間）＜１＞において、図７（Ｃ），（Ｄ）に示すように、走査線ＷＳＬに印加する走査信号ＷＳおよび消去線ＥＳＬに印加する消去信号ＥＳがハイレベルに設定される。これにより、ＴＦＴ２４，ＴＦＴ２３がオン状態、ＴＦＴ２２がオフ状態となり、データ線ＤＴＬよりデータＶDATA量に応じた電荷がキャパシタＣ２１に充電される。

状態（期間）＜２＞において、図７（Ｃ），（Ｄ）に示すように、走査線ＷＳＬへの走査信号ＷＳおよび消去線ＥＳＬへの消去信号ＥＳがローレベルに設定される。これにより、ＴＦＴ２４，ＴＦＴ２３がオフ状態、ＴＦＴ２２がオフ状態となり、キャパシタＣ２１に充電された電荷に応じた電流が、ＴＦＴ２１を通して、ＥＬ発光素子２５に流れる。この電流は、消去線ＥＳＬへの印加信号ＥＳがハイレベルになるまで、維持される。

状態（期間）＜３＞において、図７（Ｄ）に示すように、消去線ＥＳＬへの消去信号ＥＳがハイレベルに設定される。これにより、ＴＦＴ２３、ＴＦＴ２２がオン状態となるので、キャパシタＣ２１に充電された電荷が、ＴＦＴ２３、ＴＦＴ２２を通じで放電され、ＥＬ発光素子２５の発光はそこでオフされる。

このように、図６の回路では、各画素は消去線ＥＳＬを１本使用することで、一意的に発光素子２５の発光期間（ＤＵＴＹ）を制御している。

ところで、有機ＥＬディスプレイにおける発光素子は、その発光量と時間に比例して劣化する特性があることは一般にも知られており、発光素子の特性向上が期待されている。
一方、ディスプレイの表示画面は常に一様ではないために画面内における発光素子の劣化も一様ではなく、部分的に発光素子が劣化する要因となっている。
特に時計の表示などにおいては、その部分のみが極端に劣化し輝度の低下が見られることから、一般的に“焼きつき”と呼ばれる。（以下、部分的な画素劣化を“焼きつき”と表記する）
また、複数種の発光素子を用いる場合や、単一の発光素子の場合においても複数の発光波長成分を持つ場合において、それぞれの劣化特性は一致しない場合が多く見られる。
この場合、劣化した画素部分においてはホワイトバランスがずれて色がついたように見える。

表示素子の発光時間に対する劣化に起因される画面の焼きつきは、表示素子材料の発光寿命時間を改善することによって、画面の焼きつきを抑えることが一番好ましいことであると考えられてきた。
材料の改善以外では、従来、焼きつきを防止するためには、画素の保持容量を積極的に放電するような回路を有している（たとえば、特許文献３参照。）ものを使用して、不要な発光時間を抑えて焼きつきを防止する。
また、スクリーンセーバー等の用い方を工夫し、焼きつきを緩和するような装置も提案されている（たとえば、特許文献４参照。）
ＵＳＰ５，６８４，３６５ 特開平８−２３４６８３号公報 特開２００２−１６９５０９号公報 特開２００２−２０７４７５号公報

しかしながら、表示素子材料の発光寿命時間を改善することによって、自発光型ディスプレイでは表示素子材料の発光寿命がいくら延びたとしても、原理的に焼きつきを完全に無くすことは不可能である。また、表示装置に映し出される映像信号は用途等において、焼きつきが起こりやすい映像信号のみ入力される場合もある。つまり、従来の材料の寿命改善を行っただけでは，焼きつきを防ぐことはできない。
また、材料の寿命が延びない限り画面の焼きつきは改善されず、材料開発のスピード、コスト等その分野の開発に依存することしかできなかった。

特許文献３に記載の画素の保持容量を積極的に放電するような回路や特許文献４に記載の回路によって、実用に耐え得る程、焼きつき、すなわち画素の劣化に伴う発光輝度の劣化を補償し、緩和することができない。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、経時的な特性劣化に伴う画素の発光素子の劣化度の進行を遅らせることができる画像処理装置およびその方法を提供することにある。

上記目的を達成するため、本発明の第１の観点の画像処理装置は、入力された画像信号の輝度度数を算出する輝度度数算出手段と、入力された画像信号中に固定している画像があるか否かを認識する固定画像認識手段と、上記輝度度数算出手段により得られた輝度度数および上記固定画像認識手段の認識結果に基づいてγ変換処理を行うか行わないかの画像処理方法を選択し指定する画像処理指定手段と、上記画像処理指定手段により指定された上記画像処理方法に基づいて入力された画像に対する処理を行う画像処理手段と、を有し、上記固定画像認識手段は、入力画像を２値化し、２値化した画像を複数のエリアに分割し、分割したエリア毎に２値化した値の合計を算出し、計算した値をエリア毎に、保存された前の複数のフレームの値と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定する。

好適には、上記固定画像認識手段は、入力画像を２値化し、２値化した画像を複数のエリアに分割し、分割したエリア毎に２値化した値の合計を算出し、計算した値をエリア毎に、保存された前の複数のフレームの値と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定する。
また、好適には、上記輝度度数算出手段は、フレーム中の画像について、階調に対する度数分布を計算し、上記固定画像認識手段は、２値化のしきい値を上記輝度度数算出手段から得られた輝度度数分布値から計算し、設定する。

また、好適には、上記画像処理指定手段は、輝度度数算出手段から得られた情報により１フレームの画像が、高階調側に集まっておらず、高階調で固定画像があると認識されると、所定のγ変換を行う方法を選択して指定する。
また、上記画像処理指定手段は、輝度度数算出手段から得られた情報により１フレームの画像が、高階調側に集まっている場合は、高階調で固定画像があると認識されても、γ変換を行わないように指定する。

本発明の第２の観点の画像処理方法は、入力された画像信号の輝度度数を算出する第１のステップと、入力された画像信号中に固定している画像があるか否かを認識する第２のステップと、上記第１のステップにより得られた輝度度数および上記第２のステップの認識結果に基づいてγ変換処理を行うか行わないかの画像処理方法を選択し指定する第３のステップと、上記第３のステップにより指定された上記画像処理方法に基づいて入力された画像に対する処理を行う第４のステップと、を有し、上記第２のステップにおいて、入力画像を２値化し、２値化した画像を複数のエリアに分割し、分割したエリア毎に２値化した値の合計を算出し、計算した値をエリア毎に、保存された前の複数のフレームの値と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定する。

本発明によれば、たとえば輝度度数算出手段で入力された画像信号の輝度度数が算出され、画像処理指定手段に出力される。
また、固定画像認識手段で、入力された画像信号中に固定している画像があるか否かが認識され、その結果が画像処理指定手段に出力される。
画像処理指定手段においては、輝度度数算出手段により得られた輝度度数および固定画像認識手段の認識結果に基づいて最適な画像処理方法が選択され画像処理手段に対して指定される。
そして、画像処理指定手段により指定された最適な画像処理方法に基づいて入力された画像に対する処理が行われる。

本発明によれば、画素の発光素子の劣化度合の進行を遅らせることができ、表示される時計等の固定表示による部分的画素劣化を抑制することができる。
γ変換を行う場合を限定することで、画質の違和感を極力抑えた焼きつき防止を実現できる。

以下、本発明の実施形態を、図面に関連付けて詳細に説明する。

図１は、本発明に係る画像処理装置の一実施形態を示すブロック構成図である。

本画像処理装置３０は、図１に示すように、画像入力部３１、輝度度数算出手段としての輝度度数変換部３２、固定画像認識部３３、画像処理指定部３４、画像処理部３５、および出力部３６を有する。

画像入力部３１は、入力画像ＩＭを、輝度度数変換部３２、固定画像認識部３３、および画像処理部３５に入力させる。

輝度度数変換部３２は、画像入力部３１により随時入力される１フレーム中の画像について、階調に対する度数分布を計算する処理を行い、計算した輝度度数分布を固定画像認識部３３、および画像処理指定処理部３４に出力する。

固定画像認識部３３は、画像入力部３１により入力された画像に、固定表示となるようなパターンが含まれていないかを検出する。たとえばテレビにおいては、映画の時の字幕、時計表示等のパターンを認識する。
固定画像認識部３３は、認識結果を画像処理指定部３４に出力する。

図２は、本実施形態に係る固定画像認識部の具体的に構成例を示すブロック図である。
この固定画像認識部３３は、図２に示すように、２値化回路３３１、エリア分割回路３３２、計算部３３３、比較部３３４、およびメモリ３３５を有する。

２値化回路３３１は、画像入力部３１による画像を２値化し、エリア分割回路３３２に出力する。
なお、２値化回路３３１は、たとえば２値化のしきい値を前段の輝度度数変換部３２から得られた輝度度数分布値から計算し、設定を行う。

エリア分割回路３３２は、２値化回路３３１で２値化された画像を、数個から数十個のエリアに分割し、計算部３３３に供給する。
エリア分割回路３３２におけるエリアの分割方法は任意に変更可能である。

計算部３３３は、エリア分割回路３３２で分割されたエリア毎に２値化された値の合計を算出し、比較部３３４に出力する。
なお、計算部３３３において計算してえられた分割エリア毎の２値化された値の合計値は複数フレーム、メモリ３３５に保存できるようになっている。

比較部３３４は、計算部３３３で計算された値を、エリア毎に、メモリ３３５に保存された前のフレームの値群と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定し、ある範囲に収まっていないと固定画素は出ていないと判定し、判定結果を画像処理指定部３４に出力する。
こうすることで、数メガ〜数百メガバイトのメモリを使用してフレーム画像情報を記録する必要性がなくなり、少ないメモリでフレームの画面情報を保存できる。また、データ容量が極端に少なくなるので、短時間で、フレーム画像の計算処理を行うことが可能となる。

画像処理指定部３４は、輝度度数変換部３２から得られた輝度度数分布値、および固定画像認識部３３の判定結果に基づいて、画像処理の選択方法を決定する。本実施形態における画像処理ではγ変換処理を行うので、γテーブルの指定を行う。
画像処理指定部３４は、γテーブルの選択は、入力された画像の輝度度数分布おび固定画像の情報から選択する。
詳しくは、画像処理指定部３４は、輝度度数変換部３２から得られた情報により１フレームの画像が、高階調側に集まっておらず、高階調で固定画像があると認識されると、図３の（Ａ）から図３（Ｂ）のようにγの変換を行う方法を選択する。こうすることで高輝度側の階調を抑制し、いわゆる画素の輝度劣化である焼きつきを抑えるγ補正を行う方法を選択する。
逆に、画像処理指定部３４は、輝度度数変換部３２から得られた情報により１フレームの画像が、高階調側に集まっている場合は、高階調で固定画像があると認識されても、γ補正を行わない方法を選択する。これは高階調側にデータが集まっているので、γ補正を行うと違和感のある画像に変換してしまうためである。
また、この場合は原理的に焼きつきが起きにくいということもある。

画像処理部３５は、画像処理指定部３４により選択され指定された画像処理方法に基づいて、画像入力部３１から入力された画像のγ変換を行う。変換方法はテーブル変換を行い、どのようなγ変換に対しても対応できる。

出力部３６は、画像処理部３５から入力された画像を、入力信号のフォーマットと同じタイミングにて出力を行う。

以上のように構成された画像処理装置における動作を以下で説明する。

まず、入力画像ＩＭが、画像入力部３１により、輝度度数変換部３２、固定画像認識部３３、および画像処理部３５に入力される。
輝度度数変換部３２においては、画像入力部３１により随時入力される１フレーム中の画像について、階調に対する度数分布が計算され、計算した輝度度数分布値が固定画像認識部３３、および画像処理指定処理部３４に出力される。
固定画像認識部３３では、画像入力部３１により入力された画像に、固定表示となるようなパターンが含まれていないかが検出される。具体的には、入力画像はまず、２値化される。２値化された画像は、数個から数十個のエリアに分けられる。分割されたエリア毎に２値化された値の合計が算出され、その値は複数フレーム、メモリに保存される。そして、計算された値はエリア毎に、保存された前のフレームの値たちと比較され、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定される。固定画像認識部３３の判定結果が画像処理指定部３４に出力される。

画像処理指定部３４においては、輝度度数変換部３２から得られた輝度度数分布値、および固定画像認識部３３の判定結果に基づいて、画像処理の選択方法が決定される。具体的には、輝度度数変換部３２から得られた情報により１フレームの画像が、高階調側に集まっておらず、高階調で固定画像があると認識されると、γの変換を行うが選択される。一方、輝度度数変換部３２から得られた情報により１フレームの画像が、高階調側に集まっている場合は、高階調で固定画像があると認識されても、γ補正を行わないと判定される。そして、画像処理指定部３４の判定結果が画像処理部に出力される。
画像処理部３５では、画像処理指定部３４により選択され指定された画像処理方法に基づいて、画像入力部３１から入力された画像のγ変換が行われる。そして、出力部３６において、画像処理部３５から入力された画像を、入力信号のフォーマットと同じタイミングにて出力される。

以上説明したように、本実施形態によれば、随時入力される１フレーム中の画像について、階調に対する度数分布を計算する処理を行う輝度度数変換部３２と、入力された画像に、固定表示となるようなパターンが含まれていないかを検出する固定画像認識部３３と、輝度度数変換部３２から得られた輝度度数分布値、および固定画像認識部３３の判定結果に基づいて、画像処理（γ変換）の選択方法を決定する画像処理指定部３４と、画像処理指定部３４により選択され指定された画像処理方法に基づいて、画像入力部３１から入力された画像のγ変換を行う画像処理部３５とを有することから、以下の効果を得ることができる。

すなわち、入力画像信号の中に、高階調側の固定表示パターンが含まれていることを認識し、フレーム毎のγ補正を行うことで、以下の効果を得ることができる。
テレビ画面等で表示される時計等の固定表示による部分的画素劣化を抑制することができる。
また、γ変換を行う場合を限定することで、画質の違和感を極力抑えた焼きつき防止を実現できる。
また、パーソナルコンピュータ（ＰＣ）ゲーム等の固定画像が多い場合の部分的画素劣化を抑制することができる。
また、１フィールド単位で制御することにより、１０数ミリ秒〜分単位まで幅広い時間の動作が可能であり、違和感のない制御を実現することができる。

また、たとえば図４に示すような、ＣＰＵコアを内蔵したＦＰＧＡを採用することにより、特別な周辺回路を必要とせず現存するディスプレイの機構に影響を与えることなく本機能を実現することが可能であるという利点がある。
図４の例は、一般的なＬＤＣ等のフラットパネルディスプレイに用いられるタイミングジェネレータ４０に本実施形態に係る画像処理装置３０の機能を盛り込むことにより、外観上はそのままで、機能、性能を向上させることができる。

テレビ画面等で表示される時計等の固定表示による部分的画素劣化を抑制することができることから、有機ＥＬディスプレイや液晶ディスプレイ等のフラットパネルディスプレイに用いられるタイミングジェネレータに適用可能である。

本発明に係る画像処理装置の一実施形態を示すブロック構成図である。 本実施形態に係る固定画像認識部の具体的に構成例を示すブロック図である。 本実施形態に係る画像処理指定部のγ変換処理の選択方法を説明するための図である。 本発明に係る画像処理装置の適用事例を示す図である。 アクティブマトリクス型有機ＥＬディスプレイにおける画素回路の第１の構成例を示す回路図である。 アクティブマトリクス型有機ＥＬディスプレイにおける画素回路の第２の構成例を示す回路図である。 図６の回路の動作を説明するためのタイミングチャートである。

符号の説明

３０…画像処理装置、３１…画像入力部、３２…輝度度数変換部、３３…固定画像認識部、３３１…２値化回路、３３２…エリア分割回路、３３３…計算部、３３４…比較部、３３５…メモリ、３４…画像処理指定部、３５…画像処理部、３６…出力部。

Claims (8)

1. 入力された画像信号の輝度度数を算出する輝度度数算出手段と、
   入力された画像信号中に固定している画像があるか否かを認識する固定画像認識手段と、
   上記輝度度数算出手段により得られた輝度度数および上記固定画像認識手段の認識結果に基づいてγ変換処理を行うか行わないかの画像処理方法を選択し指定する画像処理指定手段と、
   上記画像処理指定手段により指定された上記画像処理方法に基づいて入力された画像に対する処理を行う画像処理手段と、を有し、
   上記固定画像認識手段は、
   入力画像を２値化し、２値化した画像を複数のエリアに分割し、分割したエリア毎に２値化した値の合計を算出し、計算した値をエリア毎に、保存された前の複数のフレームの値と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定する
   画像処理装置。
2. 上記輝度度数算出手段は、
   フレーム中の画像について、階調に対する度数分布を計算し、
   上記固定画像認識手段は、
   ２値化のしきい値を上記輝度度数算出手段から得られた輝度度数分布値から計算し、設定する
   請求項１記載の画像処理装置。
3. 上記画像処理指定手段は、
   上記輝度度数算出手段から得られた情報により１フレームの画像が、高階調側に集まっておらず、高階調で固定画像があると認識されると、所定のγ変換を行う方法を選択して指定する
   請求項２記載の画像処理装置。
4. 上記画像処理指定手段は、
   上記輝度度数算出手段から得られた情報により１フレームの画像が、高階調側に集まっている場合は、高階調で固定画像があると認識されても、γ変換を行わないように指定する
   請求項２または３記載の画像処理装置。
5. 入力された画像信号の輝度度数を算出する第１のステップと、
   入力された画像信号中に固定している画像があるか否かを認識する第２のステップと、
   上記第１のステップにより得られた輝度度数および上記第２のステップの認識結果に基づいてγ変換処理を行うか行わないかの画像処理方法を選択し指定する第３のステップと、
   上記第３のステップにより指定された上記画像処理方法に基づいて入力された画像に対する処理を行う第４のステップと、を有し、
   上記第２のステップにおいて、
   入力画像を２値化し、２値化した画像を複数のエリアに分割し、分割したエリア毎に２値化した値の合計を算出し、計算した値をエリア毎に、保存された前の複数のフレームの値と比較し、それぞれのフレームの合計値が、ある範囲に収まっていると、固定画素が出ていると判定する
   画像処理方法。
6. 上記第１のステップにおいて、
   フレーム中の画像について、階調に対する度数分布を計算し、
   上記第２のステップにおいて、
   ２値化のしきい値を第１のステップから得られた輝度度数分布値から計算し、設定する
   請求項５記載の画像処理方法。
7. 上記第３のステップにおいて、
   上記第１のステップで得られた情報により１フレームの画像が、高階調側に集まっておらず、高階調で固定画像があると認識されると、所定のγの変換を行う方法を選択して指定する
   請求項６記載の画像処理方法。
8. 上記第３のステップにおいて、
   上記第１のステップで得られた情報により１フレームの画像が、高階調側に集まっている場合は、高階調で固定画像があると認識されても、γ変換を行わないように指定する
   請求項６または７記載の画像処理方法。

Images