JP3618713B2 - ディスプレイ画面検査方法およびディスプレイ画面検査装置 - Google Patents
ディスプレイ画面検査方法およびディスプレイ画面検査装置 Download PDFInfo
- Publication number
- JP3618713B2 JP3618713B2 JP2001369996A JP2001369996A JP3618713B2 JP 3618713 B2 JP3618713 B2 JP 3618713B2 JP 2001369996 A JP2001369996 A JP 2001369996A JP 2001369996 A JP2001369996 A JP 2001369996A JP 3618713 B2 JP3618713 B2 JP 3618713B2
- Authority
- JP
- Japan
- Prior art keywords
- cell
- luminance
- image
- display screen
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Liquid Crystal (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はディスプレイ画面検査方法およびディスプレイ画面検査装置に関する。さらに詳しくは、液晶ディスプレイなどのフラットパネルディスプレイに代表されるディスプレイ画面の検査のためのディスプレイ画面検査方法およびディスプレイ画面検査装置に関する。
【０００２】
【従来の技術】
図１４〜１６は、たとえば特開平６−２５０１３９号公報に示された従来の液晶表示パネルの検査方法を示す図である。まず、検査装置を説明する。図１４において、検査テーブル５１は互いに直行するＸ、Ｙのニ軸方向に摺動可能で、かつ水平方向に回転可能とされており、この上面に液晶表示パネル５５が搭載される。前記検査テーブル５１には、液晶の表示領域に対応する部分に開口５１ａが設けられている。また、該検査テーブル５１の下方には、バックライト５２が配置されており、該バックライト５２からの放出光は前記開口５１ａを通して液晶表示パネル５５に照射される。前記検査テーブル５１の左右には、測定を終了した液晶表示パネル５５を検査テーブル５１から取り除くアンローダ５３と、新たに測定を行なう液晶表示パネル５５を検査テーブル５１に搭載するローダ５４が配置されている。また、検査テーブル５１の側方には、液晶表示パネル５５の接続端子に接続して、液晶表示パネル５５を点灯するためのプローバ５６が配置されている。液晶表示パネル５５の上方には、フォトセルがマトリックス状に配列されたＣＣＤカメラ５７が配置されており、液晶表示パネル５５の点灯輝度を取り込む。該ＣＣＤカメラ５７には、ＡＤまたはＡＣコンバータ５９、演算回路６０、画像メモリ６１および表示回路６２を有する画像処理装置５８が接続されている。
【０００３】
かかる検査装置を用いた検査方法においては、液晶表示パネル５５をＣＣＤカメラ５７で撮像し、個々の画素を構成する各セルに関して輝度計測領域を設け、その領域内の輝度の平均値を求めることで検査を行なっている。図１５は、ＣＣＤカメラ５７の撮像画像であり、Ｒ（赤）、Ｒ（Ｒ１（１行目の表示画素））、Ｒ（Ｒ２（２行目の表示画素））、Ｇ（緑）、Ｂ（青）は液晶の１画素のＲＧＢを構成する各セルの位置を表し、マトリックス状に配列されたフォトセルＳはＣＣＤカメラの１受光素子を示す。
【０００４】
つぎに動作について説明する。この従来の検査方法では、まず最初にＣＣＤカメラのアライメントを行なう。アライメントは、たとえば図１６に示すように、液晶表示パネルの画面上の所定の３点（アライメント用表示画素Ｍ１〜Ｍ３）について画像上での位置計測を行ない、それらの画像上の距離と実際のＸＹ方向基準距離Ｘｏ、Ｙｏを比較する。ついで液晶表示パネルの位置と傾きを計算することで、各セルの位置を特定する。なお、図１６において、６５は全表示領域であり、６５Ａ〜６５Ｃは視野区画である。つぎに各セルの位置に基づいて、輝度計測領域を設け、領域内の輝度平均値と予め定めたしきい値とを比較して各セルの検査を行なう。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の検査方法では、輝度平均値と予め定めたしきい値を単に比較しているため、正確な検査ができない。なぜなら、高い輝度をもった輝点欠陥セル（制御不可能であり常に点灯しているセル）が存在した場合、その欠陥セルの明るさによって、光がまわりこみ、周辺のセルの計測輝度が上がってしまう状況が生じるためである。輝度の影響は周囲２セル四方に及ぶため、予め定めたしきい値と比較して検査すると、輝点欠陥セルの周辺セルは欠陥と誤認識され、正しい検査ができないという問題がある。
【０００６】
また、従来の検査方法のアライメント方法では、単にディスプレイ画面上の所定の数点の画面上の位置の測定結果と、その実際の距離を用いてアライメントを実行しているが、実際にはＣＣＤカメラのレンズ歪みなどがあるため、これでは精密にセルの位置計測を行なうことが難しい。また、ＣＣＤカメラを保持する機構の弾性変形やガタなどによってＣＣＤカメラの位置計測に関してわずかでも誤差が生じた場合、アライメントに狂いが生じるという問題がある。液晶の場合、１セルの短辺が１００μｍ以下であるので、わずかなアライメントの狂いも許されない。
【０００７】
また、従来の検査方法では、撮像方法の詳細が記述されていないが、たとえば液晶表示パネルの輝度のダイナミックレンジは非常に大きく、現存する通常のＣＣＤカメラの約１００倍のダイナミックレンジが必要である。このため、低輝度のセルから高輝度のセルまで計測および検査するためには、通常の固定条件下の撮像では到底無理であるという問題がある。
【０００８】
さらに、従来の検査方法では、計測方法の詳細が記述されていないが、色の異なるセルに関しては、撮像手段によって色に関する感度が異なることや、カラーフィルタの透過光量特性が色によって異なるため、液晶の色の異なる各セルで、同一のしきい値を用いると正確に検査できないという問題がある。
【０００９】
本発明は、前記問題を解決するためになされたものであり、ディスプレイの検査を正確に、かつ精度よく行なうことができるディスプレイ画面検査方法およびディスプレイ画面検査装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載のディスプレイ画面検査方法は、ディスプレイ画面の所定の表示領域に関して、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を用いて、個々の画素を構成する各セルの位置を計測し、前記撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を用いて、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行なう方法であって、各セルの輝度平均値または中央値としきい値を比較する際に、検査対象のセルの近傍に高い輝度のセルが存在した場合、その近傍のセルの輝度値に応じて、しきい値を高くすることを特徴とする。
【００１１】
請求項２記載のディスプレイ画面検査方法は、前記輝度計測について、撮像手段の露光時間を変えて複数回、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果を合成して、それぞれの輝度計測領域内の輝度を計算する。
【００１２】
請求項３記載のディスプレイ画面検査方法は、予めディスプレイ画面上の特定の座標位置と、前記座標位置に関する撮像手段で得られる画像上の位置と、その際の撮像手段の絶対位置のデータの集合を複数用いて、撮像手段の絶対位置とディスプレイ画面上の変換式を計算しておき、検査の際には、撮像手段の絶対位置と前記変換式を用いて得られる計測パターンの画像上の予想位置と、実際の計測パターンの画像上の位置のずれを計測し、このずれ量を用いて画像座標とディスプレイ座標の変換式を新たに計算し、この変換式を用いて、検査したセルの画像上の位置をディスプレイ座標位置に変換して出力する。
【００１３】
請求項４記載のディスプレイ画面検査方法は、前記位置計測パターンについて、ディスプレイ画面上の所定位置の複数のセルを点灯して、複数点のセルの位置を計測し、それらを小領域に分割して、その各小領域ごとに画像座標とディスプレイ座標の関係を曲線回帰することにより、撮像手段の画像の歪み量を補正して、各セルの位置を計算する。
【００１４】
請求項５記載のディスプレイ画面検査方法は、前記しきい値の作成について、検査領域全体に関して、色の異なるセル毎に平均値または中央値を計算し、その平均値または中央値に基準値を足しこむことにより色の異なるセルごとにしきい値を作成する。
【００１５】
請求項６記載のディスプレイ画面検査方法は、前記輝度計測について、色の異なるセルごとに、輝度計測の結果を撮像手段の感度特性に基づく係数を乗じて補正する。
【００１６】
さらに請求項７記載のディスプレイ画面検査装置は、ディスプレイ画面を撮像する撮像手段と、ディスプレイ画面の画面制御を行なうディスプレイ画面制御手段と、撮像手段を保持して移動を可能にする移動手段と、撮像手段の絶対位置を計測する計測手段と、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を処理して、個々の画素を構成する各セルの位置を計測し、撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を処理して、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行ない、各セルの輝度平均値または中央値としきい値を比較する際には、検査対象となるセルの近傍に高い輝度のセルが存在した場合、近傍のセルの輝度値に応じて、しきい値を高くするように構成した画像処理手段と、検査の全体の流れの制御を行なう制御手段を備えてなることを特徴とする。
【００１７】
【発明の実施の形態】
実施の形態１
図１は本発明の実施の形態１にかかわるディスプレイ画面検査方法およびディスプレイ画面検査装置を説明するための図である。図１において、１はＣＣＤカメラなどの撮像手段、２はディスプレイ画面制御手段、３は撮像手段１を移動させる移動手段、４は撮像位置の計測手段、５は画像処理手段、６は制御手段、７は判定結果の出力値である。８は検査対象物である液晶表示パネルなどに代表されるディスプレイ装置である。
【００１８】
つぎに動作について説明する。まずディスプレイ画面全体において、粗検査を行ない、欠陥が存在するおおよその場所に撮像手段１を移動させる。粗検査は、直接人が目視で行なってもよいし、別の装置で検査し、その結果をもとに撮像手段１を移動させてもよい。人が粗検査を行なう場合は、ディスプレイ画面制御手段２が、ディスプレイ装置８を制御することにより、粗検査に適した画面パターン、たとえば全黒画面などを表示させる。撮像手段１の移動は、移動手段３によって行なわれ、ＸＹ方向に移動可能である。この動作は制御手段６の信号に基づいて自動で行なうことができるが、人が手で動かしてもよい。また、本実施の形態１では、移動手段３は撮像手段１を保持し、ディスプレイ装置８の上部に位置しているが、撮像手段１を固定しておいて別の移動手段がディスプレイ装置８を動かすように構成することもできる。これは撮像手段１の視野を移動させるという機能において同等であるためである。ついで制御手段６から画面制御指示がディスプレイ画面制御手段２に送られたのち、ディスプレイ装置８に計測パターンが表示される。撮像手段１は、計測パターンが表示されたディスプレイ装置８の一部または全部を撮像し、画像を画像処理手段５に蓄える。ついで制御手段６から画面制御指示がディスプレイ画面制御手段２に送られたのち、ディスプレイ装置８に検査パターンが表示される。撮像手段１は、検査パターンが表示されたディスプレイ装置８の一部または全部を撮像し、画像を画像処理手段５に蓄える。この際、計測パターンと検査パターンは共に露光時間を変えて２種類以上のパターンを適用してもかまわない。また、該計測パターンと検査パターンの表示順序は、必ずしも計測パターンが先である必要はなく、検査パターンを先に表示することもできる。通常、パターンを発生させるのに必要な時間や、パターン間の切り替え時間を考慮し、時間的に最短になるようにパターンを発生させるのがよい。また、検査パターンを撮像する際は、撮像手段１の露光時間を、たとえば１／２ｓ、１／２０ｓ、１／２００ｓなどのように、複数回切り替えて撮像し、画像を蓄積する。なお、特別な撮像手段によっては、該撮像手段の内部回路において同様の処理を行なうものもあるが、その際は、その機能を用いてもよい。
【００１９】
図２は蓄積した画像に関して、検査の手順を示すフローチャートである。図２において、ステップＳ１では、計測パターンの画像を画像処理し、画像に写っている各セルの画像上の位置を計測する。ステップＳ２では、ステップＳ１で得られた各セルの画像上の位置を元に、検査パターンの画像から各セルの発光位置に輝度計測領域を設けて輝度計測を行ない、各セルの輝度の平均値または中央値を計測する。ステップＳ３では、検査対象のセルの周辺に高輝度のセルがあるか否かを調べ、存在する場合は、しきい値を変更する（ステップＳ４）。ついでステップＳ５〜Ｓ７では、このしきい値と検査対象のセルに関する輝度の平均値または中央値を比較し、ディスプレイ装置のセルの良否を判定する。このステップＳ３〜Ｓ７は、検査パターンの画像に写っている全部のセルまたは一部のセルに対して行ない、ついでステップＳ８では、全部のセルの判定が終了するまで繰り返す。全セルの判定終了後、ステップＳ９では、欠陥セルの画像位置をディスプレイ画面座標に変換し、ステップＳ１０では、欠陥セルの有無、欠陥セルの輝度情報および欠陥位置などを出力する。
【００２０】
つぎに各ステップの内容を詳細に説明する。
【００２１】
ステップＳ１では、計測パターンの画像を画像処理し、画像に写っている各セルの画像上の位置を計算する。図３〜４に計測パターンの一例としてクロスハッチ画像ＣＰを示す。理由は後述するが、ディスプレイ装置がカラーＴＦＴ液晶表示装置である場合、クロスハッチは、特定の色のセルだけを用いて構成している。図３〜４ではクロスハッチのラインがとくにＸ方向において連続していないように見えるが、これは、たとえばＧ（緑）のセルだけを点灯しており、Ｒ（赤）およびＢ（青）のセルを消灯しているためである。
【００２２】
前記画像処理手段５は、まず計測パターンが撮像された画像を用いて、所定の位置にある複数のセルの位置を画像計測する。図５に計測パターンから計測された複数のセルの中心位置Ｐを示す。図６は図５の計測を行なうための計測手法の一例を示したものであり、既知技術であるＸＹ方向の投影を用いている。図６（ａ）〜（ｂ）に示されるように、投影により、クロスハッチラインＬ１、Ｌ２の概略位置は計算できるので、その位置に計測領域Ｚを設け、図６（ｃ）に示されるように、領域内の重心計算によってそれぞれの縦横ラインＬＹ、ＬＸの正確な位置を計算し、その交点を所定のセルＣの中心位置Ｐとする。この際、重心計算をするうえで、特定色だけでクロスハッチラインが構成されている方が望ましい。色が異なるセルの輝度は、撮像手段の感度や液晶パネルを構成するカラーフィルタの透過特性などで異なるため、色の異なるセルでラインを構成した場合、重心位置がセルの中心位置と著しくずれる場合があるためである。図５のように複数のセルＣの中心位置Ｐを計算したのち、これらの中心位置Ｐと既知であるクロスハッチの基本データ（クロスハッチを構成しているセルの色、クロスハッチの間隔が何セル分で構成されているか、セルの縦横長さの比など）を組み合わせて計算することにより、画面上に映っている全セルの画像上の正確な位置を求める。
【００２３】
ステップＳ２では、検査パターンが撮像された画像に関して、以下のように画像処理を行なう。ステップＳ２のフローチャートを図７に示す。たとえば検査パターンが全黒画面（画面の全セルを消灯した画面）１種類であり、露光時間が１／２ｓ、１／２０ｓ、１／２００ｓと切り替えられて撮像されている場合は、３枚の検査パターンの画像が蓄積されている。ステップＳ２１では、計測パターンの画像計測結果により、画像上の全セルに関して、セルの発光領域に輝度計測領域を設けることができるため、検査パターンの画像に関して各セルの輝度計測領域内で画像の輝度計測を行ない、その平均値または中央値を計測する。ステップＳ２２では、前記平均値または中央値を並べた新しい画像（セル内輝度画像）を作成する。なお、平均値のかわりに中央値を用いてもよい理由は、中央値の方が平均値よりもノイズに対して影響を受けないためである。たとえば突発的に高い輝度のノイズが１つ入っても中央値はほとんど変わらないが、平均値は大きな影響を受ける。
【００２４】
各セルの輝度計測領域は、１つのセルの発光領域に関して複数設定してもよい。また、それぞれの輝度計測領域は、液晶の発光部分でないブラックマトリクス部分を避けて設定するものとする。ステップＳ２１、Ｓ２２は３つの露光時間の異なる同一の検査パターンの画像についてそれぞれ行なう（ステップＳ２３）ため、本実施の形態１では、３枚のセル内輝度画像が作成される（ステップＳ２４）。ついでつぎの検査パターンの画像があるか否かを判断する（ステップＳ２５）。
【００２５】
図８（ａ）〜（ｃ）ではＲ、Ｇ、Ｂのセルの発光領域（矢印Ｗ）に関して、各セルに対して３つの輝度計測領域、すなわちＷＲ１〜ＷＲ３、ＷＧ１〜ＷＧ３およびＷＢ１〜ＷＢ３を設定し、３つの露光時間に基づく３枚のセル内輝度画像Ｅ１〜Ｅ３および合成輝度画像Ｅを作成する例を示す。輝度計測領域ＷＲ１〜ＷＲ３、ＷＧ１〜ＷＧ３、ＷＢ１〜ＷＢ３の画像上での１辺の長さは、撮像手段１の受光素子の３ピクセル以上で構成するのが望ましい。これ以下になると、１セルにおける輝度計測の母集団の数が少なくなり、計測値の信頼性が低下するほか、検査対象の１セルの大きさと撮像手段１の受光素子の１ピクセルの大きさが近くなるため、モアレ縞（干渉）が生じやすくなり計測が難しくなる。
【００２６】
３枚のセル内輝度画像Ｅ１〜Ｅ３は、それぞれが感度の異なる画像と考えることができる。露光時間の長い画像から構成したセル内輝度画像は、高感度の画像であり、暗い輝度をもったセルの輝度を正確に測定しているが、高い輝度をもったセルに関しては輝度値が飽和している。一方、露光時間の短い画像から構成したセル内輝度画像は、高い輝度をもったセルの輝度を正確に測定しているが、低い輝度をもったセルに関しては輝度値が黒レベル（暗電流成分またはノイズ成分とも呼ぶ）と変わらないレベルになっており正しく測定できていない。これは液晶表示パネルの輝度のダイナミックレンジが、撮像手段１の有するダイナミックレンジをはるかにこえているためである。
【００２７】
このため、ステップＳ２４では、これら３枚の画像Ｅ１〜Ｅ３を、たとえば以下の手順で合成して、合成輝度画像Ｅを作成する。ここでは、撮像手段１の輝度階調が２５６階調（輝度にして０〜２５５）を有するとする。合成の仕方の一例としては、つぎの手順（ステップ２４１、ステップ２４２）がある。
【００２８】
ステップ２４１では、３枚のセル内輝度画像で注目画素の輝度値がいちばん１２８の値に近い画像を選択する。
【００２９】
ステップ２４２では、
▲１▼露光時間が１／２ｓのときのセル内輝度画像である場合、該１／２ｓ露光時間のセル内輝度画像の輝度を出力する。
▲２▼露光時間が１／２０ｓのセル内輝度画像である場合、
（ｉ）輝度が黒レベル以下であるなら、１／２ｓ露光時間のセル内輝度画像の輝度を出力する。
（ｉｉ）輝度が黒レベルより上であるなら、（１／２０ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比１（１０＝（１／２）／（１／２０））を出力する。▲３▼露光時間が１／２００ｓのセル内輝度画像である場合、
（ｉ）輝度が黒レベル以下であるなら、（１／２０ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比１（１０＝（１／２）／（１／２０））を出力する。
（ｉｉ）輝度が黒レベルより上であるなら、（１／２００ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比２（１００＝（１／２）／（１／２００））を出力する。
【００３０】
まず、ステップ２４１において、黒レベル付近の輝度や飽和付近の輝度を有していないセル内輝度画像を選択し、ステップ２４２において合成処理を行なう。合成処理における輝度比１、２は露光時間の比に相当する。
【００３１】
検査パターンが全黒画面以外に全赤画面、全緑画面または全青画面がある場合には、それらのパターンの数だけ、同様に合成輝度画像を作成する。
【００３２】
ここまでの手順によって、撮像手段のダイナミックレンジを拡大して、各セルの輝度計測領域内の平均値または中央値を計測できたので、ステップＳ３〜Ｓ８では、これらの値と所定のしきい値を比較して、良否を判定する。しきい値は、セルの色ごとに設定されているものとする。
【００３３】
たとえば輝点欠陥を判定する場合、全黒画像に対して得られた前記平均値または中央値と、輝点欠陥の最小輝度に相当するしきい値とを比較し、しきい値以上の値が得られた場合に、そのセルを不良品と判定する。中間階調の輝度を表示した場合のセルの明るさの範囲が指定値に入っているかどうかを検査する場合は、良品を規定する上限しきい値と下限しきい値の２つを定めて、比較すればよい。
【００３４】
つぎに輝点欠陥の判定について説明する。
【００３５】
高い輝度を有する輝点欠陥が存在しなければ、各セルの輝度計測領域内の平均値または中央値と予め設定したしきい値を比較して良否を決めればよいが、高い輝度を有する輝点欠陥が存在する場合には、欠陥セルの周辺のセルに光がまわりこんで、周辺のセルの輝度が高くなってしまう。このため、固定したしきい値を比較に用いると、高輝度の輝点欠陥の周辺のセルは欠陥と誤認識されるという問題が生じる。
【００３６】
そこで、ステップＳ４では、たとえばつぎのようにして、高輝度輝点欠陥の周辺のセルに適用するしきい値を高くするように変更する。まず前記合成輝度画像Ｅについて、図９に示されるように、検査対象の画素ｐｔの周辺２画素、本実施の形態では、画素ｐｔの回りの２４画素（画素ｐｔから半径２つの画素すべての画素）において、画素ｐｔの輝度より高い輝度をもち、かつ予め指定した輝度γ以上の明るさをもった高輝度画素であるか否かを調べる。高輝度画素でない場合は、通常どおり検査対象の画素の輝度としきい値を比較し、検査対象の画素に該当するセルの良否を決定する。しきい値は、検査対象物である液晶表示パネルなどに色が異なるセルがある場合には、色ごとに設けるものとする。
【００３７】
一方、高輝度画素である場合は、図１０に示すしきい値増分係数マップＭを用いてしきい値増分を計算する。しきい値増分係数マップＭは、高輝度画素ｐを中心にしており、検査対象の画素の位置からマップＭ上で値を得て、しきい値増分値をつぎの式で計算する。
【００３８】
しきい値増分値 ＝ 高輝度画素の輝度値 × マップ上の値
【００３９】
図９〜１０の例の場合、図９において上の高輝度画素ｐ１の輝度をＧＵとし、下の高輝度画素ｐ２の輝度をＧＤとすると、しきい値増分値はそれぞれつぎのようになる。なお、図９では、説明上ｐｔ、ｐ１、ｐ２をわかりやすくするために斜線を入れている。
【００４０】
しきい値増分値（ｐ１） ＝ ＧＵ × ０．８β （１）
しきい値増分値（ｐ２） ＝ ＧＤ × ０．５α （２）
【００４１】
この例の場合のように、検査対象の画素に対し、高輝度画素が複数存在する場合は、前記式（１）、（２）により計算される値のうち、値の大きな方をしきい値増分値とする。ここで、α、βの値は検査対象物であるディスプレイ装置８の種類（液晶Ａまたは液晶Ｂなど）によって変更する値であり、α＞βとする。α、βの値や、係数マップＭ上の各値を実験に基づいて所定の値に設定することにより、高輝度画素が周囲に与える輝度の影響を設定することができる。たとえば、α＝０．１５、β＝０．０１などに設定される。
【００４２】
このようにして、しきい値増分値を決定したあと、検査対象の画素の輝度を、（予め設定されたしきい値＋しきい値増分値）と比較し、検査対象の画素に該当するセルの良否を決定する。
【００４３】
このステップＳ３〜Ｓ８による輝点欠陥の判定処理をまとめるとつぎの手順（ステップ３１〜３５）になる。
【００４４】
ステップ３１では、輝度合成画像の座標から、検査対象の画素の色を判別する。
【００４５】
ステップ３２では、周辺画素に検査対象の画素の輝度より高い輝度をもつ高輝度画素があるか否かを調べる。
▲１▼周辺画素に高輝度画素がない場合、検査対象の画素の色の違いによりつぎの（ｉ）〜（ｉｉｉ）の手順を行ない、当該検査対象の画素の判定を終了する。
（ｉ）検査対象の画素の色がＲの場合、輝度がＲＴｈより大きければ欠陥とする。それ以外は良とする。
（ｉｉ）検査対象の画素の色がＧの場合、輝度がＧＴｈより大きければ欠陥とする。それ以外は良とする。
（ｉｉｉ）検査対象の画素の色がＢの場合、輝度がＢＴｈより大きければ欠陥とする。それ以外は良とする。
▲２▼周辺画素に高輝度画素がある場合、ステップＳ３３へ進む。
【００４６】
ステップ３３では、周辺の高輝度画素の最高輝度値がγ以下であるか否かを調べる。
▲１▼周辺の高輝度画素の最高輝度値がγ以下である場合、ステップ３２の高輝度画素がない場合と同様の判定処理を行なう。
▲２▼周辺の高輝度画素の最高輝度値がγより大である場合、つぎのステップ３４へ進む。
【００４７】
ステップ３４では、周辺の各高輝度画素より、係数マップを用いて、しきい値増分値を計算し、そのうちの最大値をＴｈＵｐとする。
【００４８】
ステップ３５では、検査対象の画素の色の違いにより検査対象の画素の輝度を（しきい値＋しきい値増分値）と比較する。
▲１▼検査対象の画素がＲの場合、輝度が（ＲＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
▲２▼検査対象の画素がＧの場合、輝度が（ＧＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
▲３▼検査対象の画素がＢの場合、輝度が（ＢＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
【００４９】
ここで、ＲＴｈ、ＧＴｈおよびＢＴｈは、各セルの色ごとに予め設定したしきい値である。
【００５０】
検査パターンと合成輝度画像が共に複数ある場合には、各合成輝度画像に対して、同様の検査を繰り返す。
【００５１】
ステップＳ３〜Ｓ８により、欠陥の有無と欠陥セルの画像上の座標が既知となる。ついでステップＳ９では、欠陥セルの画像上の位置をディスプレイ座標に変換する。欠陥セルの位置をディスプレイ座標に変換することで、欠陥セルの位置を、検査装置に依存しない形で出力でき便利である。もちろん欠陥セルの位置をディスプレイ座標で出力する必要のない場合はこのステップは不要である。ついでステップＳ１０では、欠陥セルの有無、欠陥セルの輝度情報および欠陥位置などを出力する。
【００５２】
本実施の形態１では、前記のように構成することで、周辺の明るいセルの有無によらず、安定した検査を行なうことができる。
【００５３】
実施の形態２
実施の形態１のステップＳ２では、最初に輝度計測領域内の輝度計測を行なって、平均値または中央値を求めてから、露光時間の異なるセル内輝度画像を合成したが、ステップＳ２はつぎのように構成してもよい。
【００５４】
最初に、露光時間の異なる撮像画像を、実施の形態１のステップ２４１、２４２と同様の手順で合成し、撮像画像の合成輝度画像を作成する。ついでこの合成輝度画像に対して、ステップＳ２１と同様に、各セルの輝度計測領域内で輝度計測を行ない、平均値または中央値を求め、そののち、ステップＳ２２と同様に、平均値または中央値を並べて新しい画像を作成する。この方法により、ステップＳ２４で得られる合成輝度画像に相当する画像を得ることができる。このようにしても、実施の形態１と同じ効果を奏することができる。
【００５５】
実施の形態３
実施の形態１のステップＳ９の画像座標とディスプレイ座標の変換処理において用いる変換式は、検査を開始する前につぎのように求めることができる。ここで、とくに述べない点に関しては、実施の形態１と同様である。
【００５６】
図１１に示すように、計測パターンを表示させたディスプレイの左上隅ＦＬに撮像手段１を移動させたのち、撮像し、ステップＳ１と同様にして、クロスハッチの計測を行なう。この計測が終了した時点で、ディスプレイ座標と画像座標の対応付け（変換）が可能となる。なぜなら、撮像している箇所は、ディスプレイの左上隅ＦＬとわかっているので、図１２に示されるように、撮像されたクロスハッチ左上のディスプレイ座標は、（０、０）座標のＧのセルであることが既知であるためである。撮像手段１のカメラの位置はそのカメラの視点である、撮像画像の中心で代表できるため、このときの画像の中心位置をディスプレイ座標で表したものを、（ＤＸ１、ＤＹ１）とする。また、このときの計測手段４から得られる撮像手段１の絶対位置を（ＷＸ１、ＷＹ１）とする。
【００５７】
この絶対座標とディスプレイ座標の変換式をつぎのようなアフィン変換で行なえると仮定する。
（ＤＸ、ＤＹ）Ｔ ＝ Ａ（ＷＸ、ＷＹ）Ｔ ＋ ｂ （３）
【００５８】
ここで、Ａは２×２の行列で回転、ＸＹ方向の倍率、歪みを示し、ｂは２次元ベクトルで並進成分を示す。Ｔはベクトルの転置を示す。今回の場合、本実施の形態では、少なくとも前記ディスプレイ座標と絶対座標の組み合わせが３点あれば、アフィン変換の各係数であるＡおよびｂが計算できるが、本実施の形態では、図１１に示されるように、ディスプレイ画像の４隅（左上隅ＦＬ、右上隅ＦＲ、右下隅ＲＲ、左下隅ＲＬ）を撮像することで、４点の座標の組み合わせからＡおよびｂを計算する。なお、３点以上の座標の組み合わせから計算する場合は、式（３）の形に対して最小２乗法などの回帰計算を行なう。
【００５９】
このアフィン変換式を前もって計算しておくことにより、実施の形態１のステップＳ１において、画像座標とディスプレイ座標との変換式を正確に計算することができる。また、ステップＳ１において、図５に示されるように複数のセルＣの中心位置Ｐを計算するが、同時に、計測手段４により、撮像手段１の絶対位置（ＷＸＭ、ＷＹＭ）Ｔ を取得する。この絶対位置を、式（３）を使ってディスプレイ画面の座標（ＤＸＭ、ＤＹＭ）Ｔ に変換する。このディスプレイ座標は、撮像手段１の位置や変換式が極めて正確であれば、現画像の中央位置に見える点のディスプレイ座標となる。クロスハッチは予め設定したところに表示するため、この画面の中央位置を示す座標（ＤＸＭ、ＤＹＭ）Ｔ から一番近くに見えるはずのクロスハッチ上の計測点位置、すなわち計測点のディスプレイ座標（ＤＸＰ、ＤＹＰ）Ｔ が計算できる。また、ステップＳ１の画像計測において、ディスプレイ座標と画像座標の倍率が計算できるため、（ＤＸＭ、ＤＹＭ）Ｔ と（ＤＸＰ、ＤＹＰ）Ｔ の差に倍率を掛けて計算することで、画像座標も計算できる。この画像座標の位置を計測点の予想位置と呼ぶことにする。
【００６０】
ところが実際には、その予想した画像座標の位置にクロスハッチ上の計測点が計測されるとは限らない。それは移動手段３の機構的な弾性変形や、計測手段４の計測誤差があるので、画像上でずれた位置にクロスハッチの計測点が実測される場合があるためである。そこで、前記予想位置から画像上、最も近い位置にある計測点の画像座標が、ディスプレイ画像の（ＤＸＰ、ＤＹＰ）Ｔ に該当していると仮定する。この仮定が成立するためには、誤差などによるずれ量が、クロスハッチ間隔の１／２以下である必要がある。逆に、ずれ量の上限が見積もれる場合は、クロスハッチ間隔をその上限値の倍以上に設定すれば仮定は常に正しく成立するので、そのように実施する。この１点で画像座標とディスプレイ座標の整合がとれれば、予め表示位置が決まっている計測点のディスプレイ座標はすべて決定されるので、すべての計測点で、ディスプレイ座標と画像座標の対応が正確にとれ、計測誤差などの影響を取り除くことができる。画像座標とディスプレイ座標の変換式においても、式（３）と同じアフィン変換の式を用いることにすれば、３点以上の座標の組み合わせで、画像座標とディスプレイ座標の変換式を計算することができる。
【００６１】
これで得られた変換式を実施の形態１におけるステップＳ９で用いれば、ディスプレイ座標での出力は可能となる。
【００６２】
実施の形態４
実施の形態３においては、画像座標とディスプレイ座標の変換式をアフィン変換の式を用いて構成したが、つぎのようにすればさらに多数の点、すなわちほとんどすべての計測点を用いて、アフィン変換より精度のよい変換式を構成することが可能である。
【００６３】
今回の例では、計測点は、格子状に整列しているため、図１３に示されるように、その９点の集合ごとに小領域ＳＲを作成する。そしてその各領域ごとに画像座標とディスプレイ座標の関係を２次曲線で回帰し、そのパラメータを各領域ごとに保存する。２次曲線の形は、たとえばつぎの式（４）、（５）のようになる。
【００６４】
【数１】
【００６５】
ここで、（Ｘ、Ｙ）は変換前の座標であり、（Ｕ、Ｖ）は変換後の座標であり、ａｉｊ、ｂｉｊは２次曲線のパラメータである。また、ａ、ｂはそれぞれ６つある。ディスプレイ座標から画像座標の変換式を求める際には、（Ｘ、Ｙ）をディスプレイ座標とし、（Ｕ、Ｖ）を画像座標とし、９点の座標の組み合わせから、パラメータを計算しておく。また、画像座標からディスプレイ座標の変換式が必要な場合は、（Ｘ、Ｙ）を画像座標、（Ｕ、Ｖ）をディスプレイ座標としてパラメータを計算しておく。これらのパラメータは各小領域ごとに計算し、小領域の中心である点の画像座標およびディスプレイ座標ともに保存しておく。実際の変換では、画像座標が与えられた場合、どの計測点に近いかで、どの小領域に属するかをまず計算し、属する小領域のパラメータを用いて式（４）、（５）に基づいて変換の計算を行なう。
【００６６】
前述したアフィン変換では、画面上の位置によらず変換計算は一定である。ところが、撮像手段を構成するレンズの歪みは画面中央では少なく、周辺部では大きいという特性がある。すなわち画面上の位置により歪み量が異なる。こういった場合、画面上で常に一定の計算方式では精度よく変換計算を行なうことができない。このように、複数の計測点を小領域にわけ、各小領域ごとに回帰計算のパラメータを変えて変換計算を行なえば、画面上の位置により異なる歪み量を補正することでき、より正確なディスプレイ座標と画像座標の変換式を得ることができる。
【００６７】
実施の形態３の場合の、ステップＳ１において、複数の計測点の画像座標とディスプレイ座標が得られた段階で、ディスプレイ座標と画像座標の変換式を計算しておけば、ステップＳ２において、検査対象となる全セルのディスプレイ座標を元に輝度計測領域を計算し、前記変換式を適用して輝度計測領域の画像座標を求めることで、より正確なセルの位置を計算できる。
【００６８】
実施の形態５
実施の形態１において、ステップＳ２で用いるＲＴｈ、ＧＴｈ、ＢＴｈなどの予め設定しておくしきい値の計算方法をつぎのように行なってもよい。
【００６９】
まずセル内輝度画像の合成画像が得られた時点で、一旦、画面内の全セルについて、色ごとに分類した平均値または中央値である、ＲＢＡＳＥ、ＧＢＡＳＥ、ＢＢＡＳＥを計算しておく。通常、欠陥セルの数は画面全体のセルの数に比べて非常に少ないはずなので、これらの値は、正常なセルのもつ代表的な輝度値と考えることができる。また、通常、撮像手段の色に対する感度の違いや、検査対象物である液晶表示装置を構成するカラーフィルタの透過特性により、色によって正常なセルの輝度値が異なるのが普通である。そこで、これらの正常なセルの輝度値と考えられる値に対して、異常値を検出する基準値を足しこむことでしきい値を構成する。すなわち、
ＲＴｈ＝ＲＢＡＳＥ ＋ ＲＳＴＤ・ＶＡＬＵＥ
ＧＴｈ＝ＧＢＡＳＥ ＋ ＧＳＴＤ・ＶＡＬＵＥ
ＢＴｈ＝ＢＢＡＳＥ ＋ ＢＳＴＤ・ＶＡＬＵＥ
とすることで、より正確に検査が可能なしきい値を構成することができる。ここで、ＲＳＴＤ・ＶＡＬＵＥ、ＧＳＴＤ・ＶＡＬＵＥおよびＢＳＴＤ・ＶＡＬＵＥは、それぞれＲ、ＧおよびＢに相当する異常値を検出するしきい値である。
【００７０】
また、撮像手段の色による感度特性が予め既知である場合は、ステップＳ２で得られる輝度計測の結果に、その感度特性に基づく係数を掛けて輝度を補正してもよい。このようにすることで、セルの色に左右されない正確な検査が実現できる。
【００７１】
【発明の効果】
請求項１記載の発明によれば、各セルの輝度平均値または中央値としきい値を比較する際に、検査対象となるセルの近傍に高い輝度のセルが存在した場合、その近傍のセルの輝度値に応じて、しきい値を高くするため、高い輝度をもった輝点欠陥セルが存在しても、正確に、かつ精度よく検査を行なうことができる。
【００７２】
請求項２記載の発明によれば、前記輝度計測について、撮像手段の露光時間を変えて複数回、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果を合成して、それぞれの輝度計測領域内の輝度を計算するため、撮像手段のダイナミックレンジ不足を解消することができ、暗い欠陥に関しても明るい欠陥に関しても同時に検査することができる。
【００７３】
請求項３記載の発明によれば、予めディスプレイ画面上の特定の座標位置と、該座標位置に関する撮像手段で得られる画像上の位置と、その際の撮像手段の絶対位置のデータの集合を複数用いて、撮像手段の絶対位置とディスプレイ画面上の変換式を計算しておき、検査の際には、撮像手段の絶対位置と前記変換式を用いて得られる計測パターンの画像上の予想位置と、実際の計測パターンの画像上の位置のずれを計測し、このずれ量を用いて画像座標とディスプレイ座標の変換式を新たに計算し、この変換式を用いて、検査したセルの画像上の位置をディスプレイ座標位置に変換して出力するため、移動手段の弾性変形またはガタなどに基づく計測手段の測定誤差に影響されないで、正確なディスプレイ座標位置を出力できる。
【００７４】
請求項４記載の発明によれば、前記位置計測パターンについて、ディスプレイ画面上の所定位置の複数のセルを点灯して、複数点のセルの位置を計測し、それらを小領域に分割して、その各小領域ごとに画像座標とディスプレイ座標の関係を曲線回帰することにより、撮像手段の画像の歪み量を補正して、各セルの位置を計算するため、セルの輝度計測領域を正確に設定することができる。
【００７５】
請求項５記載の発明によれば、前記しきい値の作成において、検査領域全体に関して、色の異なるセルごとに平均値または中央値を計算し、その平均値または中央値に基準値を足しこむことにより色の異なるセルごとにしきい値を作成するため、撮像手段の色による感度の違いや、検査対象のセルの色による発光量の違いがあっても、正確に検査することができる。
【００７６】
請求項６に記載の発明によれば、前記輝度計測においてて、色の異なるセルごとに、輝度計測の結果を撮像手段の感度特性に基づく係数を乗じて補正するため、撮像手段の色による感度の違いを補正し、正確に検査することができる。
【００７７】
請求項７記載の発明によれば、ディスプレイ画面を撮像する撮像手段と、ディスプレイ画面の画面制御を行なうディスプレイ画面制御手段と、撮像手段を保持して移動を可能にする移動手段と、撮像手段の絶対位置を計測する計測手段と、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を処理して、個々の画素を構成する各セルの位置を計測し、撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を処理して、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行ない、各セルの輝度平均値または中央値としきい値を比較する際には、検査対象となるセルの近傍に高い輝度のセルが存在した場合、近傍のセルの輝度値に応じて、しきい値を高くするように構成した画像処理手段と、検査の全体の流れの制御を行なう制御手段を備えているため、高い輝度をもった輝点欠陥セルが存在しても、正確に、かつ精度よく検査を行なうことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかわるディスプレイ画面検査装置を示す構成図である。
【図２】実施の形態１にかかわるディスプレイ画面検査方法を説明するためのフローチャートである。
【図３】実施の形態１の計測パターンを説明するための図である。
【図４】図３の要部拡大図である。
【図５】実施の形態１の計測パターンから計測された複数のセルの中心位置を説明するための図である。
【図６】実施の形態１の計測パターンから複数のセルの中心位置の計測する方法を説明するための図であり、図６（ａ）は投影処理を説明する図、図６（ｂ）はウインドウ設置、重心計測およびライン抽出を説明する図および図６（ｃ）は交点検出を説明する図である。
【図７】実施の形態１にかかわるディスプレイ画面検査方法のステップ２を説明するためのフローチャートである。
【図８】実施の形態１にかかわるディスプレイ画面検査方法のステップ２におけるセル内輝度画像および合成輝度画像の作成手順を説明するための図である。
【図９】実施の形態１にかかわるディスプレイ画面検査方法において、検査対象の画素周辺で高輝度セルの存在の有無を説明するための図である。
【図１０】実施の形態１にかかわるディスプレイ画面検査方法において、高輝度セルによるしきい値上昇値を計算するためのしきい値増分係数マップを説明するための図である。
【図１１】実施の形態３にかかわるディスプレイ画面検査方法において、ディスプレイ座標と絶対座標の変換式を求める方法を説明するための図である。
【図１２】ディスプレイ画像の左上隅を示す図である。
【図１３】実施の形態４にかかわるディスプレイ画面検査方法において、画像座標とディスプレイ座標の変換式を求める方法を説明するための図である。
【図１４】従来の液晶表示パネルの検査方法を説明するための構成ブロック図である。
【図１５】従来の液晶表示パネルの検査方法において、液晶表示パネルの表示画素と、ＣＣＤカメラに内蔵されたエリア型フォトセンサを構成するフォトセルの相対位置関係を説明するための図である。
【図１６】従来の液晶表示パネルの検査方法において、液晶表示パネルのアライメントを説明するための図である。
【符号の説明】
１ 撮像手段、２ ディスプレイ画面制御手段、３ 移動手段、４ 計測手段、５ 画像処理手段、６ 制御手段、７ 判定結果、８ ディスプレイ装置。
【発明の属する技術分野】
本発明はディスプレイ画面検査方法およびディスプレイ画面検査装置に関する。さらに詳しくは、液晶ディスプレイなどのフラットパネルディスプレイに代表されるディスプレイ画面の検査のためのディスプレイ画面検査方法およびディスプレイ画面検査装置に関する。
【０００２】
【従来の技術】
図１４〜１６は、たとえば特開平６−２５０１３９号公報に示された従来の液晶表示パネルの検査方法を示す図である。まず、検査装置を説明する。図１４において、検査テーブル５１は互いに直行するＸ、Ｙのニ軸方向に摺動可能で、かつ水平方向に回転可能とされており、この上面に液晶表示パネル５５が搭載される。前記検査テーブル５１には、液晶の表示領域に対応する部分に開口５１ａが設けられている。また、該検査テーブル５１の下方には、バックライト５２が配置されており、該バックライト５２からの放出光は前記開口５１ａを通して液晶表示パネル５５に照射される。前記検査テーブル５１の左右には、測定を終了した液晶表示パネル５５を検査テーブル５１から取り除くアンローダ５３と、新たに測定を行なう液晶表示パネル５５を検査テーブル５１に搭載するローダ５４が配置されている。また、検査テーブル５１の側方には、液晶表示パネル５５の接続端子に接続して、液晶表示パネル５５を点灯するためのプローバ５６が配置されている。液晶表示パネル５５の上方には、フォトセルがマトリックス状に配列されたＣＣＤカメラ５７が配置されており、液晶表示パネル５５の点灯輝度を取り込む。該ＣＣＤカメラ５７には、ＡＤまたはＡＣコンバータ５９、演算回路６０、画像メモリ６１および表示回路６２を有する画像処理装置５８が接続されている。
【０００３】
かかる検査装置を用いた検査方法においては、液晶表示パネル５５をＣＣＤカメラ５７で撮像し、個々の画素を構成する各セルに関して輝度計測領域を設け、その領域内の輝度の平均値を求めることで検査を行なっている。図１５は、ＣＣＤカメラ５７の撮像画像であり、Ｒ（赤）、Ｒ（Ｒ１（１行目の表示画素））、Ｒ（Ｒ２（２行目の表示画素））、Ｇ（緑）、Ｂ（青）は液晶の１画素のＲＧＢを構成する各セルの位置を表し、マトリックス状に配列されたフォトセルＳはＣＣＤカメラの１受光素子を示す。
【０００４】
つぎに動作について説明する。この従来の検査方法では、まず最初にＣＣＤカメラのアライメントを行なう。アライメントは、たとえば図１６に示すように、液晶表示パネルの画面上の所定の３点（アライメント用表示画素Ｍ１〜Ｍ３）について画像上での位置計測を行ない、それらの画像上の距離と実際のＸＹ方向基準距離Ｘｏ、Ｙｏを比較する。ついで液晶表示パネルの位置と傾きを計算することで、各セルの位置を特定する。なお、図１６において、６５は全表示領域であり、６５Ａ〜６５Ｃは視野区画である。つぎに各セルの位置に基づいて、輝度計測領域を設け、領域内の輝度平均値と予め定めたしきい値とを比較して各セルの検査を行なう。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の検査方法では、輝度平均値と予め定めたしきい値を単に比較しているため、正確な検査ができない。なぜなら、高い輝度をもった輝点欠陥セル（制御不可能であり常に点灯しているセル）が存在した場合、その欠陥セルの明るさによって、光がまわりこみ、周辺のセルの計測輝度が上がってしまう状況が生じるためである。輝度の影響は周囲２セル四方に及ぶため、予め定めたしきい値と比較して検査すると、輝点欠陥セルの周辺セルは欠陥と誤認識され、正しい検査ができないという問題がある。
【０００６】
また、従来の検査方法のアライメント方法では、単にディスプレイ画面上の所定の数点の画面上の位置の測定結果と、その実際の距離を用いてアライメントを実行しているが、実際にはＣＣＤカメラのレンズ歪みなどがあるため、これでは精密にセルの位置計測を行なうことが難しい。また、ＣＣＤカメラを保持する機構の弾性変形やガタなどによってＣＣＤカメラの位置計測に関してわずかでも誤差が生じた場合、アライメントに狂いが生じるという問題がある。液晶の場合、１セルの短辺が１００μｍ以下であるので、わずかなアライメントの狂いも許されない。
【０００７】
また、従来の検査方法では、撮像方法の詳細が記述されていないが、たとえば液晶表示パネルの輝度のダイナミックレンジは非常に大きく、現存する通常のＣＣＤカメラの約１００倍のダイナミックレンジが必要である。このため、低輝度のセルから高輝度のセルまで計測および検査するためには、通常の固定条件下の撮像では到底無理であるという問題がある。
【０００８】
さらに、従来の検査方法では、計測方法の詳細が記述されていないが、色の異なるセルに関しては、撮像手段によって色に関する感度が異なることや、カラーフィルタの透過光量特性が色によって異なるため、液晶の色の異なる各セルで、同一のしきい値を用いると正確に検査できないという問題がある。
【０００９】
本発明は、前記問題を解決するためになされたものであり、ディスプレイの検査を正確に、かつ精度よく行なうことができるディスプレイ画面検査方法およびディスプレイ画面検査装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載のディスプレイ画面検査方法は、ディスプレイ画面の所定の表示領域に関して、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を用いて、個々の画素を構成する各セルの位置を計測し、前記撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を用いて、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行なう方法であって、各セルの輝度平均値または中央値としきい値を比較する際に、検査対象のセルの近傍に高い輝度のセルが存在した場合、その近傍のセルの輝度値に応じて、しきい値を高くすることを特徴とする。
【００１１】
請求項２記載のディスプレイ画面検査方法は、前記輝度計測について、撮像手段の露光時間を変えて複数回、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果を合成して、それぞれの輝度計測領域内の輝度を計算する。
【００１２】
請求項３記載のディスプレイ画面検査方法は、予めディスプレイ画面上の特定の座標位置と、前記座標位置に関する撮像手段で得られる画像上の位置と、その際の撮像手段の絶対位置のデータの集合を複数用いて、撮像手段の絶対位置とディスプレイ画面上の変換式を計算しておき、検査の際には、撮像手段の絶対位置と前記変換式を用いて得られる計測パターンの画像上の予想位置と、実際の計測パターンの画像上の位置のずれを計測し、このずれ量を用いて画像座標とディスプレイ座標の変換式を新たに計算し、この変換式を用いて、検査したセルの画像上の位置をディスプレイ座標位置に変換して出力する。
【００１３】
請求項４記載のディスプレイ画面検査方法は、前記位置計測パターンについて、ディスプレイ画面上の所定位置の複数のセルを点灯して、複数点のセルの位置を計測し、それらを小領域に分割して、その各小領域ごとに画像座標とディスプレイ座標の関係を曲線回帰することにより、撮像手段の画像の歪み量を補正して、各セルの位置を計算する。
【００１４】
請求項５記載のディスプレイ画面検査方法は、前記しきい値の作成について、検査領域全体に関して、色の異なるセル毎に平均値または中央値を計算し、その平均値または中央値に基準値を足しこむことにより色の異なるセルごとにしきい値を作成する。
【００１５】
請求項６記載のディスプレイ画面検査方法は、前記輝度計測について、色の異なるセルごとに、輝度計測の結果を撮像手段の感度特性に基づく係数を乗じて補正する。
【００１６】
さらに請求項７記載のディスプレイ画面検査装置は、ディスプレイ画面を撮像する撮像手段と、ディスプレイ画面の画面制御を行なうディスプレイ画面制御手段と、撮像手段を保持して移動を可能にする移動手段と、撮像手段の絶対位置を計測する計測手段と、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を処理して、個々の画素を構成する各セルの位置を計測し、撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を処理して、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行ない、各セルの輝度平均値または中央値としきい値を比較する際には、検査対象となるセルの近傍に高い輝度のセルが存在した場合、近傍のセルの輝度値に応じて、しきい値を高くするように構成した画像処理手段と、検査の全体の流れの制御を行なう制御手段を備えてなることを特徴とする。
【００１７】
【発明の実施の形態】
実施の形態１
図１は本発明の実施の形態１にかかわるディスプレイ画面検査方法およびディスプレイ画面検査装置を説明するための図である。図１において、１はＣＣＤカメラなどの撮像手段、２はディスプレイ画面制御手段、３は撮像手段１を移動させる移動手段、４は撮像位置の計測手段、５は画像処理手段、６は制御手段、７は判定結果の出力値である。８は検査対象物である液晶表示パネルなどに代表されるディスプレイ装置である。
【００１８】
つぎに動作について説明する。まずディスプレイ画面全体において、粗検査を行ない、欠陥が存在するおおよその場所に撮像手段１を移動させる。粗検査は、直接人が目視で行なってもよいし、別の装置で検査し、その結果をもとに撮像手段１を移動させてもよい。人が粗検査を行なう場合は、ディスプレイ画面制御手段２が、ディスプレイ装置８を制御することにより、粗検査に適した画面パターン、たとえば全黒画面などを表示させる。撮像手段１の移動は、移動手段３によって行なわれ、ＸＹ方向に移動可能である。この動作は制御手段６の信号に基づいて自動で行なうことができるが、人が手で動かしてもよい。また、本実施の形態１では、移動手段３は撮像手段１を保持し、ディスプレイ装置８の上部に位置しているが、撮像手段１を固定しておいて別の移動手段がディスプレイ装置８を動かすように構成することもできる。これは撮像手段１の視野を移動させるという機能において同等であるためである。ついで制御手段６から画面制御指示がディスプレイ画面制御手段２に送られたのち、ディスプレイ装置８に計測パターンが表示される。撮像手段１は、計測パターンが表示されたディスプレイ装置８の一部または全部を撮像し、画像を画像処理手段５に蓄える。ついで制御手段６から画面制御指示がディスプレイ画面制御手段２に送られたのち、ディスプレイ装置８に検査パターンが表示される。撮像手段１は、検査パターンが表示されたディスプレイ装置８の一部または全部を撮像し、画像を画像処理手段５に蓄える。この際、計測パターンと検査パターンは共に露光時間を変えて２種類以上のパターンを適用してもかまわない。また、該計測パターンと検査パターンの表示順序は、必ずしも計測パターンが先である必要はなく、検査パターンを先に表示することもできる。通常、パターンを発生させるのに必要な時間や、パターン間の切り替え時間を考慮し、時間的に最短になるようにパターンを発生させるのがよい。また、検査パターンを撮像する際は、撮像手段１の露光時間を、たとえば１／２ｓ、１／２０ｓ、１／２００ｓなどのように、複数回切り替えて撮像し、画像を蓄積する。なお、特別な撮像手段によっては、該撮像手段の内部回路において同様の処理を行なうものもあるが、その際は、その機能を用いてもよい。
【００１９】
図２は蓄積した画像に関して、検査の手順を示すフローチャートである。図２において、ステップＳ１では、計測パターンの画像を画像処理し、画像に写っている各セルの画像上の位置を計測する。ステップＳ２では、ステップＳ１で得られた各セルの画像上の位置を元に、検査パターンの画像から各セルの発光位置に輝度計測領域を設けて輝度計測を行ない、各セルの輝度の平均値または中央値を計測する。ステップＳ３では、検査対象のセルの周辺に高輝度のセルがあるか否かを調べ、存在する場合は、しきい値を変更する（ステップＳ４）。ついでステップＳ５〜Ｓ７では、このしきい値と検査対象のセルに関する輝度の平均値または中央値を比較し、ディスプレイ装置のセルの良否を判定する。このステップＳ３〜Ｓ７は、検査パターンの画像に写っている全部のセルまたは一部のセルに対して行ない、ついでステップＳ８では、全部のセルの判定が終了するまで繰り返す。全セルの判定終了後、ステップＳ９では、欠陥セルの画像位置をディスプレイ画面座標に変換し、ステップＳ１０では、欠陥セルの有無、欠陥セルの輝度情報および欠陥位置などを出力する。
【００２０】
つぎに各ステップの内容を詳細に説明する。
【００２１】
ステップＳ１では、計測パターンの画像を画像処理し、画像に写っている各セルの画像上の位置を計算する。図３〜４に計測パターンの一例としてクロスハッチ画像ＣＰを示す。理由は後述するが、ディスプレイ装置がカラーＴＦＴ液晶表示装置である場合、クロスハッチは、特定の色のセルだけを用いて構成している。図３〜４ではクロスハッチのラインがとくにＸ方向において連続していないように見えるが、これは、たとえばＧ（緑）のセルだけを点灯しており、Ｒ（赤）およびＢ（青）のセルを消灯しているためである。
【００２２】
前記画像処理手段５は、まず計測パターンが撮像された画像を用いて、所定の位置にある複数のセルの位置を画像計測する。図５に計測パターンから計測された複数のセルの中心位置Ｐを示す。図６は図５の計測を行なうための計測手法の一例を示したものであり、既知技術であるＸＹ方向の投影を用いている。図６（ａ）〜（ｂ）に示されるように、投影により、クロスハッチラインＬ１、Ｌ２の概略位置は計算できるので、その位置に計測領域Ｚを設け、図６（ｃ）に示されるように、領域内の重心計算によってそれぞれの縦横ラインＬＹ、ＬＸの正確な位置を計算し、その交点を所定のセルＣの中心位置Ｐとする。この際、重心計算をするうえで、特定色だけでクロスハッチラインが構成されている方が望ましい。色が異なるセルの輝度は、撮像手段の感度や液晶パネルを構成するカラーフィルタの透過特性などで異なるため、色の異なるセルでラインを構成した場合、重心位置がセルの中心位置と著しくずれる場合があるためである。図５のように複数のセルＣの中心位置Ｐを計算したのち、これらの中心位置Ｐと既知であるクロスハッチの基本データ（クロスハッチを構成しているセルの色、クロスハッチの間隔が何セル分で構成されているか、セルの縦横長さの比など）を組み合わせて計算することにより、画面上に映っている全セルの画像上の正確な位置を求める。
【００２３】
ステップＳ２では、検査パターンが撮像された画像に関して、以下のように画像処理を行なう。ステップＳ２のフローチャートを図７に示す。たとえば検査パターンが全黒画面（画面の全セルを消灯した画面）１種類であり、露光時間が１／２ｓ、１／２０ｓ、１／２００ｓと切り替えられて撮像されている場合は、３枚の検査パターンの画像が蓄積されている。ステップＳ２１では、計測パターンの画像計測結果により、画像上の全セルに関して、セルの発光領域に輝度計測領域を設けることができるため、検査パターンの画像に関して各セルの輝度計測領域内で画像の輝度計測を行ない、その平均値または中央値を計測する。ステップＳ２２では、前記平均値または中央値を並べた新しい画像（セル内輝度画像）を作成する。なお、平均値のかわりに中央値を用いてもよい理由は、中央値の方が平均値よりもノイズに対して影響を受けないためである。たとえば突発的に高い輝度のノイズが１つ入っても中央値はほとんど変わらないが、平均値は大きな影響を受ける。
【００２４】
各セルの輝度計測領域は、１つのセルの発光領域に関して複数設定してもよい。また、それぞれの輝度計測領域は、液晶の発光部分でないブラックマトリクス部分を避けて設定するものとする。ステップＳ２１、Ｓ２２は３つの露光時間の異なる同一の検査パターンの画像についてそれぞれ行なう（ステップＳ２３）ため、本実施の形態１では、３枚のセル内輝度画像が作成される（ステップＳ２４）。ついでつぎの検査パターンの画像があるか否かを判断する（ステップＳ２５）。
【００２５】
図８（ａ）〜（ｃ）ではＲ、Ｇ、Ｂのセルの発光領域（矢印Ｗ）に関して、各セルに対して３つの輝度計測領域、すなわちＷＲ１〜ＷＲ３、ＷＧ１〜ＷＧ３およびＷＢ１〜ＷＢ３を設定し、３つの露光時間に基づく３枚のセル内輝度画像Ｅ１〜Ｅ３および合成輝度画像Ｅを作成する例を示す。輝度計測領域ＷＲ１〜ＷＲ３、ＷＧ１〜ＷＧ３、ＷＢ１〜ＷＢ３の画像上での１辺の長さは、撮像手段１の受光素子の３ピクセル以上で構成するのが望ましい。これ以下になると、１セルにおける輝度計測の母集団の数が少なくなり、計測値の信頼性が低下するほか、検査対象の１セルの大きさと撮像手段１の受光素子の１ピクセルの大きさが近くなるため、モアレ縞（干渉）が生じやすくなり計測が難しくなる。
【００２６】
３枚のセル内輝度画像Ｅ１〜Ｅ３は、それぞれが感度の異なる画像と考えることができる。露光時間の長い画像から構成したセル内輝度画像は、高感度の画像であり、暗い輝度をもったセルの輝度を正確に測定しているが、高い輝度をもったセルに関しては輝度値が飽和している。一方、露光時間の短い画像から構成したセル内輝度画像は、高い輝度をもったセルの輝度を正確に測定しているが、低い輝度をもったセルに関しては輝度値が黒レベル（暗電流成分またはノイズ成分とも呼ぶ）と変わらないレベルになっており正しく測定できていない。これは液晶表示パネルの輝度のダイナミックレンジが、撮像手段１の有するダイナミックレンジをはるかにこえているためである。
【００２７】
このため、ステップＳ２４では、これら３枚の画像Ｅ１〜Ｅ３を、たとえば以下の手順で合成して、合成輝度画像Ｅを作成する。ここでは、撮像手段１の輝度階調が２５６階調（輝度にして０〜２５５）を有するとする。合成の仕方の一例としては、つぎの手順（ステップ２４１、ステップ２４２）がある。
【００２８】
ステップ２４１では、３枚のセル内輝度画像で注目画素の輝度値がいちばん１２８の値に近い画像を選択する。
【００２９】
ステップ２４２では、
▲１▼露光時間が１／２ｓのときのセル内輝度画像である場合、該１／２ｓ露光時間のセル内輝度画像の輝度を出力する。
▲２▼露光時間が１／２０ｓのセル内輝度画像である場合、
（ｉ）輝度が黒レベル以下であるなら、１／２ｓ露光時間のセル内輝度画像の輝度を出力する。
（ｉｉ）輝度が黒レベルより上であるなら、（１／２０ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比１（１０＝（１／２）／（１／２０））を出力する。▲３▼露光時間が１／２００ｓのセル内輝度画像である場合、
（ｉ）輝度が黒レベル以下であるなら、（１／２０ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比１（１０＝（１／２）／（１／２０））を出力する。
（ｉｉ）輝度が黒レベルより上であるなら、（１／２００ｓ露光時間のセル内輝度画像の輝度−黒レベル）×輝度比２（１００＝（１／２）／（１／２００））を出力する。
【００３０】
まず、ステップ２４１において、黒レベル付近の輝度や飽和付近の輝度を有していないセル内輝度画像を選択し、ステップ２４２において合成処理を行なう。合成処理における輝度比１、２は露光時間の比に相当する。
【００３１】
検査パターンが全黒画面以外に全赤画面、全緑画面または全青画面がある場合には、それらのパターンの数だけ、同様に合成輝度画像を作成する。
【００３２】
ここまでの手順によって、撮像手段のダイナミックレンジを拡大して、各セルの輝度計測領域内の平均値または中央値を計測できたので、ステップＳ３〜Ｓ８では、これらの値と所定のしきい値を比較して、良否を判定する。しきい値は、セルの色ごとに設定されているものとする。
【００３３】
たとえば輝点欠陥を判定する場合、全黒画像に対して得られた前記平均値または中央値と、輝点欠陥の最小輝度に相当するしきい値とを比較し、しきい値以上の値が得られた場合に、そのセルを不良品と判定する。中間階調の輝度を表示した場合のセルの明るさの範囲が指定値に入っているかどうかを検査する場合は、良品を規定する上限しきい値と下限しきい値の２つを定めて、比較すればよい。
【００３４】
つぎに輝点欠陥の判定について説明する。
【００３５】
高い輝度を有する輝点欠陥が存在しなければ、各セルの輝度計測領域内の平均値または中央値と予め設定したしきい値を比較して良否を決めればよいが、高い輝度を有する輝点欠陥が存在する場合には、欠陥セルの周辺のセルに光がまわりこんで、周辺のセルの輝度が高くなってしまう。このため、固定したしきい値を比較に用いると、高輝度の輝点欠陥の周辺のセルは欠陥と誤認識されるという問題が生じる。
【００３６】
そこで、ステップＳ４では、たとえばつぎのようにして、高輝度輝点欠陥の周辺のセルに適用するしきい値を高くするように変更する。まず前記合成輝度画像Ｅについて、図９に示されるように、検査対象の画素ｐｔの周辺２画素、本実施の形態では、画素ｐｔの回りの２４画素（画素ｐｔから半径２つの画素すべての画素）において、画素ｐｔの輝度より高い輝度をもち、かつ予め指定した輝度γ以上の明るさをもった高輝度画素であるか否かを調べる。高輝度画素でない場合は、通常どおり検査対象の画素の輝度としきい値を比較し、検査対象の画素に該当するセルの良否を決定する。しきい値は、検査対象物である液晶表示パネルなどに色が異なるセルがある場合には、色ごとに設けるものとする。
【００３７】
一方、高輝度画素である場合は、図１０に示すしきい値増分係数マップＭを用いてしきい値増分を計算する。しきい値増分係数マップＭは、高輝度画素ｐを中心にしており、検査対象の画素の位置からマップＭ上で値を得て、しきい値増分値をつぎの式で計算する。
【００３８】
しきい値増分値 ＝ 高輝度画素の輝度値 × マップ上の値
【００３９】
図９〜１０の例の場合、図９において上の高輝度画素ｐ１の輝度をＧＵとし、下の高輝度画素ｐ２の輝度をＧＤとすると、しきい値増分値はそれぞれつぎのようになる。なお、図９では、説明上ｐｔ、ｐ１、ｐ２をわかりやすくするために斜線を入れている。
【００４０】
しきい値増分値（ｐ１） ＝ ＧＵ × ０．８β （１）
しきい値増分値（ｐ２） ＝ ＧＤ × ０．５α （２）
【００４１】
この例の場合のように、検査対象の画素に対し、高輝度画素が複数存在する場合は、前記式（１）、（２）により計算される値のうち、値の大きな方をしきい値増分値とする。ここで、α、βの値は検査対象物であるディスプレイ装置８の種類（液晶Ａまたは液晶Ｂなど）によって変更する値であり、α＞βとする。α、βの値や、係数マップＭ上の各値を実験に基づいて所定の値に設定することにより、高輝度画素が周囲に与える輝度の影響を設定することができる。たとえば、α＝０．１５、β＝０．０１などに設定される。
【００４２】
このようにして、しきい値増分値を決定したあと、検査対象の画素の輝度を、（予め設定されたしきい値＋しきい値増分値）と比較し、検査対象の画素に該当するセルの良否を決定する。
【００４３】
このステップＳ３〜Ｓ８による輝点欠陥の判定処理をまとめるとつぎの手順（ステップ３１〜３５）になる。
【００４４】
ステップ３１では、輝度合成画像の座標から、検査対象の画素の色を判別する。
【００４５】
ステップ３２では、周辺画素に検査対象の画素の輝度より高い輝度をもつ高輝度画素があるか否かを調べる。
▲１▼周辺画素に高輝度画素がない場合、検査対象の画素の色の違いによりつぎの（ｉ）〜（ｉｉｉ）の手順を行ない、当該検査対象の画素の判定を終了する。
（ｉ）検査対象の画素の色がＲの場合、輝度がＲＴｈより大きければ欠陥とする。それ以外は良とする。
（ｉｉ）検査対象の画素の色がＧの場合、輝度がＧＴｈより大きければ欠陥とする。それ以外は良とする。
（ｉｉｉ）検査対象の画素の色がＢの場合、輝度がＢＴｈより大きければ欠陥とする。それ以外は良とする。
▲２▼周辺画素に高輝度画素がある場合、ステップＳ３３へ進む。
【００４６】
ステップ３３では、周辺の高輝度画素の最高輝度値がγ以下であるか否かを調べる。
▲１▼周辺の高輝度画素の最高輝度値がγ以下である場合、ステップ３２の高輝度画素がない場合と同様の判定処理を行なう。
▲２▼周辺の高輝度画素の最高輝度値がγより大である場合、つぎのステップ３４へ進む。
【００４７】
ステップ３４では、周辺の各高輝度画素より、係数マップを用いて、しきい値増分値を計算し、そのうちの最大値をＴｈＵｐとする。
【００４８】
ステップ３５では、検査対象の画素の色の違いにより検査対象の画素の輝度を（しきい値＋しきい値増分値）と比較する。
▲１▼検査対象の画素がＲの場合、輝度が（ＲＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
▲２▼検査対象の画素がＧの場合、輝度が（ＧＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
▲３▼検査対象の画素がＢの場合、輝度が（ＢＴｈ＋ＴｈＵｐ）より大きければ欠陥とする。それ以外は良とする。
【００４９】
ここで、ＲＴｈ、ＧＴｈおよびＢＴｈは、各セルの色ごとに予め設定したしきい値である。
【００５０】
検査パターンと合成輝度画像が共に複数ある場合には、各合成輝度画像に対して、同様の検査を繰り返す。
【００５１】
ステップＳ３〜Ｓ８により、欠陥の有無と欠陥セルの画像上の座標が既知となる。ついでステップＳ９では、欠陥セルの画像上の位置をディスプレイ座標に変換する。欠陥セルの位置をディスプレイ座標に変換することで、欠陥セルの位置を、検査装置に依存しない形で出力でき便利である。もちろん欠陥セルの位置をディスプレイ座標で出力する必要のない場合はこのステップは不要である。ついでステップＳ１０では、欠陥セルの有無、欠陥セルの輝度情報および欠陥位置などを出力する。
【００５２】
本実施の形態１では、前記のように構成することで、周辺の明るいセルの有無によらず、安定した検査を行なうことができる。
【００５３】
実施の形態２
実施の形態１のステップＳ２では、最初に輝度計測領域内の輝度計測を行なって、平均値または中央値を求めてから、露光時間の異なるセル内輝度画像を合成したが、ステップＳ２はつぎのように構成してもよい。
【００５４】
最初に、露光時間の異なる撮像画像を、実施の形態１のステップ２４１、２４２と同様の手順で合成し、撮像画像の合成輝度画像を作成する。ついでこの合成輝度画像に対して、ステップＳ２１と同様に、各セルの輝度計測領域内で輝度計測を行ない、平均値または中央値を求め、そののち、ステップＳ２２と同様に、平均値または中央値を並べて新しい画像を作成する。この方法により、ステップＳ２４で得られる合成輝度画像に相当する画像を得ることができる。このようにしても、実施の形態１と同じ効果を奏することができる。
【００５５】
実施の形態３
実施の形態１のステップＳ９の画像座標とディスプレイ座標の変換処理において用いる変換式は、検査を開始する前につぎのように求めることができる。ここで、とくに述べない点に関しては、実施の形態１と同様である。
【００５６】
図１１に示すように、計測パターンを表示させたディスプレイの左上隅ＦＬに撮像手段１を移動させたのち、撮像し、ステップＳ１と同様にして、クロスハッチの計測を行なう。この計測が終了した時点で、ディスプレイ座標と画像座標の対応付け（変換）が可能となる。なぜなら、撮像している箇所は、ディスプレイの左上隅ＦＬとわかっているので、図１２に示されるように、撮像されたクロスハッチ左上のディスプレイ座標は、（０、０）座標のＧのセルであることが既知であるためである。撮像手段１のカメラの位置はそのカメラの視点である、撮像画像の中心で代表できるため、このときの画像の中心位置をディスプレイ座標で表したものを、（ＤＸ１、ＤＹ１）とする。また、このときの計測手段４から得られる撮像手段１の絶対位置を（ＷＸ１、ＷＹ１）とする。
【００５７】
この絶対座標とディスプレイ座標の変換式をつぎのようなアフィン変換で行なえると仮定する。
（ＤＸ、ＤＹ）Ｔ ＝ Ａ（ＷＸ、ＷＹ）Ｔ ＋ ｂ （３）
【００５８】
ここで、Ａは２×２の行列で回転、ＸＹ方向の倍率、歪みを示し、ｂは２次元ベクトルで並進成分を示す。Ｔはベクトルの転置を示す。今回の場合、本実施の形態では、少なくとも前記ディスプレイ座標と絶対座標の組み合わせが３点あれば、アフィン変換の各係数であるＡおよびｂが計算できるが、本実施の形態では、図１１に示されるように、ディスプレイ画像の４隅（左上隅ＦＬ、右上隅ＦＲ、右下隅ＲＲ、左下隅ＲＬ）を撮像することで、４点の座標の組み合わせからＡおよびｂを計算する。なお、３点以上の座標の組み合わせから計算する場合は、式（３）の形に対して最小２乗法などの回帰計算を行なう。
【００５９】
このアフィン変換式を前もって計算しておくことにより、実施の形態１のステップＳ１において、画像座標とディスプレイ座標との変換式を正確に計算することができる。また、ステップＳ１において、図５に示されるように複数のセルＣの中心位置Ｐを計算するが、同時に、計測手段４により、撮像手段１の絶対位置（ＷＸＭ、ＷＹＭ）Ｔ を取得する。この絶対位置を、式（３）を使ってディスプレイ画面の座標（ＤＸＭ、ＤＹＭ）Ｔ に変換する。このディスプレイ座標は、撮像手段１の位置や変換式が極めて正確であれば、現画像の中央位置に見える点のディスプレイ座標となる。クロスハッチは予め設定したところに表示するため、この画面の中央位置を示す座標（ＤＸＭ、ＤＹＭ）Ｔ から一番近くに見えるはずのクロスハッチ上の計測点位置、すなわち計測点のディスプレイ座標（ＤＸＰ、ＤＹＰ）Ｔ が計算できる。また、ステップＳ１の画像計測において、ディスプレイ座標と画像座標の倍率が計算できるため、（ＤＸＭ、ＤＹＭ）Ｔ と（ＤＸＰ、ＤＹＰ）Ｔ の差に倍率を掛けて計算することで、画像座標も計算できる。この画像座標の位置を計測点の予想位置と呼ぶことにする。
【００６０】
ところが実際には、その予想した画像座標の位置にクロスハッチ上の計測点が計測されるとは限らない。それは移動手段３の機構的な弾性変形や、計測手段４の計測誤差があるので、画像上でずれた位置にクロスハッチの計測点が実測される場合があるためである。そこで、前記予想位置から画像上、最も近い位置にある計測点の画像座標が、ディスプレイ画像の（ＤＸＰ、ＤＹＰ）Ｔ に該当していると仮定する。この仮定が成立するためには、誤差などによるずれ量が、クロスハッチ間隔の１／２以下である必要がある。逆に、ずれ量の上限が見積もれる場合は、クロスハッチ間隔をその上限値の倍以上に設定すれば仮定は常に正しく成立するので、そのように実施する。この１点で画像座標とディスプレイ座標の整合がとれれば、予め表示位置が決まっている計測点のディスプレイ座標はすべて決定されるので、すべての計測点で、ディスプレイ座標と画像座標の対応が正確にとれ、計測誤差などの影響を取り除くことができる。画像座標とディスプレイ座標の変換式においても、式（３）と同じアフィン変換の式を用いることにすれば、３点以上の座標の組み合わせで、画像座標とディスプレイ座標の変換式を計算することができる。
【００６１】
これで得られた変換式を実施の形態１におけるステップＳ９で用いれば、ディスプレイ座標での出力は可能となる。
【００６２】
実施の形態４
実施の形態３においては、画像座標とディスプレイ座標の変換式をアフィン変換の式を用いて構成したが、つぎのようにすればさらに多数の点、すなわちほとんどすべての計測点を用いて、アフィン変換より精度のよい変換式を構成することが可能である。
【００６３】
今回の例では、計測点は、格子状に整列しているため、図１３に示されるように、その９点の集合ごとに小領域ＳＲを作成する。そしてその各領域ごとに画像座標とディスプレイ座標の関係を２次曲線で回帰し、そのパラメータを各領域ごとに保存する。２次曲線の形は、たとえばつぎの式（４）、（５）のようになる。
【００６４】
【数１】
ここで、（Ｘ、Ｙ）は変換前の座標であり、（Ｕ、Ｖ）は変換後の座標であり、ａｉｊ、ｂｉｊは２次曲線のパラメータである。また、ａ、ｂはそれぞれ６つある。ディスプレイ座標から画像座標の変換式を求める際には、（Ｘ、Ｙ）をディスプレイ座標とし、（Ｕ、Ｖ）を画像座標とし、９点の座標の組み合わせから、パラメータを計算しておく。また、画像座標からディスプレイ座標の変換式が必要な場合は、（Ｘ、Ｙ）を画像座標、（Ｕ、Ｖ）をディスプレイ座標としてパラメータを計算しておく。これらのパラメータは各小領域ごとに計算し、小領域の中心である点の画像座標およびディスプレイ座標ともに保存しておく。実際の変換では、画像座標が与えられた場合、どの計測点に近いかで、どの小領域に属するかをまず計算し、属する小領域のパラメータを用いて式（４）、（５）に基づいて変換の計算を行なう。
【００６６】
前述したアフィン変換では、画面上の位置によらず変換計算は一定である。ところが、撮像手段を構成するレンズの歪みは画面中央では少なく、周辺部では大きいという特性がある。すなわち画面上の位置により歪み量が異なる。こういった場合、画面上で常に一定の計算方式では精度よく変換計算を行なうことができない。このように、複数の計測点を小領域にわけ、各小領域ごとに回帰計算のパラメータを変えて変換計算を行なえば、画面上の位置により異なる歪み量を補正することでき、より正確なディスプレイ座標と画像座標の変換式を得ることができる。
【００６７】
実施の形態３の場合の、ステップＳ１において、複数の計測点の画像座標とディスプレイ座標が得られた段階で、ディスプレイ座標と画像座標の変換式を計算しておけば、ステップＳ２において、検査対象となる全セルのディスプレイ座標を元に輝度計測領域を計算し、前記変換式を適用して輝度計測領域の画像座標を求めることで、より正確なセルの位置を計算できる。
【００６８】
実施の形態５
実施の形態１において、ステップＳ２で用いるＲＴｈ、ＧＴｈ、ＢＴｈなどの予め設定しておくしきい値の計算方法をつぎのように行なってもよい。
【００６９】
まずセル内輝度画像の合成画像が得られた時点で、一旦、画面内の全セルについて、色ごとに分類した平均値または中央値である、ＲＢＡＳＥ、ＧＢＡＳＥ、ＢＢＡＳＥを計算しておく。通常、欠陥セルの数は画面全体のセルの数に比べて非常に少ないはずなので、これらの値は、正常なセルのもつ代表的な輝度値と考えることができる。また、通常、撮像手段の色に対する感度の違いや、検査対象物である液晶表示装置を構成するカラーフィルタの透過特性により、色によって正常なセルの輝度値が異なるのが普通である。そこで、これらの正常なセルの輝度値と考えられる値に対して、異常値を検出する基準値を足しこむことでしきい値を構成する。すなわち、
ＲＴｈ＝ＲＢＡＳＥ ＋ ＲＳＴＤ・ＶＡＬＵＥ
ＧＴｈ＝ＧＢＡＳＥ ＋ ＧＳＴＤ・ＶＡＬＵＥ
ＢＴｈ＝ＢＢＡＳＥ ＋ ＢＳＴＤ・ＶＡＬＵＥ
とすることで、より正確に検査が可能なしきい値を構成することができる。ここで、ＲＳＴＤ・ＶＡＬＵＥ、ＧＳＴＤ・ＶＡＬＵＥおよびＢＳＴＤ・ＶＡＬＵＥは、それぞれＲ、ＧおよびＢに相当する異常値を検出するしきい値である。
【００７０】
また、撮像手段の色による感度特性が予め既知である場合は、ステップＳ２で得られる輝度計測の結果に、その感度特性に基づく係数を掛けて輝度を補正してもよい。このようにすることで、セルの色に左右されない正確な検査が実現できる。
【００７１】
【発明の効果】
請求項１記載の発明によれば、各セルの輝度平均値または中央値としきい値を比較する際に、検査対象となるセルの近傍に高い輝度のセルが存在した場合、その近傍のセルの輝度値に応じて、しきい値を高くするため、高い輝度をもった輝点欠陥セルが存在しても、正確に、かつ精度よく検査を行なうことができる。
【００７２】
請求項２記載の発明によれば、前記輝度計測について、撮像手段の露光時間を変えて複数回、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果を合成して、それぞれの輝度計測領域内の輝度を計算するため、撮像手段のダイナミックレンジ不足を解消することができ、暗い欠陥に関しても明るい欠陥に関しても同時に検査することができる。
【００７３】
請求項３記載の発明によれば、予めディスプレイ画面上の特定の座標位置と、該座標位置に関する撮像手段で得られる画像上の位置と、その際の撮像手段の絶対位置のデータの集合を複数用いて、撮像手段の絶対位置とディスプレイ画面上の変換式を計算しておき、検査の際には、撮像手段の絶対位置と前記変換式を用いて得られる計測パターンの画像上の予想位置と、実際の計測パターンの画像上の位置のずれを計測し、このずれ量を用いて画像座標とディスプレイ座標の変換式を新たに計算し、この変換式を用いて、検査したセルの画像上の位置をディスプレイ座標位置に変換して出力するため、移動手段の弾性変形またはガタなどに基づく計測手段の測定誤差に影響されないで、正確なディスプレイ座標位置を出力できる。
【００７４】
請求項４記載の発明によれば、前記位置計測パターンについて、ディスプレイ画面上の所定位置の複数のセルを点灯して、複数点のセルの位置を計測し、それらを小領域に分割して、その各小領域ごとに画像座標とディスプレイ座標の関係を曲線回帰することにより、撮像手段の画像の歪み量を補正して、各セルの位置を計算するため、セルの輝度計測領域を正確に設定することができる。
【００７５】
請求項５記載の発明によれば、前記しきい値の作成において、検査領域全体に関して、色の異なるセルごとに平均値または中央値を計算し、その平均値または中央値に基準値を足しこむことにより色の異なるセルごとにしきい値を作成するため、撮像手段の色による感度の違いや、検査対象のセルの色による発光量の違いがあっても、正確に検査することができる。
【００７６】
請求項６に記載の発明によれば、前記輝度計測においてて、色の異なるセルごとに、輝度計測の結果を撮像手段の感度特性に基づく係数を乗じて補正するため、撮像手段の色による感度の違いを補正し、正確に検査することができる。
【００７７】
請求項７記載の発明によれば、ディスプレイ画面を撮像する撮像手段と、ディスプレイ画面の画面制御を行なうディスプレイ画面制御手段と、撮像手段を保持して移動を可能にする移動手段と、撮像手段の絶対位置を計測する計測手段と、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を処理して、個々の画素を構成する各セルの位置を計測し、撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を処理して、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行ない、各セルの輝度平均値または中央値としきい値を比較する際には、検査対象となるセルの近傍に高い輝度のセルが存在した場合、近傍のセルの輝度値に応じて、しきい値を高くするように構成した画像処理手段と、検査の全体の流れの制御を行なう制御手段を備えているため、高い輝度をもった輝点欠陥セルが存在しても、正確に、かつ精度よく検査を行なうことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１にかかわるディスプレイ画面検査装置を示す構成図である。
【図２】実施の形態１にかかわるディスプレイ画面検査方法を説明するためのフローチャートである。
【図３】実施の形態１の計測パターンを説明するための図である。
【図４】図３の要部拡大図である。
【図５】実施の形態１の計測パターンから計測された複数のセルの中心位置を説明するための図である。
【図６】実施の形態１の計測パターンから複数のセルの中心位置の計測する方法を説明するための図であり、図６（ａ）は投影処理を説明する図、図６（ｂ）はウインドウ設置、重心計測およびライン抽出を説明する図および図６（ｃ）は交点検出を説明する図である。
【図７】実施の形態１にかかわるディスプレイ画面検査方法のステップ２を説明するためのフローチャートである。
【図８】実施の形態１にかかわるディスプレイ画面検査方法のステップ２におけるセル内輝度画像および合成輝度画像の作成手順を説明するための図である。
【図９】実施の形態１にかかわるディスプレイ画面検査方法において、検査対象の画素周辺で高輝度セルの存在の有無を説明するための図である。
【図１０】実施の形態１にかかわるディスプレイ画面検査方法において、高輝度セルによるしきい値上昇値を計算するためのしきい値増分係数マップを説明するための図である。
【図１１】実施の形態３にかかわるディスプレイ画面検査方法において、ディスプレイ座標と絶対座標の変換式を求める方法を説明するための図である。
【図１２】ディスプレイ画像の左上隅を示す図である。
【図１３】実施の形態４にかかわるディスプレイ画面検査方法において、画像座標とディスプレイ座標の変換式を求める方法を説明するための図である。
【図１４】従来の液晶表示パネルの検査方法を説明するための構成ブロック図である。
【図１５】従来の液晶表示パネルの検査方法において、液晶表示パネルの表示画素と、ＣＣＤカメラに内蔵されたエリア型フォトセンサを構成するフォトセルの相対位置関係を説明するための図である。
【図１６】従来の液晶表示パネルの検査方法において、液晶表示パネルのアライメントを説明するための図である。
【符号の説明】
１ 撮像手段、２ ディスプレイ画面制御手段、３ 移動手段、４ 計測手段、５ 画像処理手段、６ 制御手段、７ 判定結果、８ ディスプレイ装置。
Claims (7)
- ディスプレイ画面の所定の表示領域に関して、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を用いて、個々の画素を構成する各セルの位置を計測し、前記撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を用いて、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行なう方法であって、各セルの輝度平均値または中央値としきい値を比較する際に、検査対象となるセルの近傍に高い輝度のセルが存在した場合、その近傍のセルの輝度値に応じて、しきい値を高くするディスプレイ画面検査方法。
- 前記輝度計測について、撮像手段の露光時間を変えて複数回、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果を合成して、それぞれの輝度計測領域内の輝度を計算する請求項１記載のディスプレイ画面検査方法。
- 予めディスプレイ画面上の特定の座標位置と、該座標位置に関する撮像手段で得られる画像上の位置と、その際の撮像手段の絶対位置のデータの集合を複数用いて、撮像手段の絶対位置とディスプレイ画面上の変換式を計算しておき、検査の際には、撮像手段の絶対位置と前記変換式を用いて得られる計測パターンの画像上の予想位置と、実際の計測パターンの画像上の位置のずれを計測し、このずれ量を用いて画像座標とディスプレイ座標の変換式を新たに計算し、この変換式を用いて、検査したセルの画像上の位置をディスプレイ座標位置に変換して出力する請求項１記載のディスプレイ画面検査方法。
- 前記位置計測パターンについて、ディスプレイ画面上の所定位置の複数のセルを点灯して、複数点のセルの位置を計測し、それらを小領域に分割して、その各小領域ごとに画像座標とディスプレイ座標の関係を曲線回帰することにより、撮像手段の画像の歪み量を補正して、各セルの位置を計算する請求項１記載のディスプレイ画面検査方法。
- 前記しきい値の作成において、検査領域全体に関して、色の異なるセルごとに平均値または中央値を計算し、その平均値または中央値に基準値を足しこむことにより色の異なるセルごとにしきい値を作成する請求項１記載のディスプレイ画面検査方法。
- 前記輝度計測について、色の異なるセルごとに、輝度計測の結果を撮像手段の感度特性に基づく係数を乗じて補正する請求項１記載のディスプレイ画面検査方法。
- ディスプレイ画面を撮像する撮像手段と、ディスプレイ画面の画面制御を行なうディスプレイ画面制御手段と、撮像手段を保持して移動を可能にする移動手段と、撮像手段の絶対位置を計測する計測手段と、撮像手段を用いて撮像した、位置計測パターンを表示させたディスプレイ画面の画像を処理して、個々の画素を構成する各セルの位置を計測し、撮像手段を用いて撮像した、検査パターンを表示させたディスプレイ画面の画像を処理して、前記計測した各セルの位置にそれぞれ輝度計測領域を設け、それぞれの輝度計測領域内で輝度計測を行ない、得られた輝度計測の結果の平均値または中央値を計算し、しきい値と比較して、各セルの検査を行ない、各セルの輝度平均値または中央値としきい値を比較する際には、検査対象となるセルの近傍に高い輝度のセルが存在した場合、近傍のセルの輝度値に応じて、しきい値を高くするように構成した画像処理手段と、検査の全体の流れの制御を行なう制御手段を備えてなるディスプレイ画面検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369996A JP3618713B2 (ja) | 2001-12-04 | 2001-12-04 | ディスプレイ画面検査方法およびディスプレイ画面検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001369996A JP3618713B2 (ja) | 2001-12-04 | 2001-12-04 | ディスプレイ画面検査方法およびディスプレイ画面検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003167530A JP2003167530A (ja) | 2003-06-13 |
| JP3618713B2 true JP3618713B2 (ja) | 2005-02-09 |
Family
ID=19179298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001369996A Expired - Fee Related JP3618713B2 (ja) | 2001-12-04 | 2001-12-04 | ディスプレイ画面検査方法およびディスプレイ画面検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3618713B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646939A (zh) * | 2016-11-17 | 2017-05-10 | 南京华东电子信息科技股份有限公司 | 一种Mura缺陷检出方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005249946A (ja) * | 2004-03-02 | 2005-09-15 | Inter Action Corp | 表示装置の欠陥検査装置 |
| JP4543815B2 (ja) * | 2004-08-06 | 2010-09-15 | パナソニック株式会社 | プラズマディスプレイパネルの点灯画面検査方法 |
| JP5298507B2 (ja) | 2007-11-12 | 2013-09-25 | セイコーエプソン株式会社 | 画像表示装置及び画像表示方法 |
| JP5692691B2 (ja) * | 2008-05-09 | 2015-04-01 | Ｎｌｔテクノロジー株式会社 | 表示装置の検査方法と検査装置及び表示装置用基板と表示装置 |
| JP5200743B2 (ja) | 2008-08-01 | 2013-06-05 | セイコーエプソン株式会社 | 画像処理装置、画像表示装置、画像処理方法、画像表示方法及びプログラム |
| JP2011196685A (ja) * | 2010-03-17 | 2011-10-06 | Sharp Corp | 欠陥検出装置、欠陥修復装置、表示パネル、表示装置、欠陥検出方法、プログラム |
| JP5640025B2 (ja) * | 2012-01-27 | 2014-12-10 | Ckd株式会社 | 三次元計測装置 |
| KR102182015B1 (ko) * | 2013-02-28 | 2020-11-23 | 엘지이노텍 주식회사 | 광원의 휘도 평가 방법 및 조명 장치 |
| KR102175308B1 (ko) * | 2013-06-17 | 2020-11-06 | 엘지이노텍 주식회사 | 광원의 휘도 평가 방법 및 조명 장치 |
| JP6907786B2 (ja) * | 2017-07-28 | 2021-07-21 | コニカミノルタ株式会社 | 二次元測色装置および二次元測色方法 |
| CN111651132B (zh) * | 2020-06-02 | 2023-03-24 | 马鞍山芯乔科技有限公司 | 一种基于视觉检查画面的子母画面同步显示*** |
-
2001
- 2001-12-04 JP JP2001369996A patent/JP3618713B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106646939A (zh) * | 2016-11-17 | 2017-05-10 | 南京华东电子信息科技股份有限公司 | 一种Mura缺陷检出方法 |
| CN106646939B (zh) * | 2016-11-17 | 2019-11-19 | 南京华东电子信息科技股份有限公司 | 一种Mura缺陷检出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003167530A (ja) | 2003-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6198514B1 (en) | Color misconvergence measurement using a common monochrome image | |
| JP4907725B2 (ja) | キャリブレーション装置、欠陥検出装置、欠陥修復装置、表示パネル、表示装置、キャリブレーション方法 | |
| JP2011196685A (ja) | 欠陥検出装置、欠陥修復装置、表示パネル、表示装置、欠陥検出方法、プログラム | |
| JP3618713B2 (ja) | ディスプレイ画面検査方法およびディスプレイ画面検査装置 | |
| JP3333686B2 (ja) | 表示画面検査方法 | |
| JPH0829360A (ja) | Ｌｃｄパネル画質検査装置及びｌｃｄ画像プリサンプリング方法 | |
| JP2009111886A (ja) | 画像処理装置 | |
| JP4411588B2 (ja) | 欠陥検査装置 | |
| JP2006245891A (ja) | カメラモジュールの画像検査用チャート、この画像検査用チャートを用いたカメラモジュールの画像検査方法および画像検査装置 | |
| JP2008180602A (ja) | 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP4053571B2 (ja) | 輝度算出方法、輝度算出装置、検査装置、輝度算出プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JPH1031730A (ja) | キャリブレーション方法 | |
| JPH11234706A (ja) | テレビカメラ映像調整装置 | |
| JPH08327497A (ja) | カラー液晶表示パネルの検査方法 | |
| JPH08159984A (ja) | パタンムラ検査装置 | |
| KR20010034160A (ko) | 전자 빔 프로파일 측정 방법 및 시스템 | |
| KR100517324B1 (ko) | 평판 표시 패널의 화질 검사 방법 | |
| KR970012877A (ko) | 음극선관 화면 검사 조정 장치 및 방법 | |
| KR0183736B1 (ko) | 음극선관 화면 상의 광센서 정렬 상태를 판단하는 방법 | |
| JP2001083474A (ja) | 液晶表示パネルの検査方法 | |
| JP3904208B2 (ja) | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 | |
| WO2024018347A1 (en) | Image processing for pixel correction | |
| JP2000221111A (ja) | 表示画面の検査方法と装置 | |
| JPH09218095A (ja) | 色むら検査装置 | |
| JPH06302278A (ja) | カラー陰極線管の輝線幅測定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041110 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |