JP4218291B2 - 画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法等に関するものである。例えば被検査対象の表示画面に生ずる欠陥の有無を検査をする際に特に用いられる処理についてのものである。
【０００２】
【従来の技術】
現在、例えば液晶パネル等、様々な種類の表示装置がある。各表示装置の表示部分は画素の集まりで構成される。ここで、各画素における発光量のバランスがとれていれば表示画面は一様である。しかし、実際には画素全体にわたって品質管理を行うのが困難であるため、表示部分の全ての画素のバランスをとることは難しい。発光量のバランスが崩れると、画面上に発生する点欠陥、シミ、むら等（以下、これらを欠陥という）の原因となってしまう。当然、画素数が多くなるほど（大きな画面になるほど）欠陥が発生する確率は高くなる。また、プロジェクタ等のように表示部分が拡大されて投影される（画素も拡大される）場合には、発生した欠陥が人間の眼に映りやすくなる。
【０００３】
通常、表示装置を製品として出荷する前の段階で、その表示部分であるパネルが良又は不良であるかどうかの検査（以下、良否判断という）がなされる。従来は、検査員がパネルを直接目視又は投影面に投影した表示画面を目視してパネルの良否を判断していた。しかし、検査員によって欠陥が発生しているかどうかの判断基準に個人差があるし、同じ検査員でもその時の状況（体調等）により判断に差が生じる場合がある。そこで、このような欠陥の有無を客観的、自動的に検出し、良否判断を行うための装置等も提案されている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２５７９３７号公報
【０００５】
【発明が解決しようとする課題】
ただ、表示装置（パネル）の種類（例えばプラズマ、有機ＥＬ等）によって、その画面の良否判断の検査の基準が異なる。また、画素の表示階調が異なることによっても基準が異なる。このように表示装置の種類の違い、同じ表示装置でも表示状況の違いに応じて基準が異なるので、その判断処理の方法もその度に異なるものとなり不便であった。しかも、これらの基準は、欠陥のある画面（画素）とはどのようなものであるかを基準とするものであり、日々厳しくなる基準に伴って検査する（判断する）項目も追加され多くなっていく傾向にあった。
【０００６】
本発明はこのような問題点を解決するためになされたものであり、表示装置（パネルの種類）、表示状況の違いに依存した処理を行わなくても検査を行えるような画像処理方法等を得ることを目的とするものである。
【０００７】
【課題を解決するための手段】
そのため、本発明に係る画像処理装置は、良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、被検査対象に表示された画面を撮像手段が撮像して得られた各画素のデータを基準化した基準化値を基準化値データとして算出する基準化値データ演算手段、良画素のサンプルによってあらかじめ得られたデータから、シュミットの直交展開を利用してそれぞれのデータに基づいて算出した回帰係数及び残差成分の分散に基づく値及び基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出する直交展開演算手段、直交展開演算手段が算出した残差成分の値及び分散に基づく値により直交変数の値をデータとして算出する直交変数演算手段、及び、直交変数の値のデータに基づいて、被検査対象の画面を構成する画素毎に、画素をさらに分解した複数の輝度のデータからマハラノビスの距離をデータとして算出する距離演算手段を有する演算処理手段と、演算処理手段が処理した結果に基づいて表示画面の良否を判断する検査判断手段とを備えたものである。
【０００８】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像した撮像手段から送信された輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたものである。
本発明においては、撮像手段から送信される輝度の信号を輝度値データとして処理できる輝度値データ取得手段を備える。これにより、画像処理装置単体での検査、リアルタイムでの検査を行うことができる。
【０００９】
また、本発明に係る画像処理装置の距離演算手段は、算出した各画素のマハラノビスの距離と表示画面における各画素の位置とを関連づけて、検査判断手段は、表示画面の各画素によるマハラノビスの距離の分布に基づいて表示画面の良否を判断する。
本発明においては、距離演算手段が、表示画面における各画素の位置と各画素のマハラノビスの距離とを関連づけて、検査判断手段が、表示画面の各画素によるマハラノビスの距離の分布により、点欠陥、むら、シミ等の画面の検査を行う。この場合、画面の隅の欠陥と中央の欠陥とで良否判断の重みを異ならせるような判断を行わせることもできる。これにより、より実体に即した良否判断を行うことができる。
【００３６】
【発明の実施の形態】
実施形態１．
図１は本発明の第１の実施の形態に係る画像処理装置を中心とするシステムの構成を示すブロック図である。図１において、１０は画像処理装置である。画像処理装置１０は、処理手段１、入力手段２、表示手段３及び記憶手段４で構成される。
【００３７】
１は処理手段である。処理手段１は、演算処理部分となる平均・標準偏差演算部１Ａ、逆行列演算部１Ｂ、基準化値データ演算部１Ｃ及び距離演算部１Ｄ、検査判断手段となる検査判断部１Ｅ並びに輝度値データ取得部１Ｆで構成される。平均・標準偏差演算部１Ａは、送信される輝度値のデータ（以下、これを輝度値データという）に基づいて、その平均値と標準偏差とを演算処理する。逆行列演算部１Ｂは、輝度値データに基づく相関行列の逆行列を算出する。基準化値データ演算部１Ｃは、輝度値データ並びに平均・標準偏差演算部１Ａが算出した平均値及び標準偏差に基づいて基準化値を算出し、データ（以下、これを基準化値データという）の作成処理をする。距離演算部１Ｄは、液晶パネル１００の各画素についてマハラノビスの距離（又はその平方距離。本明細書ではこれらを含めて距離という）を算出し、これをデータとする。検査判断部１Ｅは、距離演算部１Ｄが算出したマハラノビスの距離のデータに基づいて、画面（画素）の良否を判断する。輝度値データ取得部１Ｆは、カメラ２０から送信される信号に基づいて輝度値を判断し、輝度値データを作成する。処理手段１の各部の処理の詳細については後述する。また、ここでは特に図示はしないが、後述するように、撮像画素数を決定し、カメラ２０にその撮像画素で撮像させるための処理を行う部を設けるようにしてもよい。
【００３８】
入力手段２は、操作者が入力する指示、各種データ等を、例えば電気信号に変換して処理手段１に送信する。表示手段３は、処理手段１からの表示信号に基づいて、検査結果その他操作者に示すデータ（情報）を記号、画像等で表示する。記憶手段４は、処理手段１が演算途中、演算後に算出したデータを一時的に又は長期的に記憶する。
【００３９】
２０は撮像手段となるカメラである。カメラ２０は、例えばＣＣＤ等の複数の受光素子で構成されており、各受光素子は受光量を、例えば電気信号に変換する。本実施の形態では、信号は画像処理装置１の輝度値データ取得部１Ｆに送信され、輝度値データとして作成処理されるものとする。なお、処理手段１に信号を送信する際にインターフェイスとなる手段を介する場合もあるが、ここでは省略している。１００は被検査対象となる液晶パネルである。本実施の形態では液晶パネル１００を被検査対象とするが、特に液晶パネルに限定するものではなく、他の種類（例えばプラズマ、有機ＥＬ等）のパネル等でもよい。
【００４０】
本実施の形態は、液晶パネル等のパネル画素単位での検査方法を確立したものである。そのため、カメラ２０で撮像した画像に基づいて、液晶パネル１００の良否を判断するが、カメラ２０で撮像する際、人間の視力に基づく眼の最小分解能による画素数（これが輝度値データの数となる）での撮像を行う。そして、輝度値データに基づいて演算を行い、特殊なパターン認識技術であるＭＴ（マハラノビス・タグチ）法に基づいてマハラノビスの距離をパネルを構成する画素毎に算出する。マハラノビスの距離の分布に基づいてパネル（表示画面）の良否判断を行う。このように人間の眼の分解能を基準として、液晶パネル１００を検査するために必要な輝度値データ数を決定することで、パネルに依存しない基準を確立する。また、良画素を単位空間とするマハラノビスの距離の差を基準として、画素の良、不良の度合いを数値化し、不良画素の基準を増減することで良否判断を行うのではなく、良画素であるための基準を広狭して良否判断を行う。そのため、パネルの種類に関係なく、しかも良画素との比較において、画素毎の良否を含めた検査対象の良否を判断することができる。このように、人間の眼の分解能を基準として算出したマハラノビスの距離だけに基づいた良否判断の手順は、パネルに関係なく同じ手順で行える。
【００４１】
ここで、処理手段１を構成する各部をそれぞれ別個の手段（ハードウェア）として構成してもよいが、本実施の形態では、処理手段１を例えばＣＰＵ（Central Prosessing Unit ）を中心とするコンピュータ等のような演算処理手段で構成するものとする。そして、各部の処理手順をあらかじめプログラム化したものを演算処理手段が実行し、そのプログラムに基づく処理を行うことで、上述した各部の機能を実現する。
【００４２】
また、本実施の形態では画像処理装置１の輝度値データ取得部１Ｆがカメラ２０から入力された信号に基づく輝度の判断処理を行っているが、別の装置にこの処理を行わせ、取得されたデータを例えば他の記録媒体から入力した上で、検査処理を処理手段１が行うようにしてもよい。この場合には、処理手段１に輝度値データ取得部１Ｆは必要がない。また、平均・標準偏差演算部１Ａ及び逆行列演算部１Ｂについても、マハラノビスの距離を算出する際の基準となる単位空間の作成時にしか用いないので、実際の検査時に用いる処理手段１には必要がない。
【００４３】
次に本実施の形態に係る画像処理の方法について説明する。その前段階として、液晶パネル１００を検査するために必要なデータ数（つまり、液晶パネル１００を撮像するカメラ２０の画素数）を決定する。この決定に際しては人間の視力に注目する。
【００４４】
図２は最小分解能を決定する方法を示す図である。図２において、破線で示されている部分の間が、人間が投影面を視認できる範囲である。また、投影された投影面を人間が直視して検査を行う場合の最小分解能（以下、分解能という）を実線で示す。また、一点鎖線は、液晶パネル１００と投影面との関係を表す。画像処理による検査を行う場合には、まず、投影面に投影した画面を人間が目視で検査する場合と同じ条件（分解能）を保ちつつ、カメラ１０による液晶パネル１００の直に撮像（以下、直撮という）する必要がある。そのために、液晶パネル１００を撮像するカメラ１０の画素数を決定する。
【００４５】
ここで、以下に３種類の画素に基づいて分解能を説明するが、３種類の画素とはそれぞれ次の示す画素である。１つ目は、検査対象である液晶パネルが有する画素（以下、パネル画素という）である。２つ目は、投影面に投影させた画像について、ある基準に基づいて算出した、人が視認できる最小の単位を表す画素（以下、表示画素という）である。３つ目は、検査のデータを得るために液晶パネルを直撮するカメラが有するそれぞれの受光素子が表す画素（以下、撮像画素という）である。
【００４６】
図３は各視力値におけるランドルト氏環の寸法を表す図である。画素数の算出をするため、計算に必要な分解能について求める。人間の眼の分解能については「最小分離閾を基本理念とし、最小可読閾を用いる」と国際眼科学会で規定されている。この基準としてランドルト氏環が定められている。この規定から、分解能についてはランドルト氏環の定義より視力２．０の値を引用することとし、視野角として表される約０．５分（１／１２０°）を分解能として定める。この視力２．０は、２．０の視力であればほとんどの人の眼の分解能を満たすであろうという推測のもとに定めた値である（視力２．０の人は、５ｍの距離から３．６４ｍｍのランドルト氏環における０．７２７ｍｍの切れ目（０．５分）を判別することができる）。
【００４７】
ここでは、図２に示すように、撮像画素数を求めるための条件として、カメラ（眼）と液晶パネルの距離を２４０ｍｍ、注視時の分解能（視角）を０．５分（１／１２０°）と定める。
【００４８】
図４は検査を行う際の投影サイズの関係を表す図である。図４のように、目視による実際の投影検査においては、眼と投影面との距離を１５００ｍｍ、投影サイズを６０インチ（１２１９．１５ｍｍ×９１４．３６ｍｍ）とする。
【００４９】
まず、人間の眼の分解能を計算する。

【００５０】
したがって、人間の眼の分解能により検査することができる投影面の表示画素数は次式（２）のようになる。

【００５１】
次に人間の眼の分解能と同じ分解能で表示パネルを直撮するカメラの撮像画素数を決定する。ここで検査の対象となる液晶パネルの最大サイズを８５ｍｍ×５５ｍｍと定めた。前述したようにカメラ２０と液晶パネル１００の距離は２４０ｍｍであるので、このときの分解能は次式（３）で表される。

【００５２】
したがって、人間の眼の分解能と同じ分解能で８５ｍｍ×５５ｍｍの液晶パネルを検査する際、カメラに必要な撮像画素数は次式（４）のようになる。

【００５３】
上述のように、本実施の形態では８５ｍｍ×５５ｍｍの液晶パネル１００を６０インチの表示で投影した場合に、視力が２．０の人の眼の分解能に合わせて、検査に必要なカメラ１０の撮像画素数を決定したが、条件の採り方によってはその値も異なる。このような場合には上述の各式に当てはめて撮像画素数を算出する。ここで、撮像画素を基準に考えれば、投影サイズが同じ場合、液晶パネル１００の画素ピッチが広い程、１つのパネル画素に対する撮像画素数が多くなり、逆に画素ピッチが狭い程、１つのパネル画素に対する撮像画素数も少なくなる。
【００５４】
図５は１つのパネル画素の輝度値の分布を３次元で表した図である。図５は１つのパネル画素を１３×１３（＝１６９）の受光素子で受光し、輝度値データ取得部１Ｆにおいて、１つのパネル画素について１６９の輝度値のデータを取得することを示している。ここでは、６×６のパネル画素を有するパネルの、ある１つのパネル画素について表している。ここで、本実施の形態では分解能及びパネル画素の大きさから、マハラノビスの距離を有効に算出するのに必要な輝度値データ数を確保することができ、そのため、１つのパネル画素に注目することができる。ただ、基準とする範囲が小さかったり、分解能が低かったりした場合には、通常マハラノビスの距離を有効に算出するのに必要なデータ数を確保できるだけの範囲（大きさ。ここでは複数のパネル画素を基準とする）を確保したり、分解能を高めたり（ここでは視力の基準を上げる）する必要がある。以下では説明を簡単にするため、検査処理するデータ数（量）は必ずしも上述した８５ｍｍ×５５ｍｍの液晶パネル１００のパネル画素数並びに算出した表示画素数及び撮像画素数に基づいて算出したデータ量に準拠したものではない場合もある。
【００５５】
図６は１つのパネル画素の輝度値の分布を３次元から２次元に展開した図である。ここで、各パネル画素における各撮像画素の位置（座標）を（１，１）、（１，２）、…、（１３，１３）で表すことにする。このように、ｘ座標、ｙ座標、輝度値の３次元（項目）（位置関係としては２次元）として得られるデータを（ｘ座標，ｙ座標）と輝度値という２次元（位置関係としては１次元）のデータとして扱う（変換する）。そして、位置（ｘ座標，ｙ座標）に基づいて、輝度値データの列びや採るデータを選択する。この選択は非常に重要なものとなる。というのは、例えば、２次元でのパターン認識（マッチング）を考える場合には、通常、縦（ｙ方向）又は横（ｘ方向）からのアプローチが考えられるが、この選択（本実施の形態では横方向への選択）によりそのパターン認識の方向が確定され、検査に反映されることになるからである。また、一般的には、位置、輝度値だけでなく、様々な項目（次元）を、その選択の対象とされる場合もある。そして、図５のように３次元で表されていたデータを２次元で表す。次に各パネル画素について、サンプルで取得した画素群（単位空間）との間のマハラノビスの距離（Mahalanobis Distance）を算出する。ここで、マハラノビスの距離を算出する前に、まず、本実施の形態における単位空間の作成方法について説明する。
【００５６】
単位空間を形成する際の画素のサンプルとして、理想形状に近く、良画素と判断したパネル画素を選ぶ。本実施の形態では約１０００のパネル画素に基づいて単位空間が形成されるものとする。ここで、パネル画素は印加される電圧により輝度が異なるが、本実施の形態では輝度が最も高くなる電圧における輝度値データを単位空間の計算のためのデータとして取得する。また、ある電圧（輝度）については良好であっても、他の電圧では不良となる画面がある。従来は、電圧の違いによっても良否判断が異なることもあったが、ここでは、同じ電圧の良画素との違いをみることになるので、同じ単位空間を利用した各電圧の良画素の距離を把握しておくことで、同一空間、同一方法での良否判断を行うことができる。ただ、検査対象（パネル）の種類、規格等が異なる場合には、そのパネル画素のピッチ、形状等も異なってしまう場合があるので、常にサンプルの場合と同様の状態で受光できる（本実施の形態では１３×１３の受光素子で受光する）わけではない。そのような場合には、それに応じた単位空間を形成する場合があり得る。
【００５７】
サンプルとなるパネル画素について取得した輝度値データについて、平均・標準偏差演算部１Ａは、パネル画素毎に平均値と標準偏差を算出する。算出した平均値及び標準偏差に基づいて、基準化値データ演算部１Ｃは、各パネル画素の各撮像画素の輝度値のデータについて基準化値を算出して基準化値データとする。具体的には輝度値と平均値との差を標準偏差で割った値が基準価値となる。これにより、全ての輝度値のデータを１を中心として均等に分布する基準化値データに変換することができる。
【００５８】
次に逆行列演算部１Ｂは、基準化値データに基づいて相関係数を算出する。自己の相関係数も算出するがこの値は１となる。例えば（１，１）と（１，２）の場合、各パネル画素の（１，１）の基準化値と同じパネル画素の（１，２）の基準化値とを乗算する（本実施の形態ではパネル画素数である約１０００の数が算出される）。そして、それらの和を算出してパネル画素数で割る（つまり、平均を算出する）。これを全ての組み合わせに対して行う。算出した相関係数を要素とする行列を相関行列とする。ここで、相関行列の対角成分は自己相関による係数であるので全て１となる。また、転置した要素は同じ値になる。逆行列演算部１Ｂが算出した相関行列の逆行列が最終目標の単位空間算出の基礎となる。
【００５９】
次に実際に液晶パネル１００を検査する際の処理について説明する。カメラ２０から送信された信号に基づいて、輝度値データ取得部１Ｆは輝度値データを取得する。本実施の形態では、全てのパネル画素において１３×１３の輝度値データが取得できるものとして説明する。ここで、単位空間を構成するサンプルのパネル画素を１３×１３の撮像画素分の輝度値データに基づいて算出したので、演算の関係上、検査を行う場合も液晶パネル１００のパネル画素につき同じ撮像画素数にする方が都合がよい。例えば、液晶パネル１００のパネル画素ピッチがサンプルの画素ピッチと異なる場合や、それによって表示される投影面のサイズが異なる場合には、カメラ２０と液晶パネル１００との間の距離を変更することにより、パネル画素につき１３×１３の撮像画素数の関係と視力２．０の人間の眼の分解能の関係を保つようにする。
【００６０】
基準化値データ演算部１Ｃは、単位空間の作成時にパネル画素毎に算出した平均値及び標準偏差に基づいて、各輝度値データについて基準化値を算出し、基準化値データとする。
【００６１】
そして、基準化値データ演算部１Ｃによる各基準化値データ及びあらかじめ逆行列演算部１Ｂが算出した相関行列の逆行列の各要素に基づいて、距離演算部１Ｄはマハラノビスの距離を算出する。距離演算部１Ｄは、全てのパネル画素についてこのような演算を行い、各パネル画素にマハラノビスの距離（Ｄ² ）を算出する。なお、ここで、単位空間を構成するサンプルの輝度値（基準化値）のデータに基づいて算出したマハラノビスの距離の平均は、理論的には１となる。
【００６２】
図７は算出したマハラノビスの距離を縦軸とし、輝度値を横軸としたグラフである。ここで、前述したように、サンプルは輝度値が最も高い位置に分布している。例えば、液晶パネル等では印加する電圧によって表示階調を調節している。そのため、印加する電圧によって表示階調（輝度値）には違いが生ずるが、画素の形状、大きさや得られる輝度値データ数に違いがなければ、印加する電圧に関わらず、新たな単位空間を作成しなくてもマハラノビスの距離算出により、その電圧における基準を作り出し、検査（評価）を行うことができる。これにより、最も時間と手間が費やされる単位空間作成を行う必要がない。また、複数の電圧とその電圧に対するマハラノビスの距離を算出することにより、電圧とその電圧に対するマハラノビスの距離との関係を補完して導き出すことができる。ここではサンプルによる分布を単位空間という。サンプルのマハラノビスの距離の距離は１前後となり、その平均は前述したように１である。したがって本実施の形態では分布の距離を１とする。
【００６３】
ここで図７は輝度を次元とした２次元のグラフで構成しているが、良否判断は、実際にはマハラノビスの距離に基づいてのみ行われる。図７に示すように、印加する電圧によって同じ液晶パネル１００でもマハラノビスの距離が異なる。また、液晶パネルに表示する画像（輝度値）によっても異なる。また、パネルの種類によっても異なる。条件が異なれば単位空間とのマハラノビスの距離も異なる。ここで重要なことは、検査対象の画面の良否は、単位空間と間の距離差ではなく、同条件における良画素（又はその分布）が基準となり、それとの距離差によって判断されるということである。
【００６４】
したがって、実際には被検査対象を検査する前段階で、検査で用いられる条件での良画素のサンプルについて単位空間とのマハラノビスの距離（良画素の分布）を算出しておいてから検査を行い、同条件での良画素（分布）との距離差に基づいた判断を行う。良否の判断基準となる距離差の値については任意に定めることができる。検査判断部１Ｅは、直接的又は間接的に同条件での分布との距離差を算出し、あらかじめ定めた基準値と比較する。そして、例えば、基準値を越えたパネル画素数を計数し、その数等により、液晶パネル１００全体としての良、不良の判断を行う。判断結果は例えば文字、処理した画像の映像とともに表示手段３に表示する。
【００６５】
図８は良画素及び不良画素のマハラノビスの距離の分布を表す図である。図８に示すように、点欠陥、シミ、むら等の欠陥ではその現れ方が異なるが、マハラノビスの距離だけで良画素との比較を行い、良否を判断することができる。また、検査条件が異なったとしてもマハラノビスの距離による算出方法は同じであり、同条件の良画素との距離差により良否を判断することができる。ここで、良否判断の基準は、パネルの種類、要求されるグレード（品質の高さ）によって任意に定めることができるが、場合によっては不良なパネル画素は存在するものの、そのパネル画素が画面全体に点在しているために、パネル（画面）としては良品と判断することもある。ただ、各パネル画素については良画素と判断しながら、全体として不良画面となるような基準の設定は避けた方がよい。
【００６６】
以上のように第１の実施の形態によれば、人間の眼の分解能に基づいて処理すべき輝度値データのデータ数（量）を算出するようにしたので、検査対象となるパネルの種類に関係なく、人間の能力に基づいたパネル画素毎の検査を行うことができる。また、２．０の視力の分解能を基準とすれば、ほとんどの人の眼の分解能をカバーすることができる。そして、距離演算部１Ｄがパネル画素毎にマハラノビスの距離を算出するようにし、検査判断部１Ｅが距離差に基づいた画面（画素）の良否判断を行うようにしたので、良否判断の基準をマハラノビスの距離だけの数値にすることができる。しかもこの判断は、例えば、パネル種類、印加電圧等のような条件下での良画素との距離差に基づいて行われるので、条件が異なったとしても、演算方法が異なることもなく、良否判断を行うことができる。また、良画素を基準とする判断を行うことができ、良画素との距離差により不良の度合いを数値化することができる。また、逆行列演算部１Ｂが逆行列を算出する際、各位置の撮像画素間の相関関係を演算の過程で算出するので、妥当性の評価を行うことができる。また、マハラノビスの距離の分布によって、不良画素の多さ、その具合（各画素の良画素からの距離の分布具合等）等に基づく各装置（製品）のグレード（品質）も判断することができ、ランク分けを行うこともできる。
【００６７】
実施の形態２．
図９は本発明の第２の実施の形態に係る画像処理装置１０Ａを中心とするシステムの構成を示すブロック図である。図９において、図１と同じ符号を付しているものは、第１の実施の形態で説明したことと同様の動作を行うので説明を省略する。画像処理装置１０Ａは、処理手段１の代わりに処理手段１ａ構成されている点で画像処理装置１０とは異なる。処理手段１ａは、逆行列演算部１Ｂの代わりに直交展開演算部１Ｇ及び直交変数演算部１Ｈを有している点及び距離演算部１Ｄのマハラノビスの距離算出手順が異なる点で処理手段１とは異なる。
【００６８】
直交展開演算部１Ｇは、サンプルのパネル画素による基準化値に基づいて直交展開を行い、後述する回帰係数、残差成分の値（以下、残差成分値という）及びその残差成分の分散に基づく値（以下、分散という）を算出し、これをデータとする。また、実際に液晶パネル１００を検査する場合には、算出した回帰係数及び分散のデータを利用して、液晶パネル１００に基づく基準化値データにより残差成分値を算出し、これをデータとする。直交変数演算部１Ｈは、直交展開演算部１Ｇが算出した残差成分値のデータに基づいて、直交変数の値（以下、直交変数値という）を算出し、これをデータとする。距離演算部１Ｄは直交変数値のデータに基づいて、液晶パネル１００のパネル画素毎のマハラノビスの距離を算出する。
【００６９】
上述の第１の実施の形態では相関行列及びその逆行列を算出し、その要素及び基準化値に基づいてマハラノビスの距離を算出した。この方法では、撮像画素間の相関係数が算出されるので相関関係を把握しやすいという利点がある。ただ、第１の実施の形態のような場合、相関行列は１６９×１６９の要素を有することになる。したがって、逆行列を算出する際の演算量は大変多く、時間を要する。また、通常、コンピュータ等の演算装置は、演算に際して一定の桁数までしか扱えないので、逆行列を算出する際、途中で桁落ちが行わる可能性が高い。したがって、最終的に算出された逆行列の要素の値が、算出されたマハラノビスの距離に影響を与えるほどに真の値と異なる場合もある。これらは特に行列数（要素数）が多くなるほど顕著に顕れる。そこで、本実施の形態ではマハラノビス・タグチ・シュミット（ＭＴＳ）と呼ばれる、シュミットの直交展開を利用したマハラノビスの距離の算出方法について説明する。これにより、逆行列の演算処理を行わずにすみ、演算量を抑えることができるし、記憶手段４に一時的に記憶させておくデータ量も少なくてすむ。しかも、逆行列の計算に比べると複雑で大量の計算を行わないのでその間の桁落ちを抑えることができる。
【００７０】
また、本実施の形態の方法では、ある項目（ここでは、各位置の輝度値）の回帰係数及び分散に基づいて次の項目の回帰係数、残差成分値及び分散の算出が行われる。したがって、マハラノビスの距離に特に影響を与える項目（例えば、パネル画素のある位置における輝度値データ、ここでは示していないが彩度等）が存在する場合、優先的にその項目の回帰係数及び分散を算出するようにしておくことで、実際の検査の演算過程において、検査精度の高さ、製品のグレードの高さ等に応じて直交変数値の算出具合を変化させることもできる（ここで、本実施の形態ではパネル画素の各位置の輝度値データ（全ての撮像画素）を同等に扱っているので、特に優先する項目はない）。
【００７１】
次にＭＴＳを利用したマハラノビスの距離の算出方法について説明する。その前段階となる回帰係数及び分散を良画素のサンプルに基づいて算出する。まず、基準化値データを算出するに至るまでの平均・標準偏差演算部１Ａ及び基準化値データ演算部１Ｃの演算処理は、第１の実施の形態で説明したことと同じような処理を行うので説明を省略する。
【００７２】
直交展開演算部１Ｇは、基準化値データに基づいて、例えば、（１，２）の基準化値の残差成分値を、（１，２）の基準化値、（１，１）の残差成分値及び回帰係数で表す。また、（１，３）の基準化値の残差成分値を、（１，３）の基準化値、（１，１）の残差成分値、（１，２）の残差成分値及びそれぞれの回帰係数で表す。これを本実施の形態では（１，１）、…、（１，１３）、（２，１）、…の順に（１３，１３）まで行う。ここで（１，１）については、残差成分値は基準化値と同じになる。残差成分とは、ある項目（ここでは、（１，２）の輝度値とする）のある（パネル画素の）基準化値の成分のうち、それ以前の項目（ここでは、（１，１）の輝度値となる）と独立する（直交する）成分のことである。つまり、それ以前の項目の残差成分と関係する部分（回帰部分）を除き、それらで表せない成分がそのパネル画素のその項目（位置）での残差成分となる。また、ある項目での回帰係数は、その項目の基準化値、それ以前の項目の残差成分値、それ以前の項目の残差成分の分散により算出される係数である。分散はサンプルにおいて算出された残差成分の自乗の和に基づいて算出される値である。これを繰り返していくと、例えば（１３，１３）の残差成分値は、（１，１）、…、（１３，１２）の残差成分値によって表されることになる。ここで、本実施の形態では（１，１）、…、（１，１３）、（２，１）、…の順に行っているが、順序を変えて行っても最終的には同じ結果（マハラノビスの距離）が得られると考えられる。
【００７３】
このことから考えると、マハラノビスの距離に影響を与える重要項目順に回帰係数及び分散を確定することができる。したがって、実際に液晶パネル１００の各輝度値データ（基準化値データ）に基づいて直交変数値を算出する段階において、直交変数演算部１Ｈは、ある一定の項目までの基準化値データに基づいて直交変数値を算出し、その他の項目の直交変数値の演算を省略しても、真の距離に近似したマハラノビスの距離を算出できる場合がある。また、場合によっては、回帰係数及び分散を算出しなくても、誤差範囲内で真の距離に近似したマハラノビスの距離を算出することもできる。
【００７４】
次に実際に液晶パネル１００の検査に基づく輝度値データの処理について説明する。カメラ２０から送信された信号に基づいて輝度値データ取得部１Ｆが取得した輝度値データを基準化値データ演算部１Ｃが処理し、基準化値データとするまでの処理については第１の実施の形態と同様である。
【００７５】
直交展開演算部１Ｇは、回帰係数及び分散に基づいて液晶パネル１００の各輝度値データに基づく残差成分値を算出する。そして、直交変数演算部１Ｈは、直交展開演算部１Ｇが算出した残差成分値及び分散に基づいて直交変数を算出する。具体的には残差成分値を分散の平方根で割った値が直交変数値となる。
【００７６】
距離演算部１Ｄは、算出した直交変数値に基づいてパネル画素のマハラノビスの距離を算出し、データとする。これを全てのパネル画素について行う。具体的には各直交変数値の自乗の和を項目数（本実施の形態では１６９となる）で割ったものがマハラノビスの距離となる。ここで、各パネル画素のマハラノビスの距離の算出結果は第１の実施の形態と同じものとなる。以後の検査判断部１Ｅの良否判断の処理は第１の実施の形態と同様の動作を行うので説明を省略する。
【００７７】
以上のように第２の実施の形態によれば、直交展開演算部１Ｇによって、シュミットの直交展開を利用して回帰係数及び分散を算出しておき、実際の液晶パネル１００のパネル画素のマハラノビスの距離の算出には、直交展開演算部１Ｇ及び直交変数演算部１Ｈが算出した残差成分値及び直交変数値に基づいて距離演算部１Ｄがマハラノビスの距離を算出するようにしたので、マハラノビスの距離を算出する際の演算量及びその際に一時的に演算値を記憶させる記憶量（メモリ）を減らすことができる。また、回帰係数及び残差成分の分散を算出する際に、マハラノビスの距離に影響を与える項目順にこれらの値を算出しておくことで、残差成分値、直交変数値又はマハラノビスの距離を算出する際に、それぞれの演算を誤差範囲内において途中で切り上げることもできるので、距離算出又は良否判断までの時間を短縮させることもできる。
【００７８】
実施形態３．
上述の実施の形態では、特にその関連を説明しなかったが、パネル画素の位置とマハラノビスの距離とを関連づけておくようにする。というのは、例えば、良画素の分布からのマハラノビスの距離があるパネル画素が多数存在するものと判断された場合であっても、その画素の位置の集まり具合によって、むら、シミとなる場合もあればならない場合もある。また、点欠陥についても同様であり、点欠陥が分散して点在していれば、良好な液晶パネルと判断される場合もある。また、欠陥がパネルの隅にある場合と中央にある場合とでも良否判断が異なる場合もあるからである。
【００７９】
実施形態４．
上述の実施の形態は被検査対象物である液晶パネル１００を液晶プロジェクタに用いられるものを前提に説明しているが、本発明本発明の検査対象はこれに限定されるものではなく、ディスプレイに用いられるパネルでもよい。
【００８０】
実施形態５．
上述の実施の形態は被検査対象物である液晶パネル１００をカメラ２０で撮像し、マハラノビスの距離を算出して良否判断を行った。本発明ではこれに限定されるものではなく、被検査対象が発生させる物理量を、例えば色が付された画像として処理できれば、画面の輝度の検査だけではなく、様々な被検査対象の検査をマハラノビスの距離を利用して行うことができる。また、この方法を応用すれば、逆にカメラ２０のような撮像手段の撮像画素の検査も、マハラノビスの距離を利用して行うこともできる。さらに、撮像手段だけでなく、サーモグラフィを利用した温度センサをはじめ、音響センサ等の手段についても、例えばセンシング状態を画像化し、検査することもできる。
【図面の簡単な説明】
【図１】 画像処理装置を中心とするシステムの構成図である。
【図２】 最小分解能を決定する方法を示す図である。
【図３】 各視力値におけるランドルト氏環の寸法を表す図である。
【図４】 検査を行う際の投影サイズの関係を表す図である。
【図５】 １つのパネル画素の輝度値の分布を３次元で表した図である。
【図６】 １つのパネル画素の輝度値の分布を２次元に展開した図である。
【図７】 マハラノビスの距離と輝度値のグラフである。
【図８】 良画素及び不良画素の距離の分布を表す図である。
【図９】 画像処理装置１０Ａを中心とするシステムの構成図である。
【符号の説明】
１、１ａ 処理手段、１Ａ 平均・標準偏差演算部、１Ｂ 逆行列演算部、１Ｃ基準化値データ演算部、１Ｄ 距離演算部、１Ｅ 検査判断部、１Ｆ 輝度値データ取得部、１Ｇ 直交展開演算部、１Ｈ 直交変数演算部、２ 入力手段、３ 表示手段、４ 記憶手段、１０、１０Ａ 画像処理装置、２０ カメラ、１００ 液晶パネル

Claims (3)

1. 良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、被検査対象に表示された画面を撮像手段が撮像して得られた各画素のデータを基準化した基準化値を基準化値データとして算出する基準化値データ演算手段、前記良画素のサンプルによってあらかじめ得られたデータから、シュミットの直交展開を利用してそれぞれのデータに基づいて算出した回帰係数及び残差成分の分散に基づく値及び前記基準化値データに基づいて、前記撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出する直交展開演算手段、該直交展開演算手段が算出した前記残差成分の値及び前記分散に基づく値により直交変数の値をデータとして算出する直交変数演算手段、及び、前記直交変数の値のデータに基づいて、前記被検査対象の画面を構成する画素毎に、該画素をさらに分解した複数の輝度のデータからマハラノビスの距離をデータとして算出する距離演算手段を有する演算処理手段と、
   前記演算処理手段が処理した結果に基づいて前記表示画面の良否を判断する検査判断手段と
   を備えたことを特徴とする画像処理装置。
2. 被検査対象に表示された画面を撮像した撮像手段から送信された輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたことを特徴とする請求項１記載の画像処理装置。
3. 前記距離演算手段は、算出した前記各画素のマハラノビスの距離と前記表示画面における各画素の位置とを関連づけて、前記検査判断手段は、前記表示画面の各画素によるマハラノビスの距離の分布に基づいて表示画面の良否を判断することを特徴とする請求項１記載の画像処理装置。

Images