JP4121628B2 - 画面検査方法及びその装置 - Google Patents
画面検査方法及びその装置 Download PDFInfo
- Publication number
- JP4121628B2 JP4121628B2 JP24887098A JP24887098A JP4121628B2 JP 4121628 B2 JP4121628 B2 JP 4121628B2 JP 24887098 A JP24887098 A JP 24887098A JP 24887098 A JP24887098 A JP 24887098A JP 4121628 B2 JP4121628 B2 JP 4121628B2
- Authority
- JP
- Japan
- Prior art keywords
- label
- area
- screen
- distance
- labels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子機器分野等で使用される液晶パネル等の表示素子およびＣＣＤ等の受光素子の製造工程において、それらの素子に現れる欠陥などを検査するための画面検査方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来から、電子機器分野等で使用される液晶パネル、ＣＲＴパネル、ＰＤＰパネル等の表示素子およびＣＣＤ等の受光素子の製造工程において、画面検査方法の１つとして、それら表示素子および受光素子の画面に現れる欠陥を検査するために、被検査体である表示素子および受光素子を画像としてとらえ、その画像中の背景部分に比較して欠陥部分の凝集程度を評価し、その評価結果に基づいて画面における欠陥検出を行うための欠陥検出装置による欠陥検出方法などがあり、上記の製造工程において広く利用されている。なお、以下では、上記の欠陥検出方法をも含めて画面検査と総称するものとする。
【０００３】
このような画面検査は、従来では、人手で目視検査をするか、あるいは画面検査用の自動機で画像処理を行うかのいずれかで実施されていた。人手で目視検査をする場合には、被検査体の機種が変換されても容易に対応可能であり、その対応検査の立ち上がりが早いが、欠陥の詳細位置を特定するには時間がかかり、スループットが悪いという欠点があった。また、検査感度の維持・統一という点で問題があり、それらが課題となっている。
【０００４】
一方、自動機で画像処理を行う場合には、被検査体の機種が変換されると、その機種に対応させて自動機の再調整が必要であり、その調整に多くの時間を要するという欠点はあるが、欠陥位置の特定情報を素早く認識するという利点があった。また、目視検査の場合に問題となっていた検査感度の維持・統一が容易にはかれる。
【０００５】
しかし、近年の部品の高精細化・高性能化にともない、画面検査において、目視検査に関しては、ますますスループットが悪いことが顕著化してきた。一方、自動機が検査するにあたって困難な点の１つとして、背景部に比較して微弱欠陥部分が凝集しており、目視検査では画面むらとして判定される欠陥が存在する場合に、その微弱欠陥部分が凝集した部分に対して、目視検査の場合と同様に画面むらとして判定することである。これは、背景部分に比べて比較的コントラストがはっきりしている点欠陥と呼ばれるものとは異なり、点欠陥よりも背景部分に比べてコントラストが低い微弱点欠陥と呼ばれるものである。この微弱点欠陥は、単独で存在する場合は欠陥として判定されないが、凝集している場合には画面むらとして判定される。
【０００６】
ここでは、背景部分に比べて明るい微弱点欠陥について説明する。背景部分に比べて暗いものも同様に扱うことが可能である。
近年、品質への要求に対して、自動化への要望が高まっているが、上記のような欠陥を正確に検出できる処理方法は存在しない。例えば、図１１に示すように、濃度プロファイルが画面の背景部分５０に比べて微妙に変動している画像に対して、これを検出するために、濃度プロファイルチェックライン５２を想定し、更にこの濃度プロファイルチェックライン５２上で濃度しきい値５１を設定し、この濃度しきい値５１以上の画素の塊（以下、ラベルと呼ぶ）を検出する。図１１では、白点５３、５４が、濃度プロファイルチェックライン５２上で対象とする画素の塊であり、ラベルである。なお、この処理をラベル処理と呼び、ラベル処理を施した画像をラベル画像と呼ぶ。
【０００７】
【発明が解決しようとする課題】
しかしながら上記のような従来の画面検査方法及びその装置では、ラベル画像内のラベル数あるいはすべてのラベルの総面積を画面むらの評価値として使用する場合、目視検査で判定された画面むらの程度とは、その評価値が一致しないことが多かった。例えば、図１２（ａ）および図１２（ｂ）に示す画面に対して、目視検査では、図１２（ａ）の方が図１２（ｂ）に比べて、微弱点欠陥の凝集度合いの観点から画面むらの程度が大きいという検査結果となるが、上記のラベル処理を施した画像における評価値ではその差がでない。
【０００８】
つまり、図１２（ａ）における１０個のラベルの総面積（以下、面積比較により検討するので、特に単位は付すことはせず、省略する）は以下のようになる。
【０００９】
【数１】
【００１０】
一方、図１２（ｂ）における１１個のラベルの総面積は以下のようになる。
【００１１】
【数２】
【００１２】
以上のように、ラベル数は、図１２（ａ）では１０であり、図１２（ｂ）では１１であり、そのラベル総面積は、図１２（ａ）では５６となり、図１２（ｂ）でも５６となって、図１２（ａ）の場合でも図１２（ｂ）の場合でも、それらの画面むらに対する評価値は同一となる。
【００１３】
従って、画面内における背景部分５０に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性が低下するため、液晶パネル等の表示素子およびＣＣＤ等の受光素子（場合によって撮像素子とも記す）に現れる微弱点欠陥の凝集した部分に対して、そのラベル画像による画面むらの評価値を目視検査の場合に対応させることができず、ラベル画像による検査精度も低下してしまうという問題点を有していた。
【００１４】
本発明は、上記従来の問題点を解決するもので、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる画面検査方法及びその装置を提供する。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために本発明の画面検査方法及びその装置は、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることを特徴とする。
【００１６】
以上により、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【００１７】
【発明の実施の形態】
本発明の請求項１記載の画面検査方法は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出する画面検査方法であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定工程と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定工程と、前記ラベル間距離判定工程で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換工程と、前記ラベル面積変換工程をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定工程とを有する方法とする。
【００１８】
請求項２記載の画面検査方法は、請求項１記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求める方法とする。
【００１９】
請求項３記載の画面検査方法は、請求項１記載のラベル面積変換工程と画面むら判定工程との間に、前記ラベル面積変換工程による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定工程を追加する方法とする。
【００２０】
請求項４記載の画面検査方法は、請求項１記載の画面検査方法であって、請求項２記載の処理工程および請求項３記載の処理工程を有し、請求項２および請求項３の処理を同時に行う方法とする。
【００２１】
請求項５記載の画面検査装置は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出するよう構成した画面検査装置であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部と、前記ラベル間距離判定部で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部と、前記ラベル面積変換部による面積変換をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定部とを備えた構成とする。
【００２２】
請求項６記載の画面検査装置は、請求項５記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求めるよう構成する。
【００２３】
請求項７記載の画面検査装置は、請求項５記載のラベル面積変換部と画面むら判定部との間に、前記ラベル面積変換部による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去するよう構成した変換ラベル面積判定部を追加する構成とする。
【００２４】
請求項８記載の画面検査装置は、請求項５記載の画面検査装置であって、請求項６記載の処理を行う構成と請求項７記載の処理を行う構成とを備え、請求項６および請求項７記載の処理を同時に行うよう構成する。
【００２５】
以上の方法及びその装置によると、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くする。
【００２６】
以下、本発明の実施の形態を示す画面検査方法及びその装置について、図面を参照しながら具体的に説明する。
図１は本実施の形態の画面検査方法を実現するための画面検査装置の１つである画面欠陥検出装置の概略構成を示したものである。図１において、ＣＣＤ撮像素子１に対して光源２からの光が照射されると、ＣＣＤ撮像素子１の受光面における各画素毎の濃淡信号が得られ、この濃淡信号はデジタル化された形でコンピュータ４に送り込まれる。コンピュータ４の中では、画像メモリ３が存在し、ＣＣＤ撮像素子１のマトリックス状に構成された画素の行と列に対応した状態で、各画素毎の濃淡信号に基づいてデジタル化された例えば８ｂｉｔ（濃淡レベルとして０〜２５５）の濃淡データが格納される。なお、コンピュータ４には、下記の画面検査処理を実行するためのプログラムが格納されたプログラムメモリ５が設けられている。
【００２７】
次に本実施の形態の画面検査方法について説明する。
図２は本実施の形態の画面検査方法における処理を示す構成図およびフローチャートである。この処理を説明するための画面検査装置の構成ブロック図を図２（ａ）に示し、その処理手順を示すフローチャートを図２（ｂ）に示す。
【００２８】
図２（ａ）において、２００は、ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部、２０１は、ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部、２０２は、ラベル間距離判定部２０１で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部、２０３は、ラベル面積変換部２０２による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定部、２０４は、ラベル面積変換部２０２による面積変換をしたラベルに対して、変換ラベル面積判定部２０３による除去処理を施し、その処理後のすべてのラベルについて面積を求め、それらの最終的な面積の合計を画面むらの評価値として判定する画面むら判定部である。
【００２９】
以上のように構成された画面検査装置について、その処理手順を説明する。
この画面検査装置は、図２（ｂ）に示すように、ステップ＃１は、被検査体であるＣＣＤ撮像素子１への光源２による照射を行う工程である。ステップ＃２は、ＣＣＤ撮像素子１より各画素データからなる画像データを取り込む工程である。ステップ＃３は、ラベル面積判定部２００により、濃度データが周辺に比べて異なる部分をラベリングしたラベルデータの面積を求め、それらの面積のうち予め設定された所定値より小さい面積のラベルを除去するラベル面積判定工程である。ステップ＃４は、ラベル間距離判定部２０１によりラベル同士の距離を求めその距離が最小のラベルを検出し、ラベル面積変換部２０２により、各ラベルの面積とそれらの距離とからなる評価値を求め、その評価値に応じてラベルの面積を変換するラベル面積変換工程である。ステップ＃５は、変換ラベル面積判定部２０３により、変換ラベル面積のうち予め設定された所定値より小さいラベル面積を除去する変換ラベル面積判定工程である。ステップ＃６は、画面むら判定部２０４により、変換ラベルの面積の合計を画面むらの評価値とする画面むら判定工程である。
【００３０】
以下、本実施の形態の画面検査方法をその具体例に基いて説明する。
ステップ＃２で取込んだ画像に対して、何らかの処理を施し画面全体あるいは大局的な画面むらを取る。（以下、濃淡シェーディング除去と呼ぶ）例えば、背景部２５６階調の中央である１２８階調とする。よく用いられる処理方法として、近傍画素の濃度データを画素間で減算する２次元微分処理がある。図３に示すように、取込んだ対象画像領域６に対して、中央が４、一定のサイズを経て−１を配した演算エレメント１０を各画素７に対して行う。サイズが１で、５個の画素に対しては、以下の計算を行う。
【００３１】
【数３】
【００３２】
これを、画像空間全体に対して行う。これにより、濃淡シェーディング除去がなされる。図４（ａ）に濃淡シェーディング処理前の濃度プロファイルチェックライン１１による濃淡プロファイルを示し、図４（ｂ）に濃淡シェーディング処理後の濃度プロファイルチェックライン１１による濃淡プロファイルを示す。
【００３３】
なお、サイズは１に限定しない。また、取込んだ画像に濃淡シェーディングがない場合は、上記のような処理は必要としない。
画面内の背景部１２よりも高い濃度で現れる点欠陥を白点とし、背景よりも低い濃度で現れる点欠陥を黒点としているが、ここでは、白点１３を対象とする。
【００３４】
ステップ＃３のラベル面積判定工程について説明する。
背景部１２における１２８階調に対するプリオフセット濃度（pre-offset）を加えた以下のオフセット濃度（offset）以上の濃度をもつ画素の塊を求める。
【００３５】
【数４】
【００３６】
（pre−offset）が５の場合、上記計算で（offset）は１３３であり、画像空間に対して、１３３濃度以上のデータ点列が抽出され、各ラベルが抽出される。便宜的に、上記の濃度シェーディング処理除去の有無に関わらず、ラベル画像は同様の図１２（ａ）になるとする、ここで、面積しきい値以下のラベルを削除する処理を行う。面積しきい値が３の場合、ラベルの面積が３以下のものは削除される。図５に削除後の画像空間を示す。削除されたラベルの面積は、ラベル２０が面積３、ラベル２１が面積２、ラベル２２および２３が面積１であった。なお、図５では除去されたラベルを破線で示している。
【００３７】
次に、ステップ＃４のラベル面積変換工程について説明する。
図６に示す近傍ラベル２５、２６を例に説明する。２つのラベル面積がＡＲＥＡ１およびＡＲＥＡ２で、それらの間の距離がＬの場合、評価値αは以下の計算により求められる。
【００３８】
【数５】
【００３９】
この評価値αは、ラベル間距離Ｌが小さければ小さいほど、ラベル面積が大きければ大きいほど、値が大きくなる。ラベル２５の面積が２０、ラベル２６の面積が５、距離が１０の場合、以下の結果を得る。
【００４０】
【数６】
【００４１】
この値に応じて、ラベルの大きさを変換する。乗数をβとすると、ラベル面積変換は、以下のように行う。
【００４２】
【数７】
【００４３】
βが１／５の場合、ラベル２５および２６は、以下のようになる。
【００４４】
【数８】
【００４５】
上記に従い、ラベルを周辺に膨張させる。このように膨張した結果を図７に示す。なお、周辺に均等に膨張させるなら、その方法及びその装置については限定しない。
【００４６】
次に、ステップ＃５の変換ラベル面積判定工程について説明する。
ステップ＃４で変換されたラベルの面積のうち、一定面積以下のものを削除する。面積しきい値が５の場合、ラベルの面積が５以下のものは削除される。図８に削除後の画像空間を示す。なお、図８でも除去されたラベルを破線で示している。削除されたラベルの面積は、図１２において、ラベル３０が面積５、ラベル３１が面積４であった。
【００４７】
次に、ステップ＃６の画面むら判定工程について説明する。ここでは、画面全体のラベルの総数を最初に求める。図８には、４つのラベル２５、２６、３２、３３が残されており、各々のラベル面積は、４０、３０、２０、１０である。これらから、画面むらの評価値である総面積は以下のようになる。
【００４８】
【数９】
【００４９】
この総面積が大きいほど、画面むらが大きいとする。ここでは、一方、図１２（ｂ）を処理した図９は本発明の実施の形態の方法によると、総面積は以下のようになる。
【００５０】
【数１０】
【００５１】
従来法で、充分判別できなかった微弱点欠陥が凝集した濃度むらが、図１２（ａ）では１００、図１２（ｂ）では５０のようになり、判別可能となる。
なお、ここでは、白点を対象としたが、黒点も同様に扱える。また、ラベルの評価値として面積を例にしたが、それに限定しない。例えば、ラベルのデータ点列の背景との画素濃度差をすべて加える濃度総和も考えられる。図１０（ａ）、（ｂ）は、白点４０を構成する画素の塊を示し、図１０（ａ）は濃度しきい値以上の画素を斜線で描画し、図１０（ｂ）はもともとの背景との濃度差を示している。１マス４１は画素１である。画素数いわゆる面積は５であり、濃度総和は以下のように計算される。
【００５２】
【数１１】
【００５３】
【発明の効果】
以上のように本発明によれば、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることができる。
【００５４】
そのため、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【００５５】
また、構成を複雑化することなく、表示素子または撮像素子の画面に存在する微弱点欠陥の凝集している画面むらを、高速にかつ高精度に検査することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画面検査方法を用いた画面検査装置の概略構成図
【図２】同実施の形態における処理を示す構成図およびフローチャート
【図３】同実施の形態における濃度シェーディング除去を示す説明図
【図４】同実施の形態における濃度シェーディング処理前および処理後の濃度プロファイルを示す説明図
【図５】同実施の形態における削除後の画像空間を示す説明図
【図６】同実施の形態における近傍ラベルを示す説明図
【図７】同実施の形態におけるラベル膨張した結果を示す説明図
【図８】同実施の形態における削除後の画像空間を示す説明図
【図９】同実施の形態における膨張処理後のラベル画像を示す説明図
【図１０】同実施の形態における白点ラベルの画素構成を示す説明図
【図１１】従来の画面検査方法におけるラベル処理前の画像を示す説明図
【図１２】同従来例のラベル画像を示す説明図
【符号の説明】
１１、５２ 濃度プロファイルチェックライン
２００ ラベル面積判定部
２０１ ラベル間距離判定部
２０２ ラベル面積変換部
２０３ 変換ラベル面積判定部
２０４ 画面むら判定部
【発明の属する技術分野】
本発明は、電子機器分野等で使用される液晶パネル等の表示素子およびＣＣＤ等の受光素子の製造工程において、それらの素子に現れる欠陥などを検査するための画面検査方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来から、電子機器分野等で使用される液晶パネル、ＣＲＴパネル、ＰＤＰパネル等の表示素子およびＣＣＤ等の受光素子の製造工程において、画面検査方法の１つとして、それら表示素子および受光素子の画面に現れる欠陥を検査するために、被検査体である表示素子および受光素子を画像としてとらえ、その画像中の背景部分に比較して欠陥部分の凝集程度を評価し、その評価結果に基づいて画面における欠陥検出を行うための欠陥検出装置による欠陥検出方法などがあり、上記の製造工程において広く利用されている。なお、以下では、上記の欠陥検出方法をも含めて画面検査と総称するものとする。
【０００３】
このような画面検査は、従来では、人手で目視検査をするか、あるいは画面検査用の自動機で画像処理を行うかのいずれかで実施されていた。人手で目視検査をする場合には、被検査体の機種が変換されても容易に対応可能であり、その対応検査の立ち上がりが早いが、欠陥の詳細位置を特定するには時間がかかり、スループットが悪いという欠点があった。また、検査感度の維持・統一という点で問題があり、それらが課題となっている。
【０００４】
一方、自動機で画像処理を行う場合には、被検査体の機種が変換されると、その機種に対応させて自動機の再調整が必要であり、その調整に多くの時間を要するという欠点はあるが、欠陥位置の特定情報を素早く認識するという利点があった。また、目視検査の場合に問題となっていた検査感度の維持・統一が容易にはかれる。
【０００５】
しかし、近年の部品の高精細化・高性能化にともない、画面検査において、目視検査に関しては、ますますスループットが悪いことが顕著化してきた。一方、自動機が検査するにあたって困難な点の１つとして、背景部に比較して微弱欠陥部分が凝集しており、目視検査では画面むらとして判定される欠陥が存在する場合に、その微弱欠陥部分が凝集した部分に対して、目視検査の場合と同様に画面むらとして判定することである。これは、背景部分に比べて比較的コントラストがはっきりしている点欠陥と呼ばれるものとは異なり、点欠陥よりも背景部分に比べてコントラストが低い微弱点欠陥と呼ばれるものである。この微弱点欠陥は、単独で存在する場合は欠陥として判定されないが、凝集している場合には画面むらとして判定される。
【０００６】
ここでは、背景部分に比べて明るい微弱点欠陥について説明する。背景部分に比べて暗いものも同様に扱うことが可能である。
近年、品質への要求に対して、自動化への要望が高まっているが、上記のような欠陥を正確に検出できる処理方法は存在しない。例えば、図１１に示すように、濃度プロファイルが画面の背景部分５０に比べて微妙に変動している画像に対して、これを検出するために、濃度プロファイルチェックライン５２を想定し、更にこの濃度プロファイルチェックライン５２上で濃度しきい値５１を設定し、この濃度しきい値５１以上の画素の塊（以下、ラベルと呼ぶ）を検出する。図１１では、白点５３、５４が、濃度プロファイルチェックライン５２上で対象とする画素の塊であり、ラベルである。なお、この処理をラベル処理と呼び、ラベル処理を施した画像をラベル画像と呼ぶ。
【０００７】
【発明が解決しようとする課題】
しかしながら上記のような従来の画面検査方法及びその装置では、ラベル画像内のラベル数あるいはすべてのラベルの総面積を画面むらの評価値として使用する場合、目視検査で判定された画面むらの程度とは、その評価値が一致しないことが多かった。例えば、図１２（ａ）および図１２（ｂ）に示す画面に対して、目視検査では、図１２（ａ）の方が図１２（ｂ）に比べて、微弱点欠陥の凝集度合いの観点から画面むらの程度が大きいという検査結果となるが、上記のラベル処理を施した画像における評価値ではその差がでない。
【０００８】
つまり、図１２（ａ）における１０個のラベルの総面積（以下、面積比較により検討するので、特に単位は付すことはせず、省略する）は以下のようになる。
【０００９】
【数１】
一方、図１２（ｂ）における１１個のラベルの総面積は以下のようになる。
【００１１】
【数２】
以上のように、ラベル数は、図１２（ａ）では１０であり、図１２（ｂ）では１１であり、そのラベル総面積は、図１２（ａ）では５６となり、図１２（ｂ）でも５６となって、図１２（ａ）の場合でも図１２（ｂ）の場合でも、それらの画面むらに対する評価値は同一となる。
【００１３】
従って、画面内における背景部分５０に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性が低下するため、液晶パネル等の表示素子およびＣＣＤ等の受光素子（場合によって撮像素子とも記す）に現れる微弱点欠陥の凝集した部分に対して、そのラベル画像による画面むらの評価値を目視検査の場合に対応させることができず、ラベル画像による検査精度も低下してしまうという問題点を有していた。
【００１４】
本発明は、上記従来の問題点を解決するもので、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる画面検査方法及びその装置を提供する。
【００１５】
【課題を解決するための手段】
上記の課題を解決するために本発明の画面検査方法及びその装置は、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることを特徴とする。
【００１６】
以上により、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【００１７】
【発明の実施の形態】
本発明の請求項１記載の画面検査方法は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出する画面検査方法であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定工程と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定工程と、前記ラベル間距離判定工程で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換工程と、前記ラベル面積変換工程をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定工程とを有する方法とする。
【００１８】
請求項２記載の画面検査方法は、請求項１記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求める方法とする。
【００１９】
請求項３記載の画面検査方法は、請求項１記載のラベル面積変換工程と画面むら判定工程との間に、前記ラベル面積変換工程による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定工程を追加する方法とする。
【００２０】
請求項４記載の画面検査方法は、請求項１記載の画面検査方法であって、請求項２記載の処理工程および請求項３記載の処理工程を有し、請求項２および請求項３の処理を同時に行う方法とする。
【００２１】
請求項５記載の画面検査装置は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出するよう構成した画面検査装置であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部と、前記ラベル間距離判定部で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部と、前記ラベル面積変換部による面積変換をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定部とを備えた構成とする。
【００２２】
請求項６記載の画面検査装置は、請求項５記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求めるよう構成する。
【００２３】
請求項７記載の画面検査装置は、請求項５記載のラベル面積変換部と画面むら判定部との間に、前記ラベル面積変換部による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去するよう構成した変換ラベル面積判定部を追加する構成とする。
【００２４】
請求項８記載の画面検査装置は、請求項５記載の画面検査装置であって、請求項６記載の処理を行う構成と請求項７記載の処理を行う構成とを備え、請求項６および請求項７記載の処理を同時に行うよう構成する。
【００２５】
以上の方法及びその装置によると、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くする。
【００２６】
以下、本発明の実施の形態を示す画面検査方法及びその装置について、図面を参照しながら具体的に説明する。
図１は本実施の形態の画面検査方法を実現するための画面検査装置の１つである画面欠陥検出装置の概略構成を示したものである。図１において、ＣＣＤ撮像素子１に対して光源２からの光が照射されると、ＣＣＤ撮像素子１の受光面における各画素毎の濃淡信号が得られ、この濃淡信号はデジタル化された形でコンピュータ４に送り込まれる。コンピュータ４の中では、画像メモリ３が存在し、ＣＣＤ撮像素子１のマトリックス状に構成された画素の行と列に対応した状態で、各画素毎の濃淡信号に基づいてデジタル化された例えば８ｂｉｔ（濃淡レベルとして０〜２５５）の濃淡データが格納される。なお、コンピュータ４には、下記の画面検査処理を実行するためのプログラムが格納されたプログラムメモリ５が設けられている。
【００２７】
次に本実施の形態の画面検査方法について説明する。
図２は本実施の形態の画面検査方法における処理を示す構成図およびフローチャートである。この処理を説明するための画面検査装置の構成ブロック図を図２（ａ）に示し、その処理手順を示すフローチャートを図２（ｂ）に示す。
【００２８】
図２（ａ）において、２００は、ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部、２０１は、ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部、２０２は、ラベル間距離判定部２０１で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部、２０３は、ラベル面積変換部２０２による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定部、２０４は、ラベル面積変換部２０２による面積変換をしたラベルに対して、変換ラベル面積判定部２０３による除去処理を施し、その処理後のすべてのラベルについて面積を求め、それらの最終的な面積の合計を画面むらの評価値として判定する画面むら判定部である。
【００２９】
以上のように構成された画面検査装置について、その処理手順を説明する。
この画面検査装置は、図２（ｂ）に示すように、ステップ＃１は、被検査体であるＣＣＤ撮像素子１への光源２による照射を行う工程である。ステップ＃２は、ＣＣＤ撮像素子１より各画素データからなる画像データを取り込む工程である。ステップ＃３は、ラベル面積判定部２００により、濃度データが周辺に比べて異なる部分をラベリングしたラベルデータの面積を求め、それらの面積のうち予め設定された所定値より小さい面積のラベルを除去するラベル面積判定工程である。ステップ＃４は、ラベル間距離判定部２０１によりラベル同士の距離を求めその距離が最小のラベルを検出し、ラベル面積変換部２０２により、各ラベルの面積とそれらの距離とからなる評価値を求め、その評価値に応じてラベルの面積を変換するラベル面積変換工程である。ステップ＃５は、変換ラベル面積判定部２０３により、変換ラベル面積のうち予め設定された所定値より小さいラベル面積を除去する変換ラベル面積判定工程である。ステップ＃６は、画面むら判定部２０４により、変換ラベルの面積の合計を画面むらの評価値とする画面むら判定工程である。
【００３０】
以下、本実施の形態の画面検査方法をその具体例に基いて説明する。
ステップ＃２で取込んだ画像に対して、何らかの処理を施し画面全体あるいは大局的な画面むらを取る。（以下、濃淡シェーディング除去と呼ぶ）例えば、背景部２５６階調の中央である１２８階調とする。よく用いられる処理方法として、近傍画素の濃度データを画素間で減算する２次元微分処理がある。図３に示すように、取込んだ対象画像領域６に対して、中央が４、一定のサイズを経て−１を配した演算エレメント１０を各画素７に対して行う。サイズが１で、５個の画素に対しては、以下の計算を行う。
【００３１】
【数３】
これを、画像空間全体に対して行う。これにより、濃淡シェーディング除去がなされる。図４（ａ）に濃淡シェーディング処理前の濃度プロファイルチェックライン１１による濃淡プロファイルを示し、図４（ｂ）に濃淡シェーディング処理後の濃度プロファイルチェックライン１１による濃淡プロファイルを示す。
【００３３】
なお、サイズは１に限定しない。また、取込んだ画像に濃淡シェーディングがない場合は、上記のような処理は必要としない。
画面内の背景部１２よりも高い濃度で現れる点欠陥を白点とし、背景よりも低い濃度で現れる点欠陥を黒点としているが、ここでは、白点１３を対象とする。
【００３４】
ステップ＃３のラベル面積判定工程について説明する。
背景部１２における１２８階調に対するプリオフセット濃度（pre-offset）を加えた以下のオフセット濃度（offset）以上の濃度をもつ画素の塊を求める。
【００３５】
【数４】
（pre−offset）が５の場合、上記計算で（offset）は１３３であり、画像空間に対して、１３３濃度以上のデータ点列が抽出され、各ラベルが抽出される。便宜的に、上記の濃度シェーディング処理除去の有無に関わらず、ラベル画像は同様の図１２（ａ）になるとする、ここで、面積しきい値以下のラベルを削除する処理を行う。面積しきい値が３の場合、ラベルの面積が３以下のものは削除される。図５に削除後の画像空間を示す。削除されたラベルの面積は、ラベル２０が面積３、ラベル２１が面積２、ラベル２２および２３が面積１であった。なお、図５では除去されたラベルを破線で示している。
【００３７】
次に、ステップ＃４のラベル面積変換工程について説明する。
図６に示す近傍ラベル２５、２６を例に説明する。２つのラベル面積がＡＲＥＡ１およびＡＲＥＡ２で、それらの間の距離がＬの場合、評価値αは以下の計算により求められる。
【００３８】
【数５】
この評価値αは、ラベル間距離Ｌが小さければ小さいほど、ラベル面積が大きければ大きいほど、値が大きくなる。ラベル２５の面積が２０、ラベル２６の面積が５、距離が１０の場合、以下の結果を得る。
【００４０】
【数６】
この値に応じて、ラベルの大きさを変換する。乗数をβとすると、ラベル面積変換は、以下のように行う。
【００４２】
【数７】
βが１／５の場合、ラベル２５および２６は、以下のようになる。
【００４４】
【数８】
上記に従い、ラベルを周辺に膨張させる。このように膨張した結果を図７に示す。なお、周辺に均等に膨張させるなら、その方法及びその装置については限定しない。
【００４６】
次に、ステップ＃５の変換ラベル面積判定工程について説明する。
ステップ＃４で変換されたラベルの面積のうち、一定面積以下のものを削除する。面積しきい値が５の場合、ラベルの面積が５以下のものは削除される。図８に削除後の画像空間を示す。なお、図８でも除去されたラベルを破線で示している。削除されたラベルの面積は、図１２において、ラベル３０が面積５、ラベル３１が面積４であった。
【００４７】
次に、ステップ＃６の画面むら判定工程について説明する。ここでは、画面全体のラベルの総数を最初に求める。図８には、４つのラベル２５、２６、３２、３３が残されており、各々のラベル面積は、４０、３０、２０、１０である。これらから、画面むらの評価値である総面積は以下のようになる。
【００４８】
【数９】
この総面積が大きいほど、画面むらが大きいとする。ここでは、一方、図１２（ｂ）を処理した図９は本発明の実施の形態の方法によると、総面積は以下のようになる。
【００５０】
【数１０】
従来法で、充分判別できなかった微弱点欠陥が凝集した濃度むらが、図１２（ａ）では１００、図１２（ｂ）では５０のようになり、判別可能となる。
なお、ここでは、白点を対象としたが、黒点も同様に扱える。また、ラベルの評価値として面積を例にしたが、それに限定しない。例えば、ラベルのデータ点列の背景との画素濃度差をすべて加える濃度総和も考えられる。図１０（ａ）、（ｂ）は、白点４０を構成する画素の塊を示し、図１０（ａ）は濃度しきい値以上の画素を斜線で描画し、図１０（ｂ）はもともとの背景との濃度差を示している。１マス４１は画素１である。画素数いわゆる面積は５であり、濃度総和は以下のように計算される。
【００５２】
【数１１】
【発明の効果】
以上のように本発明によれば、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることができる。
【００５４】
そのため、液晶パネル等の表示素子およびＣＣＤ等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【００５５】
また、構成を複雑化することなく、表示素子または撮像素子の画面に存在する微弱点欠陥の凝集している画面むらを、高速にかつ高精度に検査することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画面検査方法を用いた画面検査装置の概略構成図
【図２】同実施の形態における処理を示す構成図およびフローチャート
【図３】同実施の形態における濃度シェーディング除去を示す説明図
【図４】同実施の形態における濃度シェーディング処理前および処理後の濃度プロファイルを示す説明図
【図５】同実施の形態における削除後の画像空間を示す説明図
【図６】同実施の形態における近傍ラベルを示す説明図
【図７】同実施の形態におけるラベル膨張した結果を示す説明図
【図８】同実施の形態における削除後の画像空間を示す説明図
【図９】同実施の形態における膨張処理後のラベル画像を示す説明図
【図１０】同実施の形態における白点ラベルの画素構成を示す説明図
【図１１】従来の画面検査方法におけるラベル処理前の画像を示す説明図
【図１２】同従来例のラベル画像を示す説明図
【符号の説明】
１１、５２ 濃度プロファイルチェックライン
２００ ラベル面積判定部
２０１ ラベル間距離判定部
２０２ ラベル面積変換部
２０３ 変換ラベル面積判定部
２０４ 画面むら判定部
Claims (8)
- 表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出する画面検査方法であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定工程と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定工程と、前記ラベル間距離判定工程で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換工程と、前記ラベル面積変換工程をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定工程とを有することを特徴とする画面検査方法。
- ラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求める請求項１記載の画面検査方法。
- ラベル面積変換工程と画面むら判定工程との間に、前記ラベル面積変換工程による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定工程を追加する請求項１記載の画面検査方法。
- 請求項２記載の処理工程および請求項３記載の処理工程を有し、請求項２および請求項３の処理を同時に行う請求項１記載の画面検査方法。
- 表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出するよう構成した画面検査装置であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部と、前記ラベル間距離判定部で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部と、前記ラベル面積変換部による面積変換をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定部とを備えたことを特徴とする画面検査装置。
- ラベル間距離判定工程で検出されたラベルに対して計算される評価値を、２つのラベルの面積をＳ１およびＳ２としそれらの間の距離をＬとして、Ｓ１・Ｓ２／Ｌで表される式により求めるよう構成した請求項５記載の画面検査装置。
- ラベル面積変換部と画面むら判定部との間に、前記ラベル面積変換部による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去するよう構成した変換ラベル面積判定部を追加する請求項５記載の画面検査装置。
- 請求項６記載の処理を行う構成と請求項７記載の処理を行う構成とを備え、請求項６および請求項７記載の処理を同時に行うよう構成した請求項５記載の画面検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24887098A JP4121628B2 (ja) | 1998-09-03 | 1998-09-03 | 画面検査方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24887098A JP4121628B2 (ja) | 1998-09-03 | 1998-09-03 | 画面検査方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000076445A JP2000076445A (ja) | 2000-03-14 |
| JP4121628B2 true JP4121628B2 (ja) | 2008-07-23 |
Family
ID=17184657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24887098A Expired - Fee Related JP4121628B2 (ja) | 1998-09-03 | 1998-09-03 | 画面検査方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4121628B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115359039B (zh) * | 2022-08-08 | 2023-04-14 | 海的电子科技(苏州)有限公司 | 目标图片生成方法及设备、显示屏维修像素点标识方法 |
-
1998
- 1998-09-03 JP JP24887098A patent/JP4121628B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000076445A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005172559A (ja) | パネルの線欠陥検出方法及び装置 | |
| JP3907874B2 (ja) | 欠陥検査方法 | |
| JP4244046B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2004212311A (ja) | ムラ欠陥の検出方法及び装置 | |
| JP2009036582A (ja) | 平面表示パネルの検査方法、検査装置及び検査プログラム | |
| KR100754969B1 (ko) | 화상 검사 장치, 화상 검사 방법 및 컴퓨터 판독가능한 기억 매체 | |
| JP3695120B2 (ja) | 欠陥検査方法 | |
| JP2000199745A (ja) | 色ムラの検査方法及び装置 | |
| JP4121628B2 (ja) | 画面検査方法及びその装置 | |
| JP2001028059A (ja) | 色ムラ検査方法及び装置 | |
| JP2007081513A (ja) | 固体撮像素子のシミ欠陥検査方法 | |
| JPH08145907A (ja) | 欠陥検査装置 | |
| JP3127598B2 (ja) | 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法 | |
| JP2004219176A (ja) | 画素ムラ欠陥の検出方法及び装置 | |
| JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 | |
| JP2004286708A (ja) | 欠陥検出装置、方法及びプログラム | |
| JP3015325B2 (ja) | スジキズ検査方法及びその装置 | |
| JP2021064215A (ja) | 表面性状検査装置及び表面性状検査方法 | |
| JP2009074828A (ja) | 欠陥検出方法および欠陥検出装置 | |
| JP2000329699A (ja) | 欠陥検査方法及びその装置 | |
| JP5846100B2 (ja) | 表示装置の欠陥検査方法 | |
| KR101076478B1 (ko) | 스트레칭 기법을 활용한 평판 디스플레이 패널의 화상결함 검사 방법 및 기록매체 | |
| JP3941403B2 (ja) | 画像濃淡ムラ検出方法及びこの検査装置 | |
| JP2000121495A (ja) | 画面検査方法 | |
| JP2638121B2 (ja) | 表面欠陥検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080401 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080430 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |