JP5194961B2 - 表面検査システム、表面検査方法、及び、表面検査プログラム - Google Patents

表面検査システム、表面検査方法、及び、表面検査プログラム Download PDF

Info

Publication number
JP5194961B2
JP5194961B2 JP2008096891A JP2008096891A JP5194961B2 JP 5194961 B2 JP5194961 B2 JP 5194961B2 JP 2008096891 A JP2008096891 A JP 2008096891A JP 2008096891 A JP2008096891 A JP 2008096891A JP 5194961 B2 JP5194961 B2 JP 5194961B2
Authority
JP
Japan
Prior art keywords
pixel
correction
inspection target
area
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008096891A
Other languages
English (en)
Other versions
JP2009250700A (ja
Inventor
章浩 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008096891A priority Critical patent/JP5194961B2/ja
Publication of JP2009250700A publication Critical patent/JP2009250700A/ja
Application granted granted Critical
Publication of JP5194961B2 publication Critical patent/JP5194961B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、工業的製造物の表面における欠陥の有無を検査するためのシステム、方法及びプログラムに、関する。
周知のように、工業的製造物の表面に、傷や汚れや塗装斑などの欠陥があると、その性能や商品価値が、下がってしまう。このため、多くの製造業者は、表面に欠陥のある工業的製造物を撥ねるため、製造工程の最終段階で、表面検査を行っている。従来の表面検査は、目視によって行われていたが、近年では、表面検査は、表面検査システムによって自動的に行われている。
表面検査システムは、一般的に、工業的製造物の検査対象面を撮像して生成した画像データの中から、欠陥を表していると見積もられる欠陥対応画素を検索し、欠陥対応画素が検出された場合に、その工業的製造物の表面に欠陥があるとして管理者に通知する。
具体的な検索方法としては、表面検査システムは、画像データ内の複数の画素を一つずつ注目していき、注目画素の画素値がその周囲の画素の画素値の平均に対して所定量の差を有する場合に、その注目画素を欠陥対応画素として決定する。従って、検査対象面の側辺とそのごく近傍とにおいては、注目画素と対比される周辺画素の中に、検査対象面以外の部分を表す画素が含まれてしまうため、正確性が多少失われるものの、検査対象面がフラットロール製品の側面のように側辺が直線状であり且つ全くの平坦であれば、その大部分において正確に欠陥が検出できる。
ところが、検査対象面が、例えば、図15に示すように、ノートブック型パーソナルコンピュータの外装パネルの外面のような、ヒンジを覆う帯状の突出片が形成されていたり面取りなどの意匠が施されていたりするものであると、注目画素と対比される周辺画素の中に、検査対象面以外の部分を表す画素や、濃淡を生じせしめる意匠部分を表す画素が、含まれてしまうことが多くなる(図15のA)。このため、このような側辺が矩形波状であったり面取りなどの意匠が施されていたりする検査対象面を、従来の表面検査システムを用いて表面検査すると、実際には欠陥が無い箇所を表す画素が、欠陥対応画素として検出されてしまうという問題があった。
特許第3695120号 実公平07−040165号公報 特開平09−264728号公報
本件は、前述したような従来技術の有する問題点に鑑みてなされたものであり、その課題は、側辺が矩形波状であったり面取りなどの意匠が施されていたりする検査対象面の画像データから、実際に欠陥が存在する箇所を表す画素だけが、欠陥対応画素として、正確に検出されるようにすることにある。
上記の課題を解決するために案出された表面検査システムは、工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像部、その撮像部が生成した検査対象画像の中に、検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象
領域を、設定する設定部、その設定部が設定した補正対象領域において、検査対象面の中央部を表す画素の画素値に基づいて、検査対象面の中央部以外の残りの部分を表す画素の画素値を嵩上げすることにより、検査対象画像を補正する補正部、その補正部が補正した補正対象領域のうち、検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索部、及び、その検索部がワーク領域の中から欠陥対応画素を検出した場合に、検査対象面に欠陥があった旨を出力する出力部を備えることを、特徴としている。
このように、補正部が、検査対象面の中心部を表す画素の画素値に基づいて、検査対象面以外の部分を表す画素や、濃淡を生じせしめる意匠部分を表す画素の画素値を、嵩上げするようになっていれば、検索部によって注目画素と対比される周辺画素に、検査対象面以外の部分を表す画素や、濃淡を生じせしめる意匠部分を表す画素が、含まれていたとしても、それら画素は、注目画素と同レベルに補正されているため、実際に欠陥が無い箇所を表す画素が、欠陥対応画素として検出されることがない。
なお、以上に開示した表面検査システムに係る各動作は、表面検査方法又は表面検査プログラムによっても実現し得る。すなわち、本件は、前述した表面検査システムの各部と同等の機能を複数の手順としてコンピュータが実行する表面検査方法であっても良いし、それら各部と同等の機能を複数の手段としてコンピュータに動作させる表面検査プログラムであってもよい。また、本件は、表面検査プログラムを格納したコンピュータ可読媒体であっても良い。
従って、開示した表面検査システムによれば、側辺が矩形波状であったり面取りなどの意匠が施されていたりする検査対象面の画像データから、実際に欠陥が存在する箇所を表す画素だけが、欠陥対応画素として、正確に検出されるようになる。
以下、添付図面を参照しながら、開示した表面検査システムの実施形態である表面検査システムについて、二例説明する。
なお、第1及び第2の実施形態の表面検査システムは、ノートブック型パーソナルコンピュータの外装パネルのような平面状の工業的製造物の検査対象面を撮像して生成した画像データの中から、欠陥を表していると見積もられる欠陥対応画素を検索し、欠陥対応画素が検出された場合に、その工業的製造物の表面に欠陥があるとして管理者に通知するシステムである。
実施形態1
<<構成>>
図1は、第1の実施形態の表面検査システムの構成図である。
図1に示すように、第1の実施形態の表面検査システムは、駆動装置10、照明装置20、撮像装置30、及び、制御装置40からなる。駆動装置10は、被検査対象物である工業的製造物Pが搬送されるベルトコンベアを駆動するための装置である。照明装置20は、ベルトコンベアによる搬送経路上の所定位置を照明するための装置である。なお、工業的製造物Pは、ベルトコンベアによってこの所定位置に到達すると、照明装置20によって照明されることとなる。撮像装置30は、所定位置で照明されている工業的製造物Pを撮像するための装置である。制御装置40は、これら装置10〜30を制御することによって画像データを取得して表面検査に係る処理を行う装置である。
図2は、制御装置40の構成図である。
図2に示すように、制御装置40は、表面検査システムを実現するための機能が附加されたコンピュータである。従って、制御装置40は、液晶ディスプレイ等を含む表示ユニット40aと、キーボードやマウス等を含む入力ユニット40bと、これらユニット40a、40bに接続される本体とからなる。その本体は、インターフェースユニット40c、ストレージユニット40d、CPU[Central Processing Unit]40e、及び、メイ
ンメモリユニット40fを、内蔵している。インターフェースユニット40cは、駆動装置10、照明装置20、撮像装置30との間で制御情報やデータの遣り取りを行うためのユニットである。ストレージユニット40dは、各種のプログラム及び各種のデータを記録するためのユニットである。CPU40eは、ストレージユニット40d内のプログラムに従って処理を行うユニットである。メインメモリユニット40fは、CPU40dがプログラムやデータをキャッシュしたり作業領域を展開したりするためのユニットである。
制御装置40は、ストレージユニット40dに、オペレーティングシステムソフトウエア41を、記憶している。オペレーティングシステムソフトウエア41は、各種アプリケーションへのAPI[Application Programming Interface]やABI[Application Binary Interface]の提供、ストレージユニット40dやメインメモリユニット40fの記
憶領域の管理、プロセスやタスクの管理、ファイル管理や各種設定ツールやエディタといったユーティリティのアプリケーションへの提供、及び、画面出力を多重化するための複数タスクへのウインドウの割り当てを、行うためのソフトウエアである。
また、制御装置40は、ストレージユニット40dに、ドライバソフトウエア42を、記憶している。ドライバソフトウエア42は、インターフェースユニット40cを介して駆動装置10、照明装置20、撮像装置30を制御するためのソフトウエアである。
また、制御装置40は、ストレージユニット40dに、表面検査プログラム43を、記憶している。表面検査プログラム43は、表面検査システムを実現するための機能をコンピュータに附加するためのプログラムである。この表面検査プログラム43に従ってCPU40eが実行する処理の内容については、図3を用いて後述する。
<<処理>>
制御装置40では、入力ユニット40bが操作者によって操作されることにより、表面検査プログラム43の起動が指示されると、CPU40eが、表面検査プログラム43を読み込んで、表面検査処理を開始する。
図3は、表面検査処理の流れを示す図である。
表面検査処理の開始後、最初のステップS101では、CPU40eは、操作者から終了指示があったか否かを、判別する。そして、操作者から終了指示がなかった場合、CPU40dは、ステップS101からステップS102へ処理を分岐させる。
ステップS102では、CPU40eは、1個の画像データを取得する処理を行う。具体的には、CPU40eは、ドライバソフトウエア42を利用して駆動装置10を駆動させることにより、被検査対象物である工業的製造物Pを所定位置に移動させる。続いて、CPU40eは、ドライバソフトウエア42を利用して照明装置20を駆動して工業的製造物Pを照明し、撮像装置30を駆動して工業的製造物Pにおける検査対象面を被写体として撮像する。撮像装置30は、撮像を行うと、画像データをCPU40eに引き渡す。
なお、このステップS102を実行するCPU40eは、前述した撮像部に相当してい
る。
なお、以下の処理に関しては、画像データに基づく画像の一例を用いて説明したほうが、理解し易い。そこで、図5に、ステップS102で取得した画像データに基づく画像の一例として、画像51を示す。図5に示す画像51には、ノートブック型パーソナルコンピュータの外装パネルの表面が、表示されている。その外装パネルの表面は、ヒンジを覆う帯状の突出片が形成されることによって、矩形波状の外形を有している。また、その外装パネルの表面における幾つかの縁には、面取りが施されている。
図3の次のステップS103では、CPU40eは、ステップS102で取得した画像データに基づく画像の中から、工業的製造物Pの検査対象面を表示する画素からなるワーク領域(図5のW)を、特定する。
次のステップS104では、CPU40eは、検査領域補正サブルーチンを実行する。
図4は、検査領域補正サブルーチンの流れを示す図である。
検査領域補正サブルーチンの開始後、最初のステップS201では、CPU40dは、図6に示すように、画像51において、ワーク領域Wの最も上側の位置、最も下側の位置、最も左側の位置、及び、最も右側の位置からそれぞれ所定幅だけ外側にある画素を最も外側に含む矩形領域Bを、設定する。ここで、所定幅は、後述のステップS109(図3)において注目画素に対して周辺画素を特定する際に利用する参照領域の幅の半分と同じとなっている。参照領域の幅が60画素である場合、所定幅は、30画素となる。なお、以下の処理では、矩形領域Bからワーク領域Wを差し引いた残りの領域を、外周部分領域Eと称する。
なお、このステップS201を実行するCPU40dは、前述した設定部に相当している。
次のステップS202では、CPU40eは、シェーディング補正を行う。ここで、シェーディング補正とは、照明の配光特性やレンズの特性などの影響による明度斑を減らすための補正である。具体的には、CPU40eは、図7(a)に示すように、矩形領域Bにおける上下方向の中央部に、領域Cを特定し(矩形領域Bに対する領域Cの位置は、事前に設定されている)、その領域Cにおける縦方向の各画素列について、画素値の累積を行う。図7(b)には、各画素列についての累積画素値を横方向の各位置にプロットして得たグラフを、示している。続いて、CPU40eは、このグラフが水平となるような横方向の各位置での補正値を算出し、矩形領域B内をこの補正値に基づいて補正する。図8は、このシェーディング補正が行われたあとの画像51を示している。ここで、図8に示すように、外周部分領域Eにおける左右端部は、各画素の画素値が嵩上げされることによってワーク領域Wに近い明るさになっているが、このシェーディング補正は、ワーク領域W内を補正することを目的としており、外周部分領域Eの左右端部は、付随的に補正されているだけである。従って、この時点において、外周部分領域Eの左右端部になされた補正の精度が要求されることはない。
次のステップS203では、CPU40eは、ステップS202でシェーディング補正が施された矩形領域Bの明るさ及びコントラストを、特定レベルに補正する。なお、このステップS203において、矩形領域Bの明るさ及びコントラストが補正されるのは、照明光の反射具合が工業的製造物Pごとに異なることにより画像に明るさ及びコントラストのばらつきが生ずるためである。
次のステップS204では、CPU40eは、図9(a)に示すように、矩形領域Bの左右端から所定幅の領域を、左右補正領域として設定し(所定幅は、事前に設定されている)、その左右補正領域を上下方向において幾つかの分割領域Sに分割する。このとき、CPU40eは、ワーク領域Wと外周部分領域Eとの境界が分割領域Sの中に含まれずに分割領域S同士の境界に一致するよう、分割領域Sの区割りを調整する。
次のステップS205では、CPU40eは、ステップS204で設定した各分割領域S内を補正する。具体的には、CPU40eは、各分割領域Sについて、以下の処理を行う。その処理では、CPU40eは、まず、分割領域Sにおける縦方向の各画素列について、画素値の累積を行う。図9(b)には、各画素列についての累積画素値を横方向の各位置にプロットして得たグラフを、示している。続いて、CPU40eは、このグラフが水平となるような横方向の各位置での補正値を算出し、分割領域S内をこの補正値に基づいて補正する。なお、この分割領域S内の補正は、ワーク領域Wに含まれる部分を補正することを目的としており、外周部分領域Eに含まれる部分、付随的に補正されているだけである。従って、この時点において、分割領域Sにおける外周部分領域Eに含まれる部分になされた補正の精度が要求されることはない。
次のステップS206では、CPU40eは、図10(a)に示すように、矩形領域Bの上下端から所定幅の領域を、上下補正領域として設定し(所定幅は、事前に設定されている)、その上下補正領域を左右方向において幾つかの分割領域Tに分割する。このとき、CPU40eは、ワーク領域Wと外周部分領域Eとの境界が分割領域Tの中に含まれずに分割領域T同士の境界に一致するよう、分割領域Tの区割りを調整する。
次のステップS207では、CPU40eは、ステップS206で設定した各分割領域T内を補正する。具体的には、CPU40eは、各分割領域Tについて、以下の処理を行う。その処理では、CPU40eは、まず、分割領域Tにおける横方向の各画素列について、画素値の累積を行う。図10(b)には、各画素列についての累積画素値を縦方向の各位置にプロットして得たグラフを、示している。続いて、CPU40eは、このグラフが水平(図10では垂直)となるような縦方向の各位置での補正値を算出し、分割領域T内をこの補正値に基づいて補正する。なお、この分割領域T内の補正は、ワーク領域Wに含まれる部分を補正することを目的としており、外周部分領域Eに含まれる部分、付随的に補正されているだけである。従って、この時点において、分割領域Tにおける外周部分領域Eに含まれる部分になされた補正の精度が要求されることはない。図11は、分割領域S、T内の補正が行われたあとの画像51を示している。図11の画像51には、ワーク領域Wの輪郭が実線で示されているが、これは便宜的に示したものであり、分割領域S、T内の補正によりこのような輪郭が画像51内に生成されることはない。
次のステップS208では、CPU40eは、外周部分領域Eを塗り潰すために必要な画素値を算出する処理を行う。具体的には、CPU40eは、図12に示すように、ワーク領域Wの左右端近傍と上下端近傍とにおいて、このワーク領域Wと交差する4本の参照ラインLを、設定する。4本の参照ラインLには、水平方向と平行なラインが2本と、垂直方向に平行なラインが2本含まれている。続いて、CPU40eは、各参照ラインLについて、以下の処理を行う。その処理では、CPU40eは、1本の参照ラインL中の画素を一個ずつ特定し、特定した画素とその前後の所定個数の画素とについての画素値の平均値を算出する。つまり、CPU40eは、1本の参照ラインLの各画素について移動平均値を算出する。
次のステップS209では、CPU40eは、ステップS208で算出した移動平均値を利用して、外周部分領域Eを塗り潰す処理を行う。具体的には、CPU40eは、各参照ラインLについて、以下の処理を行う。すなわち、CPU40eは、1本の参照ライン
L中の画素を一個ずつ特定し、外周部分領域Eにおける特定画素と同じ縦方向(又は横方向)の画素列の画素値を、特定画素に係る移動平均値に置換する。また、CPU40eは、ワーク領域Wにおけるその画素列と同じ列にある画素のうち、最も外側にある数画素の画素値も、特定した画素の画素値に置換する。この処理により、外周部分領域E内とワーク領域Wの縁は、参照ラインL上の色で塗り潰されることとなる。このような塗り潰しにより、ステップS202のシェーディング補正やステップS205及びS207の補正によって消しきれなかった外周部分領域Eのノイズ等が、完全に除去される。
なお、これらステップS202乃至S209を実行するCPU40eは、前述した補正部に相当している。
以上の検査領域補正サブルーチンにより、ステップS201で設定した矩形領域B内の補正を行った後、CPU40eは、検査領域補正サブルーチンを終了して、図3のステップS105へ処理を進める。
ステップS105では、CPU40eは、画像内の欠陥が強調されるようにするため、画像データに対し、欠陥強調フィルタ処理を行う。欠陥強調フィルタ処理では、CPU40eは、まず、欠陥を表す画素を、画像データの中から検索する。具体的には、CPU40eは、画像データ内の複数の画素を一つずつ注目していき、注目画素の画素値がその周囲の画素の画素値の平均に対して所定量の差を有する場合に、その注目画素を欠陥対応画素として決定する。続いて、CPU40eは、欠陥対応画素として決定した画素に対し、その画素が強調されるよう所定の処理を施す。
次のステップS106では、CPU40eは、欠陥を表す画素が白色となり、欠陥を表していない画素が黒色となるよう、画像データに対して、二値化処理を行う。
次のステップS107では、CPU40eは、画像内で欠陥を表す画素の塊に採番するため、ラベリング処理を行う。
次のステップS108では、CPU40eは、採番された画素塊のそれぞれについて、面積や長さなどの特徴量を算出する処理を行う。
次のステップS109では、CPU40eは、採番された画素塊の中に、特徴量が所定の閾値を超過する画素塊が存在するか否かを、判別する。そして、採番された画素塊の中に、特徴量が所定の閾値を超過する画素塊が存在していなかった場合、CPU40eは、ステップS109から処理を分岐させ、ステップS101へ処理を戻す。一方、採番された画素塊の中に、特徴量が所定の閾値を超過する画素塊が存在していた場合、CPU40eは、ステップS110へ処理を進める。
なお、これらステップS105乃至S109を実行するCPU40eは、前述した検索部に相当している。
ステップS110では、CPU40eは、画像データに基づく画像における特徴量が所定の閾値を超過した画素塊の位置に、印をスーパーインポーズし、その画像を表示ユニット40aに表示する。また、CPU40eは、その画像とともに、表面検査の再開を指示するためのボタンを含むダイアログ(図示略)も、表示ユニット40aに表示する。
なお、このステップS110を実行するCPU40eは、前述した出力部に相当している。
次のステップS111では、CPU40eは、図示せぬダイアログ内のボタンがクリックされるまで待機する。そして、操作者が、ベルトコンベア上から工業的製造物Pを取り除く操作を行った後、図示せぬダイアログ内のボタンをクリックすると、CPU40eは、ステップS111からステップS101へ処理を戻す。
<<作用効果>>
第1の実施形態の表面検査システムによれば、制御装置40が、1個の工業的製造物Pの検査対象面を撮像して画像データを取得した後、検査対象面の中心部を表す画素の画素値に基づいて、濃淡を生じせしめる意匠部分を表す画素の画素値を嵩上げするとともに(ステップS205、S207)、検査対象面以外の部分を表す画素の画素値を嵩上げする(ステップS208、S209)。
このような補正が行われるので、検査対象面を表す画素の中から、欠陥を表す画素が検索される際に、注目画素と対比される周辺画素に、検査対象面以外の部分を表す画素や、濃淡を生じせしめる意匠部分を表す画素が、含まれていたとしても、それら画素は、注目画素と同レベルに補正されている。このため、実際に欠陥が無い箇所を表す画素が、欠陥対応画素として検出されることがない。
実施形態2
第2の実施形態は、第1の実施形態における図3のステップS104で実行される検査領域補正サブルーチンの内容を若干変えたものとなっている。従って、第2の実施形態の表面検査システムのハードウエア構成及びソフトウエア構成は、第1の実施形態と同じである。
図13は、第2の実施形態の検査領域補正サブルーチンの流れを示す図である。
図13と図4とを比較して明らかなように、第2の実施形態のステップS201からステップS207までは、第1の実施形態と全く同じ処理内容となっている。第2の実施形態では、CPU40eは、ステップS207を実行した後、ステップS210へ処理を進める。
ステップS210では、CPU40eは、外周部分領域Eを塗り潰す処理を行う。具体的には、CPU40eは、図14に示すように、ワーク領域Wの左右端近傍と上下端近傍とにおいて、このワーク領域Wと交差する4本の境界ラインRを、設定する。4本の境界ラインRには、水平方向と平行なラインが2本と、垂直方向に平行なラインが2本含まれている。続いて、CPU40eは、各境界ラインRについて、以下の処理を行う。その処理では、CPU40eは、1本の境界ラインRを挟んで画像中心がある側とは反対側にある外周部分領域Eの形状の輪郭を特定する(このとき、その輪郭には、ワーク領域Wの輪郭から数画素内側の部分が含まれても良い)。続いて、CPU40eは、その境界ラインを対称線として線対称となるように、境界ラインRの内側(画像中心がある側)に、同じ輪郭を設定する。その後、CPU40eは、設定した輪郭の内側の部分を複製し、複製した部分画像Dを反転させて、境界ラインの外側における外周部分領域Eに貼り付ける。つまり、CPU40eは、1本の境界ラインの内側の画像をコピーして、その外側にある外周部分領域Eにペーストする。この処理により、外周部分領域E内とワーク領域Wの縁は、境界ラインRの内側の色で塗り潰されることとなる。
第2の実施形態の表面検査システムによっても、制御装置40が、1個の工業的製造物Pの検査対象面を撮像して画像データを取得した後、検査対象面の中心部を表す画素の画素値に基づいて、濃淡を生じせしめる意匠部分を表す画素の画素値を嵩上げするとともに(ステップS205、S207)、検査対象面以外の部分を表す画素の画素値を嵩上げす
る(ステップS210)。
このような補正が行われるので、検査対象面を表す画素の中から、欠陥を表す画素が検索される際に、注目画素と対比される周辺画素に、検査対象面以外の部分を表す画素や、濃淡を生じせしめる意匠部分を表す画素が、含まれていたとしても、それら画素は、注目画素と同レベルに補正されている。このため、実際に欠陥が無い箇所を表す画素が、欠陥対応画素として検出されることがない。
<ユニットに関する説明>
以上に説明した第1及び第2の実施形態において、制御装置40の各ユニット40a〜40fは、何れも、ソフトウエア要素とハードウエア要素とから構成されていても良いし、ハードウエア要素のみで構成されていても良い。
ソフトウエア要素としては、インターフェースプログラム、ドライバプログラム、テーブル、及び、データ、並びに、これらのうちの幾つかを組み合わせたものが、例示できる。これらは、後述のコンピュータ可読媒体に格納されたものであっても良いし、ROM[Read Only Memory]及びLSI[Large Scale Integration]などの記憶装置に固定的に
組み込まれたファームウエアであっても良い。
また、ハードウエア要素としては、FPGA[Field Programmable Gate Array]、A
SIC[Application Specific Integrated Circuit]、ゲートアレイ、論理ゲートの組
み合わせ、信号処理回路、アナログ回路、及び、その他の回路が、例示できる。このうち、論理ゲートには、AND、OR、NOT、NAND、NOR、フリップフロップ、カウンタ回路などが、含まれていてもよい。また、信号処理回路には、信号値の加算、乗算、除算、反転、積和演算、微分、積分などを実行する回路要素が、含まれていてもよい。また、アナログ回路には、増幅、加算、乗算、微分、積分などを実行する回路要素が、含まれていてもよい。
なお、前述した制御装置40の各ユニット40a〜40fをそれぞれ構成する要素は、以上に例示したものに限定されず、これらと等価な他の要素であっても良い。
<ソフトウエア及びプログラムに関する説明>
以上に説明した第1及び第2の実施形態において、前述した制御装置40の各ユニット40a〜40f、及び、前述したソフトウエア要素は、何れも、ソフトウエア部品、手続き型言語による部品、オブジェクト指向ソフトウエア部品、クラス部品、タスクとして管理される部品、プロセスとして管理される部品、関数、属性、プロシジャ(手続き)、サブルーチン(ソフトウエアルーチン)、プログラムコードの断片又は部分、ドライバ、ファームウエア、マイクロコード、コード、コードセグメント、エクストラセグメント、スタックセグメント、プログラム領域、データ領域、データ、データベース、データ構造、フィールド、レコード、テーブル、マトリックステーブル、配列、変数、パラメータなどの要素を、含んでいても良い。
また、前述した制御装置40の各ユニット40a〜40f、及び、前述したソフトウエア要素は、何れも、C言語、C++、Java(米国サンマイクロシステムズ社商標)、ビジュアルベーシック(米国マイクロソフト社商標)、Perl、Ruby、その他の多くのプログラミング言語により記述されたものであっても良い。
また、前述した制御装置40の各ユニット40a〜40f、及び、前述したソフトウエア要素に含まれる命令、コード及びデータは、有線ネットワークカード及び有線ネットワークを通じて、又は、無線カード及び無線ネットワークを通じて、コンピュータ、又は、
機械若しくは装置に組み込まれたコンピュータに、送信又はローディングされても良い。
前述した送信又はローディングにおいて、データ信号は、例えば搬送波に組み込まれることにより、有線ネットワーク又は無線ネットワーク上を移動する。但し、データ信号は、前述した搬送波に依らず、いわゆるベースバンド信号のまま転送されても良い。このような搬送波は、電気的、磁気的又は電磁的な形態、光、音響、又は、その他の形態で、送信される。
ここで、有線ネットワーク又は無線ネットワークは、例えば、電話回線、ネットワーク回線、ケーブル(光ケーブル、金属ケーブルを含む)、無線リンク、携帯電話アクセス回線、PHS[Personal Handyphone System]網、無線LAN[Local Area Network]、Bluetooth(ブルートゥース特別利益団体の商標)、車両搭載型無線通信(DSRC[Dedicated Short Range Communication]を含む)、及び、これらのうちの何れかからなるネットワークである。そして、このデータ信号は、命令、コード及びデータを含む情報を、ネットワーク上のノード又は要素に、伝達する。
なお、前述した制御装置40の各ユニット40a〜40f、及び、前述したソフトウエア要素を構成する要素は、以上に例示したものに限定されず、これらと等価な他の要素であっても良い。
<コンピュータ可読媒体に関する説明>
以上に説明した本実施形態における何れかの機能は、コード化されてコンピュータ可読媒体の記憶領域に格納されていても良い。この場合、その機能を実現するためのプログラムが、このコンピュータ可読媒体を介して、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに、提供され得る。コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータは、コンピュータ可読媒体の記憶領域からプログラムを読み出してそのプログラムを実行することによって、その機能を実現することができる。
ここで、コンピュータ可読媒体とは、電気的、磁気的、光学的、化学的、物理的又は機械的な作用によって、プログラム及びデータ等の情報を蓄積するとともに、コンピュータに読み取られ得る状態でその情報を保持する記録媒体をいう。
電気的又は磁気的な作用としては、ヒューズによって構成されるROM[Read Only Memory]上の素子へのデータの書き込みが、例示できる。磁気的又は物理的な作用としては、紙媒体上の潜像へのトナーの現像が、例示できる。なお、紙媒体に記録された情報は、例えば、光学的に読み取ることができる。光学的且つ化学的な作用としては、基盤上での薄膜形成又は凹凸形成が、例示できる。なお、凹凸の形態で記録された情報は、例えば、光学的に読み取ることができる。化学的な作用としては、基板上での酸化還元反応、又は、半導体基板上での酸化膜形成、窒化膜形成、若しくは、フォトレジスト現像が、例示できる。物理的又は機械的な作用としては、エンボスカードへの凹凸形成、又は、紙媒体へのパンチの穿孔が、例示できる。
また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに着脱自在に装着できるものがある。着脱自在なコンピュータ可読媒体としては、DVD(DVD−R、DVD−RW、DVD−ROM、DVD−RAMを含む)、+R/+WR、BD(BD−R、BD−RE、BD−ROMを含む)、CD[Compact Disk](CD−R、CD−RW、CD−ROMを含む)、MO[Magneto Optical
]ディスク、その他の光ディスク媒体、フレキシブルディスク(フロッピーディスク(フロッピーは日立製作所社商標)を含む)、その他の磁気ディスク媒体、メモリーカード(コンパクトフラッシュ(米国サンディスク社商標)、スマートメディア(東芝社商標)、
SDカード(米国サンディスク社、松下電器産業社、東芝社商標)、メモリースティック(ソニー社商標)、MMC(米国ジーメンス社、米国サンディスク社商標)など)、磁気テープ、及び、その他のテープ媒体、並びに、これらのうちの何れかを内蔵した記憶装置が、例示できる。記憶装置には、DRAM[Dynamic Random Access Memory]又はSRAM[Static Random Access Memory]がさらに内蔵されたものもある。
また、コンピュータ可読媒体の中には、コンピュータ、又は、機械若しくは装置に組み込まれたコンピュータに固定的に装着されたものがある。この種のコンピュータ可読媒体としては、ハードディスク、DRAM、SRAM、ROM、EEPROM[Electronically Erasable and Programmable Read Only Memory]、フラッシュメモリなどが、例示で
きる。
前述した本実施形態に関し、更に、以下の付記を開示する。
(付記1)
工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像部、
前記撮像部が生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定部、
前記設定部が設定した前記補正対象領域において、前記検査対象面の中央部を表す画素の画素値に基づいて、前記検査対象面の中央部以外の残りの部分を表す画素の画素値を嵩上げすることにより、前記検査対象画像を補正する補正部、
前記補正部が補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索部、及び、
前記検索部が前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力部
を備えることを特徴とする表面検査システム。
(付記2)
前記補正部は、前記ワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて嵩上げする
ことを特徴とする付記1記載の表面検査システム。
(付記3)
前記補正部は、前記補正対象領域からワーク領域を除いた残りの外周部分領域に対し、前記ワーク領域の中央部の部分画像を貼り付けることによって、その外周部分領域内の画素の画素値を嵩上げする
ことを特徴とする付記1記載の表面検査システム。
(付記4)
前記検索部は、前記ワーク領域内の複数の画素を一つずつ注目していくとともに、注目画素から所定個離れた画素までの参照領域内にある周辺画素の画素値の平均に対して画素値が所定量の差を有する注目画素を、欠陥対応画素として検索する
ことを特徴とする付記1、2又は3記載の表面検査システム。
(付記5)
前記設定部は、前記ワーク領域の最も上側の位置、最も下側の位置、最も左側の位置、及び、最も右側の位置からそれぞれ所定幅だけ外側にある画素を最も外側に含む矩形領域を、補正対象領域として設定する
ことを特徴とする付記4記載の表面検査システム。
(付記6)
前記所定幅は、前記検索部が前記注目画素に対して周辺画素を特定する際に利用する前記参照領域の幅の半分と同じである
ことを特徴とする付記5記載の表面検査システム。
(付記7)
コンピュータが、
工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像手順、
前記撮像手順で生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定手順、
前記設定手順で設定した前記補正対象領域において、前記検査対象面の中央部を表す画素の画素値に基づいて、前記検査対象面の中央部以外の残りの部分を表す画素の画素値を嵩上げすることにより、前記検査対象画像を補正する補正手順、
前記補正手順で補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索手順、及び、
前記検索手順で前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力手順
を実行する
ことを特徴とする表面検査方法。
(付記8)
前記コンピュータが、
前記補正手順においては、前記ワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて嵩上げする
ことを特徴とする付記7記載の表面検査方法。
(付記9)
前記コンピュータが、
前記補正手順においては、前記補正対象領域からワーク領域を除いた残りの外周部分領域に対し、前記ワーク領域の中央部の部分画像を貼り付けることによって、その外周部分領域内の画素の画素値を嵩上げする
ことを特徴とする付記7記載の表面検査方法。
(付記10)
前記コンピュータが、
前記検索手順においては、前記ワーク領域内の複数の画素を一つずつ注目していくとともに、注目画素から所定個離れた画素までの参照領域内にある周辺画素の画素値の平均に対して画素値が所定量の差を有する注目画素を、欠陥対応画素として検索する
ことを特徴とする付記7、8又は9記載の表面検査方法。
(付記11)
前記コンピュータが、
前記設定手順においては、前記ワーク領域の最も上側の位置、最も下側の位置、最も左側の位置、及び、最も右側の位置からそれぞれ所定幅だけ外側にある画素を最も外側に含む矩形領域を、補正対象領域として設定する
ことを特徴とする付記10記載の表面検査方法。
(付記12)
前記所定幅は、前記検索部が前記注目画素に対して周辺画素を特定する際に利用する前記参照領域の幅の半分と同じである
ことを特徴とする付記11記載の表面検査方法。
(付記13)
コンピュータを、
工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像手段、
前記撮像手段が生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定手段、
前記設定手段が設定した前記補正対象領域において、前記検査対象面の中央部を表す画素の画素値に基づいて、前記検査対象面の中央部以外の残りの部分を表す画素の画素値を嵩上げすることにより、前記検査対象画像を補正する補正手段、
前記補正手段が補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索手段、及び、
前記検索手段が前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力手段
として機能させる
ことを特徴とする表面検査プログラム。
(付記14)
前記補正手段は、前記ワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて嵩上げする
ことを特徴とする付記13記載の表面検査プログラム。
(付記15)
前記補正手段は、前記補正対象領域からワーク領域を除いた残りの外周部分領域に対し、前記ワーク領域の中央部の部分画像を貼り付けることによって、その外周部分領域内の画素の画素値を嵩上げする
ことを特徴とする付記13記載の表面検査プログラム。
(付記16)
前記検索手段は、前記ワーク領域内の複数の画素を一つずつ注目していくとともに、注目画素から所定個離れた画素までの参照領域内にある周辺画素の画素値の平均に対して画素値が所定量の差を有する注目画素を、欠陥対応画素として検索する
ことを特徴とする付記13、14又は15記載の表面検査プログラム。
(付記17)
前記設定手段は、前記ワーク領域の最も上側の位置、最も下側の位置、最も左側の位置、及び、最も右側の位置からそれぞれ所定幅だけ外側にある画素を最も外側に含む矩形領域を、補正対象領域として設定する
ことを特徴とする付記16記載の表面検査プログラム。
(付記18)
前記所定幅は、前記検索部が前記注目画素に対して周辺画素を特定する際に利用する前記参照領域の幅の半分と同じである
ことを特徴とする付記17記載の表面検査プログラム。
第1の実施形態の表面検査システムの構成図 制御装置の構成図 表面検査処理の流れを示す図 検査領域補正サブルーチンの流れを示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 画像の一例を示す図 第2の実施形態の検査領域補正サブルーチンの流れを示す図 画像の一例を示す図 従来の欠陥検索方法の概略図
符号の説明
10 駆動装置
20 照明装置
30 撮像装置
40 制御装置
40a 表示ユニット
40b 入力ユニット
40c インターフェースユニット
40d ストレージユニット
40e CPU
40f メインメモリユニット
41 オペレーティングシステムソフトウエア
42 ドライバソフトウエア
43 表面検査プログラム
51 画像

Claims (7)

  1. 工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像部、
    前記撮像部が生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定部、
    前記設定部が設定した前記補正対象領域において、前記検査対象面を表す画素からなるワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて塗り潰すことにより、前記検査対象画像を補正する補正部、
    前記補正部が補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索部、及び、
    前記検索部が前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力部
    を備えることを特徴とする表面検査システム。
  2. 前記補正部は、前記補正対象領域からワーク領域を除いた残りの外周部分領域に対し、前記ワーク領域の中央部の部分画像を貼り付けることによって、その外周部分領域内の画素の画素値を塗り潰す
    ことを特徴とする請求項1記載の表面検査システム。
  3. 前記補正部は、前記補正対象領域を上下方向に分割した分割領域を設定し、各前記分割領域における縦方向の画素列について画素数の累積をおこない、各画素列について横方向の各位置にプロットしたグラフを作成し、前記グラフが水平になる様な横方向の各位置での補正値を算出し、分割領域を前記補正値に基づいて補正することを特徴とする請求項1に記載の表面検査システム。
  4. 前記補正部は、前記補正対象領域を左右方向に分割した分割領域を設定し、各前記分割領域における横方向の画素列について画素数の累積をおこない、各画素列について縦方向の各位置にプロットしたグラフを作成し、前記グラフが垂直になる様な縦方向の各位置で
    の補正値を算出し、分割領域を前記補正値に基づいて補正することを特徴とする請求項1に記載の表面検査システム。
  5. 前記検索部は、前記ワーク領域内の複数の画素を一つずつ注目していくとともに、注目画素から所定個離れた画素までの参照領域内にある周辺画素の画素値の平均に対して画素値が所定量の差を有する注目画素を、欠陥対応画素として検索する
    ことを特徴とする請求項1から4の何れか一項に記載の表面検査システム。
  6. コンピュータが、
    工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像手順、
    前記撮像手順で生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定手順、
    前記設定手順で設定した前記補正対象領域において、前記検査対象面を表す画素からなるワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて塗り潰すことにより、前記検査対象画像を補正する補正手順、
    前記補正手順で補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索手順、及び、
    前記検索手順で前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力手順
    を実行する
    ことを特徴とする表面検査方法。
  7. コンピュータを、
    工業的製造物の一つの検査対象面を撮像して検査対象画像を生成する撮像手段、
    前記撮像手段が生成した検査対象画像の中に、前記検査対象面を表す画素とその検査対象面の外周部分を表す画素とを含む補正対象領域を、設定する設定手段、
    前記設定手段が設定した前記補正対象領域において、前記検査対象面を表す画素からなるワーク領域の中央部における水平方向又は垂直方向に沿った所定線上の各位置について画素値の移動平均値を算出し、前記補正対象領域からワーク領域を除いた残りの外周部分領域における前記所定線上の位置に対応する画素列の各画素値を、その位置の移動平均値に基づいて塗り潰すことにより、前記検査対象画像を補正する補正手段、
    前記補正手段が補正した補正対象領域のうち、前記検査対象面を表す画素からなるワーク領域の中から、欠陥対応画素を検索する検索手段、及び、
    前記検索手段が前記ワーク領域の中から欠陥対応画素を検出した場合に、前記検査対象面に欠陥があった旨を出力する出力手段
    として機能させる
    ことを特徴とする表面検査プログラム。
JP2008096891A 2008-04-03 2008-04-03 表面検査システム、表面検査方法、及び、表面検査プログラム Expired - Fee Related JP5194961B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008096891A JP5194961B2 (ja) 2008-04-03 2008-04-03 表面検査システム、表面検査方法、及び、表面検査プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008096891A JP5194961B2 (ja) 2008-04-03 2008-04-03 表面検査システム、表面検査方法、及び、表面検査プログラム

Publications (2)

Publication Number Publication Date
JP2009250700A JP2009250700A (ja) 2009-10-29
JP5194961B2 true JP5194961B2 (ja) 2013-05-08

Family

ID=41311583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008096891A Expired - Fee Related JP5194961B2 (ja) 2008-04-03 2008-04-03 表面検査システム、表面検査方法、及び、表面検査プログラム

Country Status (1)

Country Link
JP (1) JP5194961B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503397B (zh) * 2023-06-26 2023-09-01 山东天通汽车科技股份有限公司 基于图像数据的车内传输带缺陷检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4655404B2 (ja) * 2001-04-27 2011-03-23 澁谷工業株式会社 物品検査方法
JP3960127B2 (ja) * 2001-06-04 2007-08-15 富士電機システムズ株式会社 外観検査装置
JP2004272077A (ja) * 2003-03-11 2004-09-30 Olympus Corp シェーディング補正装置、方法および制御プログラムを記録した記録媒体
JP4652024B2 (ja) * 2004-11-22 2011-03-16 富士通株式会社 表面検査方法及び装置
JP4150390B2 (ja) * 2005-09-14 2008-09-17 Tdk株式会社 外観検査方法及び外観検査装置
JP4279833B2 (ja) * 2005-12-01 2009-06-17 Tdk株式会社 外観検査方法及び外観検査装置
JP2008003063A (ja) * 2006-06-26 2008-01-10 Seiko Epson Corp シェーディング補正方法、欠陥検出方法、欠陥検出装置、欠陥検出装置の制御方法プログラム

Also Published As

Publication number Publication date
JP2009250700A (ja) 2009-10-29

Similar Documents

Publication Publication Date Title
JP4657869B2 (ja) 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
TWI480967B (zh) 缺陷分類法則建立方法、缺陷分類方法與基於該缺陷分類法則與關鍵區域分析的致命缺陷判斷方法
JP4160991B2 (ja) 線状の欠陥の検出装置および半導体基板の製造装置、線状の欠陥の検出方法および半導体基板の製造方法、コンピュータを当該検出装置または…
US8251515B2 (en) Projector, projection system, image display method, and image display program
US20080050008A1 (en) Image correction method and apparatus for use in pattern inspection system
CN110163786B (zh) 一种去除水印的方法、装置及设备
US7764825B2 (en) Pattern inspection apparatus and method with enhanced test image correctability using frequency division scheme
WO2013111373A1 (ja) 画像検査方法および画像検査装置
US20200288030A1 (en) Image inspection apparatus, image inspection method, and image inspection program
JP2007256305A (ja) 回路パターンデータ補正方法及び半導体装置の製造方法
JP5194961B2 (ja) 表面検査システム、表面検査方法、及び、表面検査プログラム
JP5434385B2 (ja) メッシュ検査装置、メッシュ検査方法、プログラム、および記録媒体
JP2006279442A (ja) 画像処理方法および装置並びにプログラム
US10460219B2 (en) Generating an object map from a plurality of binary images
US20160154920A1 (en) Design method and design apparatus
JP5899475B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20090013302A1 (en) Methods of arranging mask patterns responsive to assist feature contribution to image intensity and associated apparatus
JPWO2018168515A1 (ja) 画像処理装置、画像処理方法及び記録媒体
JP7225858B2 (ja) 検査装置、検査方法および検査プログラム
WO2014084056A1 (ja) 検査装置、検査方法、検査プログラムおよび記録媒体
US10643312B2 (en) Smoothed image generating device, abnormality determining device, and smoothed image generating method
JP4247993B2 (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
JP4630477B2 (ja) 画像信号処理方法
JP2010032287A (ja) 外観検査装置、及び被検査物の外観検査方法
JP4585999B2 (ja) 画像処理装置及びその画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120730

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120821

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees