JP7097504B2 - 対象体判定方法、対象体判定装置 - Google Patents
対象体判定方法、対象体判定装置 Download PDFInfo
- Publication number
- JP7097504B2 JP7097504B2 JP2021505449A JP2021505449A JP7097504B2 JP 7097504 B2 JP7097504 B2 JP 7097504B2 JP 2021505449 A JP2021505449 A JP 2021505449A JP 2021505449 A JP2021505449 A JP 2021505449A JP 7097504 B2 JP7097504 B2 JP 7097504B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- luminance
- brightness
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
Landscapes
- Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Supply And Installment Of Electrical Components (AREA)
Description
本開示は、認識体が対象体であるか否かを判定する対象体判定方法、対象体判定装置に関するものである。
特許文献1には、撮像装置によって撮像された撮像画像に含まれる認識画像について、認識画像の内部の仮の中心点を含む第1領域に位置する複数の点の輝度の平均値と、第1領域の周辺の第2領域に位置する複数の点の輝度の平均値とを取得し、第1領域の輝度の平均値が第1しきい値より高く、かつ、第2領域の輝度の平均値が第1しきい値より小さい第2しきい値以下である場合に、仮の中心点を真の中心点とする中心位置取得方法が記載されている。また、第1しきい値、第2しきい値は固定値であり、予め取得されて、記憶されている。
本開示の課題は、撮像画像に含まれる認識画像が対象体に対応する対象画像であるか否かを判定可能とすることである。
本対象体判定方法においては、撮像画像に含まれる認識画像の内部に位置する少なくとも1つの点の輝度とその認識画像のエッジの輝度との比較結果に基づいて、認識画像が対象体に対応する対象画像であるか否かが判定される。例えば、対象体が回路基板より明るいものである場合には、対象画像の内部に位置する少なくとも1つの点はその対象画像のエッジの輝度より明るい。それに対して、認識画像の内部に位置する少なくとも1つの点がその認識画像のエッジの輝度より暗い場合には、認識画像は対象画像ではないと判定され、認識画像の内部に位置する少なくとも1つの点がエッジの輝度より明るい場合には対象画像であると判定されるようにすることができる。
認識画像の内部とは、認識画像を規定する外形線、すなわち、エッジで囲まれた部分とすることができる。対象画像についても同様である。また、認識画像は虚像である場合があるが、その場合には、認識画像に対応する認識体は実在せず、認識画像は対象画像ではないと判定される。さらに、認識体、対象体は、回路基板に形成されたパターンとしたり、回路基板に装着された部品としたりすること等ができる。また、対象体は、回路基板に形成された基準マークとしたり、回路基板に装着される適正な部品としたりすることができる。適正な部品とは、回路基板のその位置に装着されることが予め決められている部品である適正品であるが、適正品であって、かつ、正しい状態で装着された部品を対象体と称する場合もある。正しい状態とは、例えば、裏面が上面に位置する状態ではなく表面が上面に位置する状態をいう。
本開示の一実施形態である対象体判定装置と、対象体判定装置が接続された実装機とについて、図面に基づいて詳細に説明する。対象体判定装置においては本開示の一実施形態である対象体判定方法が実施される。
図1において、符号12は実装機10の本体としてのベースを示す。ベース12上には、回路基板(以下、基板と略称する)14をX方向に搬送する基板搬送装置16、基板14を保持する基板保持装置18,基板14に電子回路部品20(図3参照。以下、部品20と略称する)を装着する部品装着装置22および部品装着装置22に部品20を供給する部品供給装置24等が設けられている。基板14には、基準マークMが設けられる。なお、基板14の幅方向をY方向、上下方向をZ方向とする。X方向、Y方向、Z方向は互いに直交する。
部品供給装置24は、例えば、複数のテープフィーダ30を含むものとすることができる。
部品装着装置22は、図3に示す部品保持ヘッド40により部品20を搬送し、基板14の上面に装着するものである。図1に示すように、部品装着装置22は、部品保持ヘッド40をXY座標面に平行な平面である水平面内の任意の位置へ移動させるヘッド移動装置41を含み、ヘッド移動装置41は、Xスライド42,Xスライド移動装置44(図1参照),Yスライド46およびYスライド移動装置48等を含む。Xスライド移動装置44は、Xスライド42をX方向に移動させる。Yスライド46はXスライド42に設けられ、Yスライド移動装置48は、Yスライド46をXスライド42においてY方向に相対移動させる。
Yスライド46には、部品保持ヘッド40、基準マークカメラ54(図1参照)、環状照明装置56(図4参照)、落射照明装置58が一体的に移動可能に取り付けられる。
部品保持ヘッド40は、例えば、吸着ノズル50を含む。吸着ノズル50において、部品20が負圧により吸着され、負圧の開放により基板14に装着される。
部品保持ヘッド40は、例えば、吸着ノズル50を含む。吸着ノズル50において、部品20が負圧により吸着され、負圧の開放により基板14に装着される。
基準マークカメラ54は、基板14に形成された基準マークM等を撮像する撮像装置であり、本実施例においては、CCDカメラにより構成されている。
環状照明装置56は、図4に示すように、基準マークカメラ54の周囲に光を照射して、基板14の基準マークMおよびその周辺の部分を照明するものである。
落射照明装置58は、ハーフミラー60、ハロゲンランプ62を備えた光源64等を含む。ハーフミラー60は、基準マークカメラ54の下方に、基準マークカメラ54の光軸に対して45度傾斜して設けられている。ハーフミラー60には光源64から水平方向に光が照射され、垂直に下方へ反射される。符号66は無反射紙を示す。無反射紙66により、ハーフミラー60を透過した光が吸収される。
環状照明装置56は、図4に示すように、基準マークカメラ54の周囲に光を照射して、基板14の基準マークMおよびその周辺の部分を照明するものである。
落射照明装置58は、ハーフミラー60、ハロゲンランプ62を備えた光源64等を含む。ハーフミラー60は、基準マークカメラ54の下方に、基準マークカメラ54の光軸に対して45度傾斜して設けられている。ハーフミラー60には光源64から水平方向に光が照射され、垂直に下方へ反射される。符号66は無反射紙を示す。無反射紙66により、ハーフミラー60を透過した光が吸収される。
上記基準マークカメラ54が、基板14を撮像する際には、環状照明装置56と落射照明装置58とのいずれかが選択的に用いられる。
本実装機10は、図5に示す実装機制御部80を備えている。実装機制御部80は、コンピュータを主体として構成されたものであり、図示しない入出力部には、駆動回路81を介してXスライド移動装置44,Yスライド移動装置48等が接続されるとともに、対象体判定装置82,基準マークカメラ54等が接続される。
対象体判定装置82は、コンピュータを主体として構成されたものであり、基準マークカメラ54によって撮像された撮像画像に含まれる複数の点の輝度を取得する輝度取得部92と、撮像画像に含まれる1つ以上の認識画像のうちの少なくとも1つがそれぞれ対象画像であるか否かを判定する対象画像判定部94とを含む。対象体判定装置82の図示しない入出力部には、基準マークカメラ54、入力装置84、ディスプレイ86等が接続される。
以上のように構成された実装機10において、基板14への部品20の実装作業が行われる。基板14が基板搬送装置16により予め定められた作業位置まで搬送されて、基板保持装置18により位置決め保持される。基準マークカメラ54が、予め定められた基準マーク撮像位置に位置決めされ、基板14に設けられた基準マークM等を撮像する。撮像画像の画像処理により、基準マークMの位置が取得され、基板14の位置誤差が取得される。その後、部品保持ヘッド40は、フィーダ30から部品20を受け取り、基板14の上の予め定められた位置、すなわち、位置誤差に基づいて修正された位置へ移動させられ、部品20を装着する。
基準マークカメラ54の撮像により得られた撮像画像の画像処理は、対象体判定装置82において行われる。
基準マークカメラ54により、図6Aに示すように、基板14の基準マークMを含む設定領域Rが撮像され、それによって、図6Bに示すように、撮像画像Aが取得される。しかし、基板14には、例えば、基準マークM,リード線挿入部B,配線等の認識体が形成されるため、撮像画像Aには複数の認識可能な画像である認識画像Ns1、Ns2,Ns3・・・等が含まれる。以下、複数の認識画像Ns1,Ns2,Ns3・・・等を互いに区別する必要がない場合、総称する場合には、単に認識画像Nsと称する場合がある。
基準マークカメラ54により、図6Aに示すように、基板14の基準マークMを含む設定領域Rが撮像され、それによって、図6Bに示すように、撮像画像Aが取得される。しかし、基板14には、例えば、基準マークM,リード線挿入部B,配線等の認識体が形成されるため、撮像画像Aには複数の認識可能な画像である認識画像Ns1、Ns2,Ns3・・・等が含まれる。以下、複数の認識画像Ns1,Ns2,Ns3・・・等を互いに区別する必要がない場合、総称する場合には、単に認識画像Nsと称する場合がある。
そこで、本実施例においては、対象体判定装置82において、撮像画像Aについての画像処理により、複数の認識画像Nsが取得され、これら複数の認識画像Nsの各々がそれぞれ対象画像であるマーク画像Msであるか否かが判定される。それにより、複数の認識画像Nsからマーク画像Msが特定され、基準マークMの位置が取得され、基板14の位置誤差が取得される。
具体的には、撮像画像Aに含まれる複数の認識画像Nsの各々について、最初に、エッジEが取得され、認識画像Nsの大きさ(例えば、直径の長さ)が取得される。そして、複数の認識画像Nsの各々の直径の長さと、既知であるマーク画像Msの直径の長さとが比較され、例えば、これらの差の絶対値が設定値より小さいものが候補画像とされる。また、認識画像Nsの各々についてエッジEの輝度Tが取得され、記憶される。
次に、認識画像Nsのうち候補画像とされたものについて、候補画像の内部に位置する複数の点P(i)の輝度T(i)がそれぞれ取得され、それぞれ、エッジEの輝度Tと比較される。その比較結果に基づいて、候補画像である認識画像Nsが、それぞれ、マーク画像Msであるか否かが判定されるのである。
例えば、基板14の表面が略緑色を成し、基準マークMが略白色を成す場合には、基板14より基準マークMの方が白く、明るい。図7A、7Bに示すように、認識画像の1つであるマーク画像Msの内部に位置する複数の点P(i) i=1,2,・・・の輝度は基板14を表す画像上の点Qの輝度より大きい。換言すれば、マーク画像Msの内部に位置する複数の点P(i)の各々の輝度T(i)は、マーク画像Msと基板14を表す画像との境界であるエッジEmの輝度Tmより大きい。
エッジEmの輝度Tmは、マーク画像Msにエッジにほぼ直交して設けられた複数のシークラインCm上の各々の輝度の変化勾配が最大の点である複数のエッジ点Emaの輝度Tmaに基づいて決まる。例えば、複数のエッジ点Emaの各々の輝度Tmaを統計的に処理した値、例えば、平均値をエッジEmの輝度Tmとすることができる。撮像画像A上の点の輝度は、輝度取得部92によって取得される。
また、マーク画像Msの内部に位置する複数の点P(i)は、ほぼマーク画像Msの直径Dmに沿って設けることが望ましい。直径Dmは、マーク画像Msの特徴部である中央部を通るからである。
リード線挿入部Bは、図6Aに示すように、ランド110とホール(スルーホールと称することもできる)112とを含むが、ランド110は基板14より明るく、ホール112は基板14より暗い。そのため、図8A,8Bに示すように、リード線挿入部Bを表す認識画像である挿入部画像Bsの内部の複数の点のうち、中央部(挿入部画像Bsの中心点を含む部分)に位置する点P(i1)の輝度は、挿入部画像BsのエッジEbの輝度Tbより小さいが、中央部の周辺の周辺部に位置する点P(i2)の輝度は、エッジEbの輝度Tbより大きい。エッジEbの輝度Tbは、挿入部画像Bsに設けた複数のシークラインCbに沿った輝度の変化に基づいて取得された複数のエッジ点Ebaの輝度Tbaに基づいて同様に取得される。
しかし、図9に示すように、認識画像Nsの内部に位置する点P(i)のうち、輝度T(i)がエッジEの輝度T(=しきい値H)より小さい点があっても、その点の数が少ない場合、例えば、輝度T(i)がしきい値Hより低い点である低輝度点の数の全体の点P(i)の数に対する比率γが設定比率γth以下である場合には、認識画像Nsはマーク画像Msであると判定されるようにすることができる。例えば、基準マークMの内部に、傷が付いていたり、異物が付着していたりすることにより低輝度点が存在するに過ぎないと考えられる。
それに対して、図10に示すように、認識画像Nsの内部に位置する低輝度点の比率γが設定比率γthより高い場合には、認識体Nsがホールを有するものである可能性が高いと判定され、認識画像Nsはマーク画像Msではないと判定される。
以上のように、本実施例においては、候補画像である認識画像Nsの各々の内部のほぼ直径に沿って位置する複数の点P(i)の各々についての輝度T(i)が輝度取得部92によって取得され、それぞれの輝度T(i)と認識画像NsのエッジEの輝度Tとが比較され、その比較結果に基づいて認識画像Nsがマーク画像Msであるか否かが判定される。具体的には、認識画像Nsの各々において、それぞれ、エッジEの輝度Tがしきい値とされて、輝度T(i)がしきい値以下の点P(i)の個数の内部の複数の点P(i)の個数に対する比率が設定比率以下である場合には、認識画像Nsがマーク画像Msであると判定されるようにした。
認識画像Nsの各々がマーク画像Msであるか否かが、図11のフローチャートで表されるマーク画像判定プログラムの実行により判定される。
ステップ1(以下、S1と略称する。他のステップについても同様とする)において、認識画像Nsの各々について、ほぼ直径に沿って複数の点P(i)が設定されて、複数の点P(i)の各々における輝度T(i)が取得される。S2において、認識画像NsのエッジEの輝度Tが読み込まれ、S3において、エッジEの輝度Tがしきい値Hとされる。
ステップ1(以下、S1と略称する。他のステップについても同様とする)において、認識画像Nsの各々について、ほぼ直径に沿って複数の点P(i)が設定されて、複数の点P(i)の各々における輝度T(i)が取得される。S2において、認識画像NsのエッジEの輝度Tが読み込まれ、S3において、エッジEの輝度Tがしきい値Hとされる。
S4において、認識画像Nsの内部に位置する複数の点P(i)の輝度T(i)の各々が、それぞれ、しきい値Hより大きいか否かが判定される。例えば、輝度T(i)がしきい値Hより大きい点である高輝度点Pの数Ca、輝度T(i)がしきい値H以下の点である低輝度点Pの数Cbがそれぞれ、S5,6においてカウントされる。S7において、複数の点P(i)、全てについて、しきい値Hとの比較が完了したか否かが判定される。判定結果がNOである場合には、S4~7が繰り返し実行される。判定結果がYESになった場合には、S8において、低輝度点の数Cbの全体の点の数C(=Ca+Cb)に対する比率γ(=Cb/C)が取得され、S9において、比率γが設定比率γthより大きいか否かが判定される。
S9の判定がYESである場合には、S10において認識画像Nsがマーク画像Msでないと判定され、判定結果がNOである場合には、S11において認識画像Nsはマーク画像Msであると判定される。
例えば、認識画像Ns1,Ns2が候補画像とされた場合において、認識画像Ns1において、図7A,7Bに示すように、ほぼ直径Dmに沿って設定された複数の点P(i)の各々の輝度T(i)は、エッジEmの輝度Tmより大きい。そのため、低輝度点の数の全体の点の数に対する比率γが設定比率γth以下となり、認識画像Ns1はマーク画像Msであると判定される。
それに対して、認識画像Ns2において、図8A,8Bに示すように、ほぼ直径Dbに沿って複数の点P(i)が設定されて、それぞれ、輝度T(i)が取得されるが、中央部に位置する複数の点P(i1)の輝度は、エッジEbの輝度Tbより小さい。そのため、低輝度点の数の全体の点の数に対する比率γが設定比率γthより大きくなり、認識画像Ns2はマーク画像Msでないと判定される。
なお、マーク画像Msと認識画像Ns2とから明らかなように、複数の点P(i)のうち、中央部に位置する点P(i)の輝度とエッジEの輝度Tとの比較結果が、マーク画像Msと認識画像Ns2とで異なる。そのため、マーク画像Msの中央部が特徴部とされる。この特徴部は、挿入部画像Bsの特徴部であると考えることもできる。
このように、低輝度点が特定点とされ、特定点の数の全体の点の数に対する比率に基づいて認識画像Nsがマーク画像Msであるか否かが判定される。そのため、大きさはほぼ同じであるが、ホール112を有するリード線挿入部Bに対応する挿入部画像Bs(Ns2)を誤ってマーク画像Msであると判定され難くすることができ、複数の認識画像Nsからマーク画像Msを良好に特定することができる。
また、認識画像Nsに含まれる複数の点P(i)の輝度は、照明の具合によって変わることが多く、エッジEの輝度Tは常に一定であるとは限らない。それに対して、認識画像Nsの各々において、エッジEの輝度Tが取得されて候補画像が取得された後に、候補画像である認識画像Nsの内部の複数の点P(i)の輝度T(i)がエッジEの輝度Tであるしきい値Hと比較される。そのため、しきい値Hを固定値とする場合に比較して、認識画像Nsの内部に位置する複数の点P(i)の輝度T(i)がエッジEの輝度Tより大きいか否かを正確に取得することができる。
なお、認識画像Nsがマーク画像Msであるか否かは、図12のフローチャートで表されるマーク画像判定プログラムの実行により判定されるようにすることができる。本実施例においては、認識画像Nsの輝度がしきい値H以下である点の位置に基づいて、マーク画像Msであるか否かが判定される。図12のフローチャートで表されるプログラムにおいて、図11のフローチャートで表されるプログラムと同じ実行が行われるステップについては同じステップ番号を付して説明を省略する。
本プログラムにおいて、S4において、認識画像Nsの内部に位置する複数の点P(i)の各々の輝度T(i)がそれぞれしきい値Hより大きいか否かが判定され、S4の判定結果に基づいて、S21,22において、高輝度点P(jh)と低輝度点P(jd)とがそれぞれ記憶される。そして、S24において、低輝度点P(jd)の分布が取得され、S25において、低輝度点P(jd)が、認識画像Nsの中央部(中心点Oを含む部分)に位置するか否かが判定される。判定結果がYESである場合には、S26において、認識画像Nsがマーク画像Msでないと判定され、判定結果がNOである場合には、S27において、認識画像Nsがマーク画像Msであると判定される。
例えば、認識画像Ns1において、低輝度点P(id)は存在しない。それに対して、認識画像Ns2において、図13に示すように、低輝度点P(id)が認識画像Ns2の中央部に集まっている。そのため、認識画像Ns1がマーク画像Msであると判定され、認識画像Ns2はマーク画像Msでないと判定される。
このように、本実施例においては、低輝度点P(id)が特定点とされ、特定点の分布に基づいて認識画像Nsがマーク画像Msであるか否かが判定される。そのため、認識画像Nsがホール112を有する認識体Bを表すものであるか否かを良好に判定することができ、挿入部画像Bsが誤ってマーク画像Msであると判定され難くすることができる。
このように、本実施例においては、低輝度点P(id)が特定点とされ、特定点の分布に基づいて認識画像Nsがマーク画像Msであるか否かが判定される。そのため、認識画像Nsがホール112を有する認識体Bを表すものであるか否かを良好に判定することができ、挿入部画像Bsが誤ってマーク画像Msであると判定され難くすることができる。
なお、高輝度点P(ih)を特定点として、高輝度点P(ih)の分布を取得することもできる。その場合には、高輝度点P(ih)が中央部にも周辺部にも存在する場合には、認識画像がマーク画像Msであると判定され、中央部に位置する高輝度点P(ih)が非常に少ない場合には、認識画像がマーク画像Msでないと判定されるようにすることができる。
以上のように、本実施例において、対象体判定装置82のうちの図11のフローチャートで表されるマーク画像判定プログラム(または、図12のフローチャートで表されるマーク画像判定プログラム)を記憶する部分、実行する部分等により対象画像判定部94が構成される。また、図11のフローチャートで表されるマーク画像判定プログラム(または、図12のフローチャートで表されるマーク画像判定プログラム)のうちS1が輝度取得工程に対応し、S4,S6(またはS4,S22)が特定点取得工程に対応する。さらに、図11のフローチャートで表されるマーク画像判定プログラムのうちのS8が比率取得工程に対応し、S9-11が第1判定工程に対応し、図12のフローチャートで表されるマーク画像判定プログラムのうち、S24が分布取得工程に対応し、S25-27が第2判定工程に対応する。また、本実施例においては、基準マークMが対象体とされる。
なお、認識画像Nsの内部に位置する複数の点P(i)の各々の輝度T(i)をエッジEの輝度Tと比較することは不可欠ではなく、図7B,図8Bに示すような輝度分布を取得し、輝度分布が予め定められたパターンと同じであるか否かが判定されるようにすることができる。例えば、輝度分布が図8Bに示すパターン(挿入部画像における輝度分布を表すパターンを挿入部パターンと称する。以下、同様とする)と同じパターンである場合には、認識画像Nsはマーク画像ではないと判定することができる。その場合の一例を図14に示す。挿入部画像Bsにおいて、図8Bに示すように、直径Dbに沿って複数の点P(i)が設けられ、複数の点P(i)の各々の輝度が取得されるが、直径Dbの一方の端部から他方の端に行くにつれて、輝度が増加した後減少し、その後、増加した後減少する。
S31において、認識画像Nsの内部に位置する複数の点P(i)の各々の輝度T(i)が取得され、S32において、輝度分布、すなわち、パターンが取得され、S33において、得られたパターンが挿入部パターンと同じであるか否かが判定される。判定結果がYESである場合には、S34において、認識画像Nsはマーク画像Msではないと判定され、判定結果がNOである場合には、S35において、認識画像Nsはマーク画像Msであると判定される。本実施例においては、S32が輝度分布取得工程に対応する。
また、図示は省略するが、基板14の表面より暗い部分を基準マークとすることができる。基板14の表面の色も緑色に限らず、それより、明るい色とすることもできる。
本実施例においては、マーク画像の内部に位置する複数の点P(i)の各々の輝度T(i)は、マーク画像のエッジEの輝度Tより小さくなるが、上記実施例における場合と同様に、撮像画像に含まれる1つ以上の認識画像Nsの各々がそれぞれマーク画像であるか否かが判定されるようにすることができる。
本実施例においては、マーク画像の内部に位置する複数の点P(i)の各々の輝度T(i)は、マーク画像のエッジEの輝度Tより小さくなるが、上記実施例における場合と同様に、撮像画像に含まれる1つ以上の認識画像Nsの各々がそれぞれマーク画像であるか否かが判定されるようにすることができる。
本実施例においては、基板14に装着された部品が適正品(本来、その位置に装着されるベき部品をいう)であり、かつ、正しい状態で装着されているか否か(本来、上面となる面ではない面が上面になっているか否か)が、撮像画像に含まれる基板に装着された部品を表す認識画像の内部に位置する複数の点P(i)の輝度T(i)と認識画像のエッジEの輝度Tとの比較結果に基づいて判定される。
例えば、基板14より暗い色の表面を有する適正品が正しい状態(表面が上面にある状態)で装着されている場合の認識画像である適正画像Ngを図15Aに示す。図15Aにおいて、適正画像Ngの内部に位置する複数の点P(i)の輝度T(i)は適正画像NgのエッジEgの輝度Tgより小さい。
また、適正品とは異なる別の部品の認識画像である別部品画像Njを図15Bに示す。図15Bに示すように、別部品画像Njの内部に位置する複数の点P(i)の輝度T(i)は別部品画像NjのエッジEjの輝度Tjより大きい。
さらに、適正品であるが表裏逆の状態で装着されている部品を表す認識画像である裏状態画像Nfを図15Cに示す。図15Cに示すように、裏状態画像Nfにおいては、複数の点P(i)のうち中央部に位置する点P(i2)の輝度が裏状態画像NfのエッジEfの輝度Tfより大きく、中央部の周辺の周辺部に位置する点P(i1)の輝度がエッジEfの輝度Tfより小さい。
また、適正品とは異なる別の部品の認識画像である別部品画像Njを図15Bに示す。図15Bに示すように、別部品画像Njの内部に位置する複数の点P(i)の輝度T(i)は別部品画像NjのエッジEjの輝度Tjより大きい。
さらに、適正品であるが表裏逆の状態で装着されている部品を表す認識画像である裏状態画像Nfを図15Cに示す。図15Cに示すように、裏状態画像Nfにおいては、複数の点P(i)のうち中央部に位置する点P(i2)の輝度が裏状態画像NfのエッジEfの輝度Tfより大きく、中央部の周辺の周辺部に位置する点P(i1)の輝度がエッジEfの輝度Tfより小さい。
本実施例においては、図16のフローチャートで表される対象画像判定プログラムが実行される。図16のフローチャートにおいて、図11、12のフローチャートと同様の実行が行われるステップについては同じステップ番号を付して説明を省略する。
S4において、複数の点P(i)の各々の輝度T(i)がそれぞれしきい値Hと比較され、しきい値Hより大きい場合には、S5,21において、高輝度点の個数がカウントされるとともに、位置が記憶される。しきい値H以下である場合には、S6,22において、低輝度点の個数がカウントされるとともに、位置が記憶される。S40において、特定点である高輝度点の個数Caの全体の個数Cに対する比率γ´が取得され、S41において、高輝度点P(jh)の分布が取得される。
S4において、複数の点P(i)の各々の輝度T(i)がそれぞれしきい値Hと比較され、しきい値Hより大きい場合には、S5,21において、高輝度点の個数がカウントされるとともに、位置が記憶される。しきい値H以下である場合には、S6,22において、低輝度点の個数がカウントされるとともに、位置が記憶される。S40において、特定点である高輝度点の個数Caの全体の個数Cに対する比率γ´が取得され、S41において、高輝度点P(jh)の分布が取得される。
そして、S42において、比率γ´が設定比率γth´より大きいか否かが判定される。判定がNOである場合には、S43において、認識画像Nsが対象画像であり、認識画像に対応する部品は適正品であり、かつ、正しい状態で装着されていると判定される。すなわち、認識体が対象品であると判定されるのである。それに対して、判定がYESである場合には、S44において、高輝度点が中央部に集まっているか否か判定される。判定がYESである場合には、S45において、認識画像に対応する部品は適正品であるが表裏逆の状態で装着されていると判定される。判定がNOである場合には、S46において、認識画像に対応する部品は適正品ではないと判定される。
このように、本開示は、基板14に装着される部品が適正品であるか否か、正しい状態で装着されているか否かを検査する検査方法にも適用することができる。
認識画像が対象画像であるか否かの判定が、上述の実施例1,2においては、実装機10に設けられた基準マークカメラ54によって取得された撮像画像Aに基づいて行われる場合について説明したが、図17に示すように、検査機200に設けられた検査用カメラ202によって取得された撮像画像に基づいて行われるようにすることができる。本実施例においては、検査機200に対象体判定装置204が接続され、対象体判定装置204に、検査用カメラ202が接続される。本実施例においても、認識画像が対象画像であるか否かの判定を同様に行うことができる。
以上、本開示のいくつかの実施形態を説明したが、これらは例示に過ぎず、本開示は、当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。
10:電子回路部品実装機 54:基準マークカメラ 56:照明装置 58:落射照明装置 82:対象体判定装置 92:輝度取得部 94:対象画像判定部
Claims (10)
- 撮像装置によって回路基板上の予め定められた領域を撮像して得られた撮像画像に含まれる1つ以上の認識画像のうちの少なくとも1つが、それぞれ、対象体を表す画像である対象画像であるか否かを判定することにより、前記少なくとも1つの前記認識画像に対応する認識体がそれぞれ前記対象体であるか否かを判定する対象体判定方法であって、
前記少なくとも1つの認識画像の各々について、前記認識画像のエッジの輝度をしきい値として、前記認識画像の内部に位置する少なくとも1つの点の各々の輝度と前記しきい値との比較結果に基づいて、前記少なくとも1つの認識画像が前記対象画像であるか否かをそれぞれ判定する対象体判定方法。 - 当該対象体判定方法が、
前記撮像画像に含まれる前記少なくとも1つの認識画像の各々について、前記認識画像の内部に位置する前記少なくとも1つの点としての複数の点の各々の輝度をそれぞれ取得する輝度取得工程と、
前記輝度取得工程において取得された前記少なくとも1つの認識画像の各々の内部に位置する前記複数の点の各々の輝度と前記しきい値との比較により、前記少なくとも1つの認識画像の各々の内部の、前記輝度が前記しきい値以下の点または前記輝度が前記しきい値より大きい点である特定点を取得する特定点取得工程とを含む請求項1に記載の対象体判定方法。 - 前記対象体判定方法が、
前記特定点取得工程において取得された前記特定点の個数の前記認識画像の内部に位置する前記複数の点の個数に対する比率を取得する比率取得工程と、
前記比率取得工程において取得された前記比率に基づいて、前記認識画像が前記対象画像であるか否かを判定する第1判定工程と
を含む請求項2に記載の対象体判定方法。 - 前記対象体判定方法が、
前記特定点取得工程において取得された前記特定点の分布を取得する特定点分布取得工程と、
その特定点分布取得工程において取得された前記特定点が存在する位置に基づいて、前記認識画像が前記対象画像であるか否かを判定する第2判定工程と
を含む請求項2に記載の対象体判定方法。 - 前記複数の点の各々を、前記認識画像の、前記対象体の特徴部に対応する部分の少なくとも一部を含んで設けられた点とする請求項2ないし4のいずれか1つに記載の対象体判定方法。
- 前記対象体の特徴部が、前記対象体の中心点を含む中央部である請求項5に記載の対象体判定方法。
- 前記対象体が、前記回路基板に形成された基準マークである請求項1ないし6のいずれか1つに記載の対象体判定方法。
- 前記対象体が、前記回路基板に装着された電子部品である請求項1ないし6のいずれか1つに記載の対象体判定方法。
- 撮像装置によって回路基板上の予め定められた領域が撮像されることによって得られた撮像画像に含まれる1つ以上の認識画像のうちの少なくとも1つが、それぞれ、対象体を表す画像である対象画像であるか否かを判定することにより、前記少なくとも1つの認識画像に対応する認識体がそれぞれ前記対象体であるか否かを判定する対象体判定方法であって、
前記少なくとも1つの認識画像の各々について、それぞれ、前記認識画像に含まれる複数の点の各々の輝度を取得する輝度取得工程と、
前記輝度取得工程において取得された前記複数の点の各々の輝度の分布を取得する輝度分布取得工程と
を含み、前記輝度分布取得工程において取得された前記輝度分布に基づいて、前記少なくとも1つの認識画像がそれぞれ前記対象画像であるか否かを判定する対象体判定方法。 - 撮像装置によって回路基板の対象体を含む予め定められた領域が撮像されることによって得られた撮像画像に含まれる1つ以上の認識画像のうちの少なくとも1つの各々について、前記認識画像の内部に位置する少なくとも1つの点の輝度をそれぞれ取得する輝度取得部と、
前記輝度取得部によって取得された前記少なくとも1つの点の各々の輝度に基づいて前記認識画像が前記対象体を表す画像である対象画像であるか否かを判定する対象画像判定部と
を含み、前記対象画像判定部による判定結果に基づいて、前記認識画像に対応する認識体が前記対象体であるか否かを判定する対象体判定装置であって、
前記対象画像判定部が、前記少なくとも1つの前記認識画像の各々について、前記少なくとも1つの点の各々の輝度と前記認識画像のエッジの輝度との比較結果に基づいて、前記認識画像が前記対象画像であるか否かを判定するものである対象体判定装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/010535 WO2020183698A1 (ja) | 2019-03-14 | 2019-03-14 | 対象体判定方法、対象体判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020183698A1 JPWO2020183698A1 (ja) | 2021-12-02 |
JP7097504B2 true JP7097504B2 (ja) | 2022-07-07 |
Family
ID=72426661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505449A Active JP7097504B2 (ja) | 2019-03-14 | 2019-03-14 | 対象体判定方法、対象体判定装置 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3941176A4 (ja) |
JP (1) | JP7097504B2 (ja) |
CN (1) | CN113545185B (ja) |
WO (1) | WO2020183698A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127993A (ja) | 2002-09-30 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 基板良否判定方法及び装置 |
JP2009259983A (ja) | 2008-04-15 | 2009-11-05 | Juki Corp | 自動焦点調整方法 |
JP6311804B2 (ja) | 2017-01-05 | 2018-04-18 | カシオ計算機株式会社 | 端末装置及びプログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6311804A (ja) * | 1986-07-02 | 1988-01-19 | Hitachi Ltd | 位置決め用マ−ク位置検出方式 |
JPH08159712A (ja) * | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | パターン認識方法 |
JPH08271223A (ja) * | 1995-02-03 | 1996-10-18 | Kobe Steel Ltd | 物体の位置認識装置 |
JP3645656B2 (ja) * | 1996-06-03 | 2005-05-11 | 株式会社ミツトヨ | エッジ検出方式 |
JPH1062134A (ja) * | 1996-08-22 | 1998-03-06 | Matsushita Electric Ind Co Ltd | 認識検査における照明調整方法 |
JP3306422B2 (ja) * | 1996-12-07 | 2002-07-24 | トヨタ車体株式会社 | 電子部品の位置ズレ検査方法 |
JPH1139485A (ja) * | 1997-07-18 | 1999-02-12 | Shimu:Kk | 撮影画像のエッジ成分検出方法 |
JP2004279304A (ja) * | 2003-03-18 | 2004-10-07 | Fuji Mach Mfg Co Ltd | 画像処理方法および画像処理プログラム |
WO2006087812A1 (ja) * | 2005-02-18 | 2006-08-24 | Fujitsu Limited | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム |
JP4622912B2 (ja) * | 2006-03-30 | 2011-02-02 | パナソニック株式会社 | 認識対象の中心位置を認識する方法および装置 |
JP4275149B2 (ja) * | 2006-04-28 | 2009-06-10 | シャープ株式会社 | 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体 |
JP4210863B2 (ja) * | 2006-07-06 | 2009-01-21 | セイコーエプソン株式会社 | 画像処理システム、表示装置、プログラムおよび情報記憶媒体 |
JP2009128303A (ja) * | 2007-11-27 | 2009-06-11 | Omron Corp | 基板外観検査装置 |
JP5047031B2 (ja) * | 2008-03-28 | 2012-10-10 | 富士機械製造株式会社 | 電子部品装着装置における部品認識方法 |
CN101510302B (zh) * | 2009-03-25 | 2014-05-21 | 北京中星微电子有限公司 | 一种图像增强方法和装置 |
JP5257274B2 (ja) * | 2009-06-30 | 2013-08-07 | 住友電気工業株式会社 | 移動体検出装置、移動体検出方法及びコンピュータプログラム |
JP5206620B2 (ja) * | 2009-08-05 | 2013-06-12 | 三菱電機株式会社 | 部材の位置認識装置、位置決め装置、接合装置および部材の接合方法 |
JP5781743B2 (ja) * | 2010-06-28 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US8605949B2 (en) * | 2011-11-30 | 2013-12-10 | GM Global Technology Operations LLC | Vehicle-based imaging system function diagnosis and validation |
JP5743918B2 (ja) * | 2012-01-31 | 2015-07-01 | 株式会社東芝 | 画像処理装置 |
WO2014002534A1 (ja) * | 2012-06-26 | 2014-01-03 | 本田技研工業株式会社 | 対象物認識装置 |
WO2015136669A1 (ja) * | 2014-03-13 | 2015-09-17 | 富士機械製造株式会社 | 画像処理装置および基板生産システム |
JP6738583B2 (ja) * | 2015-08-06 | 2020-08-12 | Juki株式会社 | 検査装置、実装装置、検査方法及びプログラム |
-
2019
- 2019-03-14 WO PCT/JP2019/010535 patent/WO2020183698A1/ja active Application Filing
- 2019-03-14 JP JP2021505449A patent/JP7097504B2/ja active Active
- 2019-03-14 CN CN201980093731.6A patent/CN113545185B/zh active Active
- 2019-03-14 EP EP19918681.8A patent/EP3941176A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004127993A (ja) | 2002-09-30 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 基板良否判定方法及び装置 |
JP2009259983A (ja) | 2008-04-15 | 2009-11-05 | Juki Corp | 自動焦点調整方法 |
JP6311804B2 (ja) | 2017-01-05 | 2018-04-18 | カシオ計算機株式会社 | 端末装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020183698A1 (ja) | 2021-12-02 |
WO2020183698A1 (ja) | 2020-09-17 |
CN113545185B (zh) | 2022-11-25 |
EP3941176A1 (en) | 2022-01-19 |
EP3941176A4 (en) | 2022-04-06 |
CN113545185A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI622754B (zh) | Three-dimensional measuring device | |
JP6537332B2 (ja) | 画像処理方法および撮影装置 | |
US20050190361A1 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
US10743448B2 (en) | Substrate position detection device | |
JP6472873B2 (ja) | 部品検査機及び部品装着機 | |
JPWO2014106892A1 (ja) | 部品実装機及び部品実装方法 | |
JP4883636B2 (ja) | 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機 | |
WO2017068638A1 (ja) | 画像処理装置および部品実装機 | |
JP7097504B2 (ja) | 対象体判定方法、対象体判定装置 | |
WO2017126025A1 (ja) | 実装装置および撮像処理方法 | |
JP6714477B2 (ja) | 基板角位置特定方法 | |
JP6738583B2 (ja) | 検査装置、実装装置、検査方法及びプログラム | |
JPWO2018158888A1 (ja) | バックアップピンの認識方法および部品実装装置 | |
WO2016075790A1 (ja) | 装着機及び装着機を用いた電子部品の吸着姿勢検査方法 | |
WO2016143059A1 (ja) | 実装装置、撮像処理方法及び撮像ユニット | |
JP4704218B2 (ja) | 部品認識方法、同装置および表面実装機 | |
JP7078791B2 (ja) | 基準マーク特定装置、基準マーク特定方法 | |
JP6621639B2 (ja) | 基板用の画像処理装置 | |
US10339666B2 (en) | Recognition device and recognition method | |
JP7271738B2 (ja) | 撮像ユニット | |
JP7019065B2 (ja) | 部品実装ラインの生産最適化システム | |
JP7126880B2 (ja) | 画像処理装置、実装装置、画像処理方法、プログラム | |
WO2022269912A1 (ja) | 認識装置及び認識方法 | |
US11557109B2 (en) | Image-capturing unit and component-mounting device | |
JP2009206378A (ja) | 電子部品装着装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7097504 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |