JP4255115B2

JP4255115B2 - Captured image processing apparatus and captured image processing method for electronic component mounter

Info

Publication number: JP4255115B2
Application number: JP2003158768A
Authority: JP
Inventors: 和美星川; 幹雄中島
Original assignee: Fuji Machine Manufacturing Co Ltd
Current assignee: Fuji Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2009-04-15
Anticipated expiration: 2023-06-04
Also published as: JP2004363262A

Description

【０００１】
【発明の属する技術分野】
本発明は、吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出するようにした電子部品実装機の撮像画像処理装置及び撮像画像処理方法に関するものである。
【０００２】
【従来の技術】
一般に、電子部品実装機は、吸着ノズルにおける電子部品の吸着異常を検出する機能を備えている。電子部品の吸着異常の態様には、例えば、不良部品の吸着、異なる部品の吸着、部品の立ち吸着、吸着ミスによる吸着部品無しがある。吸着ノズルに吸着した電子部品をカメラで撮像する場合は、カメラの撮像画像から取り込んだ吸着部品の外観情報に基づいて不良部品や異なる部品を検出するようにしているが、従来の画像処理技術では撮像画像から吸着部品無しの状態を認識することはできなかった。
【０００３】
そのため、従来は、吸着ノズルの真空吸引系に真空センサを設けて、吸着ノズルの部品吸着動作後の真空度を真空センサで検出して、その真空度によって吸着部品の有無を判定するようにしている。
【０００４】
しかしながら、小径の吸着ノズルを使用する場合は、吸着部品有りと吸着部品無しの場合で、真空度の差が小さくなるため、吸着部品の有無を正確に判定できない。また、部品が立ち吸着されている場合は、吸着ノズルの先端から真空漏れが発生することがあるため、部品の立ち吸着を吸着部品無しと誤判定する可能性がある。
【０００５】
このような問題を解決するために、特許文献１（特開２０００−１３６９０４号公報）に記載されているように、吸着ノズルに吸着した電子部品を反射光照明により撮像して電子部品を画像認識し、その結果、吸着異常と認識された場合には、反射光照明を透過光照明に切り換えて、再度、画像認識して、吸着部品の有無を判定するようにしたものがある。
【０００６】
【特許文献１】
特開２０００−１３６９０４号公報（第２頁〜第３頁等）
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特許文献１の電子部品実装機では、反射光照明と透過光照明の２種類の照明装置が必要となるため、照明装置のコストが高くなると共に、照明装置の設置スペースを２箇所に確保する必要があり、照明装置全体の構成が大型化する欠点がある。
【０００８】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる電子部品実装機の撮像画像処理装置及び撮像画像処理方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、予め、吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分をカメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）に基づいてマスク処理値を設定して記憶手段に記憶しておき、吸着ノズルの部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセル（画素）の輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数（反射光照明の場合）又は該マスク処理値以下の輝度のピクセル数（透過光照明の場合）に基づいて該吸着ノズルの吸着部品の有無を判定するようにしたものである。後述するように、マスク処理値は、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度に設定されている。
【００１０】
一般に、カメラ付きの電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル及びその周囲の背景部分を黒色に着色することで、電子部品の画像とそれ以外の背景画像とを区別しやすいようにしている。従って、予め、吸着ノズルに電子部品を吸着していない状態を撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておけば、撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数（反射光照明の場合）又は該マスク処理値以下の輝度のピクセル数（透過光照明の場合）を計数することで、吸着部品の画像の面積（吸着部品の大きさ）に比例するピクセル数を求めることができ、吸着部品の有無を精度良く判定することができる。これにより、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる。
【００１１】
本発明は、予め、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにしているため、輝度ヒストグラムによってノイズ等を排除することができ、マスク処理値の精度を高めることができる。
【００１２】
更に、本発明は、輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度を前記マスク処理値として設定するようにしているため、撮像画像に写る吸着ノズル及びその周囲の背景部分をマスキングするためのマスク処理値を精度良く設定することができる。
【００１３】
また、吸着部品有りと判断する最小のピクセル数を、吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定するようにすると良い。このようにすれば、吸着ノズルに小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【００１４】
また、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしても良い。つまり、吸着部品の有無を検出する際には、吸着部品の形状を正確に認識する必要はなく、ある程度大雑把に認識できれば良いため、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良い。このため、吸着部品の有無を検出する際の画像処理時に、間引き処理を行うことが可能となり、それによって、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる。
尚、吸着部品無しと判定した場合には、再度、吸着ノズルの部品吸着動作を実行し、吸着部品有りと判定した場合には、画像処理による部品認識が正常に行われたか否かを判定し、画像処理による部品認識が正常に行われなかったと判定したときに、前記吸着ノズルに吸着されている部品を所定の廃棄場所に廃棄するようにすると良い。
【００１５】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。本発明は、吸着ノズルに吸着した電子部品を撮像するカメラを備えた電子部品実装機であれば、そのシステム構成を問わず、全ての機種に適用できるため、電子部品実装機の機械的構成の説明は省略する。尚、カメラを備えた電子部品実装機の一例は、例えば特開２０００−２９４９９０号公報に記載されている。
【００１６】
本実施形態の電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２（バックプレート等）を黒色に着色している。
【００１７】
次に、撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２をマスキングするためのマスク処理値を設定する方法を説明する。まず、吸着ノズル１１に電子部品を吸着していない状態で該吸着ノズル１１及びその周囲の背景部分１２をカメラで撮像して、吸着部品無し背景画像を取得する。
【００１８】
この後、この吸着部品無し背景画像のピクセル（画素）の輝度の頻度分布を表す輝度ヒストグラムを作成する（図３参照）。この際、吸着部品無し背景画像の全てのピクセルをサンプリングして全てのピクセルに関する輝度ヒストグラムを作成しても良いが、吸着部品無し背景画像のピクセルを１個おきに間引きしてサンプリングすることで、サンプリング数を１／２に減らしても良い。
【００１９】
図３に示すように、輝度ヒストグラムは、横軸（Ｘ軸）の目盛りを輝度０から２５５までの２５６階調（８ビットの場合）とし、縦軸（Ｙ軸）の目盛りを頻度とする。ノイズを除去するために、頻度が例えば５未満を切り捨てる。つまり、頻度が５未満は、頻度０とみなす。輝度ヒストグラムには、２つのピークが出来る。一方のピークは、吸着ノズル１１の周囲の背景部分１２（バックプレート等）の画像によるピークであり、他方のピークは、吸着ノズル１１の画像によるピークである。
【００２０】
そして、輝度ヒストグラムの２つのピークのうち輝度が大きい方のピークを検索する。この際、輝度ヒストグラムが輝度１００以下の領域に分布することを考慮して、例えば、輝度１００から降順に頻度が落ち込むピーク輝度を求める。
【００２１】
この後、求めたピーク輝度から次の二次元多項式の近似式を求める（図３における２点鎖線）。
Ｙ＝ａＸ^２＋ｂＸ＋ｃ
Ｙ：頻度
Ｘ：輝度
ａ，ｂ，ｃ：係数
【００２２】
尚、二次元多項式に限定されず、１次元多項式又は３次元以上の多項式でも良い。要は、輝度ヒストグラムの近似式が得られれば良い。本実施形態では、二次元多項式の近似式を用いるものとする。
【００２３】
この後、輝度ヒストグラムの二次元多項式の近似式の曲線が頻度０（Ｙ＝０）の線と交わる輝度Ｘを求め、これをマスク処理値として設定する。このマスク処理値は、画像処理を行うコンピュータの記憶装置（記憶手段）に記憶される。
【００２４】
二次元多項式の近似式の曲線が頻度０の線と交わる輝度Ｘ（マスク処理値）は二次方程式（ａＸ^２＋ｂＸ＋ｃ＝０）の解の公式から算出すれば良い。
【００２５】
【数１】

【００２６】
上記解の公式から輝度Ｘを算出する場合、近似式の曲線が頻度０（Ｙ＝０）の線と交わらない場合があるので、二次方程式の判別式（ｂ^２−４ａｃ）がプラス値であるか否かで、輝度Ｘ（マスク処理値）を算出可能か否かを判定する。もし、判別式（ｂ^２−４ａｃ）がマイナス値であれば、輝度Ｘを算出不能（解なし）と判断して、マスク処理値の設定エラーとする。
【００２７】
次に、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）の設定方法を説明する。本実施形態では、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）を、吸着ノズル１１で吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定する。以下、これを具体的に説明する。
【００２８】
吸着ノズル１１で吸着可能な最小の電子部品Ａのサイズを、図４に示すように０．６ｍｍ×０．３ｍｍ×０．２５ｍｍとする。正常な吸着状態では、部品Ａの０．６ｍｍ×０．３ｍｍの面が撮像されるが、立ち吸着状態では、部品Ａの最小面（０．３ｍｍ×０．２５ｍｍの面）が撮像される。
【００２９】
１ピクセルの大きさ（ユニット値）が例えば４０μｍの場合の部品Ａの最小面の画像のピクセル数は、縦：０．２５ｍｍ／４０μｍ＝６．２５（ピクセル）であり、横：０．３ｍｍ／４０μｍ＝７．５（ピクセル）である。従って、部品Ａの最小面の画像の総ピクセル数は、６．２５×７．５＝４６．８７５（ピクセル）となる。本実施形態では、部品Ａの最小面の画像のピクセルを１個おきに間引きしてサンプリングするため、部品Ａの最小面の画像の総ピクセル数は、面積で１／４に相当する１２（ピクセル）となる。この１２（ピクセル）が判定ピクセル数となる。この判定ピクセル数は、画像処理を行うコンピュータの記憶装置（記憶手段）に記憶される。
【００３０】
吸着ノズル１１の部品吸着動作後にカメラの撮像画像を１ピクセルおきに間引きしてサンプリングし、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、吸着部品有りと判定し、判定ピクセル数未満であれば、吸着部品無しと判定する。尚、判定ピクセル数は、１ピクセルの大きさ（ユニット値）から求めるので、カメラの分解能の違いによって異なってくる。
【００３１】
以上説明した吸着部品有無の判定は、画像処理を行うコンピュータによって図５のプログラムに従って実行される。本プログラムは、吸着ノズル１１の部品吸着動作後に起動され、まず、ステップ１０１で、カメラの撮像画像を１ピクセルおきに間引きしてサンプリングする。この後、ステップ１０２に進み、サンプリングしたピクセルの中に、マスク処理値以上の輝度のピクセルが存在するか否かを判定し、マスク処理値以上の輝度のピクセルが存在しなければ、ステップ１０８に進み、吸着部品無しと判定する。この場合は、ステップ１０７に進み、再度、吸着ノズル１１の部品吸着動作を繰り返す。
【００３２】
一方、ステップ１０２でマスク処理値以上の輝度のピクセルが存在すると判定された場合は、ステップ１０３に進み、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かを判定する。もし、マスク処理値以上の輝度のピクセル数が判定ピクセル数未満であれば、吸着ノズル１１で吸着可能な最小の電子部品Ａよりも小さいごみ等を撮像したものと判断して、ステップ１０８に進み、吸着部品無しと判定し、再度、吸着ノズル１１の部品吸着動作を繰り返す（ステップ１０７）。
【００３３】
これに対して、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、ステップ１０４に進み、吸着部品有りと判定する。この場合は、ステップ１０５に進み、画像処理による部品認識が正常に行われたか否かを判定し、部品認識が正常に行われなかった場合（例えば不良部品の吸着、異なる部品の吸着の場合）は、ステップ１０９に進み、吸着ノズル１１に吸着されている部品を所定の廃棄場所に廃棄する。
【００３４】
上記ステップ１０５で、部品認識が正常に行われたと判定されれば、ステップ１０６に進み、吸着ノズル１１に吸着されている部品を回路基板の所定位置に実装する。この後、ステップ１０７に進み、吸着ノズル１１に新たな電子部品を吸着する。
【００３５】
以上説明した本実施形態によれば、予め、吸着ノズル１１に電子部品を吸着していない状態で該吸着ノズル１１及びその周囲の背景部分１２をカメラで撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておき、吸着ノズル１１の部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル１１の吸着部品の有無を判定するようにしたので、既存の電子部品実装機に対して、ソフトウェア（プログラム）の追加又は変更のみで吸着ノズル１１の吸着部品の有無を判定する機能を持たせることができる。
【００３６】
しかも、マスク処理値を設定する際に、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにしたので、輝度ヒストグラムによってノイズ等を排除することができ、撮像画像に写る吸着ノズル１１及びその周囲の背景部分１２をマスキングするためのマスク処理値を精度良く設定することができる。
【００３７】
また、吸着部品有りと判断する最小のピクセル数（判定ピクセル数）を、吸着ノズル１１で吸着可能な最小の電子部品Ａを立ち吸着したときの撮像画像に基づいて設定するようにしたので、吸着ノズル１１に小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【００３８】
また、本実施形態では、吸着部品の有無を検出する際に、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良いということに着目して、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしたので、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる利点もある。
しかしながら、本発明は、間引き処理を行わず、撮像画像の全てのピクセルの輝度をサンプリングするようにしても良いことは言うまでもない。
【００３９】
また、本実施形態では、反射光照明を用いて吸着部品を撮像するようにしたが、透過光照明を用いて吸着部品を撮像するシステムにも本発明を適用することができる。透過光照明を用いる場合は、反射光照明の場合とは反対に、吸着部品の画像が黒色（輝度０）となり、それ以外の部分の輝度が大きくなるため、マスク処理値以下の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル１１の吸着部品の有無を判定するようにすれば良い。
【００４０】
また、本発明による吸着部品有無の判定と真空センサによる吸着部品有無の判定とを併用して、判定精度を更に高めるようにしても良い。
【図面の簡単な説明】
【図１】本発明の一実施形態における吸着ノズルとその周囲の背景部分（バックプレート等）を概略的に示す正面図
【図２】吸着部品無し背景画像を概略的に示す図
【図３】輝度ヒストグラムを示す図
【図４】吸着ノズルで吸着可能な最小の電子部品のサイズを説明する斜視図
【図５】吸着部品有無判定プログラムの処理の流れを示すフローチャート
【符号の説明】
１１…吸着ノズル、１２…背景部分（バックプレート等）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pick-up image processing of an electronic component mounting machine in which an electronic component picked up by a pick-up nozzle is picked up by a camera and appearance information and / or pick-up position information of the electronic component is detected based on the picked-up image data. The present invention relates to an apparatus and a captured image processing method.
[0002]
[Prior art]
In general, an electronic component mounting machine has a function of detecting a suction abnormality of an electronic component in a suction nozzle. Examples of abnormal suction of electronic parts include, for example, suction of defective parts, suction of different parts, stand-by suction of parts, and no suction parts due to suction mistakes. When imaging electronic parts sucked by the suction nozzle with a camera, defective parts or different parts are detected based on the appearance information of the picked-up parts taken from the captured image of the camera, but with conventional image processing technology It was not possible to recognize the absence of suction parts from the captured image.
[0003]
Therefore, conventionally, a vacuum sensor is provided in the vacuum suction system of the suction nozzle, the degree of vacuum after the suction operation of the parts of the suction nozzle is detected by the vacuum sensor, and the presence / absence of suction parts is determined based on the degree of vacuum. Yes.
[0004]
However, when a small-diameter suction nozzle is used, the difference in the degree of vacuum is small between the case where the suction component is present and the case where there is no suction component, and therefore the presence / absence of the suction component cannot be accurately determined. Further, when a component is sucked and picked up, a vacuum leak may occur from the tip of the suction nozzle, and there is a possibility that the stand-by suction of the component is erroneously determined as no suction component.
[0005]
In order to solve such a problem, as described in Patent Document 1 (Japanese Patent Laid-Open No. 2000-136904), an electronic component picked up by a suction nozzle is imaged by reflected light illumination to recognize the electronic component as an image. As a result, when it is recognized that the suction is abnormal, the reflected light illumination is switched to the transmitted light illumination, the image is recognized again, and the presence or absence of the suction component is determined.
[0006]
[Patent Document 1]
JP 2000-136904 A (pages 2 to 3 etc.)
[0007]
[Problems to be solved by the invention]
However, since the electronic component mounting machine of Patent Document 1 requires two types of illumination devices, reflected light illumination and transmitted light illumination, the cost of the illumination device is increased and the installation space for the illumination device is reduced to two locations. It is necessary to ensure, and there exists a fault which the structure of the whole illuminating device enlarges.
[0008]
The present invention has been made in consideration of such circumstances. Therefore, the object of the present invention is to determine whether or not there is a suction nozzle suction component by adding or changing software (program) to an existing electronic component mounting machine. An object of the present invention is to provide a captured image processing apparatus and a captured image processing method of an electronic component mounting machine that can have a function of determining.
[0009]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention provides a captured image (hereinafter referred to as “suction”) obtained by capturing the suction nozzle and the surrounding background portion with a camera in a state in which the electronic component is not suctioned to the suction nozzle in advance. The mask processing value is set on the basis of the “component-free background image” and stored in the storage means, the captured image of the camera is captured after the component suction operation of the suction nozzle, and the brightness of each pixel of the captured image is obtained. Is compared with the mask processing value, and based on the number of pixels having a luminance equal to or higher than the mask processing value (for reflected light illumination) or the number of pixels having a luminance equal to or lower than the mask processing value (for transmitted light illumination). The presence / absence of the suction component of the nozzle is determined. As will be described later, the mask processing value is set to the luminance at which the curve of the approximate expression of the luminance histogram representing the frequency distribution of the luminance of the pixels of the background image without the suction component intersects with the frequency zero line.
[0010]
Generally, in an electronic component mounting machine with a camera, reflected light illumination is used, and the suction nozzle and the surrounding background portion appearing in the captured image of the camera are colored black, so that the image of the electronic component and the other background image It is easy to distinguish. Therefore, if the mask processing value is set in advance based on the background image without the suction component obtained by imaging the state in which the electronic component is not attracted to the suction nozzle, the brightness of each pixel of the captured image is set to the mask. By comparing the processing value with the number of pixels having a luminance equal to or higher than the mask processing value (in the case of reflected light illumination) or the number of pixels having a luminance lower than the mask processing value (in the case of transmitted light illumination), the suction component The number of pixels proportional to the area of the image (the size of the suction component) can be obtained, and the presence or absence of the suction component can be accurately determined. Thereby, the function which determines the presence or absence of the adsorption | suction component of an adsorption nozzle can be given only to addition or a change of software (program) with respect to the existing electronic component mounting machine.
[0011]
The present invention is, in advance, to create a luminance histogram representing a frequency distribution of the luminance of the pixels of the adsorbed components without background image, because you have to set the mask processing value based on the luminance histogram, the brightness histogram Noise and the like can be eliminated, and the accuracy of the mask processing value can be increased.
[0012]
Furthermore, the present invention, since the approximate expression of the curve of the luminance histogram is to set the brightness intersecting the line frequency 0 as the masking value, masking the suction nozzle and the background portion of the surrounding caught on the captured image It is possible to set the mask processing value for performing with high accuracy.
[0013]
Further, it is preferable to set the minimum number of pixels to be determined as having an adsorbing component based on a captured image when the smallest electronic component that can be adsorbed by the adsorbing nozzle is adsorbed. In this way, when small dust or the like is sucked by the suction nozzle, it can be avoided that the dust or the like is erroneously determined as a suction component.
[0014]
Further, sampling may be performed by thinning out pixels of a captured image of the camera. In other words, when detecting the presence or absence of a suction component, it is not necessary to accurately recognize the shape of the suction component, and it is sufficient if it can be recognized roughly to some extent, so the number of pixels is smaller than when the appearance information of the suction component is accurately recognized. It is sufficient to recognize the suction part. For this reason, it is possible to perform a thinning process at the time of image processing when detecting the presence / absence of a suction component, thereby increasing the calculation speed of the computer and reducing the calculation load.
If it is determined that there is no suction component, the suction nozzle component suction operation is executed again. If it is determined that there is a suction component, it is determined whether or not the component recognition by image processing has been performed normally. When it is determined that the component recognition by the image processing is not normally performed, the component sucked by the suction nozzle may be discarded in a predetermined disposal place.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. Since the present invention can be applied to all models regardless of the system configuration as long as it is an electronic component mounting machine provided with a camera that images an electronic component sucked by the suction nozzle, the mechanical configuration of the electronic component mounting machine Description is omitted. An example of an electronic component mounting machine equipped with a camera is described in, for example, Japanese Patent Application Laid-Open No. 2000-294990.
[0016]
In the electronic component mounting machine of the present embodiment, reflected light illumination is used, and the suction nozzle 11 and the surrounding background portion 12 (back plate or the like) appearing in the captured image of the camera are colored black.
[0017]
Next, a method for setting a mask processing value for masking the suction nozzle 11 and the surrounding background portion 12 shown in the captured image will be described. First, the suction nozzle 11 and the surrounding background portion 12 are imaged with a camera in a state in which the electronic component is not picked up by the suction nozzle 11 to obtain a background image without the suction part.
[0018]
Thereafter, a luminance histogram representing the frequency distribution of luminance of pixels (pixels) of the background image without the suction component is created (see FIG. 3). At this time, all the pixels of the background image without the suction component may be sampled to create a luminance histogram for all the pixels, but by sampling every other pixel of the background image without the suction component, The number of samplings may be reduced to ½.
[0019]
As shown in FIG. 3, in the luminance histogram, the scale on the horizontal axis (X axis) is 256 gradations (in the case of 8 bits) from luminance 0 to 255, and the scale on the vertical axis (Y axis) is the frequency. In order to remove noise, the frequency is rounded down to less than 5, for example. That is, if the frequency is less than 5, the frequency is regarded as 0. There are two peaks in the luminance histogram. One peak is a peak due to the image of the background portion 12 (back plate or the like) around the suction nozzle 11, and the other peak is a peak due to the image of the suction nozzle 11.
[0020]
Then, the peak having the higher luminance of the two peaks in the luminance histogram is searched. At this time, considering that the luminance histogram is distributed in an area of luminance 100 or less, for example, a peak luminance whose frequency falls in descending order from the luminance 100 is obtained.
[0021]
Thereafter, an approximate expression of the following two-dimensional polynomial is obtained from the obtained peak luminance (two-dot chain line in FIG. 3).
Y = aX ² + bX + c
Y: Frequency X: Luminance a, b, c: Coefficient
The present invention is not limited to a two-dimensional polynomial, and may be a one-dimensional polynomial or a three-dimensional or higher polynomial. In short, it is only necessary to obtain an approximate expression of the luminance histogram. In this embodiment, an approximate expression of a two-dimensional polynomial is used.
[0023]
Thereafter, the luminance X at which the curve of the approximate expression of the two-dimensional polynomial of the luminance histogram intersects with the line of frequency 0 (Y = 0) is obtained, and this is set as the mask processing value. This mask processing value is stored in a storage device (storage means) of a computer that performs image processing.
[0024]
The luminance X (mask processing value) at which the curve of the approximate expression of the two-dimensional polynomial crosses the line with the frequency 0 may be calculated from the solution formula of the quadratic equation (aX ² + bX + c = 0).
[0025]
[Expression 1]

[0026]
When the luminance X is calculated from the above solution formula, the curve of the approximate expression may not intersect the line of frequency 0 (Y = 0), so the discriminant (b ² -4ac) of the quadratic equation is a positive value. Whether or not brightness X (mask processing value) can be calculated is determined based on whether or not there is. If the discriminant (b ² -4ac) is a negative value, it is determined that the luminance X cannot be calculated (no solution), and a mask processing value setting error occurs.
[0027]
Next, a method for setting the minimum number of pixels (determination pixel number) for determining that there is a suction component will be described. In the present embodiment, the minimum number of pixels (determination pixel number) for determining that there is a suction component is set based on the captured image when the minimum electronic component that can be suctioned by the suction nozzle 11 is stood and picked up. This will be specifically described below.
[0028]
The size of the smallest electronic component A that can be sucked by the suction nozzle 11 is set to 0.6 mm × 0.3 mm × 0.25 mm as shown in FIG. In the normal suction state, the 0.6 mm × 0.3 mm surface of the component A is imaged, but in the standing suction state, the minimum surface (0.3 mm × 0.25 mm surface) of the component A is imaged.
[0029]
When the size (unit value) of one pixel is 40 μm, for example, the number of pixels of the image of the minimum surface of the part A is vertical: 0.25 mm / 40 μm = 6.25 (pixels), and horizontal: 0.3 mm / 40 μm = 7.5 (pixels). Therefore, the total number of pixels of the image of the minimum surface of the part A is 6.25 × 7.5 = 46.875 (pixels). In this embodiment, every other pixel of the image of the minimum surface of the component A is sampled and sampled, so the total number of pixels of the image of the minimum surface of the component A is 12 (pixels) corresponding to 1/4 in area. ) This 12 (pixel) is the number of determination pixels. The number of determination pixels is stored in a storage device (storage means) of a computer that performs image processing.
[0030]
After the component suction operation of the suction nozzle 11, the captured image of the camera is thinned out and sampled every other pixel. If it is less than the number, it is determined that there is no suction component. Since the number of determination pixels is obtained from the size (unit value) of one pixel, it differs depending on the resolution of the camera.
[0031]
The determination of the presence or absence of the suction component described above is executed by a computer that performs image processing according to the program of FIG. This program is started after the component suction operation of the suction nozzle 11. First, in step 101, the captured image of the camera is sampled every other pixel and sampled. Thereafter, the process proceeds to step 102, where it is determined whether or not there is a pixel having a luminance equal to or higher than the mask processing value among the sampled pixels. Proceed to determine that there is no suction component. In this case, the process proceeds to step 107, and the component suction operation of the suction nozzle 11 is repeated again.
[0032]
On the other hand, if it is determined in step 102 that there is a pixel having a luminance equal to or higher than the mask processing value, the process proceeds to step 103 to determine whether or not the number of pixels having a luminance equal to or higher than the mask processing value is equal to or larger than the determination pixel number. If the number of pixels having a luminance equal to or higher than the mask processing value is less than the determination pixel number, it is determined that dust or the like smaller than the smallest electronic component A that can be sucked by the suction nozzle 11 is captured, and the process proceeds to step 108. Then, it is determined that there is no suction component, and the component suction operation of the suction nozzle 11 is repeated again (step 107).
[0033]
On the other hand, if the number of pixels having a luminance equal to or higher than the mask processing value is equal to or greater than the determination pixel number, the process proceeds to step 104, where it is determined that there is a suction component. In this case, the process proceeds to step 105, where it is determined whether or not component recognition by image processing has been performed normally, and when component recognition has not been performed normally (for example, in the case of suction of a defective component or suction of a different component). Advances to step 109 and discards the component sucked by the suction nozzle 11 to a predetermined disposal place.
[0034]
If it is determined in step 105 that the component recognition has been normally performed, the process proceeds to step 106, where the component sucked by the suction nozzle 11 is mounted at a predetermined position on the circuit board. Thereafter, the process proceeds to step 107, and a new electronic component is sucked to the suction nozzle 11.
[0035]
According to the present embodiment described above, the background image without the suction component obtained by imaging the suction nozzle 11 and the surrounding background portion 12 with the camera in a state where the electronic component is not suctioned to the suction nozzle 11 in advance. A mask processing value is set on the basis of the above, a captured image of the camera is captured after the component suction operation of the suction nozzle 11, and the brightness of each pixel of the captured image is compared with the mask processing value. Since the presence / absence of the suction component of the suction nozzle 11 is determined based on whether or not the number of pixels of the brightness is equal to or greater than the determination pixel number, software (program) is added to the existing electronic component mounting machine Alternatively, it is possible to provide a function of determining the presence or absence of the suction component of the suction nozzle 11 only by changing.
[0036]
Moreover, when setting the mask processing value, a luminance histogram representing the frequency distribution of the luminance of the pixels of the background image without the suction component is created, and the mask processing value is set based on the luminance histogram. Noise or the like can be eliminated by the luminance histogram, and a mask processing value for masking the suction nozzle 11 and the surrounding background portion 12 shown in the captured image can be set with high accuracy.
[0037]
In addition, since the minimum number of pixels (determination pixel number) for determining that there is a suction component is set based on the captured image when the minimum electronic component A that can be suctioned by the suction nozzle 11 is picked up and picked up, When small dust or the like is adsorbed by the nozzle 11, it is possible to avoid erroneously determining the dust or the like as an adsorbing part.
[0038]
Further, in this embodiment, when detecting the presence or absence of the suction component, paying attention to the fact that the suction component may be recognized with a smaller number of pixels than when the appearance information of the suction component is accurately recognized, Since the pixels of the picked-up image are thinned and sampled, there are advantages that the calculation speed of the computer can be increased and the calculation load can be reduced.
However, it goes without saying that the present invention may sample the luminance of all pixels of the captured image without performing the thinning process.
[0039]
In the present embodiment, the suction component is imaged using the reflected light illumination. However, the present invention can also be applied to a system that images the suction component using the transmitted light illumination. When using transmitted light illumination, contrary to the case of reflected light illumination, the image of the suction component is black (luminance 0), and the luminance of the other parts is increased. Whether or not there is a suction component of the suction nozzle 11 may be determined based on whether or not is equal to or more than the determination pixel number.
[0040]
Further, the determination accuracy may be further enhanced by using the determination of the presence / absence of the suction component according to the present invention together with the determination of the presence / absence of the suction component by the vacuum sensor.
[Brief description of the drawings]
FIG. 1 is a front view schematically showing a suction nozzle and a surrounding background portion (back plate or the like) in one embodiment of the present invention. FIG. 2 is a view schematically showing a background image without suction parts. FIG. 4 is a perspective view illustrating the size of the smallest electronic component that can be picked up by the suction nozzle. FIG. 5 is a flowchart showing the processing flow of the suction component presence / absence determination program.
11 ... Suction nozzle, 12 ... Background part (back plate etc.)

Claims

吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出する電子部品実装機の撮像画像処理装置において、
前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）に基づいて予め設定されたマスク処理値を記憶する記憶手段と、
前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定する吸着部品有無判定手段とを備え、
前記マスク処理値は、前記吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度に設定されていることを特徴とする電子部品実装機の撮像画像処理装置。In an imaging image processing apparatus of an electronic component mounting machine that images an electronic component sucked by a suction nozzle with a camera and detects appearance information and / or suction position information of the electronic component based on the captured image data.
Preliminarily set based on a captured image obtained by imaging the suction nozzle and the surrounding background portion with the camera (hereinafter referred to as “background image without suction component”) in a state where the suction nozzle does not suck the electronic component. Storage means for storing the processed mask processing value;
The captured image of the camera is captured after the component suction operation of the suction nozzle, the brightness of each pixel of the captured image is compared with the mask processing value, and the number of pixels having a brightness greater than or equal to the mask processing value or less than the mask processing value and a suction part existence determining means determines the presence or absence of adsorption part of the adsorber nozzles based on the number of luminance pixels,
The electronic component mounting machine , wherein the mask processing value is set to a luminance at which a curve of an approximate expression of a luminance histogram representing a frequency distribution of luminance of pixels of the background image without the adsorbing component intersects a frequency zero line The captured image processing apparatus.

前記吸着部品有無判定手段で吸着部品有りと判断する最小のピクセル数は、前記吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定されていることを特徴とする請求項１に記載の電子部品実装機の撮像画像処理装置。The minimum number of pixels determined by the suction component presence / absence determination means to be determined as having a suction component is set based on a captured image when the smallest electronic component that can be sucked by the suction nozzle is stood and sucked. The picked-up image processing apparatus of the electronic component mounting machine of Claim 1 .

前記吸着部品有無判定手段は、前記カメラの撮像画像のピクセルを間引きしてサンプリングすることを特徴とする請求項１又は２に記載の電子部品実装機の撮像画像処理装置。 3. The picked-up image processing apparatus for an electronic component mounting machine according to claim 1, wherein the suction component presence / absence determination unit thins and samples pixels of a picked-up image of the camera.

前記吸着部品有無判定手段により吸着部品無しと判定された場合に、再度、前記吸着ノズルの部品吸着動作を実行する手段と、吸着部品有りと判定された場合に、画像処理による部品認識が正常に行われたか否かを判定し、画像処理による部品認識が正常に行われなかったと判定したときに、前記吸着ノズルに吸着されている部品を所定の廃棄場所に廃棄する手段とを備えていることを特徴とする請求項１乃至３のいずれかに記載の電子部品実装機の撮像画像処理装置。When it is determined that there is no suction component by the suction component presence / absence determination unit, the component recognition by the image processing is normally performed when it is determined that there is again a component suction operation of the suction nozzle and the suction component is present. A means for determining whether or not the component recognition by the image processing has been performed normally, and for discarding the component adsorbed by the suction nozzle to a predetermined disposal place. The picked-up image processing apparatus of the electronic component mounting machine according to any one of claims 1 to 3.

吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び／又は吸着位置情報を検出する電子部品実装機の撮像画像処理方法において、
予め、前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像（以下「吸着部品無し背景画像」という）のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムの近似式の曲線が頻度０の線と交わる輝度をマスク処理値として設定して記憶手段に記憶しておき、
前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定することを特徴とする電子部品実装機の撮像画像処理方法。In the captured image processing method of an electronic component mounting machine for imaging an electronic component sucked by a suction nozzle with a camera and detecting appearance information and / or suction position information of the electronic component based on the captured image data,
Pixels of a captured image (hereinafter referred to as “background image without suction component”) obtained by capturing the suction nozzle and the surrounding background portion with the camera in a state where the electronic component is not suctioned to the suction nozzle in advance. A luminance histogram representing the frequency distribution of luminance is created, the luminance at which the curve of the approximate expression of the luminance histogram intersects with the frequency zero line is set as a mask processing value and stored in the storage means,
The captured image of the camera is captured after the component suction operation of the suction nozzle, the brightness of each pixel of the captured image is compared with the mask processing value, and the number of pixels having a brightness greater than or equal to the mask processing value or less than the mask processing value An image processing method for an electronic component mounting machine, wherein the presence or absence of a suction component of the suction nozzle is determined on the basis of the number of pixels of luminance.

吸着部品有りと判断する最小のピクセル数を、前記吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定することを特徴とする請求項５に記載の電子部品実装機の撮像画像処理方法。6. The electronic component mounting according to claim 5 , wherein the minimum number of pixels to be determined as having an adsorbing component is set based on a captured image when the smallest electronic component that can be adsorbed by the adsorbing nozzle is adsorbed. Machine image processing method.

吸着部品無しと判定した場合には、再度、前記吸着ノズルの部品吸着動作を実行し、吸着部品有りと判定した場合には、画像処理による部品認識が正常に行われたか否かを判定し、画像処理による部品認識が正常に行われなかったと判定したときに、前記吸着ノズルに吸着されている部品を所定の廃棄場所に廃棄することを特徴とする請求項５又は６に記載の電子部品実装機の撮像画像処理方法。When it is determined that there is no suction component, the component suction operation of the suction nozzle is executed again. When it is determined that there is a suction component, it is determined whether or not the component recognition by image processing has been performed normally. The electronic component mounting according to claim 5 or 6, wherein when it is determined that the component recognition by the image processing is not normally performed, the component sucked by the suction nozzle is discarded in a predetermined disposal place. Machine image processing method.