JP6550240B2 - Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program - Google Patents

Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program Download PDF

Info

Publication number
JP6550240B2
JP6550240B2 JP2015043160A JP2015043160A JP6550240B2 JP 6550240 B2 JP6550240 B2 JP 6550240B2 JP 2015043160 A JP2015043160 A JP 2015043160A JP 2015043160 A JP2015043160 A JP 2015043160A JP 6550240 B2 JP6550240 B2 JP 6550240B2
Authority
JP
Japan
Prior art keywords
coating agent
adhesive
application
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015043160A
Other languages
Japanese (ja)
Other versions
JP2016161528A (en
Inventor
賢一 松永
賢一 松永
山本　政則
政則 山本
土屋　学
学 土屋
正尚 竹内
正尚 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Kyushu Inc
Original Assignee
Toyota Motor Kyushu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Kyushu Inc filed Critical Toyota Motor Kyushu Inc
Priority to JP2015043160A priority Critical patent/JP6550240B2/en
Publication of JP2016161528A publication Critical patent/JP2016161528A/en
Application granted granted Critical
Publication of JP6550240B2 publication Critical patent/JP6550240B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Coating Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、所定の領域に塗布された接着剤等の塗布剤の塗布状態を検査するための塗布剤検査方法、塗布剤検査装置、塗布剤検査用プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。   The present invention provides a coating agent inspection method, a coating agent inspection apparatus, a coating agent inspection program, and a computer readable program recording the program for inspecting the application state of a coating agent such as an adhesive applied to a predetermined area. It relates to a recording medium.

例えば、自動車の製造過程において、自動車の車体を構成する部品の組付けに際し、所定の部品における所定の領域に接着剤を塗布する工程が行われる。このような接着剤の塗布工程においては、部品間の接合不良を予防すること等を目的として、接着剤の塗布状態を検査することが行われている。従来、接着剤の塗布状態の検査としては、塗布された接着剤をカメラにより撮像し、その撮像画像をモニタに表示することで作業者の目視による検査が行われているが、近年、作業者の負担軽減や検査の効率化等の観点から、接着剤の撮像画像に基づいて自動的に検査を行う自動検査が行われている。   For example, in the process of manufacturing an automobile, a process of applying an adhesive to a predetermined area of a predetermined part is performed in assembling the parts constituting the vehicle body of the automobile. In the application process of such an adhesive, it is performed to inspect the application state of the adhesive for the purpose of preventing a joining failure between parts. Conventionally, as a test of the application state of the adhesive, a visual inspection of the worker is performed by imaging the coated adhesive with a camera and displaying the captured image on a monitor. In order to reduce the burden on the user, to improve the efficiency of inspection, and the like, an automatic inspection is performed in which an inspection is automatically performed based on a captured image of an adhesive.

接着剤の塗布状態の自動検査としては、例えば、ロボット等の移動手段に、接着剤の塗布装置と、接着剤の塗布箇所を撮像するカメラとを保持させた構成を用いるものがある。かかる構成によれば、例えば、接着剤が塗布される対象部品であるワークに対し、ロボットが予めティーチングされた所定の経路に沿って移動しながら、塗布装置によってワークにおける所定の部位に接着剤が塗布され、塗布された接着剤がカメラにより撮像される。そして、カメラの撮像画像に基づいて、接着剤の塗布状態の検査、つまり塗布状態の良否の判定が行われる。   As an automatic test | inspection of the application state of an adhesive agent, there exist some which make the moving means of a robot etc. hold the application apparatus of an adhesive agent, and the camera which images the application location of an adhesive agent, for example. According to this configuration, for example, while the robot moves along the predetermined path to which the adhesive is to be applied, which is a target part to which the adhesive is applied, the adhesive is applied to the predetermined portion of the work by the coating device The applied and applied adhesive is imaged by a camera. Then, based on the captured image of the camera, inspection of the application state of the adhesive, that is, determination of the quality of the application state is performed.

特許文献１には、接着剤の塗布状態の自動検査の検査方法が記載されており、その検査方法においては、カメラにより撮像された検査用画像における高さ方向の中央の線である画像中央線が用いられ、接着剤の塗布幅および塗布位置の検査が行われている。この検査方法において、画像中央線は、ロボットの進行方向、つまり接着剤の塗布方向に沿う線となり、接着剤の塗布領域について、接着剤の塗布方向に複数の矩形の検査ブロックが設定される。また、画像における接着剤のエッジ間の長さが接着剤の塗布幅とされ、塗布幅が各検査ブロック内において画像中央線の方向に細かくサンプリングされ、その平均から各検査ブロックの塗布幅が求められる。そして、画像中央線から両側（外側・内側）の接着剤のエッジまでの距離（幅）により、その幅の合計から接着剤の塗布幅の適否が判断され、画像中央線から両側の幅の過不足により、塗布位置の適否が判断される。   Patent Document 1 describes an inspection method for automatic inspection of the application state of the adhesive, and in the inspection method, an image center line which is a central line in the height direction in an inspection image captured by a camera. Is used to inspect the application width and application position of the adhesive. In this inspection method, the image center line is a line along the traveling direction of the robot, that is, the application direction of the adhesive, and a plurality of rectangular inspection blocks are set in the application direction of the adhesive with respect to the application region of the adhesive. Also, the length between the edges of the adhesive in the image is taken as the application width of the adhesive, the application width is finely sampled in the direction of the image center line in each inspection block, and the application width of each inspection block is determined from the average Be Then, according to the distance (width) from the image center line to the edge of the adhesive on both sides (outside / inside), the propriety of the application width of the adhesive is judged from the sum of the widths. Due to the shortage, the propriety of the application position is judged.

一方、接着剤の塗布状態の検査においては、マスターデータを用いた方法がある（例えば、特許文献２参照。）。かかる方法においては、接着剤の塗布状態が適切なワークの撮像画像のデータから抽出した情報をマスターデータとし、そのマスターデータと、接着剤が塗布された検査対象のワークの撮像画像から得られる検査データとの比較により、接着剤の塗布状態の良否の判定が行われる。   On the other hand, in the inspection of the application state of the adhesive, there is a method using master data (see, for example, Patent Document 2). In such a method, information extracted from data of a captured image of a work with an appropriate application of an adhesive is used as master data, and an inspection obtained from the master data and a captured image of the work to be inspected on which the adhesive is applied. By comparison with the data, it is judged whether the application state of the adhesive is good or bad.

特開２０１１−３８７７３号公報JP, 2011-38773, A 特開２０１０−２５６０２４号公報JP, 2010-256024, A

特許文献１に記載された検査方法は、検査用画像における画像中央線を用いたものであり、この画像中央線は、塗布された接着剤ではなく撮像画像上に設定されるものである。このため、特許文献１の検査方法は、接着剤の塗布状態を検査する方法としては正確性の面で改善の余地がある。   The inspection method described in Patent Document 1 uses the image center line in the inspection image, and the image center line is set not on the applied adhesive but on the captured image. Therefore, the inspection method of Patent Document 1 has room for improvement in terms of accuracy as a method of inspecting the application state of the adhesive.

また、従来のマスターデータを用いた方法では、マスターデータと検査データとの比較において、ワークの撮像画像のデータが用いられている。このため、例えば、接着剤の塗布位置について、ロボットのティーチングを修正するような塗布位置の変更があった場合、変更後の塗布位置に接着剤を塗布したワークをあらためて作成し、そのワークについて撮像画像を取得する必要がある。したがって、従来のマスターデータを用いた方法によれば、接着剤の塗布位置の変更に対して柔軟に対応することが困難である。   Moreover, in the method using the conventional master data, the data of the captured image of the workpiece is used in the comparison between the master data and the inspection data. For this reason, for example, when there is a change in the application position that corrects the robot's teaching about the application position of the adhesive, a work with the adhesive applied to the application position after the change is newly created, and the image of the work is imaged You need to get an image. Therefore, according to the method using the conventional master data, it is difficult to flexibly cope with the change of the application position of the adhesive.

本発明は、上記のような問題点に鑑みてなされたものであり、塗布剤の塗布状態の検査精度を向上することができ、塗布剤の塗布位置の変更に対して容易に対応することができる塗布剤検査方法、塗布剤検査装置、塗布剤検査用プログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。   The present invention has been made in view of the above problems, and can improve the inspection accuracy of the application state of the coating agent, and easily cope with the change of the application position of the coating agent. It is an object of the present invention to provide a coating agent inspection method, a coating agent inspection device, a coating agent inspection program, and a computer readable recording medium recording the program.

本発明に係る塗布剤検査方法は、対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査方法であって、塗布剤の塗布状態が適正な対象物について、塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像を取得し、取得した前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定し、検査対象の対象物について、前記撮像画像を取得し、取得した前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求め、検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定するものである。   The coating agent inspection method according to the present invention is a coating agent inspection method for determining whether the application state of the coating agent applied to the object is good or not, and the coating agent is applied to an object whose application state of the coating agent is appropriate. Acquiring a captured image obtained by imaging a predetermined application region including the surface of the target object to which the image is applied, and obtaining a plurality of basic image data based on the acquired captured image at predetermined intervals in a first direction in the captured image The position of the boundary between the image portion of the coating agent and the image portion of the surface of the object on both sides of the image portion of the coating agent in the second direction orthogonal to the first direction for each divided image data divided into portions The coordinates of a plurality of extraction positions including are determined, the coordinates of the plurality of extraction positions thus determined are set as master data, the captured image is acquired for an object to be inspected, and a basic image based on the acquired captured image The coordinates of the plurality of extraction positions are determined for each of the divided image data of the data, and the coordinates of the plurality of extraction positions of each of the divided image data of the target object to be inspected are compared with the master data. Based on the comparison result, the quality of the application state of the coating agent for the object to be inspected is determined.

本発明のうち他の態様に係る塗布剤検査方法は、前記複数の抽出位置は、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置であるものである。   In the coating agent inspection method according to another aspect of the present invention, the plurality of extraction positions are three positions of the position of the boundary of two places and the center position of the position of the boundary in the second direction. It is a certain thing.

本発明のうち他の態様に係る塗布剤検査方法は、前記撮像画像は、前記基本画像データの画像領域の一部が重複するように、塗布された塗布剤の塗布方向に沿って複数連続的に撮像されるものである。   In the coating agent inspection method according to another aspect of the present invention, a plurality of the captured images are continuously arranged along the coating direction of the coating agent applied so that a part of the image area of the basic image data overlaps. Are captured.

本発明に係る塗布剤検査装置は、対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査装置であって、塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像を取得するための撮像手段と、前記撮像手段により取得された前記撮像画像に基づき、検査対象の対象物に塗布された塗布剤の塗布状態の良否を判定する判定手段と、を備え、前記判定手段は、塗布剤の塗布状態が適正な対象物について取得された前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定し、検査対象の対象物について、前記撮像画像を取得し、取得した前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求め、検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定するものである。   The coating agent inspection apparatus according to the present invention is a coating agent inspection apparatus for determining whether the application state of the coating agent applied to the object is good or not, and it is a predetermined object including the surface of the object to which the coating agent is applied. Judgment means for judging the quality of the application state of the coating agent applied to the object to be examined based on the imaging means for acquiring the imaged image obtained by imaging the application region and the imaged image acquired by the imaging means And the determination unit is configured to determine basic image data based on the captured image acquired for an object having an appropriate application state of the coating agent at a plurality of image portions at a predetermined interval in the first direction in the captured image. The position of the boundary between the image portion of the coating agent and the image portion of the surface of the object on both sides of the image portion of the coating agent in the second direction orthogonal to the first direction; Multiple extractions including The coordinates of the position are determined, the coordinates of the determined plurality of extracted positions are set as master data, the captured image is acquired for the object to be inspected, and the divisions of the basic image data based on the acquired captured image For image data, the coordinates of the plurality of extraction positions are determined, the coordinates of the plurality of extraction positions of each of the divided image data of the target object to be inspected are compared with the master data, and the comparison is made. The quality of the application state of the coating agent on the object to be inspected is determined.

本発明のうち他の態様に係る塗布剤検査装置は、対象物に塗布剤を塗布する塗布手段と、前記塗布手段と対象物とを相対的に移動させることで前記塗布手段により対象物に塗布剤を塗布させる移動部と、をさらに備えたものである。   The coating agent inspection apparatus according to another aspect of the present invention applies the coating agent to the object by the coating unit by relatively moving the coating unit for coating the coating agent on the object, and the coating unit and the object. And a moving unit for applying the agent.

本発明のうち他の態様に係る塗布剤検査装置は、前記判定手段は、前記複数の抽出位置を、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置とするものである。   In the coating agent inspection apparatus according to another aspect of the present invention, the determining unit may determine the plurality of extraction positions by two positions of the boundary and a center position of the position of the boundary in the second direction. In three positions.

本発明のうち他の態様に係る塗布剤検査装置は、前記撮像手段は、前記移動部による対象物に対する相対移動により、前記基本画像データの画像領域の一部が重複するように、前記撮像画像を塗布された塗布剤の塗布方向に沿って複数連続的に撮像するものである。   In the coating agent inspection apparatus according to another aspect of the present invention, the imaging unit may perform the captured image so that a part of the image area of the basic image data overlaps due to relative movement with respect to the object by the moving unit. A plurality of continuous imaging is performed along the application direction of the applied coating agent.

本発明に係る塗布剤検査用プログラムは、対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査用プログラムであって、塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像の入力を受けるコンピュータに、塗布剤の塗布状態が適正な対象物についての前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定する手順と、検査対象の対象物についての前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求める手順と、検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定する手順と、を実行させるものであり、前記複数の抽出位置を、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置とするものである。 The coating agent inspection program according to the present invention is a coating agent inspection program for determining whether the application state of the coating agent applied to the object is good or not, and includes the surface of the object to which the coating agent has been applied. In a computer receiving an input of a captured image obtained by capturing a predetermined application area, basic image data based on the captured image for an object whose application state of the application is appropriate is set at a predetermined interval in a first direction in the captured image In each divided image data divided into a plurality of image portions, an image portion of a coating agent and an image portion of the surface of an object on both sides of a second direction orthogonal to the first direction of the image portion of the coating agent A procedure of determining coordinates of a plurality of extraction positions including the position of the boundary and setting the coordinates of the plurality of extraction positions determined as master data; and a basis based on the captured image of an object to be inspected The procedure of determining the coordinates of the plurality of extraction positions for each of the divided image data of the image data and the coordinates of the plurality of extraction positions of each of the plurality of divided image data of the object to be inspected are compared with the master data and, based on the comparison result state, and are not to execute, and determining steps the quality of the coating state of the coating agent for the object to be inspected, a plurality of extraction positions, the two positions of the boundary position, Ru der those three positions of the center position of the second position of the boundary.

また、本発明に係る上記の塗布剤検査用プログラムは、コンピュータ読み取り可能な記録媒体に記録して提供することができる。   Further, the above-mentioned coating agent inspection program according to the present invention can be provided by being recorded on a computer readable recording medium.

本発明によれば、塗布剤の塗布状態の検査精度を向上することができ、塗布剤の塗布位置の変更に対して容易に対応することができる。   ADVANTAGE OF THE INVENTION According to this invention, the test | inspection precision of the application state of a coating agent can be improved, and it can respond to the change of the application position of a coating agent easily.

本発明の一実施形態に係る接着剤検査装置の構成を示す図である。It is a figure which shows the structure of the adhesive agent inspection apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像画像についての説明図である。It is explanatory drawing about the captured image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る撮像画像の撮像についての説明図である。It is explanatory drawing about imaging of the captured image which concerns on one Embodiment of this invention. 本発明の一実施形態に係る分割画像データについての説明図である。It is an explanatory view about division image data concerning one embodiment of the present invention. 本発明の一実施形態に係る複数の抽出位置についての説明図である。It is an explanatory view about a plurality of extraction positions concerning one embodiment of the present invention. 本発明の一実施形態に係るデータベースについての説明図である。It is an explanatory view about a database concerning one embodiment of the present invention. 本発明の一実施形態に係る接着剤の塗布状態の良否判定についての説明図である。It is explanatory drawing about the quality determination of the application state of the adhesive which concerns on one Embodiment of this invention. 本発明の一実施形態に係る接着剤の塗布状態の良否判定についての説明図である。It is explanatory drawing about the quality determination of the application state of the adhesive which concerns on one Embodiment of this invention. 本発明の一実施形態に係る接着剤の塗布状態の良否判定についての説明図である。It is explanatory drawing about the quality determination of the application state of the adhesive which concerns on one Embodiment of this invention. 本発明の一実施形態に係る接着剤検査の検査手順の一例を示すフロー図である。It is a flowchart which shows an example of the test | inspection procedure of the adhesive agent test which concerns on one Embodiment of this invention. 本発明の一実施形態に係る接着剤検査の効果についての説明図Explanatory drawing about the effect of the adhesive agent inspection which concerns on one Embodiment of this invention. 本発明の一実施形態に係る分割画像データの他の例についての説明図である。It is an explanatory view about another example of division image data concerning one embodiment of the present invention. 本発明の一実施形態に係る接着剤検査装置の他の構成例を示す図である。It is a figure which shows the other structural example of the adhesive agent inspection apparatus which concerns on one Embodiment of this invention.

本発明は、例えばロボット等により対象物に線状（帯状）に塗布された接着剤等の塗布剤の塗布状態の良否を判定する検査において、塗布された塗布剤を撮像した撮像画像に基づいて求められる複数の抽出位置の座標を用い、塗布剤の塗布状態が適正な対象物についてのマスターデータと、検査対象の対象物についての測定データとを比較することで、塗布剤の塗布状態の良否を判定するというものである。これにより、本発明は、塗布剤の塗布状態の検査精度を向上させ、塗布剤の塗布位置の変更への対応を容易とする。   The present invention is based, for example, on the basis of a captured image obtained by imaging the applied agent in an inspection to determine the quality of the application state of the application agent such as an adhesive applied linearly to the object by a robot or the like. The quality of the application state of the coating agent is good or bad by comparing the master data of the target object of the application state of the coating agent with the measurement data of the object of the inspection target using the coordinates of the plurality of extraction positions determined Is determined. Thus, the present invention improves the inspection accuracy of the coating state of the coating agent, and facilitates the response to the change of the coating position of the coating agent.

以下に説明する本発明の実施の形態では、対象物（以下「ワーク」とする。）に線状（帯状）に塗布される塗布剤としてウレタン系接着剤等の接着剤（シーラー）を例にとって説明する。つまり、本発明の実施形態では、塗布状態が良否判定の対象となる塗布剤を接着剤として説明する。ただし、本発明に係る塗布剤としては、接着剤のほか、プライマ等の接着補助剤等、塗布面となるワークの表面に対して塗布後の線状（帯状）の形態が保持できる程度の粘性を有するものであればよい。以下、本発明の実施の形態を説明する。   In the embodiment of the present invention described below, an adhesive (sealer) such as a urethane-based adhesive is used as an example of a coating agent to be applied in a linear shape (strip shape) to an object (hereinafter referred to as “work”). explain. That is, in the embodiment of the present invention, the coating agent to be subjected to the quality determination in the application state will be described as the adhesive. However, as the coating agent according to the present invention, in addition to an adhesive agent, an adhesion auxiliary agent such as a primer, etc., a viscosity such that the linear (striped) form after coating can be maintained on the surface of the workpiece to be coated surface. What is necessary is just to have. Hereinafter, embodiments of the present invention will be described.

［接着剤検査装置］
まず、本発明に係る接着剤検査方法を行うための接着剤検査装置について、図１を用いて説明する。本実施形態に係る接着剤検査装置１は、ワーク２に線状に塗布された塗布剤（以下「塗布後接着剤」という。）３の塗布状態の良否を判定するための装置である。本実施形態において、ワーク２は、自動車の車体を構成する所定の金属部品、例えば車体のサイドメンバを構成する部品である。 [Adhesive testing device]
First, an adhesive inspection apparatus for performing an adhesive inspection method according to the present invention will be described with reference to FIG. The adhesive inspection apparatus 1 according to the present embodiment is an apparatus for determining the quality of the application state of a coating agent (hereinafter referred to as “adhesive after application”) 3 applied linearly to a work 2. In the present embodiment, the work 2 is a predetermined metal part that constitutes a vehicle body of an automobile, for example, a part that constitutes a side member of a vehicle body.

図１に示すように、本実施形態に係る接着剤検査装置１は、撮像手段としてのカメラ４と、ワーク２に接着剤を塗布する塗布手段としての塗布装置５と、カメラ４および塗布装置５を移動させるロボット６と、コンピュータ７とを備える。また、接着剤検査装置１は、装置全体を制御する工程制御盤８と、ロボット６の動作等を制御するロボット制御盤９とを備える。   As shown in FIG. 1, an adhesive inspection apparatus 1 according to the present embodiment includes a camera 4 as an imaging unit, an application device 5 as an application unit for applying an adhesive to a work 2, a camera 4 and an application device 5. And a computer 7. The adhesive inspection apparatus 1 further includes a process control board 8 for controlling the entire apparatus, and a robot control board 9 for controlling the operation of the robot 6 and the like.

接着剤検査装置１は、治具等によって所定の位置に所定の姿勢で固定された状態のワーク２に対して、ロボット６により塗布装置５およびカメラ４を所定の位置関係を保った状態で移動させ、接着剤の塗布面となるワーク２の表面（以下「ワーク表面」とする。）２ａに塗布装置５によって接着剤を塗布する。そして、接着剤検査装置１は、ロボット６の動作によって接着剤を塗布しながら、カメラ４により塗布後接着剤３を撮像し、その撮像画像に基づいて塗布後接着剤３の塗布状態を検査する。   The adhesive inspection apparatus 1 moves the coating device 5 and the camera 4 by the robot 6 while maintaining the predetermined positional relationship with respect to the work 2 fixed in a predetermined posture at a predetermined position by a jig or the like. The coating device 5 applies an adhesive to the surface (hereinafter referred to as a “work surface”) 2 a of the work 2 to be the application surface of the adhesive. Then, the adhesive inspection apparatus 1 images the adhesive 3 after application by the camera 4 while applying the adhesive by the operation of the robot 6, and inspects the application state of the adhesive 3 after application based on the captured image. .

カメラ４および塗布装置５は、それぞれロボット６の先端部に設けられた先端保持部６ａにおいて所定の位置関係で固定保持され、ロボット６の動作による先端保持部６ａの動きに従って移動する。カメラ４は、塗布装置５に対して、接着剤を塗布しながら移動する先端保持部６ａの移動方向（接着剤の塗布方向）の後側に配置され、塗布装置５によりワーク表面２ａに塗布された直後の塗布後接着剤３を撮像する。このように、本実施形態の接着剤検査装置１においては、ロボット追従式の画像撮像方式が採用されている。   The camera 4 and the coating device 5 are fixed and held in a predetermined positional relationship in the tip holding portion 6 a provided at the tip of the robot 6, and move in accordance with the movement of the tip holding portion 6 a by the operation of the robot 6. The camera 4 is disposed on the rear side of the moving direction (application direction of the adhesive) of the tip holding portion 6a that moves while applying the adhesive to the application device 5, and is applied to the work surface 2a by the application device 5. Adhesive 3 is imaged immediately after application. As described above, in the adhesive inspection device 1 of the present embodiment, a robot tracking type image pickup method is adopted.

本実施形態では、ロボット６の動作による先端保持部６ａの所定の方向に沿った動きによる接着剤の塗布方向を、所定の方向に沿う直線方向（矢印Ａ１参照）とする。つまり、本実施形態の接着剤検査装置１は、所定の方向に沿って直線状に塗布した塗布後接着剤３を検査対象とする。ただし、接着剤検査装置１による検査対象となる塗布後接着剤３の線状の形状としては、直線に限定されることなく、曲線または直線と曲線の組合せ等、種々の形状が含まれる。   In the present embodiment, the application direction of the adhesive by the movement of the tip holding portion 6a by the operation of the robot 6 is taken as a linear direction (see arrow A1) along the predetermined direction. That is, the adhesive agent inspection apparatus 1 of this embodiment makes the adhesive agent 3 after application | coating apply | coated in linear form along the predetermined direction as inspection object. However, the linear shape of the post-application adhesive 3 to be inspected by the adhesive inspection device 1 is not limited to a straight line, and includes various shapes such as a curve or a combination of a straight line and a curve.

また、接着剤検査装置１においては、例えば先端保持部６ａ等のロボット６における所定の位置に、カメラ４により撮像される塗布後接着剤３を照射する照明装置（図示略）が設けられている。照明装置は、例えばＬＥＤを光源とするものである。なお、照明装置による照明については、カメラ４による撮像画像について必要な照度が得られればよく、照明装置を設ける場所は、特に限定されず、ロボット６以外の場所であってもよい。   In addition, in the adhesive inspection device 1, for example, a lighting device (not shown) for irradiating the adhesive 3 after application which is imaged by the camera 4 is provided at a predetermined position in the robot 6 such as the tip holding portion 6a. . The illumination device uses, for example, an LED as a light source. In addition, about illumination by an illuminating device, the required illumination intensity should just be obtained about the image pick-up picture by camera 4, the place in which an illuminating device is provided is not specifically limited, It may be places other than robot 6.

カメラ４は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子により構成されるものである。カメラ４としては、例えば、ギガビットイーサネット(登録商標)カメラ（ＧｉｇＥカメラ）等が用いられる。本実施形態では、カメラ４は、塗布後接着剤３を上方から撮像するようにロボット６に保持され、塗布後接着剤３の平面画像を撮像する。カメラ４は、ＬＡＮケーブル等の接続ケーブル４ａによりコンピュータ７に接続される。   The camera 4 is configured by an imaging element such as a CCD image sensor or a CMOS image sensor, for example. For example, a Gigabit Ethernet (registered trademark) camera (GigE camera) or the like is used as the camera 4. In the present embodiment, the camera 4 is held by the robot 6 so as to image the adhesive 3 from above after application, and images a planar image of the adhesive 3 after application. The camera 4 is connected to the computer 7 by a connection cable 4 a such as a LAN cable.

塗布装置５は、その先端部に、接着剤を送出するノズル５ａを有する。塗布装置５には、接着剤供給装置（図示略）からパイプ等を介して接着剤が供給され、塗布装置５に供給された接着剤が、ノズル５ａから送出されてワーク表面２ａに塗布される。   The coating device 5 has a nozzle 5a for delivering the adhesive at its tip. An adhesive is supplied to the coating device 5 from an adhesive supply device (not shown) through a pipe or the like, and the adhesive supplied to the coating device 5 is delivered from the nozzle 5a and applied to the work surface 2a. .

ロボット６は、固定のワーク２に対して塗布装置５を移動させることで、塗布装置５によりワーク２に線状に接着剤を塗布させる移動手段として機能する。ロボット６は、ベース部６ｂと、ベース部６ｂ上に設けられるアーム部６ｃとを有し、様々な位置および角度に姿勢制御されるフレキシブルなロボットアーム（多関節ロボット）として構成されている。アーム部６ｃの先端側に、上述のとおりカメラ４および塗布装置５を保持する先端保持部６ａが設けられている。ロボット６は、その動作の可動範囲においてカメラ４および塗布装置５を三次元方向に移動させる。ロボット６は、ロボット制御盤９に接続されており、ロボット制御盤９からの制御信号を受けて動作する。   The robot 6 moves the coating device 5 with respect to the fixed work 2 to function as a moving means for applying the adhesive to the work 2 in a linear manner by the coating device 5. The robot 6 has a base 6b and an arm 6c provided on the base 6b, and is configured as a flexible robot arm (articulated robot) whose attitude is controlled to various positions and angles. As described above, the tip end holding portion 6a for holding the camera 4 and the coating device 5 is provided on the tip end side of the arm portion 6c. The robot 6 moves the camera 4 and the coating device 5 in three dimensions in the movable range of the movement. The robot 6 is connected to a robot control board 9 and operates in response to a control signal from the robot control board 9.

ロボット制御盤９は、ティーチングにより設定された所定の動作をロボット６に行わせる。ロボット６の動作により、ワーク表面２ａの接着剤塗布領域上の所定の経路に沿って塗布装置５が移動する。また、ロボット６のティーチングにおいては、塗布装置５からの接着剤の送出動作や、カメラ４による撮像のタイミング・撮像回数等の撮像動作が設定される。すなわち、ロボット制御盤９により、あらかじめ設定されたティーチングにより、ロボット６、塗布装置５、およびカメラ４の動作が制御され、ロボット６の動作にともなって塗布装置５により所定の部位に接着剤が直線状に塗布され、その動作の中で所定のタイミングでカメラ４にシャッター信号が入力されてカメラ４による撮像が行われる。   The robot control panel 9 causes the robot 6 to perform a predetermined operation set by teaching. The operation of the robot 6 moves the coating device 5 along a predetermined path on the adhesive application area of the work surface 2a. Further, in the teaching of the robot 6, an operation of feeding an adhesive from the application device 5, an imaging operation such as timing of imaging by the camera 4 and the number of times of imaging are set. That is, the robot control panel 9 controls the operation of the robot 6, the coating device 5, and the camera 4 by teaching set in advance, and the adhesive is straightened to a predetermined site by the coating device 5 along with the operation of the robot 6. In the operation, the shutter signal is input to the camera 4 at a predetermined timing in the operation, and the imaging by the camera 4 is performed.

コンピュータ７は、演算制御部１１と、入力部１２と、表示部１３とを備える。演算制御部１１は、本実施形態に係る接着剤の塗布状態の検査のための一連の処理等を実行する。演算制御部１１は、プログラム等を格納する格納部、プログラム等を展開する展開部、プログラム等に従って所定の演算を行う演算部、演算部による演算結果等を保管する保管部等を有する。   The computer 7 includes an arithmetic control unit 11, an input unit 12, and a display unit 13. The arithmetic control unit 11 executes a series of processes for inspecting the application state of the adhesive according to the present embodiment. The operation control unit 11 includes a storage unit for storing a program or the like, an expansion unit for expanding a program or the like, an operation unit for performing a predetermined operation according to the program or the like, and a storage unit for storing operation results by the operation unit.

演算制御部１１としては、具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続された構成や、ワンチップのＬＳＩ等からなる構成が用いられる。演算制御部１１としては、専用品のほか、市販のパーソナルコンピュータやワークステーション等に上記プログラム等が格納されたものが用いられる。   Specifically, as the operation control unit 11, a configuration in which a CPU, a ROM, a RAM, an HDD, and the like are connected by a bus, and a configuration formed by an LSI and the like in one chip are used. As the arithmetic and control unit 11, not only a dedicated product but also a commercially available personal computer, a work station or the like having the program etc. stored therein is used.

入力部１２は、演算制御部１１に接続され、演算制御部１１に、接着剤の検査処理に係る種々の情報・指示等を入力する。入力部１２としては、例えば、キーボード、マウス、ポインティングデバイス、ボタン、スイッチ等が用いられる。   The input unit 12 is connected to the calculation control unit 11, and inputs various information, instructions, and the like related to the inspection process of the adhesive to the calculation control unit 11. For example, a keyboard, a mouse, a pointing device, a button, a switch or the like is used as the input unit 12.

表示部１３は、演算制御部１１に接続され、接着剤の検査処理の動作状況、入力部１２から演算制御部１１への入力内容、接着剤の検査処理による処理結果等を表示する。表示部１３としては、例えば、液晶ディスプレイやＣＲＴ（陰極線管）等が用いられる。   The display unit 13 is connected to the arithmetic control unit 11, and displays the operation state of the inspection process of the adhesive, the input content from the input unit 12 to the arithmetic control unit 11, the processing result of the adhesive inspection process, and the like. For example, a liquid crystal display, a CRT (cathode ray tube), or the like is used as the display unit 13.

コンピュータ７は、演算制御部１１において、カメラ４により撮像された撮像画像の入力を受ける。本実施形態の接着剤検査装置１において、コンピュータ７の演算制御部１１が、カメラ４により取得された撮像画像に基づき、検査対象のワーク２に塗布された接着剤の塗布状態の良否を判定する判定手段として機能する。したがって、演算制御部１１において格納部に格納されるプログラム等には、本実施形態に係る接着剤の検査処理を行うためのプログラム、つまりワーク２に塗布された接着剤の塗布状態の良否を判定するための接着剤検査用プログラムが含まれる。   The computer 7 receives an input of a captured image captured by the camera 4 in the operation control unit 11. In the adhesive inspection apparatus 1 of the present embodiment, the operation control unit 11 of the computer 7 determines the quality of the application state of the adhesive applied to the workpiece 2 to be inspected based on the captured image acquired by the camera 4 It functions as a determination means. Therefore, in the program stored in the storage unit in the arithmetic control unit 11, the program for performing the inspection process of the adhesive according to the present embodiment, that is, whether the application state of the adhesive applied to the work 2 is determined A program for testing the adhesive to

演算制御部１１におけるプログラム等の格納部分としては、例えばＲＡＭ等のコンピュータ７に内蔵される記憶デバイスのほか、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）等の記憶デバイスが適宜用いられる。   For example, in addition to a storage device incorporated in the computer 7 such as a RAM, the storage portion such as a program in the arithmetic control unit 11 may be a CD (Compact Disk), an FD (Flexible Disk), an MO (Magneto-Optical Disk), a DVD (DVD) Storage devices such as Digital Versatile Disk) and HD (Hard Disk) are suitably used.

工程制御盤８は、接着剤検査装置１における全体的な制御を行う。工程制御盤８は、ＬＡＮケーブル等の接続ケーブルによりコンピュータ７およびロボット制御盤９と接続され、それぞれとの間で指令信号や通知信号等の制御信号の送受を行う。   The process control panel 8 performs overall control in the adhesive inspection device 1. The process control board 8 is connected to the computer 7 and the robot control board 9 by a connection cable such as a LAN cable, and sends and receives control signals such as command signals and notification signals with each other.

以上のような構成を備える接着剤検査装置１により、本実施形態の接着剤検査、つまり塗布後接着剤３の良否の判定が行われる。以下、本実施形態の接着剤検査について説明する。   The adhesive inspection of the present embodiment, that is, the determination of the quality of the adhesive 3 after application is performed by the adhesive inspection device 1 having the above-described configuration. The adhesive inspection of the present embodiment will be described below.

［接着剤検査方法］
本実施形態に係る接着剤検査方法（以下「本検査方法」という。）は、ワーク２に塗布された接着剤（塗布後接着剤３）の塗布状態の良否を判定するためのものであり、その検査項目として、塗布後接着剤３の塗布位置と塗布幅とを有する。つまり、本検査方法は、塗布後接着剤３が、ワーク表面２ａにおいて、決められた場所に、決められた幅で塗布されているか否かを検査するものである。 [Adhesive inspection method]
The adhesive inspection method according to the present embodiment (hereinafter referred to as "the main inspection method") is for determining the quality of the application state of the adhesive (adhesive 3 after application) applied to the work 2, The inspection items include the application position and the application width of the adhesive 3 after application. That is, this inspection method is to inspect whether or not the adhesive 3 after application is applied at a predetermined position on the work surface 2a with a predetermined width.

図２に示すように、本検査方法においては、カメラ４により取得された撮像画像２１は、接着剤が塗布されたワーク表面２ａを含む所定の塗布領域を撮像したものであり、撮像の対象としてワーク表面２ａに塗布された塗布後接着剤３と、塗布後接着剤３の周囲のワーク表面２ａとを含む。つまり、撮像画像２１には、塗布後接着剤３の画像部分である塗布後接着剤画像部３３と、その周囲のワーク表面２ａの画像部分であるワーク表面画像部３２とが存在する。   As shown in FIG. 2, in the present inspection method, the captured image 21 acquired by the camera 4 is an image obtained by imaging a predetermined application region including the work surface 2 a to which the adhesive is applied, and as an imaging target A post-application adhesive 3 applied to the work surface 2a and a work surface 2a around the post-application adhesive 3 are included. That is, in the captured image 21, there is an after-application adhesive image portion 33 which is an image portion of the after-application adhesive 3 and a work surface image portion 32 which is an image portion of the work surface 2 a around it.

撮像画像２１は、塗布された接着剤の線の方向が画像における第１の方向に沿うように撮像される。本実施形態では、接着剤はワーク表面２ａ上に直線状に塗布され、その直線の方向が撮像画像２１におけるＸ方向（図２における左右方向）に沿うように、撮像画像２１が撮像される。したがって、撮像画像２１において、第１の方向に直交する第２の方向が、Ｙ方向（図２における上下方向）となる。このように、本実施形態では、カメラ４が、撮像画像２１を取得するための撮像手段として機能する。   The captured image 21 is captured such that the direction of the applied adhesive line is along the first direction in the image. In the present embodiment, the adhesive is linearly applied on the work surface 2a, and the captured image 21 is captured such that the direction of the straight line is along the X direction (left and right direction in FIG. 2) in the captured image 21. Therefore, in the captured image 21, the second direction orthogonal to the first direction is the Y direction (vertical direction in FIG. 2). As described above, in the present embodiment, the camera 4 functions as an imaging unit for acquiring the captured image 21.

塗布後接着剤３の塗布位置は、撮像画像２１における塗布後接着剤画像部３３の位置として検査され、塗布後接着剤３の塗布幅は、撮像画像２１における塗布後接着剤画像部３３の幅として検査される。撮像画像２１における塗布後接着剤画像部３３の位置は、撮像画像２１におけるＸ方向の位置であるＸ座標（符号Ｘａ参照）とＹ方向の位置であるＹ座標（符号Ｙａ参照）とに基づいて検査される。また、撮像画像２１における塗布後接着剤画像部３３の幅は、撮像画像２１における塗布後接着剤画像部３３のＹ方向の寸法（符号Ｄａ参照）に基づいて検査される。   The application position of the adhesive 3 after application is inspected as the position of the adhesive image portion 33 after application in the captured image 21, and the application width of the adhesive 3 after application is the width of the adhesive image portion 33 after application in the captured image 21. Will be examined as The position of the adhesive image portion 33 after application in the captured image 21 is based on the X coordinate (refer to the code Xa) in the captured image 21 and the Y coordinate (refer to the code Ya) in the Y direction. It is inspected. Further, the width of the post-application adhesive image portion 33 in the captured image 21 is inspected based on the dimension in the Y direction of the post-application adhesive image portion 33 (see symbol Da).

撮像画像２１における座標は、撮像画像２１の所定の基準位置Ｏ１を原点、つまり（Ｘ，Ｙ）＝（０，０）の位置として規定される。本実施形態では、図４に示すように、撮像画像２１の基準位置Ｏ１は、撮像画像２１の左上の隅の位置に設定され、基準位置Ｏ１から右方向をＸ方向の正の方向、基準位置Ｏ１から下方向をＹ方向の正の方向として、撮像画像２１における座標が規定される。   The coordinates in the captured image 21 are defined as a predetermined reference position O1 of the captured image 21 as an origin, that is, a position of (X, Y) = (0, 0). In the present embodiment, as shown in FIG. 4, the reference position O1 of the captured image 21 is set at the position of the upper left corner of the captured image 21, and the right direction from the reference position O1 is a positive direction in the X direction, the reference position Coordinates in the captured image 21 are defined with the downward direction from O1 as the positive direction of the Y direction.

本検査方法においては、撮像画像２１において、接着剤が塗布されたワーク表面２ａを含む検査枠２２が設定される。つまり、検査枠２２内には、塗布後接着剤画像部３３とワーク表面画像部３２とが含まれる。検査枠２２は、撮像画像２１において、塗布後接着剤画像部３３の直線の方向を長手方向とする矩形状の領域を規定する。つまり、検査枠２２は、その矩形状の長手方向を塗布後接着剤画像部３３の直線の方向に沿わせ、塗布後接着剤画像部３３およびワーク表面画像部３２を含むように設定される。したがって、検査枠２２の矩形状の枠形状は、撮像画像２１のＸ方向およびＹ方向に沿うことになる。   In the present inspection method, in the captured image 21, an inspection frame 22 including the workpiece surface 2 a to which the adhesive is applied is set. That is, in the inspection frame 22, the adhesive image portion 33 after application and the work surface image portion 32 are included. The inspection frame 22 defines a rectangular area whose longitudinal direction is the direction of the straight line of the adhesive image portion 33 after application in the captured image 21. That is, the inspection frame 22 is set so that the rectangular longitudinal direction thereof follows the direction of the straight line of the adhesive image portion 33 after application, and includes the adhesive image portion 33 after application and the work surface image portion 32. Therefore, the rectangular frame shape of the inspection frame 22 is along the X direction and the Y direction of the captured image 21.

撮像画像２１のうち、検査枠２２として規定された枠内の画像部分が用いられ、接着剤の塗布状態の検査が行われる。本実施形態において、検査枠２２として規定された画像データが、撮像画像２１に基づく基本画像データとなる。   The image portion in the frame defined as the inspection frame 22 in the captured image 21 is used to inspect the application state of the adhesive. In the present embodiment, the image data defined as the inspection frame 22 is basic image data based on the captured image 21.

本検査方法においては、撮像画像２１は、カメラ４により、塗布後接着剤３の直線の方向に沿って撮像領域の一部が隣り合う画像同士で重複するように所定の時間間隔で連続的に撮像される。つまり、図３に示すように、ワーク表面２ａ上の塗布後接着剤３について、撮像画像２１の撮像範囲を表す視野角２１Ａが、塗布後接着剤３の直線の方向に沿って隣り合う視野角２１Ａの端部同士が重複するように設定され、撮像画像２１の連続的な撮像が行われる。   In the present inspection method, the captured image 21 is continuously taken by the camera 4 at predetermined time intervals so that a part of the imaging region is adjacent to each other along the direction of the straight line of the adhesive 3 after application. It is imaged. That is, as shown in FIG. 3, with respect to the adhesive 3 after application on the work surface 2 a, the viewing angles 21A representing the imaging range of the captured image 21 are adjacent to each other along the straight line direction of the adhesive 3 after application The end portions of 21A are set to overlap with each other, and continuous imaging of the captured image 21 is performed.

本実施形態では、上述したように撮像画像２１において検査枠２２が設定され、その検査枠２２内の画像部分についての画像データが基本画像データとなる。このため、上述のような撮像画像２１の連続的な撮像においては、隣り合う撮像画像２１において、検査枠２２の領域を表す検査枠範囲２２Ａの長手方向の端部同士が重なるように、カメラ４による撮像が行われる。なお、図３においては、便宜上、隣り合う視野角２１Ａおよび検査枠範囲２２Ａを実線と破線で交互に表している。   In the present embodiment, as described above, the inspection frame 22 is set in the captured image 21, and the image data of the image portion in the inspection frame 22 is the basic image data. Therefore, in the continuous imaging of the captured image 21 as described above, the camera 4 is configured such that the end portions in the longitudinal direction of the inspection frame range 22A representing the area of the inspection frame 22 overlap in adjacent captured images 21. Imaging is performed. In FIG. 3, for convenience, adjacent viewing angles 21A and inspection frame ranges 22A are alternately indicated by solid lines and broken lines.

すなわち、本検査方法において、撮像画像２１は、検査枠２２の画像領域の一部が重複するように、塗布後接着剤３の線の方向に沿って複数連続的に撮像される。したがって、接着剤検査装置１において、カメラ４は、ロボット６によるワーク２に対する相対移動により、検査枠２２の画像領域の一部が重複するように、撮像画像２１を塗布後接着剤３の線の方向（接着剤の塗布方向）に沿って複数連続的に撮像する。   That is, in the present inspection method, a plurality of captured images 21 are continuously captured along the direction of the line of the adhesive 3 after application so that a part of the image area of the inspection frame 22 overlaps. Therefore, in the adhesive inspection device 1, the camera 4 performs a line of the adhesive 3 after applying the captured image 21 so that a part of the image area of the inspection frame 22 overlaps due to the relative movement with respect to the work 2 by the robot 6. A plurality of continuous imaging is performed along the direction (the application direction of the adhesive).

これにより、塗布後接着剤３の全体がカメラ４による撮像範囲として漏れなくカバーされる。本検査方法において、所定の長さの塗布後接着剤３に対し、ロボット６の動作による塗布装置５の移動速度が所定の速度に設定され、カメラ４によって１秒間に複数枚（例えば４枚）の撮像画像２１が連続的に撮像される。このようなカメラ４による撮像画像２１の連続的な撮像において、１枚の撮像画像２１の撮像領域の大きさや撮像の時間間隔等により、隣り合う検査枠２２の画像領域の一部が重複するような撮像が行われる。   Thereby, the whole of the adhesive 3 after application is covered without leak as an imaging range by the camera 4. In this inspection method, the moving speed of the coating device 5 by the operation of the robot 6 is set to a predetermined speed for the adhesive 3 with a predetermined length, and a plurality of sheets (for example, four sheets) per second by the camera 4 The captured image 21 is continuously captured. In continuous imaging of the captured image 21 by the camera 4, a part of the image area of the inspection frame 22 adjacent to one another overlaps depending on the size of the imaging area of one captured image 21, the time interval of imaging, etc. Imaging is performed.

また、本検査方法においては、検査枠２２について、複数の分割画像データ２３が設定される。分割画像データ２３は、図４に示すように、検査枠２２をＸ方向について所定の間隔で複数の画像部分に分割したものである。本実施形態では、検査枠２２を、Ｘ方向について１９個の分割画像データ２３に等分割した例を示す。ただし、検査枠２２について設定される分割画像データ２３の個数、つまり検査枠２２の分割数は、必要とされる検査精度等に応じて任意に変更可能である。   Further, in the present inspection method, a plurality of pieces of divided image data 23 are set for the inspection frame 22. The divided image data 23 is obtained by dividing the inspection frame 22 into a plurality of image portions at predetermined intervals in the X direction, as shown in FIG. In this embodiment, an example in which the inspection frame 22 is equally divided into 19 pieces of divided image data 23 in the X direction is shown. However, the number of divided image data 23 set for the inspection frame 22, that is, the number of divisions of the inspection frame 22 can be arbitrarily changed in accordance with the required inspection accuracy and the like.

また、本検査方法においては、分割画像データ２３について、あらかじめ設定された複数の抽出位置の座標が求められる。この抽出位置には、分割画像データ２３における塗布後接着剤画像部３３とこの塗布後接着剤画像部３３のＹ方向の両側のワーク表面画像部３２との境界の位置（以下「エッジ位置」という。）が含まれる。   Further, in the present inspection method, coordinates of a plurality of extraction positions set in advance are obtained for the divided image data 23. At this extraction position, the position of the boundary between the post-application adhesive image portion 33 in the divided image data 23 and the work surface image portion 32 on both sides of the post-application adhesive image portion 33 in the Y direction (hereinafter referred to as "edge position" ) Is included.

本実施形態では、分割画像データ２３について求められる複数の抽出位置は、２箇所のエッジ位置と、これらのエッジ位置のＹ方向の中心位置との３つの位置である。つまり、本検査方法においては、検査枠２２が分割された各分割画像データ２３について、Ｙ方向についての一側（図４における上側）のエッジ位置（以下「第１エッジ位置」という。）と、Ｙ方向についての他側（図４における下側）のエッジ位置（以下「第２エッジ位置」という。）と、第１エッジ位置および第２エッジ位置のＹ方向についての中心位置（以下「エッジ間中心位置」という。）との３つの位置のＸＹ座標が求められる。   In the present embodiment, the plurality of extraction positions obtained for the divided image data 23 are three positions: two edge positions and the center position of the edge positions in the Y direction. That is, in the present inspection method, an edge position (hereinafter referred to as a “first edge position”) on one side (upper side in FIG. 4) of the divided image data 23 into which the inspection frame 22 is divided; The edge position on the other side (lower side in FIG. 4) in the Y direction (hereinafter referred to as “second edge position”) and the center position in the Y direction of the first edge position and the second edge position (hereinafter “inter-edge position The XY coordinates of the three positions of "center position" and the like are determined.

具体的には、図５に示すように、各分割画像データ２３において、Ｘ方向についての中心位置における第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３が求められる。すなわち、分割画像データ２３において、Ｘ方向についての中心位置からＹ方向の中心線Ｃ１が規定され、この中心線Ｃ１上における上下両側におけるエッジ位置が、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２として求められる。分割画像データ２３において、第１エッジ位置Ｐ１は、塗布後接着剤画像部３３とその上側に位置するワーク表面画像部３２Ａとの境界に存在し、第２エッジ位置Ｐ２は、塗布後接着剤画像部３３とその下側に位置するワーク表面画像部３２Ｂとの境界に存在する。また、中心線Ｃ１上における第１エッジ位置Ｐ１と第２エッジ位置Ｐ２との間の中心の位置が、エッジ間中心位置Ｐ３として求められる。そして、これらの第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３のＸＹ座標が求められる。   Specifically, as shown in FIG. 5, in each divided image data 23, a first edge position P1, a second edge position P2 and an inter-edge center position P3 at the center position in the X direction are determined. That is, in divided image data 23, center line C1 in the Y direction is defined from the center position in the X direction, and edge positions on both upper and lower sides on center line C1 are defined as the first edge position P1 and the second edge position P2. Desired. In the divided image data 23, the first edge position P1 is present at the boundary between the adhesive image portion 33 after application and the work surface image portion 32A located above it, and the second edge position P2 is an adhesive image after application It exists in the boundary of the part 33 and the workpiece | work surface image part 32B located below it. Further, the position of the center between the first edge position P1 and the second edge position P2 on the center line C1 is determined as the inter-edge center position P3. Then, XY coordinates of the first edge position P1, the second edge position P2, and the inter-edge center position P3 are obtained.

第１エッジ位置Ｐ１および第２エッジ位置Ｐ２を求めるに際しては、例えば、２値化や微分フィルタリング等の公知の画像処理の手法が用いられる。エッジの検出精度が比較的高いことや、乱反射、ハレーション等の外乱の影響を抑える観点からは、２値化よりも微分フィルタリングが好適に採用される。   When obtaining the first edge position P1 and the second edge position P2, for example, known image processing methods such as binarization and differential filtering are used. Differential filtering is preferably employed rather than binarization from the viewpoint of relatively high edge detection accuracy and suppression of the effects of disturbances such as irregular reflection and halation.

また、エッジ間中心位置Ｐ３は、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２それぞれのＹ座標の値から、これらのエッジ位置のＹ方向についての中心位置として算出される。   Further, the inter-edge center position P3 is calculated from the values of the Y coordinates of each of the first edge position P1 and the second edge position P2 as the center position of these edge positions in the Y direction.

以上のようにして求められる第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３の３つの抽出位置の座標が、全ての分割画像データ２３について求められる。そして、これらの３つの抽出位置の座標についてのデータ群により、各撮像画像２１（検査枠２２）についてのデータベース４０が作成される。   The coordinates of the three extracted positions of the first edge position P1, the second edge position P2, and the inter-edge center position P3 which are obtained as described above are obtained for all the divided image data 23. And the database 40 about each captured image 21 (inspection frame 22) is created by the data group about the coordinate of these three extraction positions.

具体的には、図６に示すように、データベース４０としては、図４に示すような１９個の分割画像データ２３の各分割画像データ２３についての３つの抽出位置の座標が、ポイントごとに羅列されたものが作成される。ここで、１９個の分割画像データ２３の対応する番号をポイント１〜１９として表している。また、各分割画像データ２３に対応するポイントは、検査枠２２の分割数により規定されるため、各ポイントにおける３つの抽出位置のＸ座標は、各分割画像データ２３におけるＸ方向の中心位置の座標として所定の値に定まることになる。したがって、図６に示すデータベース４０においては、これらの３つの抽出位置の座標のうち、後述するようにマスターワークとの比較の対象となるＹ座標のみＰ１（Ｙ○）、Ｐ２（Ｙ○）、Ｐ３（Ｙ○）として表している。   Specifically, as shown in FIG. 6, as the database 40, the coordinates of the three extraction positions for each of the divided image data 23 of the 19 divided image data 23 as shown in FIG. Is created. Here, the corresponding numbers of the 19 pieces of divided image data 23 are represented as points 1 to 19. In addition, since the point corresponding to each divided image data 23 is defined by the number of divisions of the inspection frame 22, the X coordinates of the three extracted positions at each point are the coordinates of the center position in the X direction in each divided image data 23. Is determined as a predetermined value. Therefore, in the database 40 shown in FIG. 6, among the coordinates of these three extraction positions, only the Y coordinates to be compared with the master work, as described later, are P1 (Y), P2 (Y), It is represented as P3 (Y ○).

本実施形態では、図６に示すようなデータベース４０が、図３に例示するように塗布後接着剤３の全範囲を網羅する連続的な４枚の撮像画像２１の検査枠２２について作成される。そして、４枚の撮像画像２１についてのデータベース４０が、そのワーク２についてのデータベース群となる。   In the present embodiment, a database 40 as shown in FIG. 6 is created for the inspection frame 22 of four consecutive captured images 21 covering the entire range of the adhesive 3 after application as illustrated in FIG. 3. . Then, the database 40 for the four captured images 21 is the database group for the work 2.

以上のようにして求められるデータベース４０が、接着剤の塗布状態が適正であることが判明しているワーク２であるマスターワークについて取得され、そのデータベース４０が、マスターデータとして設定される。すなわち、本検査方法は、接着剤の塗布状態が適正なマスターワークについて、撮像画像２１を取得し、取得した撮像画像２１に基づく検査枠２２を分割した各分割画像データ２３について、第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３の３つの抽出位置の座標を求め、求めた３つの抽出位置の座標をマスターデータとして設定する。   The database 40 obtained as described above is acquired for the master work which is the work 2 for which the application state of the adhesive is found to be appropriate, and the database 40 is set as master data. That is, in this inspection method, the first edge position is acquired for each of the divided image data 23 obtained by acquiring the captured image 21 and dividing the inspection frame 22 based on the acquired captured image 21 with respect to the master work in which the application state of the adhesive is appropriate. Coordinates of three extraction positions of P1, second edge position P2 and inter-edge center position P3 are determined, and coordinates of the determined three extraction positions are set as master data.

本実施形態の接着剤検査装置１において、マスターデータは、コンピュータ７の演算制御部１１において登録され、演算制御部１１における格納部等において設定され記憶される。すなわち、判定手段として機能する演算制御部１１は、マスターワークについて取得された撮像画像２１に基づく検査枠２２を分割した各分割画像データ２３について、上記の３つの抽出位置の座標を求め、求めた３つの抽出位置の座標をマスターデータとして設定する。   In the adhesive inspection apparatus 1 of the present embodiment, master data is registered in the arithmetic control unit 11 of the computer 7 and is set and stored in a storage unit or the like in the arithmetic control unit 11. That is, the calculation control unit 11 functioning as the determination means determines the coordinates of the above three extraction positions for each of the divided image data 23 obtained by dividing the inspection frame 22 based on the captured image 21 acquired for the master work. Coordinates of three extraction positions are set as master data.

また、上述したようなデータベース４０が、検査対象のワーク２、つまり検査対象となる接着剤が塗布されたワーク２について取得される。すなわち、本検査方法は、検査対象のワーク２について、撮像画像２１を取得し、取得した撮像画像２１に基づく検査枠２２の各分割画像データ２３について、３つの抽出位置の座標を求める。接着剤検査装置１においては、演算制御部１１により、検査対象のワーク２について、撮像画像２１に基づく検査枠２２の各分割画像データ２３について、３つの抽出位置の座標が求められる。   Further, the database 40 as described above is acquired for the workpiece 2 to be inspected, that is, the workpiece 2 to which the adhesive to be inspected is applied. That is, in the inspection method, the captured image 21 is acquired for the workpiece 2 to be inspected, and the coordinates of three extraction positions are obtained for each of the divided image data 23 of the inspection frame 22 based on the acquired captured image 21. In the adhesive inspection device 1, the coordinates of three extraction positions of the divided image data 23 of the inspection frame 22 based on the captured image 21 are obtained by the operation control unit 11 for the workpiece 2 to be inspected.

このように検査対象のワーク２について求められたデータ群から、上述したようなデータベース４０が作成される。つまり、検査対象のワーク２について、マスターデータと同様のデータベース４０が作成され、かかるデータベース４０が、マスターデータの比較対象となる測定データとなる。以下では、マスターデータとしてのデータベース４０を「マスターデータベース４０Ａ」とし、検査データとしてのデータベース４０を「測定データベース４０Ｂ」とする。   The database 40 as described above is created from the data group obtained for the work 2 to be inspected as described above. That is, for the work 2 to be inspected, a database 40 similar to the master data is created, and the database 40 becomes measurement data to be compared with the master data. Hereinafter, the database 40 as master data is referred to as “master database 40A”, and the database 40 as inspection data is referred to as “measurement database 40B”.

そして、本検査方法においては、検査対象のワーク２についての各分割画像データ２３の３つの抽出位置の座標と、マスターデータとが比較され、その比較結果に基づいて、検査対象のワーク２についての接着剤の塗布状態の良否が判定される。つまり、図６に示すように、マスターデータベース４０Ａと測定データベース４０Ｂとの比較判定（照合判定）が行われ、マッチングによる接着剤の塗布状態の良否判定が行われる。かかる良否判定は、本実施形態の接着剤検査装置１においては、演算制御部１１により実行される。   Then, in the present inspection method, the coordinates of the three extracted positions of each of the divided image data 23 for the workpiece 2 to be inspected and the master data are compared, and the workpiece 2 to be inspected is compared based on the comparison result. The quality of the application state of the adhesive is determined. That is, as shown in FIG. 6, the comparison determination (collation determination) between the master database 40A and the measurement database 40B is performed, and the quality determination of the application state of the adhesive by matching is performed. In the adhesive inspection device 1 of the present embodiment, the operation control unit 11 executes the quality determination.

本検査方法における接着剤の塗布状態の良否判定は、次のようにして行われる。マスターデータベース４０Ａと測定データベース４０Ｂとの比較判定に際しては、マスターデータベース４０Ａの各ポイントの各抽出位置の座標について、許容誤差範囲としての閾値が設定される。   The quality determination of the application state of the adhesive in this inspection method is performed as follows. In comparison and determination between the master database 40A and the measurement database 40B, a threshold as an allowable error range is set for the coordinates of each extraction position of each point of the master database 40A.

塗布後接着剤３の塗布幅は、第１エッジ位置Ｐ１と第２エッジ位置Ｐ２との間のＹ方向の寸法、つまりＹ座標の値の差の大きさに対応する。塗布後接着剤３の塗布幅に関しては、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２のそれぞれのＹ座標について、許容誤差範囲±δ１，±δ２が設定される（図７参照）。これらの許容誤差範囲±δ１，±δ２は、マスターデータベース４０Ａにおける第１エッジ位置Ｐ１および第２エッジ位置Ｐ２それぞれのＹ座標についての必要精度から決められるものであり、各エッジ位置Ｐ１，Ｐ２のＹ座標Ｙｍ１，Ｙｍ２を基準（中心）として設定される。つまり、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２のＹ座標については、Ｙ座標Ｙｍ１，Ｙｍ２を基準とした範囲Ｅ１（＝２・δ１），範囲Ｅ２（＝２・δ２）の範囲が許容誤差範囲となる。なお、図７に示す分割画像データ２３においては、中心線Ｃ１に対応するＸ座標をＸｃとしている。 The application width of the adhesive 3 after application corresponds to the size in the Y direction between the first edge position P1 and the second edge position P2, that is, the magnitude of the difference in Y coordinate values. Regarding the application width of the adhesive 3 after application, tolerance error ranges ± δ 1 and ± δ 2 are set for each Y coordinate of the first edge position P1 and the second edge position P2 (see FIG. 7). These allowable error ranges ± δ 1 and ± δ 2 are determined from the required accuracy for the Y coordinate of each of the first edge position P1 and the second edge position P2 in the master database 40A, and each edge position P1 and P2 Y coordinates Y m1 and Y m2 of Y are set as a reference (center). That is, the Y coordinates of the first edge position P1 and the second edge position P2 are within the range E1 (= 2 · δ 1 ) and the range E2 (= 2 · δ 2 ) based on the Y coordinates Y m1 and Y m2 . The range is the tolerance range. In the divided image data 23 shown in FIG. 7, the X coordinate corresponding to the center line C1 is Xc .

また、塗布後接着剤３の塗布位置は、エッジ間中心位置Ｐ３のＹ座標の値に対応する。塗布後接着剤３の塗布位置に関しては、エッジ間中心位置Ｐ３のＹ座標について、許容誤差範囲±δ３が設定される。この許容誤差範囲±δ３は、マスターデータベース４０Ａにおけるエッジ間中心位置Ｐ３のＹ座標についての必要精度から決められるものであり、マスターデータベース４０Ａにおけるエッジ間中心位置Ｐ３のＹ座標Ｙｍ３を基準（中心）として設定される。つまり、エッジ間中心位置Ｐ３のＹ座標については、Ｙ座標Ｙｍ３を基準とした範囲Ｅ３（＝２・δ３）の範囲が許容誤差範囲となる。 Further, the application position of the adhesive 3 after application corresponds to the value of the Y coordinate of the center position P3 between the edges. For the application position of the coating after the adhesive 3, the Y-coordinate of the edge between the center positions P3, is set permissible error range ± [delta] 3. The tolerance ± [delta] 3 are those determined from the required accuracy for the Y coordinate of the edge between the center position P3 in the master database 40A, based on the Y-coordinate Y m3 of the edge between the center position P3 in the master database 40A (center Set as). That is, regarding the Y coordinate of the inter-edge center position P3, the range of the range E3 (= 2 · δ 3 ) with the Y coordinate Y m3 as a reference is the allowable error range.

例えば、塗布後接着剤３の塗布幅について２ｍｍの値が適正値とされる場合、マスターデータベース４０Ａにおける第１エッジ位置Ｐ１と第２エッジ位置Ｐ２との間のＹ方向の寸法（Ｙ座標の値の差の大きさ）が、２ｍｍに相当することになる。かかる場合において、例えば、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２それぞれについての許容誤差範囲±δ１，±δ２は、それぞれ±０．５ｍｍに相当するＹ方向の寸法に設定され、エッジ間中心位置Ｐ３についての許容誤差範囲±δ３は、±１ｍｍに相当するＹ方向の寸法に設定される。なお、このような各抽出位置の座標を用いた測定においては、塗布後接着剤３等の実際の寸法（ｍｍ等）と、撮像画像２１における１画素の寸法との関係があらかじめ調整されて設定される。 For example, when a value of 2 mm is set as the appropriate value for the application width of the adhesive 3 after application, the dimension in the Y direction between the first edge position P1 and the second edge position P2 in the master database 40A (Y coordinate value The magnitude of the difference of 2) corresponds to 2 mm. In such a case, for example, the tolerance ranges ± δ 1 and ± δ 2 for each of the first edge position P1 and the second edge position P2 are set to the dimension in the Y direction corresponding to ± 0.5 mm, respectively, The tolerance range ± δ3 for the center position P3 is set to the dimension in the Y direction corresponding to ± 1 mm. In the measurement using the coordinates of each extraction position, the relationship between the actual dimensions (such as mm) of the adhesive 3 and the like after application and the dimensions of one pixel in the captured image 21 is adjusted in advance and set. Be done.

以上のような各ポイントの各抽出位置の座標についての許容誤差範囲が用いられ、マスターデータベース４０Ａによる測定データベース４０Ｂについての比較判定が行われる。すなわち、測定データベース４０Ｂにおける各ポイントの３つの抽出位置の座標が、マスターデータベース４０Ａにおいて対応するポイントの３つの抽出位置についての許容誤差範囲内にあるか否かが判定され、３つ全ての抽出位置が許容誤差範囲内にあれば、そのポイントについてはＯＫ判定となり、３つの抽出位置のうち１つでも許容誤差範囲内にない場合、そのポイントについてはＮＧ判定となる。   The allowable error range with respect to the coordinates of each extraction position of each point as described above is used, and the comparison determination on the measurement database 40B by the master database 40A is performed. That is, it is determined whether the coordinates of the three extraction positions of each point in the measurement database 40B fall within the tolerance for the three extraction positions of the corresponding point in the master database 40A, and all three extraction positions If is within the allowable error range, the point is judged as OK, and if even one of the three extraction positions is not within the allowable error range, the point is judged as NG.

図７に、ＯＫ判定となる場合の分割画像データ２３の例を示す。図７に示す例では、測定データにおける分割画像データ２３の第１エッジ位置Ｐ１´、第２エッジ位置Ｐ２´、およびエッジ間中心位置Ｐ３´は、いずれも各位置についての許容誤差範囲内に位置する。詳細には、図７に示す例では、第１エッジ位置Ｐ１´は、マスターデータの第１エッジ位置Ｐ１よりも図において上側（負の方向側）に位置するため、第１エッジ位置Ｐ１´の座標を（Ｘｃ，Ｙｎ１）とすると、Ｙ座標について、Ｙｍ１−δ１＜Ｙｎ１＜Ｙｍ１の関係が成り立つ。また、第２エッジ位置Ｐ２´は、マスターデータの第２エッジ位置Ｐ２よりも図において下側（正の方向側）に位置するため、第２エッジ位置Ｐ２´の座標を（Ｘｃ，Ｙｎ２）とすると、Ｙ座標について、Ｙｍ２ ＜Ｙｎ２ ＜Ｙｍ２ ＋δ２の関係が成り立つ。また、エッジ間中心位置Ｐ３´は、マスターデータのエッジ間中心位置Ｐ３よりも図において上側（負の方向側）に位置するため、エッジ間中心位置Ｐ３´の座標を（Ｘｃ，Ｙｎ３）とすると、Ｙ座標について、Ｙｍ３−δ３＜Ｙｎ３＜Ｙｍ３の関係が成り立つ。 FIG. 7 shows an example of the divided image data 23 in the case of the OK determination. In the example shown in FIG. 7, the first edge position P1 ', the second edge position P2', and the inter-edge center position P3 'of the divided image data 23 in the measurement data are all within the allowable error range for each position. Do. Specifically, in the example shown in FIG. 7, since the first edge position P1 ′ is located above the first edge position P1 of the master data (in the negative direction side) in the figure, the first edge position P1 ′ Assuming that the coordinates are (X c , Y n1 ), the relationship of Y m1 −δ 1 <Y n1 <Y m1 is established for the Y coordinate. The second edge position P2' is to positioned on the lower side (the positive direction side) in FIG than the second edge position P2 of the master data, the coordinates of the second edge position P2' (X c, Y n2 In the case of Y), the relationship of Y m 2 <Y n 2 <Y m 2 + δ 2 is established. Further, since the inter-edge center position P3 'is located on the upper side (negative direction side) in the figure than the inter-edge center position P3 of the master data, the coordinates of the inter-edge center position P3' are (X c , Y n3 ) Then, for the Y coordinate, the relationship of Y m3 −δ 3 <Y n3 <Y m3 holds.

図８に、ＮＧ判定となる場合の分割画像データ２３の例を示す。図８に示す例では、測定データにおける分割画像データ２３の第２エッジ位置Ｐ２´およびエッジ間中心位置Ｐ３´は、いずれも各位置についての許容誤差範囲内に位置するが、第１エッジ位置Ｐ１´は、その位置についての許容誤差範囲内に位置しない。詳細には、図８に示す例では、第１エッジ位置Ｐ１´は、マスターデータベース４０Ａの第１エッジ位置Ｐ１の許容誤差範囲を図において上側（負の方向側）に越えた位置に位置するため、Ｙ座標について、Ｙｎ１＜Ｙｎ１−δ１の関係が成り立つ。なお、図８に示す例では、第２エッジ位置Ｐ２´およびエッジ間中心位置Ｐ３´は、いずれもデータベース４０の対応する第２エッジ位置Ｐ２およびエッジ間中心位置Ｐ３の位置に対して上側に位置している。 FIG. 8 shows an example of the divided image data 23 in the case of the NG determination. In the example shown in FIG. 8, the second edge position P2 'and the inter-edge center position P3' of the divided image data 23 in the measurement data are both located within the allowable error range for each position, but the first edge position P1. 'Is not within the tolerance for that position. Specifically, in the example shown in FIG. 8, the first edge position P1 ′ is located at a position where the allowable error range of the first edge position P1 of the master database 40A exceeds the upper side (negative direction side) in the figure. The relationship of Y n1 <Y n1 −δ 1 is established for the Y coordinate. In the example shown in FIG. 8, the second edge position P2 'and the inter-edge center position P3' are both located above the corresponding second edge position P2 and the inter-edge center position P3 of the database 40. doing.

図９に、ＮＧ判定となる場合の分割画像データ２３の他の例を示す。図９に示す例では、測定データにおける分割画像データ２３の第１エッジ位置Ｐ１´、第２エッジ位置Ｐ２´、およびエッジ間中心位置Ｐ３は、いずれも各位置についての許容誤差範囲内に位置しない。詳細には、図９に示す例では、３つの抽出位置は、いずれもマスターデータベース４０Ａの各位置の許容誤差範囲を図において上側（負の方向側）に越えた位置に位置する。その他、ＮＧ判定となる場合としては、３つの抽出位置うちの２つが許容誤差範囲内に位置しない場合がある。   FIG. 9 shows another example of the divided image data 23 in the case of the NG determination. In the example shown in FIG. 9, the first edge position P1 ', the second edge position P2', and the inter-edge center position P3 of the divided image data 23 in the measurement data are not located within the allowable error range for each position. . More specifically, in the example shown in FIG. 9, all the three extraction positions are located at positions exceeding the tolerance ranges of the respective positions of the master database 40A on the upper side (negative direction side) in the drawing. In addition, as a case of NG judgment, two of the three extraction positions may not be located within the allowable error range.

以上のようなマスターデータベース４０Ａについての許容誤差範囲に基づくＯＫ／ＮＧ判定が、マスターデータベース４０Ａと測定データベース４０Ｂのデータ同士の比較により行われる。つまり、上記のＯＫ／ＮＧ判定は、撮像画像２１（検査枠２２）から求められた３つの抽出位置の座標値の比較により行われる。   The OK / NG determination based on the tolerance range for the master database 40A as described above is performed by comparing the data of the master database 40A and the measurement database 40B. That is, the above-mentioned OK / NG determination is performed by comparison of coordinate values of three extraction positions obtained from the captured image 21 (inspection frame 22).

また、本検査方法における接着剤の塗布状態の良否判定においては、測定データベース４０Ｂの各撮像画像２１（検査枠２２）に対応するデータ、つまり１９個の分割画像データ２３ごとに、許容されるＮＧ判定の数（以下「許容ＮＧ判定数」という。）があらかじめ設定される。すなわち、各検査枠２２から得られる１９個の分割画像データ２３のうち、ＮＧ判定の数が、許容ＮＧ判定数以下の場合、その検査枠２２はＯＫ判定となり、ＮＧ判定の数が許容ＮＧ判定数を上回った場合、その検査枠２２はＮＧ判定となる。   Moreover, in the quality determination of the application state of the adhesive in this inspection method, the data corresponding to each captured image 21 (inspection frame 22) of the measurement database 40B, that is, NG permitted for every 19 pieces of divided image data 23 The number of determinations (hereinafter referred to as the “permissible NG determination number”) is set in advance. That is, when the number of NG determinations is equal to or less than the allowable NG determination number among the 19 divided image data 23 obtained from each inspection frame 22, the inspection frame 22 is determined as OK, and the NG determination number is allowable NG determination If the number is exceeded, the inspection frame 22 is judged as NG.

そして、上述のとおり塗布後接着剤３について４枚取得される撮像画像２１の検査枠２２の全てがＯＫ判定の場合、その塗布後接着剤３を持つ検査対象のワーク２は良品となる。一方、塗布後接着剤３について４枚取得される撮像画像２１の検査枠２２のうちの１つでもＮＧ判定の場合、その塗布後接着剤３を持つ検査対象のワーク２は不良品となる。許容ＮＧ判定数を可変とすることで、ロバスト性の高い判定を行うことが可能となる。ただし、検査枠２２についてのＯＫ／ＮＧ判定については、許容ＮＧ判定数を設定することなく、１９個の分割画像データ２３の全てがＯＫ判定である場合のみＯＫ判定とし、１９個の分割画像データ２３の中に１つでもＮＧ判定があればＮＧ判定としてもよい。１９個の分割画像データ２３の全てがＯＫ判定である場合、塗布後接着剤３の塗布長さがＯＫということになる。   Then, when all the inspection frames 22 of the captured image 21 acquired four sheets of the adhesive 3 after application are determined as OK as described above, the workpiece 2 to be inspected having the adhesive 3 after application becomes a non-defective product. On the other hand, in the case of an NG determination even in one of the inspection frames 22 of the captured image 21 acquired four sheets of the adhesive 3 after application, the workpiece 2 to be inspected having the adhesive 3 after application becomes a defective product. By making the allowable NG determination number variable, it is possible to perform determination with high robustness. However, with regard to the OK / NG determination for the inspection frame 22, an OK determination is made only when all 19 pieces of divided image data 23 are OK determinations without setting the allowable NG determination number, and 19 pieces of divided image data If any one of the twenty-thirds is an NG judgment, it may be an NG judgment. If all 19 pieces of divided image data 23 are determined as OK, it means that the application length of the adhesive 3 after application is OK.

また、本検査方法においては、複数の１９個の分割画像データ２３のうち、所定の部位に対応する所定の分割画像データ２３を、特別分割画像データ２３Ｘとして設定し、その特別分割画像データ２３ＸのＯＫ／ＮＧ判定結果を、許容ＮＧ判定数に優先して適用してもよい。この場合、各分割画像データ２３に対応するポイントについて、所定のポイントが特別分割画像データ２３Ｘとして設定される。図４に示す例では、２番目の分割画像データ２３が特別分割画像データ２３Ｘとして設定されている。   Further, in the present inspection method, predetermined divided image data 23 corresponding to a predetermined part among the plurality of 19 divided image data 23 is set as special divided image data 23X, and the special divided image data 23X is set. The OK / NG determination result may be applied prior to the allowable NG determination number. In this case, for the points corresponding to each of the divided image data 23, predetermined points are set as special divided image data 23X. In the example shown in FIG. 4, the second divided image data 23 is set as the special divided image data 23X.

そして、上述のようなマスターデータベース４０Ａについての許容誤差範囲に基づくＯＫ／ＮＧ判定について特別分割画像データ２３ＸがＮＧ判定であれば、許容ＮＧ判定数にかかわらず、その検査枠２２がＮＧ判定とされる。各検査枠２２について設定される特別分割画像データ２３Ｘの数や位置（ポイント）は、特に限定されない。このように特別分割画像データ２３Ｘを用いた判定は、例えば、塗布後接着剤３の塗布位置に関して接着剤のはみ出しを検出するために用いられる。   Then, if the special divided image data 23X is an NG determination for the OK / NG determination based on the allowable error range for the master database 40A as described above, the inspection frame 22 is determined as an NG determination regardless of the allowable NG determination number. Ru. The number and the position (point) of the specially divided image data 23X set for each inspection frame 22 are not particularly limited. As described above, the determination using the special divided image data 23X is used, for example, to detect the protrusion of the adhesive with respect to the application position of the adhesive 3 after the application.

本検査方法の検査手順の一例について、図１０に示すフロー図を用いて説明する。以下に説明する検査手順は、上述したように演算制御部１１に格納された接着剤検査用プログラムに基づいて実行されるものである。このプログラムは、接着剤が塗布されたワーク表面２ａを含む所定の塗布領域を撮像した撮像画像２１の入力を受けるコンピュータ７の演算制御部１１に、以下に説明する各手順を実行させるためのプログラムである。なお、本検査方法を行うに際しては、事前処理として、カメラ４についての各種設定や、撮像画像２１についてのキャリブレーション等が行われる。   An example of the inspection procedure of the present inspection method will be described using the flow chart shown in FIG. The inspection procedure described below is executed based on the adhesive inspection program stored in the calculation control unit 11 as described above. This program is a program for causing the operation control unit 11 of the computer 7 that receives an input of the captured image 21 obtained by imaging a predetermined application region including the work surface 2a to which the adhesive is applied to execute each procedure described below. It is. In addition, when performing the present inspection method, various settings for the camera 4, calibration for the captured image 21, and the like are performed as pre-processing.

図１０に示すように、本検査方法では、まず、マスターデータの登録が行われる（Ｓ１０）。このステップでは、上述したようにマスターワークについて取得された撮像画像２１に基づいてマスターデータベース４０Ａが作成され、コンピュータ７において設定され登録される（図６参照）。このステップＳ１０が、マスターワークについての撮像画像２１の検査枠２２から得られる各分割画像データ２３について、第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３の座標を求め、求めた３つの抽出位置の座標をマスターデータとして設定する手順に相当する。   As shown in FIG. 10, in the present inspection method, registration of master data is first performed (S10). In this step, the master database 40A is created based on the captured image 21 acquired for the master work as described above, and is set and registered in the computer 7 (see FIG. 6). In step S10, the coordinates of the first edge position P1, the second edge position P2, and the inter-edge center position P3 are determined for each of the divided image data 23 obtained from the inspection frame 22 of the captured image 21 of the master work. The process corresponds to the procedure of setting the coordinates of the three extraction positions as master data.

このようにマスターデータの登録が行われた後、検査対象のワーク２について、撮像画像２１から各分割画像データ２３における３つの抽出位置の座標が求められ、測定データベース４０Ｂが作成され、マスターデータベース４０Ａとの比較判定が行われる。すなわち、検査対象のワーク２についての撮像画像２１に基づく検査枠２２として規定された画像データの各分割画像データ２３について、３つの抽出位置の座標を求める手順と、検査対象のワーク２についての３つの抽出位置の座標と、マスターデータとを比較し、その比較結果に基づいて、検査対象のワーク２についての接着剤の塗布状態の良否を判定する手順とが行われる。具体的には次のとおりである。   Thus, after registration of master data is performed, for the work 2 to be inspected, coordinates of three extraction positions in each divided image data 23 are obtained from the captured image 21, and a measurement database 40B is created, and the master database 40A Comparison judgment with is performed. That is, for each divided image data 23 of the image data defined as the inspection frame 22 based on the captured image 21 for the workpiece 2 to be inspected, a procedure for obtaining coordinates of three extracted positions, and 3 for the workpiece 2 to be inspected A procedure is performed to compare the coordinates of one extraction position with master data and to determine the quality of the application state of the adhesive for the workpiece 2 to be inspected based on the comparison result. Specifically, it is as follows.

まず、検査対象のワーク２についての撮像画像２１の取得が行われる（Ｓ２０）。すなわち、ロボット６の動作によって塗布装置５によりワーク表面２ａに塗布された接着剤が、カメラ４により撮像され、その撮像画像２１がコンピュータ７における演算制御部１１に取り込まれる。   First, the captured image 21 of the workpiece 2 to be inspected is acquired (S20). That is, the adhesive applied to the work surface 2 a by the coating device 5 by the operation of the robot 6 is imaged by the camera 4, and the imaged image 21 is taken into the arithmetic control unit 11 in the computer 7.

次に、撮り込まれた撮像画像２１について接着剤の塗布領域の画像部分を複数の分割画像データ２３に分割することが行われる（Ｓ３０）。このステップでは、撮像画像２１において設定された検査枠２２が、Ｘ方向について複数（本実施形態では１９個）の分割画像データ２３に分割される（図４参照）。   Next, the image portion of the application region of the adhesive is divided into a plurality of divided image data 23 in the captured image 21 captured (S30). In this step, the inspection frame 22 set in the captured image 21 is divided into a plurality (19 in the present embodiment) of divided image data 23 in the X direction (see FIG. 4).

次に、複数の分割画像データ２３のそれぞれについて、複数の抽出位置の検出、つまり第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３を求めることが行われる。すなわち、まず、２値化や微分フィルタリング等によって第１エッジ位置Ｐ１および第２エッジ位置Ｐ２が検出され（Ｓ４０）、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２それぞれのＹ座標の値から、エッジ間中心位置Ｐ３が算出される（Ｓ５０）。   Next, detection of a plurality of extraction positions, that is, determination of a first edge position P1, a second edge position P2, and an inter-edge center position P3 is performed for each of the plurality of divided image data 23. That is, first, the first edge position P1 and the second edge position P2 are detected by binarization, differential filtering or the like (S40), and the edge is calculated from the Y coordinate value of each of the first edge position P1 and the second edge position P2. An inter-center position P3 is calculated (S50).

続いて、複数の分割画像データ２３のそれぞれについての第１エッジ位置Ｐ１、第２エッジ位置Ｐ２、およびエッジ間中心位置Ｐ３の座標により、測定データベース４０Ｂの作成が行われる（Ｓ６０）。このステップでは、検査対象のワーク２について取得した各撮像画像２１について、検査枠２２を分割した各分割画像データ２３についての３つの抽出位置の座標値のデータ群が、測定データベース４０Ｂとしてデータベース化される（図６参照）。   Subsequently, the measurement database 40B is created based on the coordinates of the first edge position P1, the second edge position P2 and the inter-edge center position P3 for each of the plurality of divided image data 23 (S60). In this step, a data group of coordinate values of three extraction positions for each of the divided image data 23 obtained by dividing the inspection frame 22 is formed into a database as the measurement database 40B for each captured image 21 acquired for the workpiece 2 to be inspected. (See Figure 6).

そして、マスターデータベース４０Ａと測定データベース４０Ｂとの比較判定（照合判定）が行われ、マッチングによる接着剤の塗布状態の良否判定が行われる（Ｓ７０）。この良否判定においては、上述したように、各抽出位置の座標について設定された許容誤差範囲が用いられ、各分割画像データ２３についてのＯＫ／ＮＧ判定、およびその判定結果に基づく各検査枠２２についてのＯＫ／ＮＧ判定が行われ、その判定結果に基づいて、検査対象のワーク２の良否判定が行われる。ここで、検査枠２２についてのＯＫ／ＮＧ判定において、上述したように許容ＮＧ判定数の設定の有無は限定されない。   Then, the comparison determination (collation determination) between the master database 40A and the measurement database 40B is performed, and the quality determination of the application state of the adhesive by matching is performed (S70). In the quality determination, as described above, the allowable error range set for the coordinates of each extraction position is used, and the OK / NG determination for each divided image data 23 and each inspection frame 22 based on the determination result The OK / NG determination is performed, and the quality determination of the workpiece 2 to be inspected is performed based on the determination result. Here, in the OK / NG determination on the inspection frame 22, as described above, the presence or absence of the setting of the allowable NG determination number is not limited.

以上のような検査手順により、検査対象のワーク２の撮像画像２１に基づく接着剤の塗布状態の良否判定が行われる。   According to the inspection procedure as described above, the quality determination of the application state of the adhesive based on the captured image 21 of the workpiece 2 to be inspected is performed.

そして、上記のような各手順を演算制御部１１に実行させるための接着剤検査用プログラムについては、ＦＤやＣＤ−ＲＯＭやＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。   The adhesive inspection program for causing the operation control unit 11 to execute the above-described procedures can be provided by being recorded on a computer readable recording medium such as an FD, a CD-ROM, or a DVD. .

以上のような本実施形態の接着剤検査によれば、接着剤の塗布状態の検査精度を向上することができ、接着剤の塗布位置の変更に対して容易に対応することができる。   According to the adhesive inspection of the present embodiment as described above, the inspection accuracy of the application state of the adhesive can be improved, and it is possible to easily cope with the change of the application position of the adhesive.

本実施形態の接着剤検査は、撮像画像２１における、塗布後接着剤３の画像部分である塗布後接着剤画像部３３と、その周囲のワーク表面２ａの画像部分であるワーク表面画像部３２とのエッジ位置の座標に基づいて接着剤の塗布状態の良否の判定を行うものである。このため、実際の接着剤の塗布状態に即した検査を行うことができるので、高い検査精度を得ることができ、正確性を向上することができる。   In the adhesive inspection of the present embodiment, an adhesive image portion 33 after application which is an image portion of the adhesive 3 after application and a work surface image portion 32 which is an image portion of the work surface 2 a around it in the captured image 21 Based on the coordinates of the edge position, it is judged whether the application state of the adhesive is good or bad. Therefore, since the inspection can be performed according to the actual application state of the adhesive, high inspection accuracy can be obtained, and the accuracy can be improved.

また、本実施形態の接着剤検査においては、マスターワークと検査対象のワーク２とで互いに比較されるデータとして、撮像画像２１から検出したエッジ位置を含む複数の抽出位置の座標値により作成したデータベースが用いられている。このため、例えば、ワーク表面２ａにおける塗布後接着剤３の塗布位置を変更した場合、マスターデータについての座標値を変更し、マスターデータにおける位置を変更するだけで対応することが可能となる。つまり、マスターワークを用いて一旦作成したマスターデータは、塗布後接着剤３の塗布位置の変更等に応じて自由に変更することができるため、塗布後接着剤３の塗布位置の変更に対して容易に対応することができる。このため、本実施形態の接着剤検査によれば、塗布後接着剤３の塗布位置の変更が生じた場合であっても、変更後の塗布位置に塗布後接着剤３を塗布したマスターワークを作成する必要がなく、また、塗布後接着剤３の塗布位置の変更の確認等のために一旦作成したマスターワークを保存しておく必要もない。   In addition, in the adhesive inspection according to the present embodiment, a database created from coordinate values of a plurality of extraction positions including edge positions detected from the captured image 21 as data to be compared with each other between the master work and the work 2 to be inspected. Is used. For this reason, for example, when the application position of the adhesive 3 after application on the work surface 2a is changed, it is possible to cope by changing the coordinate value of the master data and changing the position in the master data. That is, since the master data once created using the master work can be freely changed according to the change of the application position of the adhesive 3 after application, etc., the change of the application position of the adhesive 3 after application is made. It can be easily coped with. For this reason, according to the adhesive inspection of the present embodiment, even if there is a change in the application position of the adhesive 3 after application, the master work in which the adhesive 3 after application is applied to the application position after the change There is no need to create it, and there is no need to save the master work that has been created once for confirmation of the change of the application position of the adhesive 3 after application.

例えば、図１１（ａ）に示すように、ワーク２において、切欠部等のような形状変更部２ｂが生じ、その形状変更部２ｂの影響で、塗布後接着剤３について塗布位置変更部３ｂが生じる場合がある。図１１（ａ）に示す例では、塗布位置変更部３ｂは、変更前の塗布後接着剤３に対して、塗布後接着剤３の塗布方向（Ｘ方向）に対する垂直方向（Ｙ方向）について、部分的に形状変更部２ｂが位置する側と反対側に塗布位置を変位させる部分である。このような塗布後接着剤３の塗布位置の変更については、変更後の塗布後接着剤３に対応したロボット制御盤９によるロボット６のティーチングの修正が行われる。   For example, as shown in FIG. 11A, in the work 2, a shape changing portion 2b such as a notch is generated, and the application position changing portion 3b of the adhesive 3 after application is affected by the shape changing portion 2b. It may occur. In the example shown in FIG. 11A, the application position changing unit 3b is perpendicular to the application direction (X direction) of the adhesive 3 after application, with respect to the adhesive 3 after application, before the change. It is a part which displaces an application position on the opposite side to the side where the shape change part 2b is located partially. Regarding the change of the application position of the post-application adhesive 3, correction of teaching of the robot 6 by the robot control panel 9 corresponding to the post-application adhesive 3 is performed.

本実施形態の接着剤検査によれば、図１１（ａ）に示すような塗布後接着剤３についての塗布位置変更部３ｂが生じた場合、マスターデータにおける塗布位置変更部３ｂに対応する位置データ、つまり座標値を修正することにより対応することができる。具体的には、図１１（ｂ）に示すように、塗布後接着剤３における塗布位置変更部３ｂの部位が、撮像画像２１における１９個の分割画像データ２３のうちの８番目と９番目の分割画像データ２３に対応する部位であるとする。この場合、８番目と９番目の分割画像データ２３に対応する３つの抽出位置の座標値が、変更前の塗布後接着剤３に対する塗布位置変更部３ｂの変位に対応して修正される。例えば、塗布位置変更部３ｂの修正が、Ｙ方向の正の方向への１ｍｍの変位である場合、マスターデータにおいて対応する８番目と９番目の分割画像データ２３の３つの抽出位置の座標値が、Ｙ方向の正の方向への１ｍｍに相当する数値分、修正されることになる。なお、図１１（ｂ）では、便宜上、座標値の修正部分を、塗布後接着剤画像部３３における修正部３３ｂとして示している。   According to the adhesive inspection of the present embodiment, when the application position changing unit 3b for the adhesive 3 after application as shown in FIG. 11A is generated, position data corresponding to the application position changing unit 3b in the master data That is, it can respond by correcting the coordinate value. Specifically, as shown in FIG. 11B, the portion of the application position change unit 3b in the adhesive 3 after application is the eighth and ninth of the 19 divided image data 23 in the captured image 21. It is assumed that the part corresponds to the divided image data 23. In this case, the coordinate values of the three extraction positions corresponding to the eighth and ninth divided image data 23 are corrected according to the displacement of the application position changing unit 3b with respect to the adhesive 3 after application before the change. For example, when the correction of the application position changing unit 3b is a displacement of 1 mm in the positive direction of the Y direction, the coordinate values of the three extracted positions of the corresponding eighth and ninth divided image data 23 in the master data are , The value corresponding to 1 mm in the positive direction of the Y direction will be corrected. In FIG. 11B, for the sake of convenience, the correction part of the coordinate value is shown as the correction part 33b in the adhesive image part 33 after application.

通常、上述のように塗布位置変更部３ｂが生じた場合、ロボット６のティーチングを修正した後に、実際にワーク２に接着剤を塗布することで変更後の塗布後接着剤３（塗布位置変更部３ｂを有する塗布後接着剤３）を有するマスターワークを作成し、そのマスターワークをカメラ４により撮像し、その撮像画像２１からマスターデータを再設定（再登録）する必要がある。これに対し、本実施形態の接着剤検査によれば、上述のとおりマスターデータの位置データを修正することにより、接着剤の塗布位置の変更に容易に対応することができるので、接着剤の塗布位置の変更に対して柔軟に対応することが可能となる。   Usually, when the application position change unit 3b is generated as described above, after the teaching of the robot 6 is corrected, the adhesive 3 is actually applied to the work 2 and the post-application adhesive 3 (application position change unit) It is necessary to create a master work having a post-application adhesive 3) having 3b, to image the master work with the camera 4, and reset (re-register) master data from the captured image 21. On the other hand, according to the adhesive inspection of the present embodiment, by modifying the position data of the master data as described above, it is possible to easily cope with the change of the application position of the adhesive. It becomes possible to respond flexibly to changes in position.

また、本実施形態の接着剤検査は、各分割画像データ２３についての複数の抽出位置として、Ｙ方向の両側のエッジ位置である第１エッジ位置Ｐ１および第２エッジ位置Ｐ２と、これらの間のエッジ間中心位置Ｐ３との３つの抽出位置を採用している。このため、本実施形態の接着剤検査によれば、塗布後接着剤３の塗布位置および塗布幅を効率的かつ正確に検査することが可能となる。ただし、第１エッジ位置Ｐ１および第２エッジ位置Ｐ２以外の抽出位置としては、エッジ間中心位置Ｐ３に加えて、あるいはエッジ間中心位置Ｐ３以外の位置を採用してもよい。   Further, in the adhesive inspection of the present embodiment, as the plurality of extraction positions for each of the divided image data 23, the first edge position P1 and the second edge position P2, which are edge positions on both sides in the Y direction, Three extraction positions with the inter-edge center position P3 are adopted. Therefore, according to the adhesive inspection of the present embodiment, it becomes possible to inspect the application position and application width of the adhesive 3 after application efficiently and accurately. However, as extraction positions other than the first edge position P1 and the second edge position P2, a position other than the inter-edge center position P3 or a position other than the inter-edge center position P3 may be adopted.

また、本実施形態の接着剤検査においては、撮像画像２１は、検査枠２２の画像領域の一部が重複するように、塗布後接着剤３の線の方向に沿って複数連続的に撮像されている。このため、本実施形態の接着剤検査によれば、接着剤の塗布領域の全体を確実に検査することが可能となる。ただし、塗布後接着剤３について複数取得される撮像画像２１については、隣り合う撮像画像２１同士において一部が重なり合うことなく、断続的に撮像されたものであってもよい。   Further, in the adhesive inspection of the present embodiment, a plurality of captured images 21 are continuously imaged along the direction of the line of the adhesive 3 after application so that a part of the image area of the inspection frame 22 overlaps. ing. For this reason, according to the adhesive inspection of the present embodiment, it is possible to reliably inspect the entire application region of the adhesive. However, the plurality of captured images 21 obtained for the post-application adhesive 3 may be captured intermittently without partially overlapping between adjacent captured images 21.

また、本実施形態の接着剤検査装置１は、ワーク２に対してカメラ４を移動させるロボット６において塗布装置５を支持させ、カメラ４と塗布装置５とを所定の配置関係により移動させ、塗布装置５による塗布直後の塗布後接着剤３をカメラ４により撮像する構成を採用している。このような構成によれば、カメラ４と塗布装置５とを別々に移動させる構成と比べて、効率的に接着剤の塗布および塗布後接着剤３の撮像画像の取得を行うことが可能となる。   Moreover, the adhesive inspection apparatus 1 of this embodiment is made to support the coating device 5 in the robot 6 to which the camera 4 is moved with respect to the workpiece 2, move the camera 4 and the coating device 5 according to a predetermined positional relationship, and apply A configuration is employed in which the camera 3 picks up the adhesive 3 after application immediately after application by the device 5. According to such a configuration, as compared with the configuration in which the camera 4 and the coating device 5 are moved separately, it is possible to efficiently apply the adhesive and obtain a captured image of the adhesive 3 after application. .

また、本実施形態の接着剤検査においては、検査枠２２について設定される分割画像データ２３の個数、つまり検査枠２２の分割数を任意に変えることができる。このため、例えば、比較的高い精度が必要とされない部位については検査枠２２の分割数を少なくして大まかに検査することができるというように、部位により必要とされる検査精度の高低に応じて、検査枠２２の分割数を調整することにより、効率的な検査を行うことが可能となる。   Further, in the adhesive inspection of the present embodiment, the number of divided image data 23 set for the inspection frame 22, that is, the number of divisions of the inspection frame 22 can be arbitrarily changed. Therefore, for example, according to the level of the inspection accuracy required by the portion, it is possible to roughly inspect the portion where the relatively high accuracy is not required by reducing the number of divisions of the inspection frame 22. By adjusting the number of divisions of the inspection frame 22, efficient inspection can be performed.

また、本実施形態の接着剤検査によれば、撮像画像２１ごとの複数の分割画像データ２３により３つの抽出位置の座標を取得するため、塗布後接着剤３の形状の影響を受けることなく、同じロジックで塗布後接着剤３の様々な形状に対応することが可能となる。   Further, according to the adhesive inspection of the present embodiment, since the coordinates of the three extraction positions are acquired by the plurality of divided image data 23 for each captured image 21, the influence of the shape of the adhesive 3 after application is not exerted. It becomes possible to cope with various shapes of the adhesive 3 after application with the same logic.

以上のように実施形態を用いて説明した本発明に係る塗布剤検査の技術は、上述した実施形態に限定されず、本発明の趣旨に沿う範囲で、種々の態様を採用することができる。   The technique of the coating agent inspection according to the present invention described using the embodiment as described above is not limited to the above-described embodiment, and various aspects can be adopted within the scope of the present invention.

上述した実施形態においては、撮像画像２１に基づく基本画像データとして、撮像画像２１において規定される検査枠２２の画像データが用いられ、検査枠２２を分割することで複数の分割画像データ２３が作成されているが、これに限定されるものではない。例えば、図１２に示すように、検査枠２２を設定することなく、撮像画像２１がそのままＸ方向について分割され、複数の分割画像データ２３とされてもよい。この場合、撮像画像２１の画像データが、分割画像データ２３を得るために分割される基本画像データとなる。   In the embodiment described above, the image data of the inspection frame 22 defined in the captured image 21 is used as basic image data based on the captured image 21, and the plurality of divided image data 23 are created by dividing the inspection frame 22. Although it is not limited to this. For example, as shown in FIG. 12, without setting the inspection frame 22, the captured image 21 may be divided as it is in the X direction to be a plurality of divided image data 23. In this case, the image data of the captured image 21 is the basic image data divided to obtain the divided image data 23.

また、上述した実施形態においては、分割画像データ２３は、Ｘ方向について所定の幅をもつ画像部分であるが、例えば、分割画像データ２３は、撮像画像２１をその最大分解能で分割したデータであってもよい。この場合、分割画像データ２３の幅は、撮像画像２１の１画素となる。   Further, in the above-described embodiment, the divided image data 23 is an image portion having a predetermined width in the X direction, but, for example, the divided image data 23 is data obtained by dividing the captured image 21 at its maximum resolution. May be In this case, the width of the divided image data 23 is one pixel of the captured image 21.

また、上述した実施形態においては、ワーク２に対してカメラ４を移動させるロボット６において塗布装置５を支持させた構成（ロボット追従式の画像撮像方式）が採用されているが、このような構成に限定されるものではない。接着剤検査装置１におけるロボット６等の移動手段としては、塗布装置５とワーク２とを相対的に移動させることで塗布装置５によりワーク２に線状に接着剤を塗布させる構成であればよい。接着剤検査装置１の他の構成としては、次のような例が挙げられる。   Further, in the embodiment described above, a configuration (robot tracking type image capturing method) in which the coating device 5 is supported by the robot 6 that moves the camera 4 with respect to the workpiece 2 is adopted. It is not limited to As a moving means of the robot 6 etc. in the adhesive inspection apparatus 1, the adhesive may be applied to the workpiece 2 in a linear manner by the coating device 5 by relatively moving the coating device 5 and the workpiece 2. . As another structure of the adhesive agent inspection apparatus 1, the following examples may be mentioned.

図１３（ａ）に示す構成例では、ロボット６の先端保持部６ａにおいてワーク２が保持され、ロボット６とは別に設けられた支持部１０に、カメラ４および塗布装置５が支持されている。このような構成においては、カメラ４および塗布装置５は固定で、ロボット６の動作によってワーク２が移動させられながら、塗布装置５によるワーク表面２ａへの接着剤の塗布と、カメラ４による塗布後接着剤３の撮像が行われ、塗布後接着剤３の塗布状態についての検査が行われる。   In the configuration example shown in FIG. 13A, the workpiece 2 is held by the tip holding unit 6a of the robot 6, and the camera 4 and the coating device 5 are supported by the support unit 10 provided separately from the robot 6. In such a configuration, the camera 4 and the coating device 5 are fixed, and while the work 2 is moved by the operation of the robot 6, the application of the adhesive to the work surface 2a by the coating device 5 and the coating by the camera 4 are performed. The imaging of the adhesive 3 is performed, and after the application, an inspection of the application state of the adhesive 3 is performed.

また、図１３（ｂ）に示す構成例では、ロボット６の先端保持部６ａにおいて塗布装置５のみが保持され、ロボット６とは別に設けられた支持部１０に、カメラ４が支持されている。ワーク２は、治具等によって所定の位置に所定の姿勢で固定されている。このような構成においては、ワーク２およびカメラ４は固定で、ロボット６の動作によって塗布装置５が移動させられながら、塗布装置５によるワーク表面２ａへの接着剤の塗布と、カメラ４による塗布後接着剤３の撮像が行われ、塗布後接着剤３の塗布状態についての検査が行われる。   Further, in the configuration example shown in FIG. 13B, only the coating device 5 is held in the tip end holding portion 6a of the robot 6, and the camera 4 is supported by a supporting portion 10 provided separately from the robot 6. The work 2 is fixed at a predetermined position in a predetermined posture by a jig or the like. In such a configuration, the work 2 and the camera 4 are fixed, and while the coating device 5 is moved by the operation of the robot 6, after the application of the adhesive to the work surface 2a by the coating device 5 and the application by the camera 4 The imaging of the adhesive 3 is performed, and after the application, an inspection of the application state of the adhesive 3 is performed.

さらに、図１３（ｃ）に示す構成例では、図１３（ｂ）に示す構成例の構成に加えて、ロボット６および支持部１０とは別に設けられた第２支持部１０Ａに、２台目のカメラ４（４Ａ）が設けられている。このような構成は、ワーク２における接着剤の塗布箇所が２箇所ある場合に採用される。つまり、２箇所の塗布後接着剤３のそれぞれにカメラ４，４Ａが設置され、各カメラ４，４Ａにより、対応する塗布後接着剤３が撮像される。このような構成においては、ワーク２および２台のカメラ４，４Ａは固定で、ロボット６の動作によって塗布装置５が移動させられながら、塗布装置５によるワーク表面２ａへの２箇所の接着剤の塗布と、カメラ４，４Ａによる各塗布後接着剤３の撮像が行われ、２箇所の塗布後接着剤３の塗布状態についての検査が行われる。   Further, in the configuration example shown in FIG. 13 (c), in addition to the configuration of the configuration example shown in FIG. 13 (b), the second supporting portion 10A provided separately from the robot 6 and the supporting portion 10 The camera 4 (4A) is provided. Such a configuration is employed when there are two application points of the adhesive on the work 2. That is, the cameras 4 and 4A are installed in each of the two post-application adhesives 3, and the corresponding post-application adhesives 3 are imaged by the cameras 4 and 4A. In such a configuration, the work 2 and the two cameras 4 and 4A are fixed, and while the coating device 5 is moved by the operation of the robot 6, the adhesive of the two places on the work surface 2a by the coating device 5 is The application and imaging of the adhesive 3 after each application by the cameras 4 and 4A are performed, and an inspection of the application state of the adhesive 3 is performed after two applications.

１ 接着剤検査装置（塗布剤検査装置）
２ ワーク（対象物）
２ａ ワーク表面
３ 塗布後接着剤
４ カメラ（撮像手段）
５ 塗布装置（塗布手段）
６ ロボット（移動手段）
７ コンピュータ
１１ 演算制御部
２１ 撮像画像
２２ 検査枠
２３ 分割画像データ
３２ ワーク表面画像部
３３ 塗布後接着剤画像部
４０ データベース
４０Ａ マスターデータベース
４０Ｂ 測定データベース
Ｐ１ 第１エッジ位置
Ｐ２ 第２エッジ位置
Ｐ３ エッジ間中心位置 1 Adhesive inspection system (coating agent inspection system)
2 Work (object)
2a Workpiece surface 3 Adhesive after application 4 Camera (imaging means)
5 Applicator (applying means)
6 Robot (moving means)
DESCRIPTION OF SYMBOLS 7 computer 11 operation control unit 21 captured image 22 inspection frame 23 divided image data 32 workpiece surface image unit 33 post-application adhesive image unit 40 database 40A master database 40B measurement database P1 first edge position P2 second edge position P3 edge center position

Claims (7)

対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査方法であって、
塗布剤の塗布状態が適正な対象物について、塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像を取得し、取得した前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定し、
検査対象の対象物について、前記撮像画像を取得し、取得した前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求め、
検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定するものであり、
前記複数の抽出位置は、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置である
ことを特徴とする塗布剤検査方法。 It is a coating agent inspection method for determining the quality of the application state of the coating agent apply | coated to the target object,
A captured image obtained by imaging a predetermined application region including the surface of the object to which the coating agent is applied is acquired for an object whose application state of the coating agent is appropriate, and basic image data based on the acquired imaged image is imaged In each divided image data divided into a plurality of image portions at predetermined intervals in a first direction in an image, the image direction of the coating agent and the second direction orthogonal to the first direction of the image portion of the coating agent Obtaining coordinates of a plurality of extraction positions including positions of boundaries with the image portion of the surface of the object on both sides, and setting the obtained coordinates of the plurality of extraction positions as master data;
The captured image is acquired for the object to be inspected, and the coordinates of the plurality of extraction positions are determined for each of the divided image data of the basic image data based on the acquired captured image,
The coordinates of the plurality of extraction positions of each of the divided image data of the object to be inspected and the master data are compared, and based on the comparison result, the application state of the coating agent on the object to be inspected It is to judge the quality ,
The coating agent inspection method according to claim 1, wherein the plurality of extraction positions are three positions of the position of the boundary of two places and a center position of the position of the boundary in the second direction . 前記撮像画像は、前記基本画像データの画像領域の一部が重複するように、塗布された塗布剤の塗布方向に沿って複数連続的に撮像される
ことを特徴とする請求項１に記載の塗布剤検査方法。 The captured image, the as part of the image area of the basic image data overlap, according to claim 1, wherein a plurality of continuously captured along the coating direction of the applied coating agent Coating agent inspection method. 対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査装置であって、
塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像を取得するための撮像手段と、
前記撮像手段により取得された前記撮像画像に基づき、検査対象の対象物に塗布された塗布剤の塗布状態の良否を判定する判定手段と、を備え、
前記判定手段は、
塗布剤の塗布状態が適正な対象物について取得された前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定し、
検査対象の対象物について、前記撮像画像を取得し、取得した前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求め、
検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定するものであり、
前記判定手段は、前記複数の抽出位置を、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置とする
ことを特徴とする塗布剤検査装置。 A coating agent inspection apparatus for determining the quality of the application state of a coating agent applied to an object, comprising:
An imaging unit for acquiring a captured image obtained by imaging a predetermined application region including the surface of an object to which the coating agent has been applied;
And a determination unit that determines the quality of the application state of the coating agent applied to the object to be inspected based on the captured image acquired by the imaging unit.
The determination means
About each division image data which divided basic image data based on the captured image acquired about an object with a suitable application state of a coating agent into a plurality of image parts by a predetermined interval about a 1st direction in the captured image Obtaining coordinates of a plurality of extraction positions including positions of boundaries between the image portion of the agent and the image portion of the surface of the object on both sides in the second direction orthogonal to the first direction of the image portion of the coating agent; The coordinates of the plurality of extraction positions determined are set as master data,
The captured image is acquired for the object to be inspected, and the coordinates of the plurality of extraction positions are determined for each of the divided image data of the basic image data based on the acquired captured image,
The coordinates of the plurality of extraction positions of each of the divided image data of the object to be inspected and the master data are compared, and based on the comparison result, the application state of the coating agent on the object to be inspected It is to judge the quality ,
The application agent inspection apparatus , wherein the determination unit sets the plurality of extraction positions at three positions of the position of the boundary at two positions and the center position of the position of the boundary in the second direction. . 対象物に塗布剤を塗布する塗布手段と、
前記塗布手段と対象物とを相対的に移動させることで前記塗布手段により対象物に塗布剤を塗布させる移動部と、をさらに備えた
ことを特徴とする請求項３に記載の塗布剤検査装置。 Coating means for applying a coating agent to an object;
The coating agent inspection apparatus according to claim 3 , further comprising: a moving unit configured to apply the coating agent to the target by the coating unit by relatively moving the coating unit and the target. . 前記撮像手段は、前記移動部による対象物に対する相対移動により、前記基本画像データの画像領域の一部が重複するように、前記撮像画像を塗布された塗布剤の塗布方向に沿って複数連続的に撮像する
ことを特徴とする請求項４に記載の塗布剤検査装置。 The imaging means is arranged in a plurality of continuous along the application direction of the coating agent applied with the captured image so that a part of the image area of the basic image data overlaps due to relative movement with respect to the object by the moving unit. The coating agent inspection device according to claim 4 , wherein the imaging device is imaged. 対象物に塗布された塗布剤の塗布状態の良否を判定するための塗布剤検査用プログラムであって、
塗布剤が塗布された対象物の表面を含む所定の塗布領域を撮像した撮像画像の入力を受けるコンピュータに、
塗布剤の塗布状態が適正な対象物についての前記撮像画像に基づく基本画像データを前記撮像画像における第１の方向について所定の間隔で複数の画像部分に分割した各分割画像データについて、塗布剤の画像部分と該塗布剤の画像部分の前記第１の方向に直交する第２の方向の両側の対象物の表面の画像部分との境界の位置を含む複数の抽出位置の座標を求め、求めた前記複数の抽出位置の座標をマスターデータとして設定する手順と、
検査対象の対象物についての前記撮像画像に基づく基本画像データの各前記分割画像データについて、前記複数の抽出位置の座標を求める手順と、
検査対象の対象物についての各前記分割画像データの前記複数の抽出位置の座標と、前記マスターデータとを比較し、その比較結果に基づいて、検査対象の対象物についての塗布剤の塗布状態の良否を判定する手順と、を実行させるものであり、
前記複数の抽出位置を、２箇所の前記境界の位置と、該境界の位置の前記第２の方向の中心位置との３つの位置とする
ことを特徴とする塗布剤検査用プログラム。 It is a program for coating agent inspection for judging the quality of the application state of the coating agent applied to the object,
A computer receiving an input of a captured image obtained by imaging a predetermined application area including the surface of an object to which the application agent has been applied;
For each divided image data obtained by dividing basic image data based on the captured image for an object whose application state of the coating is appropriate into a plurality of image portions at predetermined intervals in the first direction in the captured image, Coordinates of a plurality of extraction positions including positions of boundaries between the image portion and the image portion of the surface of the object on both sides in the second direction orthogonal to the first direction of the image portion of the coating agent are determined and determined Setting the coordinates of the plurality of extraction positions as master data;
A procedure for determining coordinates of the plurality of extraction positions for each of the divided image data of the basic image data based on the captured image of the object to be inspected;
The coordinates of the plurality of extraction positions of each of the divided image data of the object to be inspected and the master data are compared, and based on the comparison result, the application state of the coating agent on the object to be inspected And a step of determining the quality .
The program for a coating agent test | inspection characterized by making said several extraction position into three positions of the position of the said boundary of two places, and the center position of the said 2nd direction of the position of this boundary . 請求項６に記載の塗布剤検査用プログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer readable recording medium storing the coating agent inspection program according to claim 6 .
JP2015043160A 2015-03-05 2015-03-05 Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program Active JP6550240B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015043160A JP6550240B2 (en) 2015-03-05 2015-03-05 Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015043160A JP6550240B2 (en) 2015-03-05 2015-03-05 Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program

Publications (2)

Publication Number Publication Date
JP2016161528A JP2016161528A (en) 2016-09-05
JP6550240B2 true JP6550240B2 (en) 2019-07-24

Family

ID=56846719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015043160A Active JP6550240B2 (en) 2015-03-05 2015-03-05 Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program

Country Status (1)

Country Link
JP (1) JP6550240B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101945302B1 (en) 2017-05-25 2019-02-08 금오공과대학교 산학협력단 Method and Electronic Apparatus for Detecting of Painting Error using Image Data
KR101868905B1 (en) * 2017-05-25 2018-06-19 금오공과대학교 산학협력단 Method and Electronic Apparatus for Detecting of Painting Error using Image Data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288902B2 (en) * 1995-06-09 2002-06-04 株式会社スリーボンド Seal inspection system
DE10361018C9 (en) * 2003-12-23 2021-03-04 QUISS Qualitäts-Inspektionssysteme und Service GmbH Method for recognizing a structure to be applied to a substrate with a plurality of cameras and a device therefor
DE102004039410A1 (en) * 2004-08-13 2006-02-23 Precitec Kg Method and device for controlling an automatic machining process
JP2006305426A (en) * 2005-04-26 2006-11-09 Suzuki Motor Corp Method, apparatus and computer program for application state inspection
JP2009180613A (en) * 2008-01-30 2009-08-13 Toyota Motor Corp Coated line inspection method, coated line inspection device, coated line inspection program, and computer readable storage medium storing coated line inspection program
JP2010256025A (en) * 2009-04-21 2010-11-11 Sanyu Kogyo Kk Adhesive inspecting apparatus
JP2012237681A (en) * 2011-05-12 2012-12-06 Ihi Corp Device and method for inspecting coated state, and program
JP2012237679A (en) * 2011-05-12 2012-12-06 Ihi Corp Device and method for inspecting coated state, and program

Also Published As

Publication number Publication date
JP2016161528A (en) 2016-09-05

Similar Documents

Publication Publication Date Title
JP6507653B2 (en) Inspection apparatus and control method of inspection apparatus
JP4894628B2 (en) Appearance inspection method and appearance inspection apparatus
JP5438475B2 (en) Gap step measurement device, gap step measurement method, and program thereof
EP3417974A1 (en) Systems and methods for automated welding
JP6707751B2 (en) Adhesive inspection device and adhesive inspection method
CN105205803A (en) Display panel defect detection method
JP6550240B2 (en) Coating agent inspection method, coating agent inspection device, coating agent inspection program, and computer readable recording medium recording the program
US20130039585A1 (en) Image measurement apparatus and image measurement method
JP2011232279A (en) Tilt inspection device and tilt inspection method
JP2019089172A (en) Robot system and robot control method
JP6470600B2 (en) Weld inspection equipment
US10410336B2 (en) Inspection device, storage medium, and program
JP2013234976A (en) External appearance inspection device and external appearance inspection method
JP2016124019A (en) Welded part inspection device
KR20120014850A (en) Inspecting method of welding point
US11662194B2 (en) Measurement point determination for coordinate measuring machine measurement paths
JP2009079915A (en) Method and device for measuring micro-dimension
JP5955736B2 (en) Substrate inspection apparatus and correction information acquisition method
JP2021096171A (en) Coating agent inspection method, coating agent inspection device, coating agent inspection-purpose program, and computer readable recording medium recording the same program, as well as automobile component manufacturing method
JP2017016169A (en) Inspection method, inspection apparatus, image processing apparatus, program, and recording medium
TWI582721B (en) Workpiece conductive feature inspecting method and workpiece conductive feature inspecting system
JP2006145228A (en) Unevenness defect detecting method and unevenness defect detector
JP7442134B2 (en) Component mounting method and component mounting system
JP7048188B2 (en) Robot system and robot control method
KR20070073078A (en) Method for calibration of defected point coordinate for flat panel display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6550240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250