JP2021183982A - Appearance inspection method and system - Google Patents
Appearance inspection method and system Download PDFInfo
- Publication number
- JP2021183982A JP2021183982A JP2021136971A JP2021136971A JP2021183982A JP 2021183982 A JP2021183982 A JP 2021183982A JP 2021136971 A JP2021136971 A JP 2021136971A JP 2021136971 A JP2021136971 A JP 2021136971A JP 2021183982 A JP2021183982 A JP 2021183982A
- Authority
- JP
- Japan
- Prior art keywords
- appearance
- inspection
- abnormality
- extracted
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000005856 abnormality Effects 0.000 claims abstract description 132
- 238000012545 processing Methods 0.000 claims abstract description 67
- 230000007547 defect Effects 0.000 claims abstract description 58
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000011179 visual inspection Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 40
- 238000012790 confirmation Methods 0.000 claims description 35
- 230000002950 deficient Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 abstract description 10
- 239000003550 marker Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003638 chemical reducing agent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003028 elevating effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、検査対象の外観不良を検査する外観検査方法に関する。 The present invention relates to an appearance inspection method for inspecting an appearance defect of an inspection target.
従来から、検査対象に光を照射する照射装置と、検査対象を撮像する撮像装置と、撮像装置で得られた受光画像を画像処理する画像処理装置と、画像処理装置の処理画像を表示する表示装置とを用いて、検査対象に存在する凹凸などの表面欠陥を含む外観不良を検出する技術が知られている。特許文献１，２には、この種の技術が開示されている。
Conventionally, an irradiation device that irradiates an inspection target with light, an image pickup device that captures an image of the inspection target, an image processing device that processes an image received by the image pickup device, and a display that displays a processed image of the image processing device. There is known a technique for detecting appearance defects including surface defects such as irregularities existing in an inspection target by using an apparatus.
特許文献１に記載の外観検査装置は、検査対象表面に向けて異なる方向から光を照射する複数のライトと、ＣＣＤカメラと、ライト及びカメラに対する検査対象の相対位置を自在に移動する位置決め手段としての２軸ロボットと、カメラで撮像した画像を画像処理して表示するモニタとを備えている。作業者は、モニタに表示された画像を目視して外観不良の有無を判断し、外観不良があれば不良箇所にマーキングを行う。或いは、コンピュータが不良箇所を認識し、解析により自動的に判定を行って、作業者の介在なしに自動的に外観検査を行う。 The visual inspection apparatus described in Patent Document 1 is a positioning means for freely moving a plurality of lights that irradiate the surface of the inspection target with light from different directions, a CCD camera, and the relative positions of the lights and the inspection target with respect to the camera. It is equipped with a 2-axis robot and a monitor that processes and displays the image captured by the camera. The operator visually observes the image displayed on the monitor to determine whether or not there is an appearance defect, and if there is an appearance defect, marks the defective portion. Alternatively, the computer recognizes the defective part, automatically makes a judgment by analysis, and automatically inspects the appearance without the intervention of an operator.
特許文献２に記載の表面欠陥検査装置は、ワークを搬送するワーク搬送手段と、照射手段及び撮像手段を含み、ワークの検査対象表面を所定の撮像角度で撮像する光学的センサと、ワークの形状データ及び位置情報に基づいて光学的センサを制御するセンサ制御手段と、光学的センサから得た画像を処理してワークの表面欠陥を検出する画像処理手段と、表面欠陥の検出結果を表示する表示手段と、光学的センサを手先部に装着したロボットアームと、所定の走査方向、走査速度、及び走査パターンに基づいて光学的センサを移動させるようにロボットアームを制御するロボット制御手段とを備えている。表面欠陥が検出されたワークは、ＮＧパレットに移動され、ここで作業者による確認や修理が行われる。
The surface defect inspection apparatus described in
上記特許文献１の外観検査装置では、作業者が外観不良を判断する場合には、モニタに表示された画像を作業者が常時監視せねばならない。また、上記特許文献１の外観検査装置でコンピュータが、特許文献２の表面欠陥検査装置で画像処理手段が、それぞれ外観不良ありと判定したときには、検査対象であるワークはＮＧパレットなどの検査エリア外へ移動され、ここで最終的に作業者によって目視確認される。例え、コンピュータに不良箇所が記録されていたとしても、作業者は目視で不良箇所を探し出して確認せねばならず、目視確認作業は労力及び時間を要する。また、コンピュータが検出した外観不良の内容によれば、作業者が処理画像を確認すれば直ちに良否が判定できるような場合もある。
In the visual inspection apparatus of Patent Document 1, when the worker determines the appearance defect, the worker must constantly monitor the image displayed on the monitor. Further, when the computer in the appearance inspection device of Patent Document 1 and the image processing means in the surface defect inspection device of
本発明は以上の事情に鑑みてされたものであり、その目的は、コンピュータによる検査対象の外観異常の抽出と、作業者による外観異常箇所の良否判定とが組み合わされた、効率的な外観検査方法を提案することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is an efficient visual inspection in which a computer extracts an appearance abnormality of an inspection target and an operator determines whether or not the appearance abnormality portion is good or bad. It is to propose a method.
本発明の一態様に係る外観検査方法は、
検査対象を検査ステージに搬入するステップと、
照射手段と撮像手段とを含む検査装置を前記検査対象の所定の撮像位置へ当該検査対象に対し相対的に移動させるステップと、
前記検査装置で照射と撮像とを行い、撮像データを生成するステップと、
前記撮像データをコンピュータで画像処理することにより外観異常を抽出するステップと、
前記画像処理で外観異常が抽出されれば、異常確認処理を行うステップと、
前記異常確認処理を終えた前記検査対象、又は、前記画像処理で外観異常が抽出されなかった前記検査対象を前記検査ステージから搬出するステップとを含んでいる。
そして、前記異常確認処理が、
作業者へ外観異常を報知することと、
外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で前記撮像手段が撮像した画像のうち少なくとも１つを前記作業者が視認可能に出力表示することと、
抽出された外観異常が外観不良か否かの前記作業者の判定を受け付けて、その判定を前記検査対象の識別情報と関連付けられた外観不良情報として記憶装置に記憶することとを含んでいる。
The visual inspection method according to one aspect of the present invention is
The step of bringing the inspection target to the inspection stage and
A step of moving an inspection device including an irradiation means and an imaging means to a predetermined imaging position of the inspection target relative to the inspection target, and
The step of performing irradiation and imaging with the inspection device and generating imaging data,
A step of extracting an appearance abnormality by image processing the imaged data with a computer,
If an appearance abnormality is extracted by the image processing, the step of performing the abnormality confirmation processing and
It includes a step of carrying out the inspection target for which the abnormality confirmation processing has been completed or the inspection target for which the appearance abnormality has not been extracted by the image processing to be carried out from the inspection stage.
Then, the abnormality confirmation process is performed.
Notifying the worker of the appearance abnormality and
The operator can visually output and display at least one of the processed image from which the appearance abnormality is extracted, the image pickup data thereof, and the image captured by the image pickup means at the image pickup position corresponding to the image pickup data.
This includes accepting the determination of the operator as to whether or not the extracted appearance abnormality is an appearance defect, and storing the determination as appearance defect information associated with the identification information of the inspection target in the storage device.
上記の外観検査方法では、抽出された外観異常が外観不良であるか否かの最終的な判断は作業者によって行われる。よって、従来の作業者の目視による外観検査と同等の精度を維持することができる。また、従来のコンピュータによる画像処理のみで外観不良が判定される場合と比較して、外観異常を抽出するための閾値を下げることができ、外観不良の見逃しを回避することができる。 In the above-mentioned visual inspection method, the final determination as to whether or not the extracted appearance abnormality is a poor appearance is made by the operator. Therefore, it is possible to maintain the same accuracy as the conventional visual inspection by the operator. In addition, the threshold value for extracting the appearance abnormality can be lowered as compared with the case where the appearance defect is determined only by the image processing by the conventional computer, and it is possible to avoid overlooking the appearance defect.
また、上記の外観検査方法では、外観異常が抽出された場合にのみ、検査工程に作業者が介入する。従って、作業者が処理画像を逐次確認する必要はなく、従来の作業者が目視で外観検査を行う場合と比較して、作業者の負担が軽減される。 Further, in the above-mentioned visual inspection method, the operator intervenes in the inspection process only when the appearance abnormality is extracted. Therefore, it is not necessary for the worker to check the processed images one by one, and the burden on the worker is reduced as compared with the case where the conventional worker visually inspects the appearance.
また、上記の外観検査方法では、作業者は、外観異常の報知により異常確認処理が行われることを知ることができ、異常確認処理においてのみその検査工程に携わればよい。そのため、一人の作業者は、複数の検査工程を掛け持ちで監視することが可能となる。その結果、外観検査作業を効率化することができる。 Further, in the above-mentioned visual inspection method, the operator can know that the abnormality confirmation process is performed by notifying the appearance abnormality, and may be involved in the inspection process only in the abnormality confirmation process. Therefore, one worker can carry out and monitor a plurality of inspection processes. As a result, the visual inspection work can be made more efficient.
本発明によれば、コンピュータによる検査対象の外観異常の検出と、作業者による外観異常箇所の良否判定とが組み合わされた、効率的な外観検査方法を提案することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to propose an efficient visual inspection method in which a computer detects an appearance abnormality of an inspection target and an operator determines whether or not the appearance abnormality portion is good or bad.
〔第１実施形態〕
次に、本発明の第１実施形態を説明する。図１は本発明の第１実施形態に係る外観検査システム１の概略図、図２は外観検査システム１の制御系統の構成を示すブロック図である。この外観検査システム１は、例えば、形状・構造・寸法・ラベルの位置などのワークＷの形状や構造に係る不良、凹凸・シワ・ブツなどワークＷの表面状態に係る不良、バリ・突起・欠け・汚れ・オイルの滲み・隙間・溶接状態などのワークＷの仕上がり状態に係る不良などを検出するためのものである。本実施形態では、外観検査システム１を用いてワークＷの表面状態に係る不良を検出する場合について説明する。
[First Embodiment]
Next, the first embodiment of the present invention will be described. FIG. 1 is a schematic view of the visual inspection system 1 according to the first embodiment of the present invention, and FIG. 2 is a block diagram showing a configuration of a control system of the visual inspection system 1. This visual inspection system 1 has, for example, defects related to the shape and structure of the work W such as shape, structure, dimensions, and label position, defects related to the surface condition of the work W such as unevenness, wrinkles, and bumps, burrs, protrusions, and chips. -It is for detecting defects related to the finished state of the work W such as dirt, oil bleeding, gaps, and welding state. In this embodiment, a case where a defect related to the surface condition of the work W is detected by using the visual inspection system 1 will be described.
図１及び２に示すように、本実施形態に係る外観検査システム１は、検査装置２と、検査対象であるワークＷを保持する検査治具４と、制御ユニット６と、表示装置７と、入力装置８と、報知器９とを備えている。以下、外観検査システム１の各構成要素について詳細に説明する。
As shown in FIGS. 1 and 2, the visual inspection system 1 according to the present embodiment includes an
〔検査装置２〕
検査装置２は、センサユニット３と、センサユニット３の移動手段であるロボットアーム２１とで構成されている。後述するが、検査装置２は、予め記憶されたプログラムに従って動作する「自動モード」と、入力装置８が受け付けた作業者の操作に対応して動作する「手動モード」との、複数の制御モードを有する。自動モードでは、作業者による入力装置８の操作なしに、検査装置２が所定の作業を自動的に行う。なお、手動モードでは、入力装置８が受け付けた作業者の操作や、この操作に基づいて動作している検査装置２の動きが、自動的に修正されてもよい。
[Inspection device 2]
The
センサユニット３は、照射装置３１と、撮像装置３２と、マーカー３３とが図示されないフレームに一体的に組み付けられたものである。なお、センサユニット３は、照射装置３１からの照射光をワークＷへ向けて反射したり、ワークＷからの反射光を撮像装置３２へ入射したりする光学系を更に備えてもよい。
The
照射装置３１は、ワークＷの検査対象表面に光を照射する照射手段である。照射装置３１から出射する光の色、照射角度、照射範囲は、ワークＷから抽出する欠陥の種類に応じて適切に決定され、それに応じたライトが照射装置３１に備えられる。照射装置３１は、個別に点灯と消灯とを切り替え可能な複数のライトを備えていることが望ましい。複数のライトには、同軸ライトとリングライトとラインライトなど、異なる態様のライトが含まれていてよい。これにより、１つの照射装置３１で複数種類の外観不良を抽出することが可能となる。また、照射装置３１は、検査対象表面に対する光の照射角度を可変とするために、姿勢調整手段を備えていることが望ましい。
The
撮像装置３２は、照射装置３１から出射し、ワークＷの検査対象表面で反射した光を撮像する手段である。撮像装置３２として、ＣＣＤやＣＭＯＳなどのイメージセンサを搭載したデジタルカメラやビデオカメラが使用される。また、撮像装置３２は、光学式又はデジタル式のズーム機能を備えていることが望ましい。更に、撮像装置３２は、検査対象表面に対する撮像角度を可変とするために、姿勢調整手段を備えていることが望ましい。撮像装置３２が撮像して得た撮像データは、制御ユニット６へ送信される。
The
マーカー３３は、ワークＷの表面にマーキングする手段である。マーカー３３は、制御ユニット６からの指令を受けて、ワークＷの外観不良箇所にマーキングを行う。マーカー３３としては、インクジェットやレーザーなどの公知のマーカーの中からワークＷに応じて選択されたものが用いられてよい。
The
センサユニット３は、ロボットアーム２１の手先部に着脱可能に装着されている。ロボットアーム２１は、センサユニット３の撮像位置（即ち、検査位置）を所定の走査軌道に沿って移動させるように、制御ユニット６の制御を受けて動作する。
The
ロボットアーム２１は、複数のリンクの連接体であって、リンク同士を接続している各関節には当該関節を駆動するアクチュエータや減速機などが設けられている（いずれも図示略）。本実施形態に係る外観検査システム１では、ロボットアーム２１として６軸の垂直多関節型アームが採用されている。但し、ロボットアーム２１の態様は本実施形態に限定されない。ロボットアーム２１として、３軸以上の垂直多関節型アームや、少なくとも１つの昇降軸を有する水平多関節型アームが採用されてもよい。
The
〔検査治具４〕
検査治具４は、ワークＷを保持する手段である。本実施形態に係る検査治具４は、ワークＷを保持する保持具４２と、保持具４２が手先部に装着されたロボットアーム４１とで構成されている。ロボットアーム４１は、ワークＷの重量に対応した可搬性能を有し、検査治具４はワークＷの検査ステージへの搬入と搬出も行う。
[Inspection jig 4]
The
保持具４２は、ワークＷを拘束するもの、ワークＷを持ち上げるもの、ワークＷを把持するもの、ワークＷを吊り上げるものなど、ワークＷに応じて適切な態様のものが採用される。
As the
ロボットアーム４１は、複数のリンクの連接体であって、リンク同士を接続している各関節には当該関節を駆動するアクチュエータや減速機などが設けられている（いずれも図示略）。本実施形態では、ロボットアーム４１として、６軸の垂直多関節型アームが採用されている。但し、ロボットアーム４１の態様はこれに限定されず、ロボットアーム４１として、３軸以上の垂直多関節型アームや、少なくとも１つの昇降軸を有する水平多関節型アームが採用されてもよい。或いは、ロボットアーム４１に代えて、間欠駆動されるベルト搬送装置などの他のワーク搬送手段が用いられてもよい。
The
〔表示装置７〕
表示装置７は、制御ユニット６と電気的に接続されており、制御ユニット６からの出力を表示するものである。表示装置７には、少なくとも１つのディスプレイが含まれている。また、この表示装置７には、タッチパネル式ディスプレイが含まれていてもよい。
[Display device 7]
The
〔入力装置８〕
入力装置８は、制御ユニット６と電気的に接続されており、制御ユニット６へ情報や操作を入力するものである。作業者が入力装置８を操作し、入力装置８が受け付けた情報や操作は、制御ユニット６へ入力される。入力装置８には、検査装置２を操作するための少なくとも１つの方向操作具が設けられている。この方向操作具が受け付けた操作方向に、検査装置２の撮像位置を移動させることができる。入力装置８には、この方向操作具の他に、例えば、キーボードや、ボタン、レバーなどが含まれていてよい。
[Input device 8]
The
〔報知器９〕
報知器９は、制御ユニット６と電気的に接続されており、制御ユニット６から作業者へ向けて外観異常を報知するものである。報知器９は、ランプ、スピーカなどの公知の報知器のうち少なくとも１つであってよい。報知器９に代えて又は加えて、表示装置７が報知器９としての機能を併せ備えていてもよい。
[Notifier 9]
The alarm 9 is electrically connected to the control unit 6 and notifies the operator of the appearance abnormality from the control unit 6. The alarm 9 may be at least one of known alarms such as lamps and speakers. In place of or in addition to the alarm 9, the
〔制御ユニット６〕
制御ユニット６には、検査装置２（即ち、センサユニット３及びロボットアーム２１）と、検査治具４と、表示装置７と、入力装置８と、報知器９とが電気的に接続されている。制御ユニット６は、いわゆるコンピュータであって、ＣＰＵ等の演算処理部と、ＲＯＭ、ＲＡＭ等の記憶部を有している（いずれも図示略）。記憶部には、制御ユニット６が実行する制御プログラムや、各種固定データ等が記憶されている。演算処理部は、外部装置とデータの送受信を行う。また、演算処理部は、各種センサからの検出信号の入力や各制御対象への制御信号の出力を行う。制御ユニット６では、記憶部に記憶されたプログラム等のソフトウェアを演算処理部が読み出して実行することにより、外観検査システム１の各種動作を制御するための処理が行われる。なお、制御ユニット６は単一のコンピュータによる集中制御により各処理を実行してもよいし、複数のコンピュータの協働による分散制御により各処理を実行してもよい。また、制御ユニット６は、マイクロコントローラ、プログラマブルロジックコントローラ（ＰＬＣ）等から構成されていてもよい。
[Control unit 6]
The control unit 6 is electrically connected to the inspection device 2 (that is, the
制御ユニット６は、機能ブロックとして、センサ制御装置６１と、アーム制御装置６２と、治具制御装置６３と、画像処理装置６４と、記憶装置６５とを備えている。図２では、これらの機能ブロックが１つの制御ユニット６にまとめて示されているが、各機能ブロック又は複数の機能ブロックの組み合わせが独立した１以上のコンピュータによって実現されていてもよい
The control unit 6 includes a
センサ制御装置６１は、照射装置３１に光を出射させ、これにタイミングを合わせて撮像装置３２に撮像させるように、照射装置３１及び撮像装置３２の動作を制御する。また、センサ制御装置６１は、ワークＷの検査対象表面に対する光の照射角度が所定角度となるように、照射装置３１の姿勢を調整し、撮像角度が照射角度と対応した角度となるように、撮像装置３２の姿勢を調整する。更に、センサ制御装置６１は、入力装置８が受け付けたマーキング操作に対応して、外観不良箇所がマーキングされるようにマーカー３３を動作させる。
The
アーム制御装置６２は、記憶装置６５に予め記憶されている走査軌道に沿ってセンサユニット３が移動するように、センサユニット３が装着されたロボットアーム２１の手先部を変位させる。より詳細には、アーム制御装置６２は、ロボットアーム２１の手先部が変位するように、ロボットアーム２１の各関節に設けられたアクチュエータの動作を制御する。なお、ロボットアーム２１の手先部の変位には、位置の変位に加え、姿勢の変化も含まれる。
The
治具制御装置６３は、図示されない搬入パレットに収容されたワークＷを取り出して検査ステージへ搬入し、検査の間にわたりワークＷを保持し、検査が終わればワークを検査ステージから搬出して図示されない搬出パレットへ収容するように、検査治具４の動作を制御する。より詳細には、治具制御装置６３は、記憶装置６５に予め記憶されている所定の動作シーケンスに基づいて、上記のワークＷの搬入から搬出までの一連の動作と対応してワークＷの保持具４２が変位するように、ロボットアーム４１の各関節に設けられたアクチュエータの動作を制御する。
The
検査装置２と検査治具４とが協動してワークＷの外観検査作業を行うように、検査治具４の動作と検査装置２の動作とは同期されている。本実施形態では、検査中は、検査装置２が移動して検査治具４に保持されたワークＷは固定されているが、検査装置２とワークＷが共に移動したり、検査装置２が固定されてワークＷが移動したりしてもよい。
The operation of the
画像処理装置６４は、撮像装置３２から受け取った撮像データに対し、外観異常箇所を抽出可能なように画像処理を行い、処理画像から外観異常を抽出する。このような画像処理として、エッジ抽出のための微分処理、ノイズ除去のための平滑化処理、表面欠陥を孤立点として検出するための二値化処理などが挙げられる。ここで、「外観異常」とは、予め設定された正常な表面のデータと相違していたり、その周囲と比較して特異であったりすることを意味し、必ずしも外観不良とならない。抽出された外観異常は、後述する作業者による判定作業で「外観不良」であるか否かが判定される。
The
記憶装置６５は、外観検査に係る情報を記憶した記憶手段である。記憶装置６５には、ワークＷの識別情報と対応させて、検査情報が記憶されている。検査情報には、例えば、センサユニット３の走査軌道、抽出すべき外観不良の内容、外観不良の内容と対応した照射角度と撮像角度、撮像データに適用される画像処理の内容、検査治具４の動作などが含まれている。
The
また、記憶装置６５には、外観不良情報が記憶されている。外観不良情報には、例えば、ワークＷの識別情報、外観不良の有無、外観不良箇所の位置、外観不良の内容などが含まれている。
In addition, appearance defect information is stored in the
更に、記憶装置６５には、異常情報が記憶されていてよい。異常情報には、例えば、ワークＷの識別情報、外観異常の位置、外観異常が抽出された処理画像などが含まれる。
Further, the
〔外観検査方法〕
ここで、上記構成の外観検査システム１を用いた外観検査方法について説明する。図３は外観検査システム１による外観検査処理の流れ図である。
[Visual inspection method]
Here, a visual inspection method using the visual inspection system 1 having the above configuration will be described. FIG. 3 is a flow chart of the visual inspection process by the visual inspection system 1.
先ず、制御ユニット６は、検査情報を記憶装置６５から読み出し（ステップＳ１）、検査情報と対応するワークＷを検査ステージへ搬入するように、検査治具４を動作させる（ステップＳ２）。なお、ワークＷが検査ステージに搬入されてから、このワークＷに対応する検査情報が読み出されてもよい。
First, the control unit 6 reads out the inspection information from the storage device 65 (step S1), and operates the
制御ユニット６は、センサユニット３を次の撮像位置へ移動させるように、検査装置２（詳細には、ロボットアーム２１）を動作させる（ステップＳ３）。なお、本実施形態では、ワークＷの表面が複数の検査エリアに仮想的に分割され、各検査エリアについて検査を行うように、センサユニット３がワークＷの表面を走査する。
The control unit 6 operates the inspection device 2 (specifically, the robot arm 21) so as to move the
制御ユニット６は、センサユニット３が撮像位置へ到達すると、ワークＷへの照射と撮像とを行うようにセンサユニット３を動作させる（ステップＳ４）。制御ユニット６は、センサユニット３が生成した撮像データを取得する（ステップＳ５）。
When the
制御ユニット６は、受け取った撮像データを画像処理する（ステップＳ６）。この画像処理において外観異常が抽出されなかった場合は（ステップＳ７でＮＯ）、次の撮像位置が有れば（ステップＳ９でＹＥＳ）ステップＳ３へ戻る。次の撮像位置が無ければ（ステップＳ９でＮＯ）、制御ユニット６は、ワークＷを検査ステージから搬出するように検査治具４を動作させ（ステップＳ１０）、外観検査処理を終了する。
The control unit 6 performs image processing on the received image pickup data (step S6). If no appearance abnormality is extracted in this image processing (NO in step S7), and if there is a next imaging position (YES in step S9), the process returns to step S3. If there is no next imaging position (NO in step S9), the control unit 6 operates the
一方、画像処理によって外観異常が抽出された場合は（ステップＳ７でＹＥＳ）、制御ユニット６は、異常確認処理を行う（ステップＳ８）。図４は外観検査システム１による異常確認処理の流れ図である。 On the other hand, when the appearance abnormality is extracted by the image processing (YES in step S7), the control unit 6 performs the abnormality confirmation processing (step S8). FIG. 4 is a flow chart of abnormality confirmation processing by the visual inspection system 1.
図４に示すように、異常確認処理（ステップＳ８）では、先ず、制御ユニット６は報知器９及び／又は表示装置７に外観異常の抽出を出力して、作業者に外観異常の抽出を報知する（ステップＳ１１）。次いで、制御ユニット６は、表示装置７の出力表示を切り替える（ステップＳ１２）。ここで、表示装置７には、外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で撮像装置３２が撮像した画像のうち少なくとも１つが、作業者が視認可能に出力表示される。
As shown in FIG. 4, in the abnormality confirmation process (step S8), first, the control unit 6 outputs the extraction of the appearance abnormality to the alarm 9 and / or the
続いて、制御ユニット６は、検査装置２の制御モードを自動モードから手動モードに切り替える（ステップＳ１３）。
Subsequently, the control unit 6 switches the control mode of the
作業者は、表示装置７に表示された処理画像等を視認して、処理画像から抽出された外観異常が外観不良であるか否かを判定し、入力装置８を介して判定結果を制御ユニット６へ入力する。なお、作業者は、外観異常が外観不良であるか否かを判定するに際し、入力装置８を利用して検査装置２を手動操作し、更なる判断材料を得ることができる。更なる判断材料とは、例えば、ワークＷの外観異常が検出された箇所の画像、その画像をズームイン又はズームアウトした画像、その画像と撮影の角度（照射角度及び撮像角度）が変更された画像、その画像に別の画像処理を施した画像、などである。なお、画像には映像が含まれ得る。
The operator visually recognizes the processed image or the like displayed on the
具体的には、制御ユニット６は、作業者による判定結果の入力が無く（ステップＳ１４でＮＯ）、且つ、入力装置８が作業者による検査装置２の手動操作を受け付けると（ステップＳ１８でＹＥＳ）、この手動操作を取得して、検査装置２に手動操作と対応するように動作させ、検査装置２で得られた撮像データ又はその画像処理後のデータを表示装置７に出力する（ステップＳ１９）。
Specifically, when the control unit 6 has no input of the determination result by the operator (NO in step S14) and the
制御ユニット６は、作業者による判定結果の入力が有れば（ステップＳ１４でＹＥＳ）、外観不良情報を記憶装置６５に記録する（ステップＳ１５）。なお、外観不良情報は、画像処理で抽出された外観異常が外観不良でない場合（即ち、過剰判断であった場合）も記録されることが望ましい。記憶装置６５に蓄積された外観不良情報は、画像処理で外観異常を抽出する画像処理装置６４を学習させるために利用することができる。ここで、外観不良と判定された場合には、制御ユニット６は、外観不良箇所をマーキングするように、マーカー３３を動作させてもよい。
If the operator inputs the determination result (YES in step S14), the control unit 6 records the appearance defect information in the storage device 65 (step S15). It is desirable that the appearance defect information is recorded even when the appearance abnormality extracted by the image processing is not the appearance defect (that is, when the judgment is excessive). The appearance defect information stored in the
最後に、制御ユニット６は、検査装置２の制御モードを手動モードから自動モードに切り替えて（ステップＳ１６）、異常確認処理を終了する。
Finally, the control unit 6 switches the control mode of the
以上に説明したように、本実施形態の外観検査方法は、検査対象であるワークＷを検査ステージに搬入するステップと、照射手段３１と撮像手段３２とを含む検査装置２を検査対象の所定の撮像位置へ当該検査対象に対し相対的に移動させるステップと、検査装置２で照射と撮像とを行い、撮像データを生成するステップと、撮像データをコンピュータ（即ち、制御ユニット６の画像処理装置６４）で画像処理することにより外観異常を抽出するステップと、画像処理で外観異常が抽出されれば、異常確認処理を行うステップと、異常確認処理を終えた検査対象、又は、画像処理で外観異常が抽出されなかった検査対象を検査ステージから搬出するステップとを含んでいる。
As described above, in the visual inspection method of the present embodiment, the
そして、上記の異常確認処理が、作業者へ外観異常を報知することと、外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で撮像手段３２が撮像した画像のうち少なくとも１つを作業者が視認可能に出力表示することと、抽出された外観異常が外観不良か否かの作業者の判定を受け付けて、その判定を検査対象の識別情報と関連付けられた外観不良情報として記憶装置６５に記憶することとを含むことを特徴としている。
Then, the above-mentioned abnormality confirmation process notifies the operator of the appearance abnormality, and the image pickup means 32 takes an image at the processed image from which the appearance abnormality is extracted, the image pickup data thereof, and the image pickup position corresponding to the image pickup data. At least one of the images is output and displayed so that the operator can see it, and the operator's judgment as to whether or not the extracted appearance abnormality is poor appearance is accepted, and the judgment is associated with the identification information of the inspection target. It is characterized in that it includes storage in the
上記の外観検査方法では、抽出された外観異常が外観不良であるか否かの最終的な判断は作業者によって行われる。よって、従来の作業者の目視による外観検査と同等の精度を維持することができる。また、従来の画像処理のみで外観不良が判定される場合と比較して、画像処理による外観異常の抽出のための閾値を下げることができ、外観不良の見逃しを回避することができる。 In the above-mentioned visual inspection method, the final determination as to whether or not the extracted appearance abnormality is a poor appearance is made by the operator. Therefore, it is possible to maintain the same accuracy as the conventional visual inspection by the operator. Further, as compared with the case where the appearance defect is determined only by the conventional image processing, the threshold value for extracting the appearance abnormality by the image processing can be lowered, and it is possible to avoid overlooking the appearance defect.
また、上記の外観検査方法では、画像処理で外観異常が抽出された場合にのみ、検査工程に作業者が介入する。従って、作業者が処理画像を逐次確認する必要はなく、従来の作業者が目視で外観検査を行う場合と比較して、作業者の負担が軽減される。 Further, in the above-mentioned visual inspection method, the operator intervenes in the inspection process only when the appearance abnormality is extracted by the image processing. Therefore, it is not necessary for the worker to check the processed images one by one, and the burden on the worker is reduced as compared with the case where the conventional worker visually inspects the appearance.
また、上記の外観検査方法では、作業者は、外観異常の報知により異常確認処理が行われることを知ることができ、異常確認処理においてのみその検査工程に携わればよい。そのため、一人の作業者は、複数の検査工程を掛け持ちで監視することが可能となる。その結果、ワークＷの外観検査を効率化することができる。 Further, in the above-mentioned visual inspection method, the operator can know that the abnormality confirmation process is performed by notifying the appearance abnormality, and may be involved in the inspection process only in the abnormality confirmation process. Therefore, one worker can carry out and monitor a plurality of inspection processes. As a result, the visual inspection of the work W can be made more efficient.
また、本実施形態の外観検査方法において、異常確認処理が、検査装置２を作業者の手動操作に対応して動作する手動モードに切り替えることと、作業者の判定を受け付けた後で、検査装置２を予め記憶されたプログラムに則って動作する自動モードに切り替えることとを、更に含んでいる。
Further, in the visual inspection method of the present embodiment, after the abnormality confirmation process switches the
このように、異常確認処理において検査装置２は手動モードに切り替えられる。よって、作業者は、検査装置２を手動操作して、抽出された外観異常が外観不良であるか否かの判定を行うための追加の判断材料（情報）を得ることができる。作業者は追加の判断材料を得て、より正確に外観不良の判定を行うことができる。
In this way, the
また、本実施形態の外観検査方法において、異常確認処理が、抽出された外観異常が外観不良であれば、検査対象の外観不良箇所にマーキングすることを更に含んでいる。 Further, in the appearance inspection method of the present embodiment, the abnormality confirmation process further includes marking the portion of the appearance defect to be inspected if the extracted appearance abnormality is the appearance defect.
このように、検査対象の外観不良箇所がマーキングされることにより、外観不良箇所の修繕作業が容易となる。 By marking the defective appearance portion to be inspected in this way, the repair work of the defective appearance portion becomes easy.
〔第２実施形態〕
次に、本発明の第２実施形態を説明する。第２実施形態に係る外観検査システム１では、上記第１実施形態に係る外観検査システム１と構成は実質的に同じであり、外観検査方法が異なる。そこで、本実施形態の説明では、外観検査方法について説明し、外観検査システム１の構成に係る説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The visual inspection system 1 according to the second embodiment has substantially the same configuration as the visual inspection system 1 according to the first embodiment, and the visual inspection method is different. Therefore, in the description of the present embodiment, the visual inspection method will be described, and the description relating to the configuration of the visual inspection system 1 will be omitted.
〔外観検査方法〕
ここで、上記構成の外観検査システム１を用いた外観検査方法について図５を用いて説明する。図５は外観検査システム１による第２実施形態に係る外観検査処理の流れ図である。
[Visual inspection method]
Here, a visual inspection method using the visual inspection system 1 having the above configuration will be described with reference to FIG. FIG. 5 is a flow chart of the visual inspection process according to the second embodiment by the visual inspection system 1.
先ず、制御ユニット６は、検査情報を記憶装置６５から読み出す（ステップＳ３１）。制御ユニット６は、検査情報と対応するワークＷを検査ステージへ搬入するように、検査治具４を動作させる（ステップＳ３２）。なお、ワークＷが検査ステージに搬入されてから、このワークＷに対応する検査情報が読み出されてもよい。
First, the control unit 6 reads out the inspection information from the storage device 65 (step S31). The control unit 6 operates the
制御ユニット６は、センサユニット３を次の撮像位置へ移動させるように、検査装置２（詳細には、ロボットアーム２１）を動作させる（ステップＳ３３）。
The control unit 6 operates the inspection device 2 (specifically, the robot arm 21) so as to move the
制御ユニット６は、センサユニット３が撮像位置へ到達すると、ワークＷへの照射と撮像とを行うようにセンサユニット３を動作させる（ステップＳ３４）。制御ユニット６は、センサユニット３が生成した撮像データを取得する（ステップＳ３５）。
When the
制御ユニット６は、受け取った撮像データを画像処理する（ステップＳ３６）。この画像処理によって外観異常が抽出された場合は（ステップＳ３７でＹＥＳ）、制御ユニット６は、異常情報を記憶装置６５に記録する（ステップＳ３８）。 The control unit 6 performs image processing on the received image pickup data (step S36). When the appearance abnormality is extracted by this image processing (YES in step S37), the control unit 6 records the abnormality information in the storage device 65 (step S38).
異常情報を記録したあと、或いは、外観異常が抽出されなかった場合は（ステップＳ３７でＮＯ）、制御ユニット６は、次の撮像位置が有れば（ステップＳ３９でＹＥＳ）ステップＳ３３へ戻る。一方、次の撮像位置が無ければ（ステップＳ３９でＮＯ）、制御ユニット６は、このワークＷに関して少なくとも１つの異常情報の記録が有るか否かを判断する。制御ユニット６は、このワークＷに関して異常情報が無ければ（ステップＳ４０でＮＯ）、ワークＷを検査ステージから搬出するように検査治具４を動作させ（ステップＳ４２）、外観検査処理を終了する。
After recording the abnormality information, or when the appearance abnormality is not extracted (NO in step S37), the control unit 6 returns to step S33 if there is a next imaging position (YES in step S39). On the other hand, if there is no next imaging position (NO in step S39), the control unit 6 determines whether or not at least one abnormality information is recorded for this work W. If there is no abnormality information regarding the work W (NO in step S40), the control unit 6 operates the
一方、制御ユニット６は、このワークＷに関して少なくとも１つの異常情報の記録が有れば（ステップＳ４０でＹＥＳ）、異常確認処理を行う（ステップＳ４１）。図６は外観検査システム１による第２実施形態に係る異常確認処理の流れ図である。 On the other hand, if the control unit 6 has at least one record of abnormality information regarding the work W (YES in step S40), the control unit 6 performs an abnormality confirmation process (step S41). FIG. 6 is a flow chart of the abnormality confirmation process according to the second embodiment by the visual inspection system 1.
図６に示すように、異常確認処理（ステップＳ４１）では、先ず、制御ユニット６は報知器９及び／又は表示装置７に異常の抽出を出力して、作業者に異常の抽出を報知する（ステップＳ５１）。次いで、制御ユニット６は、記憶装置６５に記録された異常情報を読み出す（ステップＳ５２）。
As shown in FIG. 6, in the abnormality confirmation process (step S41), first, the control unit 6 outputs an abnormality extraction to the alarm 9 and / or the
制御ユニット６は、読み出した異常情報のうち初めの異常情報に関し、外観異常が抽出された処理画像と対応する撮像位置へセンサユニット３が移動するように、ロボットアーム２１を動作させる（ステップＳ５３）。更に、制御ユニット６は、表示装置７の出力表示を切り替える（ステップＳ５４）。ここで、表示装置７には、外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で撮像装置３２が撮像した画像のうち少なくとも１つが、作業者が視認可能に出力表示される。
The control unit 6 operates the
続いて、制御ユニット６は、検査装置２の制御モードを自動モードから手動モードに切り替える（ステップＳ５５）。
Subsequently, the control unit 6 switches the control mode of the
作業者は、表示装置７に表示された処理画像等を視認して、処理画像から抽出された外観異常が外観不良であるか否かを判定し、入力装置８を介して判定結果を制御ユニット６へ入力する。なお、作業者は、外観異常が外観不良であるか否かを判定するに際し、入力装置８を利用して検査装置２を手動操作し、更なる判断材料を得ることができる。更なる判断材料とは、例えば、ワークＷの外観異常が検出された箇所の画像、その画像をズームイン又はズームアウトした画像、その画像と撮影の角度（照射角度及び撮像角度）が変更された画像、その画像に別の画像処理を施した画像、などである。なお、画像には映像が含まれ得る。
The operator visually recognizes the processed image or the like displayed on the
具体的には、制御ユニット６は、作業者による判定結果の入力が無く（ステップＳ５６でＮＯ）、且つ、入力装置８が作業者による検査装置２の手動操作を受け付けると（ステップＳ６１でＹＥＳ）、この手動操作を取得して、検査装置２に手動操作と対応するように動作させ、検査装置２で得られた撮像データ又はその画像処理後のデータを表示装置７に出力する（ステップＳ６２）。
Specifically, when the control unit 6 has no input of the determination result by the operator (NO in step S56) and the
制御ユニット６は、作業者による判定結果の入力が有ると（ステップＳ５６でＹＥＳ）、外観不良情報を記憶装置６５に記録する（ステップＳ５７）。外観不良情報は、画像処理で抽出された外観異常が外観不良でない場合（即ち、過剰判断であった場合）も記録されることが望ましい。ここで、外観不良と判定された場合には、制御ユニット６は、外観不良箇所をマーキングするように、マーカー３３を動作させる。
When the control unit 6 has input of the determination result by the operator (YES in step S56), the control unit 6 records the appearance defect information in the storage device 65 (step S57). It is desirable that the appearance defect information is recorded even when the appearance abnormality extracted by the image processing is not the appearance defect (that is, when the judgment is excessive). Here, when it is determined that the appearance is poor, the control unit 6 operates the
制御ユニット６は、検査装置２の制御モードを手動モードから自動モードに切り替える（ステップＳ５８）。制御ユニット６は、読み出した異所情報に次の外観異常箇所があるかどうかを判断し、次の外観異常箇所があれば（ステップＳ５９でＹＥＳ）、ステップＳ５３に戻って処理を繰り返す。一方、次の外観異常箇所が無ければ（ステップＳ５９でＮＯ）、異常確認処理を終了する。
The control unit 6 switches the control mode of the
以上に説明したように、前述の第１実施形態に係る外観検査方法では、検査装置２を、複数の撮像位置を繋いだ所定の走査軌道に沿って走査させながら、各撮像位置で撮像データの生成、外観異常の抽出、及び、抽出された外観異常が外観不良か否かの判定を行う。これに対し、第２実施形態に係る外観検査方法では、検査装置２を、複数の撮像位置を繋いだ所定の走査軌道に沿って走査させながら、各撮像位置で撮像データの生成及び外観異常の抽出を行い、走査軌道の走査を終えてから、抽出された外観異常が外観不良か否かの判定を行う。１つのワークＷに対し外観異常が数箇所程度に収まる場合には、後者の方が作業者の拘束時間が短くなり、作業者の負担が軽減され、より効率的な検査作業を行うことができる。
As described above, in the visual inspection method according to the first embodiment described above, the
以上に本発明の好適な実施の形態を説明した。上記の説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。 The preferred embodiment of the present invention has been described above. From the above description, many improvements and other embodiments of the present invention will be apparent to those skilled in the art. Therefore, the above description should be construed as an example only and is provided for the purpose of teaching those skilled in the art the best aspects of carrying out the present invention. The details of its structure and / or function can be substantially changed without departing from the spirit of the present invention.
１ ：外観検査システム
２ ：検査装置
３ ：センサユニット
４ ：検査治具
６ ：制御ユニット
７ ：表示装置
８ ：入力装置
９ ：報知器
２１ ：ロボットアーム
３１ ：照射装置（照射手段）
３２ ：撮像装置（撮像手段）
３３ ：マーカー
４１ ：ロボットアーム
４２ ：保持具
６１ ：センサ制御装置
６２ ：アーム制御装置
６３ ：治具制御装置
６４ ：画像処理装置
６５ ：記憶装置
Ｗ ：ワーク
1: Visual inspection system 2: Inspection device 3: Sensor unit 4: Inspection jig 6: Control unit 7: Display device 8: Input device 9: Alarm 21: Robot arm 31: Irradiation device (irradiation means)
32: Imaging device (imaging means)
33: Marker 41: Robot arm 42: Holder 61: Sensor control device 62: Arm control device 63: Jig control device 64: Image processing device 65: Storage device W: Work
本開示の一態様に係る外観検査方法は、
検査対象を保持する保持具及び前記保持具を移動させる第１ロボットアームを備える検査治具が、前記検査対象を検査ステージに搬入するステップと、
照射手段と撮像手段とを含むセンサユニット及び前記センサユニットを移動させる第２ロボットアームを備える検査装置と前記検査治具とのうち少なくとも一方が、前記センサユニットを前記検査対象の所定の撮像位置へ当該検査対象に対し相対的に移動させるステップと、
前記検査装置が、前記検査対象に対して照射と撮像とを行い、前記検査対象の撮像データを生成するステップと、
コンピュータが、前記撮像データをコンピュータ取得して画像処理することにより前記検査対象の外観異常を抽出するステップと、
前記画像処理で外観異常が抽出されれば、前記コンピュータが異常確認処理を行うステップと、
前記検査治具が、前記異常確認処理を終えた前記検査対象、又は、前記画像処理で外観異常が抽出されなかった前記検査対象を前記検査ステージから搬出するステップとを含んでいる。
そして、前記異常確認処理が、
作業者へ外観異常を報知すること、
外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で前記撮像手段が撮像した画像のうち少なくとも１つを前記作業者が視認可能に出力表示すること、
前記検査装置の制御モードを前記作業者の手動操作に対応して動作する手動モードに切り替え、前記検査装置が前記手動操作に対応して動作することにより生成された更なる撮像データを取得すること、
前記更なる撮像データに基づいた更なる判断材料を前記作業者が視認可能に出力表示すること、
抽出された外観異常が外観不良か否かの前記作業者の判定の入力を受け付けて、その判定を前記検査対象の識別情報と関連付けられた外観不良情報として記憶装置に記憶すること、及び、
前記作業者の判定を受け付けた後で、前記検査装置の制御モードを予め記憶されたプログラムに則って動作する自動モードに切り替えることを含んでいる。
また、本開示の一態様に係る外観検査システムは、
検査対象を保持する保持具、及び、前記保持具を移動させる第１ロボットアームを含む検査治具と、
照射手段と撮像手段とを含むセンサユニット、及び、予め記憶されたプログラムに従って動作する自動モードと作業者の操作に対応して動作する手動モードとの複数の制御モードを有し前記センサユニットを移動させる第２ロボットアームを含む検査装置と、
表示装置と、
報知器と、
前記検査治具、前記検査装置、前記表示装置、及び前記報知機と電気的に接続された制御ユニットと、を備え、
前記制御ユニットは、
前記検査対象を検査ステージに搬入させるように前記検査治具を動作させ、
前記センサユニットを前記検査対象の所定の撮像位置へ当該検査対象に対し相対的に移動させるように前記検査治具及び前記検査装置のうち少なくとも一方を動作させ、
前記検査対象に対して照射と撮像とを行って撮像データを生成するように前記検査装置を前記自動モードで動作させ、
前記撮像データを画像処理することにより前記検査対象の外観異常を抽出し、
外観異常が抽出されれば異常確認処理を行い、
前記異常確認処理を終えた前記検査対象、又は、前記画像処理で外観異常が抽出されなかった前記検査対象を前記検査ステージから搬出するように前記検査治具を動作させるように構成されている。
そして、前記異常確認処理が、
外観異常を前記報知器に報知させること、
外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で前記撮像手段が撮像した画像のうち少なくとも１つを前記表示装置に表示させること、
前記検査装置の制御モードを前記手動モードに切り替え、作業者の操作に対応して前記センサユニットの移動と撮像とを行って更なる撮像データを生成するように前記検査装置を動作させること、
前記更なる撮像データを取得し、前記更なる撮像データに基づいた更なる判断材料を前記表示装置に出力表示すること、
抽出された外観異常が外観不良か否かの前記作業者の判定の入力を受け付けて、その判定を前記検査対象の識別情報と関連付けられた外観不良情報として記憶すること、及び、
前記作業者の判定を受け付けた後で、前記検査装置の制御モードを前記自動モードに切り替えること、を含む。
前記更なる判断材料は、前記外観異常が検出された箇所の第１撮像画像、前記第１撮像画像をズームイン及び／又はズームアウトした画像、当該第１撮像画像と撮影の角度が変更された第２撮像画像、及び、前記第１撮像画像に画像処理を施した画像のうち少なくとも１つを含んでいてよい。
The visual inspection method according to one aspect of the present disclosure is
A step in which an inspection jig including a holder for holding the inspection target and a first robot arm for moving the holder brings the inspection target to the inspection stage, and
At least one of the inspection device and the inspection jig including the sensor unit including the irradiation means and the image pickup means and the second robot arm for moving the sensor unit moves the sensor unit to a predetermined image pickup position to be inspected. Steps to move relative to the inspection target and
A step of said inspection apparatus performs irradiation morphism and the imaging with respect to the inspection object to generate the imaging data of said object,
A step of the computer extracts the abnormal appearance of the test object by processing images of the imaging data to the computer acquisition,
If an appearance abnormality is extracted by the image processing, the step of the computer performing the abnormality confirmation processing and
The inspection jig includes a step of carrying out the inspection target for which the abnormality confirmation processing has been completed, or the inspection target for which the appearance abnormality has not been extracted by the image processing, from the inspection stage.
Then, the abnormality confirmation process is performed.
Notifying workers of appearance abnormalities ,
The operator can visually output and display at least one of the processed image from which the appearance abnormality is extracted, the image pickup data thereof, and the image captured by the image pickup means at the image pickup position corresponding to the image pickup data .
Switching the control mode of the inspection device to a manual mode that operates in response to the manual operation of the operator, and acquiring further imaging data generated by the inspection device operating in response to the manual operation. ,
The operator can visually output and display further judgment material based on the further imaging data.
Accepting the input of the operator's judgment as to whether or not the extracted appearance abnormality is the appearance defect , and storing the judgment as the appearance defect information associated with the identification information of the inspection target in the storage device, and
After accepting the judgment of the operator, and a this switch to automatic mode of operation in accordance with the previously stored program control mode of the test devices.
In addition, the visual inspection system according to one aspect of the present disclosure is
An inspection jig including a holder for holding the inspection target and a first robot arm for moving the holder, and an inspection jig.
The sensor unit is moved by having a sensor unit including an irradiation means and an image pickup means, and a plurality of control modes of an automatic mode that operates according to a pre-stored program and a manual mode that operates in response to an operator's operation. An inspection device including a second robot arm to be made to
Display device and
With the alarm
The inspection jig, the inspection device, the display device, and a control unit electrically connected to the alarm are provided.
The control unit is
The inspection jig is operated so that the inspection target is carried into the inspection stage, and the inspection jig is operated.
At least one of the inspection jig and the inspection device is operated so as to move the sensor unit to a predetermined imaging position of the inspection target relative to the inspection target.
The inspection device is operated in the automatic mode so as to generate imaging data by irradiating and imaging the inspection target.
By image processing the imaged data, the appearance abnormality of the inspection target is extracted.
If an appearance abnormality is extracted, an abnormality confirmation process is performed.
The inspection jig is configured to operate so that the inspection target that has completed the abnormality confirmation processing or the inspection target for which the appearance abnormality has not been extracted by the image processing is carried out from the inspection stage.
Then, the abnormality confirmation process is performed.
Notifying the alarm of an appearance abnormality,
Displaying at least one of the processed image from which the appearance abnormality is extracted, the image pickup data thereof, and the image captured by the image pickup means at the image pickup position corresponding to the image pickup data on the display device.
Switching the control mode of the inspection device to the manual mode, and operating the inspection device so as to move and image the sensor unit in response to the operation of the operator to generate further imaging data.
To acquire the further imaging data and output and display the further judgment material based on the further imaging data on the display device.
Accepting the input of the operator's judgment as to whether or not the extracted appearance abnormality is the appearance defect, and storing the judgment as the appearance defect information associated with the identification information of the inspection target, and
After accepting the determination of the worker, the control mode of the inspection device is switched to the automatic mode.
The further determination material includes a first captured image of a portion where the appearance abnormality is detected, an image in which the first captured image is zoomed in and / or zoomed out, and a first image in which the angle between the first captured image and the shooting is changed. 2 The captured image and at least one of the images obtained by subjecting the first captured image to image processing may be included.
Claims (5)
照射手段と撮像手段とを含む検査装置を前記検査対象の所定の撮像位置へ当該検査対象に対し相対的に移動させるステップと、
前記検査装置で照射と撮像とを行い、撮像データを生成するステップと、
前記撮像データをコンピュータで画像処理することにより外観異常を抽出するステップと、
前記画像処理で外観異常が抽出されれば、異常確認処理を行うステップと、
前記異常確認処理を終えた前記検査対象、又は、前記画像処理で外観異常が抽出されなかった前記検査対象を前記検査ステージから搬出するステップとを含み、
前記異常確認処理が、
作業者へ外観異常を報知することと、
外観異常が抽出された処理画像、その撮像データ、及び、その撮像データと対応する撮像位置で前記撮像手段が撮像した画像のうち少なくとも１つを前記作業者が視認可能に出力表示することと、
抽出された外観異常が外観不良か否かの前記作業者の判定を受け付けて、その判定を前記検査対象の識別情報と関連付けられた外観不良情報として記憶装置に記憶することとを含む、
外観検査方法。 The step of bringing the inspection target to the inspection stage and
A step of moving an inspection device including an irradiation means and an imaging means to a predetermined imaging position of the inspection target relative to the inspection target, and
The step of performing irradiation and imaging with the inspection device and generating imaging data,
A step of extracting an appearance abnormality by image processing the imaged data with a computer,
If an appearance abnormality is extracted by the image processing, the step of performing the abnormality confirmation processing and
Including the step of carrying out the inspection target for which the abnormality confirmation processing has been completed or the inspection target for which the appearance abnormality has not been extracted by the image processing from the inspection stage.
The abnormality confirmation process
Notifying the worker of the appearance abnormality and
The operator can visually output and display at least one of the processed image from which the appearance abnormality is extracted, the image pickup data thereof, and the image captured by the image pickup means at the image pickup position corresponding to the image pickup data.
The present invention includes accepting a determination by the operator as to whether or not the extracted appearance abnormality is an appearance defect, and storing the determination in a storage device as appearance defect information associated with the identification information of the inspection target.
Visual inspection method.
前記検査装置を前記作業者の手動操作に対応して動作する手動モードに切り替えることと、
前記作業者の判定を受け付けた後で、前記検査装置を予め記憶されたプログラムに則って動作する自動モードに切り替えることとを、更に含む、
請求項１に記載の外観検査方法。 The abnormality confirmation process
Switching the inspection device to a manual mode that operates in response to the manual operation of the operator,
Further including switching the inspection device to an automatic mode that operates according to a program stored in advance after receiving the determination of the worker.
The visual inspection method according to claim 1.
抽出された外観異常が外観不良であれば、前記検査対象の外観不良箇所にマーキングすることを更に含む、
請求項１又は２に記載の外観検査方法。 The abnormality confirmation process
If the extracted appearance abnormality is poor appearance, further including marking the defective appearance portion to be inspected.
The visual inspection method according to claim 1 or 2.
請求項１に記載の外観検査方法。 While scanning the inspection device along a predetermined scanning trajectory connecting a plurality of imaging positions, generation of imaging data, extraction of appearance abnormalities, and whether or not the extracted appearance abnormalities are poor appearances at each imaging position. Judgment,
The visual inspection method according to claim 1.
請求項１に記載の外観検査方法。 While scanning the inspection device along a predetermined scanning trajectory connecting a plurality of imaging positions, imaging data is generated and appearance abnormalities are extracted at each imaging position, and after scanning of the scanning trajectory is completed, extraction is performed. Judging whether or not the appearance abnormality is a poor appearance,
The visual inspection method according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021136971A JP2021183982A (en) | 2016-10-06 | 2021-08-25 | Appearance inspection method and system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016197907A JP2018059830A (en) | 2016-10-06 | 2016-10-06 | Exterior appearance inspection method |
| JP2021136971A JP2021183982A (en) | 2016-10-06 | 2021-08-25 | Appearance inspection method and system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016197907A Division JP2018059830A (en) | 2016-10-06 | 2016-10-06 | Exterior appearance inspection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021183982A true JP2021183982A (en) | 2021-12-02 |
Family
ID=61832039
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016197907A Pending JP2018059830A (en) | 2016-10-06 | 2016-10-06 | Exterior appearance inspection method |
| JP2021136971A Pending JP2021183982A (en) | 2016-10-06 | 2021-08-25 | Appearance inspection method and system |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016197907A Pending JP2018059830A (en) | 2016-10-06 | 2016-10-06 | Exterior appearance inspection method |
Country Status (3)
| Country | Link |
|---|---|
| JP (2) | JP2018059830A (en) |
| CN (1) | CN109844504A (en) |
| WO (1) | WO2018066576A1 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7077807B2 (en) * | 2018-06-12 | 2022-05-31 | オムロン株式会社 | Image inspection system and its control method |
| JP7257750B2 (en) * | 2018-07-25 | 2023-04-14 | シーシーエス株式会社 | Support device for optical inspection system |
| KR102206753B1 (en) | 2019-01-24 | 2021-01-22 | 주식회사 수아랩 | Defect inspection apparatus |
| JP7304756B2 (en) * | 2019-07-08 | 2023-07-07 | 三菱重工業株式会社 | crimp terminal inspection device and method |
| JP6653929B1 (en) * | 2019-07-18 | 2020-02-26 | Ｊｅインターナショナル株式会社 | Automatic determination processing device, automatic determination processing method, inspection system, program, and recording medium |
| CN112444519B (en) * | 2019-08-30 | 2022-07-15 | 比亚迪股份有限公司 | Vehicle fault detection device and method |
| JP7239507B2 (en) * | 2020-01-30 | 2023-03-14 | 株式会社日立製作所 | ALERT OUTPUT TIMING CONTROL DEVICE, ALERT OUTPUT TIMING CONTROL METHOD, ALERT OUTPUT TIMING CONTROL PROGRAM |
| JP7029201B1 (en) | 2021-02-04 | 2022-03-03 | コネクテッドロボティクス株式会社 | Object inspection equipment, inspection programs, and systems |
| CN113378810B (en) * | 2021-04-28 | 2022-04-15 | 合肥联宝信息技术有限公司 | Screw locking detection method, device, equipment and readable storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002031605A (en) * | 2000-07-13 | 2002-01-31 | Hitachi Ltd | Defect-confirming apparatus and automatic visual inspection apparatus |
| JP2004198265A (en) * | 2002-12-18 | 2004-07-15 | Dainippon Printing Co Ltd | Visual inspection/selection method of processed product, and visual inspection/selection system of processed product |
| JP2013024666A (en) * | 2011-07-20 | 2013-02-04 | Panasonic Corp | Defect detection method and defect detection device |
| JP2013228232A (en) * | 2012-04-24 | 2013-11-07 | Asahi Glass Co Ltd | Substrate appearance inspection method |
| JP2014126494A (en) * | 2012-12-27 | 2014-07-07 | Seiko Epson Corp | Inspection support device, inspection support method, robot system, control device, robot and program |
| JP2015055631A (en) * | 2013-09-12 | 2015-03-23 | ヒ ハン、ドン | Inspection device of display panel |
| JP2016072335A (en) * | 2014-09-29 | 2016-05-09 | 株式会社Ｓｃｒｅｅｎホールディングス | Process monitoring device and process monitoring method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08178858A (en) * | 1994-12-26 | 1996-07-12 | Nec Corp | Through hole inspection device |
| JP2000051939A (en) * | 1998-08-06 | 2000-02-22 | Nkk Corp | Defect marking system to thin steel sheet |
| JP2006058170A (en) * | 2004-08-20 | 2006-03-02 | Dainippon Screen Mfg Co Ltd | Visual confirmation device and inspection system |
| JP4653500B2 (en) * | 2005-01-18 | 2011-03-16 | オリンパス株式会社 | Coordinate detection apparatus and subject inspection apparatus |
| JP4020144B2 (en) * | 2006-03-10 | 2007-12-12 | オムロン株式会社 | Inspection method of surface condition |
| JP2008051781A (en) * | 2006-08-28 | 2008-03-06 | I-Pulse Co Ltd | Visual examination method of substrate and visual examination device of substrate |
| WO2008026562A1 (en) * | 2006-08-28 | 2008-03-06 | I-Pulse Kabushiki Kaisha | Board appearance inspection method and device |
| US9196031B2 (en) * | 2012-01-17 | 2015-11-24 | SCREEN Holdings Co., Ltd. | Appearance inspection apparatus and method |
-
2016
- 2016-10-06 JP JP2016197907A patent/JP2018059830A/en active Pending
-
2017
- 2017-10-03 WO PCT/JP2017/036029 patent/WO2018066576A1/en active Application Filing
- 2017-10-03 CN CN201780061898.5A patent/CN109844504A/en active Pending
-
2021
- 2021-08-25 JP JP2021136971A patent/JP2021183982A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002031605A (en) * | 2000-07-13 | 2002-01-31 | Hitachi Ltd | Defect-confirming apparatus and automatic visual inspection apparatus |
| JP2004198265A (en) * | 2002-12-18 | 2004-07-15 | Dainippon Printing Co Ltd | Visual inspection/selection method of processed product, and visual inspection/selection system of processed product |
| JP2013024666A (en) * | 2011-07-20 | 2013-02-04 | Panasonic Corp | Defect detection method and defect detection device |
| JP2013228232A (en) * | 2012-04-24 | 2013-11-07 | Asahi Glass Co Ltd | Substrate appearance inspection method |
| JP2014126494A (en) * | 2012-12-27 | 2014-07-07 | Seiko Epson Corp | Inspection support device, inspection support method, robot system, control device, robot and program |
| JP2015055631A (en) * | 2013-09-12 | 2015-03-23 | ヒ ハン、ドン | Inspection device of display panel |
| JP2016072335A (en) * | 2014-09-29 | 2016-05-09 | 株式会社Ｓｃｒｅｅｎホールディングス | Process monitoring device and process monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018066576A1 (en) | 2018-04-12 |
| JP2018059830A (en) | 2018-04-12 |
| CN109844504A (en) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021183982A (en) | Appearance inspection method and system | |
| JP4862765B2 (en) | Surface inspection apparatus and surface inspection method | |
| CN103231162A (en) | Device and method for visual detection of welding quality of robot | |
| KR101256369B1 (en) | Flat display pannel test equipment and test method using multi ccd camera | |
| US11964833B2 (en) | Camera-enabled loader system and method | |
| US11378520B2 (en) | Auto focus function for vision inspection system | |
| JP6621351B2 (en) | Image processing apparatus and image processing method for laser processing | |
| CN111307812A (en) | Welding spot appearance detection method based on machine vision | |
| JP2005265661A (en) | Image processing method and image processing device | |
| US20170173730A1 (en) | Method for processing a workpiece | |
| KR102000907B1 (en) | Appearance vision inspection method for ferrite part | |
| KR101513407B1 (en) | Finishing assistance apparatus, finishing assistance method and finishing assistance system | |
| KR20220044741A (en) | Wafer appearance inspection apparatus and method | |
| JP2855851B2 (en) | Surface defect inspection equipment | |
| JP2003302345A (en) | Inspection method using robot and inspection system | |
| JP4544117B2 (en) | Control information generator | |
| JP4449862B2 (en) | MOVING UNIT OPERATION DEVICE AND OPERATION METHOD | |
| JP6962858B2 (en) | Image management device | |
| JP6962658B2 (en) | Visual inspection equipment | |
| JP2002205166A (en) | Display for welding state | |
| JP2000234918A (en) | Method and device for inspecting laser welding defect | |
| JP4568512B2 (en) | Surface inspection device with marking function | |
| JP7440975B2 (en) | Imaging device and identification method | |
| TWI724590B (en) | Automatic defect inspection system and inspecting method | |
| Nam et al. | 3D Vision Implementation for Robotic Handling System of Automotive Parts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210825 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230307 |