JP7070153B2 - Visual inspection system, visual inspection result display method, and visual inspection result display program - Google Patents
Visual inspection system, visual inspection result display method, and visual inspection result display program Download PDFInfo
- Publication number
- JP7070153B2 JP7070153B2 JP2018122069A JP2018122069A JP7070153B2 JP 7070153 B2 JP7070153 B2 JP 7070153B2 JP 2018122069 A JP2018122069 A JP 2018122069A JP 2018122069 A JP2018122069 A JP 2018122069A JP 7070153 B2 JP7070153 B2 JP 7070153B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- dimensional model
- result
- inspection target
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本開示は、撮像画像を用いて検査対象物を検査する外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラムに関する。 The present disclosure relates to a visual inspection system for inspecting an inspection object using a captured image, a visual inspection result display method, and a visual inspection result display program.
画像処理技術を用いて、樹脂、金属、基板などの検査対象物を検査する外観検査システムが数多く提案されている。 Many visual inspection systems have been proposed for inspecting inspection objects such as resins, metals, and substrates using image processing technology.
たとえば、特開2013-211323号公報(特許文献1)には、基板の品質を検査するための外観検査システムが開示されている。当該外観検査システムは、基板の検査結果を2次元マップ画像上に表示する。2次元マップ画像には、基板の通し番号が横軸に配列され、基板内の部品情報が縦軸に配列される。また、2次元マップ画像には、基板の通し番号と基板内の部品情報との組み合わせごとにセルが設けられ、各基板の各部品の検査結果が対応するセル上に表示される。 For example, Japanese Patent Application Laid-Open No. 2013-21123 (Patent Document 1) discloses an appearance inspection system for inspecting the quality of a substrate. The visual inspection system displays the inspection result of the substrate on a two-dimensional map image. In the two-dimensional map image, the serial numbers of the boards are arranged on the horizontal axis, and the component information in the board is arranged on the vertical axis. Further, in the two-dimensional map image, a cell is provided for each combination of the serial number of the substrate and the component information in the substrate, and the inspection result of each component of each substrate is displayed on the corresponding cell.
特許文献1に示される2次元マップ画像においては、1つの基板内の各部品についての検査結果が1次元で表される。そのため、ユーザは、各検査結果が基板内のどの箇所に対応しているのかを即座に把握することができない。
In the two-dimensional map image shown in
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、各検査対象部分の検査結果が検査対象物内のいずれの箇所に対応しているのかをユーザに直感的に把握させることが可能な外観検査システムを提供することである。他の局面における目的は、各検査対象部分の検査結果が検査対象物内のいずれの箇所に対応しているのかをユーザに直感的に把握させることが可能な表示方法を提供することである。他の局面における目的は、各検査対象部分の検査結果が検査対象物内のいずれの箇所に対応しているのかをユーザに直感的に把握させることが可能な表示プログラムを提供することである。 The present disclosure has been made to solve the above-mentioned problems, and the purpose in a certain aspect is to determine which part of the inspection target part corresponds to the inspection result of each inspection target part. It is to provide a visual inspection system that can be intuitively grasped by a user. An object in another aspect is to provide a display method capable of intuitively grasping to which part in the inspection target the inspection result of each inspection target portion corresponds to. An object in another aspect is to provide a display program that allows the user to intuitively grasp which part of the inspection target part corresponds to the inspection result of each inspection target portion.
本開示の一例では、検査対象物と撮像装置との間の相対位置を変化させつつ上記検査対象物の複数の検査部分を上記撮像装置で撮像して、上記検査対象物の外観検査を行なう外観検査システムは、表示装置と、上記検査対象物の形状を表わす3次元モデルを格納するための記憶装置とを備える。上記検査対象物の複数の検査部分は、上記3次元モデルに対して予め設定されている。上記外観検査システムは、上記検査対象物の各検査部分を撮像して上記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するための検査部と、上記3次元モデルを上記表示装置に表示するとともに、上記検査対象物の各検査部分の検査結果を上記3次元モデル上の対応部分に表わすための表示制御部とを備える。 In one example of the present disclosure, an appearance in which a plurality of inspection portions of the inspection object are imaged by the imaging device while changing the relative position between the inspection object and the image pickup device to perform an appearance inspection of the inspection object. The inspection system includes a display device and a storage device for storing a three-dimensional model representing the shape of the inspection object. A plurality of inspection portions of the inspection object are preset for the three-dimensional model. The visual inspection system is an inspection unit for inspecting each inspection part of the inspection object for the presence or absence of defects based on each image obtained from the image pickup apparatus by imaging each inspection part of the inspection object. The three-dimensional model is displayed on the display device, and a display control unit is provided for displaying the inspection result of each inspection portion of the inspection object on the corresponding portion on the three-dimensional model.
この開示によれば、各検査部分の検査結果が3次元モデル上に表示されることで、ユーザは、各検査部分の検査結果が検査対象物内のいずれの箇所に対応しているのかを直感的に把握することができる。 According to this disclosure, the inspection result of each inspection part is displayed on the three-dimensional model, so that the user can intuitively understand which part of the inspection object corresponds to the inspection result of each inspection part. Can be grasped.
本開示の一例では、上記表示制御部は、さらに、上記検査対象物の各検査部分を上記3次元モデル上の対応部分に表わす。 In one example of the present disclosure, the display control unit further represents each inspection portion of the inspection object as a corresponding portion on the three-dimensional model.
この開示によれば、各検査部分が3次元モデル上に表示されることで、ユーザは、検査対象物内の検査が実施された箇所を直感的に把握することができる。 According to this disclosure, by displaying each inspection portion on the three-dimensional model, the user can intuitively grasp the part of the inspection target where the inspection was performed.
本開示の一例では、上記表示制御部は、上記検査対象物の各検査部分の検査結果を上記3次元モデル上の対応部分に表わす際に、欠陥を示す部分を他の部分とは異なる表示態様で表示する。 In one example of the present disclosure, when the display control unit displays the inspection result of each inspection part of the inspection object in the corresponding part on the three-dimensional model, the part showing a defect is displayed differently from the other parts. Display with.
この開示によれば、欠陥を示す検査結果が他の検査結果とは異なる表示態様で表示されることで、ユーザは、欠陥を示す検査結果を即座に判別することができ、いずれの検査部分に欠陥があるのかをより容易に把握することができる。 According to this disclosure, by displaying the inspection result indicating the defect in a display mode different from other inspection results, the user can immediately determine the inspection result indicating the defect, and in any inspection portion. It is easier to understand if there is a defect.
本開示の一例では、上記3次元モデルに対して設定される各検査部分は、予め定められた分類ルールに従ってグルーピングされている。上記表示制御部は、グルーピングされている検査部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査部分に対応する上記3次元モデル上の各部分に表わし、上記集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻す。 In one example of the present disclosure, each inspection portion set for the three-dimensional model is grouped according to a predetermined classification rule. When the display control unit receives an aggregation instruction for the grouped inspection parts, the display control unit aggregates the inspection results of the grouped inspection parts, and collects the inspection results after the aggregation into the grouped inspection parts. When the expansion instruction for the aggregated inspection result is received, the display of the aggregated inspection result is returned to before the aggregation.
この開示によれば、ユーザは、各検査部分の検査結果を大まかに確認したり、詳細に確認したりすることができ、検査結果を容易に分析することができる。 According to this disclosure, the user can roughly confirm or confirm the inspection result of each inspection portion in detail, and can easily analyze the inspection result.
本開示の一例では、欠陥を示す検査結果が、上記グルーピングされている検査部分の検査結果に含まれている場合、集約後の検査結果は、欠陥を示す。欠陥を示す検査結果が、上記グルーピングされている検査部分の検査結果に含まれていない場合、集約後の検査結果は、正常を示す。 In one example of the present disclosure, when the inspection result indicating a defect is included in the inspection result of the grouped inspection portion, the inspection result after aggregation indicates a defect. When the inspection result indicating a defect is not included in the inspection result of the grouped inspection portion, the inspection result after aggregation indicates normality.
この開示によれば、検査結果の集約時において、欠陥を示す検査結果が他の部分よりも優先して表示されるので、ユーザは、欠陥を示す検査部分を見逃しにくくなる。 According to this disclosure, when the inspection results are aggregated, the inspection result indicating the defect is displayed with priority over the other parts, so that the user is less likely to overlook the inspection portion indicating the defect.
本開示の一例では、上記外観検査システムは、上記3次元モデル上に表わされる検査部分の内から、1つ以上の検査部分を選択する選択操作を受け付けることが可能な操作部をさらに備える。上記表示制御部は、上記操作部が上記選択操作を受け付けたことに基づいて、選択された検査部分の検査に用いられた画像と、当該画像の撮像条件との少なくとも一方を上記表示装置に表示する。 In one example of the present disclosure, the visual inspection system further includes an operation unit capable of accepting a selection operation for selecting one or more inspection portions from the inspection portions represented on the three-dimensional model. The display control unit displays at least one of the image used for the inspection of the selected inspection portion and the imaging condition of the image on the display device based on the acceptance of the selection operation by the operation unit. do.
この開示によれば、ユーザは、3次元モデルに示される任意の検査部分の撮像条件を容易に確認することができる。 According to this disclosure, the user can easily confirm the imaging conditions of any inspection portion shown in the three-dimensional model.
本開示の一例では、上記検査部は、複数の検査対象物の検査処理を順次実行し、上記表示制御部は、順次検査される検査対象物に欠陥が検出された時点で、当該検査対象物の各検査部分の検査結果で上記3次元モデル上に表わされている検査結果を更新する。 In one example of the present disclosure, the inspection unit sequentially executes inspection processing of a plurality of inspection objects, and the display control unit sequentially performs inspection processing of the inspection object, and when a defect is detected in the inspection object to be sequentially inspected, the inspection object is concerned. The inspection result shown on the above three-dimensional model is updated by the inspection result of each inspection part of.
この開示によれば、欠陥を示す検査結果が検出されない間は、3次元モデル上に表示される検査結果が更新されない。これにより、常に、欠陥を示す最新の検査結果が3次元モデルML上に表示される。そのため、ユーザは、欠陥を示す検査結果を見逃しにくくなる。 According to this disclosure, the inspection result displayed on the 3D model is not updated while the inspection result indicating the defect is not detected. As a result, the latest inspection results indicating defects are always displayed on the 3D model ML. Therefore, the user is less likely to overlook the inspection result indicating the defect.
本開示の他の例では、検査対象物と撮像装置との間の相対位置を変化させつつ上記検査対象物の複数の検査部分を上記撮像装置で撮像して行なわれた外観検査結果の表示方法は、上記検査対象物の形状を表わす3次元モデルを取得するステップを備える。上記検査対象物の複数の検査部分は、上記3次元モデルに対して予め設定されている。上記表示方法は、上記検査対象物の各検査部分を撮像して上記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するステップと、上記3次元モデルを表示装置に表示するとともに、上記検査対象物の各検査部分の検査結果を上記3次元モデル上の対応部分に表わすステップとを備える。 In another example of the present disclosure, a method of displaying a visual inspection result performed by imaging a plurality of inspection portions of the inspection object with the imaging device while changing the relative position between the inspection object and the imaging device. Provides a step of acquiring a three-dimensional model representing the shape of the inspection object. A plurality of inspection portions of the inspection object are preset for the three-dimensional model. The display method includes a step of imaging each inspection portion of the inspection target and inspecting each inspection portion of the inspection target for the presence or absence of defects based on each image obtained from the imaging device, and the above 3 A step of displaying the dimensional model on the display device and displaying the inspection result of each inspection portion of the inspection object in the corresponding portion on the three-dimensional model is provided.
この開示によれば、各検査部分の検査結果が3次元モデル上に表示されることで、ユーザは、各検査部分の検査結果が検査対象物内のいずれの箇所に対応しているのかを直感的に把握することができる。 According to this disclosure, the inspection result of each inspection part is displayed on the three-dimensional model, so that the user can intuitively understand which part of the inspection object corresponds to the inspection result of each inspection part. Can be grasped.
本開示の他の例では、検査対象物と撮像装置との間の相対位置を変化させつつ上記検査対象物の複数の検査部分を上記撮像装置で撮像して行なわれた外観検査結果の表示プログラムは、コンピュータに、上記検査対象物の形状を表わす3次元モデルを取得するステップを実行させる。上記検査対象物の複数の検査部分は、上記3次元モデルに対して予め設定されている。上記表示プログラムは、上記コンピュータに、さらに、上記検査対象物の各検査部分を撮像して上記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するステップと、上記3次元モデルを表示装置に表示するとともに、上記検査対象物の各検査部分の検査結果を上記3次元モデル上の対応部分に表わすステップとを実行させる。 In another example of the present disclosure, a display program of visual inspection results performed by imaging a plurality of inspection portions of the inspection object with the imaging device while changing the relative position between the inspection object and the imaging device. Causes a computer to perform a step of acquiring a three-dimensional model representing the shape of the inspection object. A plurality of inspection portions of the inspection object are preset for the three-dimensional model. The display program inspects each inspection part of the inspection object for defects based on the images obtained from the image pickup apparatus by further imaging each inspection portion of the inspection object on the computer. The step of displaying the three-dimensional model on the display device and displaying the inspection result of each inspection portion of the inspection object in the corresponding portion on the three-dimensional model are executed.
この開示によれば、各検査部分の検査結果が3次元モデル上に表示されることで、ユーザは、各検査部分の検査結果が検査対象物内のいずれの箇所に対応しているのかを直感的に把握することができる。 According to this disclosure, the inspection result of each inspection part is displayed on the three-dimensional model, so that the user can intuitively understand which part of the inspection object corresponds to the inspection result of each inspection part. Can be grasped.
ある局面において、各検査対象部分の検査結果が検査対象物内のいずれの箇所に対応しているのかをユーザに直感的に把握させることができる。 In a certain aspect, the user can intuitively grasp which part of the inspection target part corresponds to the inspection result of each inspection target part.
以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the following description, the same parts and components are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of these will not be repeated.
<A.適用例>
まず、図1および図2を参照して、本発明が適用される場面の一例について説明する。図1は、本実施の形態に従う外観検査システム1の概要を示す模式図である。
<A. Application example>
First, an example of a situation in which the present invention is applied will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic diagram showing an outline of a
本実施の形態に従う外観検査システム1は、たとえば、工業製品の生産ラインなどにおいて、ステージ90上に載置された検査対象物(以下、「ワークW」とも称す。)上の複数の検査対象部分を撮像し、得られた画像を用いて、ワークWの外観検査を行なう。外観検査では、ワークWの傷、汚れ、異物の有無、寸法などが検査される。
The
ステージ90上に載置されたワークWの外観検査が完了すると、次のワークWがステージ90上に搬送される。このとき、ワークWは、ステージ90上の予め定められた位置に予め定められた姿勢で載置される。
When the visual inspection of the work W placed on the
図1に示すように、外観検査システム1は、撮像装置10と、画像処理装置20と、ロボット30と、ロボットコントローラ40と、PLC(Programmable Logic Controller)50と、設定装置60とを備える。
As shown in FIG. 1, the
撮像装置10は、画像処理装置20からの指令に従って、撮像視野に存在する被写体を撮像して画像データを生成するものであり、被写体として外観検査の対象であるワークWを撮像する。
The
画像処理装置20は、PLC50からの指令に従って、撮像装置10に対して撮像指令を出力する。画像処理装置20は、検査部21と、表示制御部22と、表示装置23と、記憶装置120とを含む。検査部21および表示制御部22は、画像処理装置20のプロセッサ110(図8参照)によって実行される機能モジュールである。検査部21は、撮像装置10によって生成された画像データに対して予め定められた処理を実行することにより、ワークWの外観の良否を判定する。表示制御部22は、検査部21による判定結果を表示装置23に表示させる。なお、検査結果の出力は、画像処理装置20に備えられる表示装置23に出力されてもよいが、設定装置60に備えられる表示装置(たとえば、後述のディスプレイ366)に出力されてもよい。記憶装置120は、ワークWの形状を表わす3次元モデルMLを格納する。3次元モデルMLは、たとえば、新製品または新品種のワークWの表面を示す3次元設計データである。
The
ロボット30は、たとえば、基台31上に複数のアーム32が連結された垂直多関節ロボットである。複数のアーム32の各連結部には回転軸が含まれている。先端アーム32aの先端には、撮像装置10が取り付けられている。ロボットコントローラ40は、PLC50からの指令に応じてロボット30を制御し、ワークWと撮像装置10との間の相対位置およびワークWに対する撮像装置10の姿勢を変える。
The
なお、上述したように、ワークWは、ステージ90上の予め定められた位置に予め定められた姿勢で載置される。そのため、ロボット30は、ステージ90に対する撮像装置10の相対位置および姿勢を変更することにより、ワークWと撮像装置10との間の相対位置およびワークWに対する撮像装置10の姿勢を変更することができる。すなわち、ロボット30は、ステージ90上の点を原点とする座標系を用いて撮像装置10を移動することにより、ワークWと撮像装置10との間の相対位置およびワークWに対する撮像装置10の姿勢を変更することができる。
As described above, the work W is placed in a predetermined position on the
PLC50は、撮像装置10がワークW上の複数の検査対象部分を順次撮像するように、ロボットコントローラ40および画像処理装置20を制御する。PLC50は、設定装置60によって設定された撮像条件を満たす経路に従って、ロボットコントローラ40を制御する。さらに、PLC50は、撮像装置10が指定された撮像条件を満たしたタイミングで撮像指令を出力するように画像処理装置20を制御する。
The
設定装置60は、ワークW上の複数の検査対象部分を順次撮像するための、ワークWと撮像装置10との間の相対位置を含む撮像条件を満たす経路を設定する。設定装置60は、新製品または新品種のワークWの外観検査が必要となったときに、当該ワークWに適した撮像条件を満たす経路を設定する。
The
図2を参照して、図1に示される外観検査システム1による検査結果の表示態様について説明する。図2は、画像処理装置20の表示装置23に表示される検査結果の一例を示す図である。
With reference to FIG. 2, the display mode of the inspection result by the
画像処理装置20の検査部21は、ワークWを複数の方向から撮影して得られた各画像に対して予め定められた画像処理を実行することにより、ワークWの各検査対象部分について欠陥の有無を検査する。検査結果は、たとえば、「欠陥有」および「欠陥無」のいずれかで表わされる。検査部21による検査処理は、ステージ90が検査対象のワークWを予め定められた位置に搬送する度に実行される。画像処理装置20の表示制御部22は、ワークWの各検査対象部分の検査結果を3次元モデルML上の対応部分に表わす。
The
図2に示されるように、3次元モデルMLには、検査対象部分A1~A4が設定されている。検査対象部分A1~A4の設定方法の詳細については後述する。表示制御部22は、検査対象部分A1~A4の各々についての検査結果を3次元モデルML上の検査対象部分A1~A4の各々に表わす。
As shown in FIG. 2, the inspection target portions A1 to A4 are set in the three-dimensional model ML. The details of the setting method of the inspection target portions A1 to A4 will be described later. The
一例として、欠陥を示す検査対象部分は、特定の色(たとえば、赤色)で表わされてもよいし、点滅表示で表わされてもよい。欠陥を示す検査対象部分は、欠陥を示す部分とは異なる色(たとえば、緑色)で表わされる。 As an example, the inspection target portion indicating a defect may be represented by a specific color (for example, red) or may be represented by a blinking display. The inspection target portion indicating a defect is represented by a different color (for example, green) from the portion indicating the defect.
検査結果が3次元モデルML上に表示されることで、ユーザは、各検査対象部分の検査結果が検査対象物内のいずれの箇所に対応しているのかを直感的に把握することができる。 By displaying the inspection result on the three-dimensional model ML, the user can intuitively grasp which part of the inspection target portion corresponds to the inspection result of each inspection target portion.
表示制御部22は、垂直方向を軸として3次元モデルMLを回転させるためのツールボタン71と、水平方向を軸として3次元モデルMLを回転させるためのツールボタン72とを表示装置23にさらに表示する。ユーザは、ツールボタン71,72を操作することにより、3次元モデルMLを適宜回転させることができる。
The
<B.検査結果マトリクスの展開/集約機能>
図3~図7を参照して、検査結果の表示態様の変形例について説明する。図3は、検査結果の表示態様の変形例を示す図である。
<B. Inspection result matrix expansion / aggregation function>
A modified example of the display mode of the inspection result will be described with reference to FIGS. 3 to 7. FIG. 3 is a diagram showing a modified example of the display mode of the inspection result.
図3に示されるように、検査結果マトリクス25の横軸には、ワークの検査対象部分が部位名別に並べられる。各部位名は、予め登録されていてもよいし、ユーザによって設定されてもよい。検査結果マトリクス25の縦軸には、検査済みのワークの識別情報が並べられる。ワークの識別情報は、たとえば、ワークの通し番号(以下、「ワークNo」ともいう。)やワーク名などで表わされる。図3の例では、ワークの識別情報がワークNoで表わされている。
As shown in FIG. 3, on the horizontal axis of the
また、検査結果マトリクス25上には、ワークの検査対象部分とワークNoとの各組み合わせに対応付けてセルが配置される。表示制御部22は、各ワークWの各検査対象部分の検査結果を対応するセル上に表示する。このように、各ワークの各検査対象部分についての検査結果が2次元に表わされることで、ユーザは、どのワークのどの部分に欠陥があるのかを即座に把握することができる。2次元での検査結果の表示は、検査結果が膨大になるほど有効になる。
Further, on the
典型的には、表示制御部22は、検査結果マトリクス25に含まれる検査結果の内の、欠陥を示す検査結果を、他の検査結果とは異なる表示態様で強調表示する。一例として、欠陥を示す検査結果のセルは、特定の色(たとえば、赤色)で表わされてもよいし、点滅表示で表わされてもよい。図3の例では、「欠陥有」を示すセルにはハッチングが付されており、「欠陥無」を示すセルにはハッチングが付されていない。欠陥を示す検査結果が他の検査結果とは異なる表示態様で強調表示されることで、ユーザは、欠陥を示す検査結果を容易に判別することができ、どのワークのどの部分に欠陥があるのかをより容易に把握することができる。
Typically, the
なお、上述では、ワークの検査対象部位が検査結果マトリクス25の横軸に配列され、ワークNoが検査結果マトリクス25の縦軸に配列される例について説明を行なったが、ワークNoが検査結果マトリクス25の横軸に配列され、ワークの検査対象部位が検査結果マトリクス25の縦軸に配列されてもよい。
In the above description, an example in which the inspection target parts of the work are arranged on the horizontal axis of the
検査結果マトリクス25の各行または各列は、予め定められた分類ルールに従って行単位または列単位でグルーピングされている。図3の例では、検査結果マトリクス25の横軸方向においては、ワークの部位「A1」~「A5」は、グループGV1としてグルーピングされており、ワークの部位「B1」~「B3」は、グループGV2としてグルーピングされている。ワークの検査対象部分のグルーピングは、図4に示される分類ルール134Aに従って行なわれる。
Each row or column of the
図4は、分類ルール134Aのデータ構造の一例を示す図である。図4に示されるように、分類ルール134Aには、ワークWの検査対象部分が階層的に対応付けられている。各部位の対応関係は、予め登録されていてもよいし、ユーザによって任意に設定されてもよい。一例として、上位の階層に規定される検査対象部分は、下位の階層に規定される検査対象部分を包含する関係を有する。図4の例では、検査対象部分「A」は、部位「A1」~「A5」に包含されている。すなわち、部位「A1」~「A5」は、検査対象部分「A」内の領域である。
FIG. 4 is a diagram showing an example of the data structure of the
再び図3を参照して、検査結果マトリクス25の縦軸方向においては、ワークNo「001A」~「001E」は、グループGH1としてグルーピングされており、ワークNo「002A」~「002J」は、グループGH2としてグルーピングされている。ワークNoのグルーピングは、図5に示される分類ルール134Bに従って行なわれる。
With reference to FIG. 3 again, in the vertical direction of the
図5は、分類ルール134Bのデータ構造の一例を示す図である。図5に示されるように、分類ルール134Bには、検査対象の各ワークが階層的に関連付けられている。各ワークの階層関係は、予め登録されていてもよいし、ユーザによって任意に設定されてもよい。一例として、各ワークは、生産ラインのロット番号に関連付けられる。上位の階層に規定されるロット番号は、下位の階層に規定されるワークを包含する関係を有する。図5の例では、ロット番号「001」は、ワークNo「001A」~「001E」に包含される。すなわち、ロット番号「001」において、ワークNo「001A」~「001E」が生産されたことを示す。
FIG. 5 is a diagram showing an example of the data structure of the
再び図3を参照して、検査結果マトリクス25の縦軸方向および横軸方向の各グループには、展開/集約ボタンが割り付けられている。図3の例では、グループGH1には展開/集約ボタンBH1が割り付けられている。グループGH2には展開/集約ボタンBH2が割り付けられている。グループGV1には展開/集約ボタンBV1が割り付けられている。GV2には展開/集約ボタンBV2が割り付けられている。
With reference to FIG. 3 again, an expand / aggregate button is assigned to each group in the vertical axis direction and the horizontal axis direction of the
図6は、展開/集約ボタンBV2を押下した場合における検査結果マトリクス25の画面遷移を示す図である。展開/集約ボタンBV2は、グループGV2のセルに対する集約指示および展開指示を押下の度に交互に受け付ける。すなわち、グループGV2のセルが展開されている状態で、展開/集約ボタンBV2が押下された場合、画像処理装置20の表示制御部22は、グループGV2のセルを一列に集約する。一方で、グループGV2のセルが集約されている状態で、展開/集約ボタンBV2が押下された場合、表示制御部22は、グループGV2のセルの表示を集約前に戻す。
FIG. 6 is a diagram showing a screen transition of the
集約対象の検査結果に「欠陥有」を示す検査結果と「欠陥無」を示す検査結果とが含まれている場合、表示制御部22は、「欠陥有」の検査結果の表示を「欠陥無」の検査結果の表示よりも優先して集約処理を行なう。一例として、破線AR1内の検査結果には、「欠陥有」を示す検査結果が1個含まれており、「欠陥無」を示す検査結果が2個含まれている。集約処理により、破線AR1内の3個の検査結果は、破線AR2内に示される1個の検査結果に集約される。このとき、集約前の検査結果には、「欠陥有」が含まれているので、表示制御部22は、集約後の検査結果を「欠陥有」として表わす。
When the inspection result to be aggregated includes an inspection result indicating "defective" and an inspection result indicating "defect-free", the
このように、表示制御部22は、集約前の検査結果に「欠陥有」を示す検査結果が1個でも含まれている場合には、表示制御部22は、集約後の検査結果を「欠陥有」とする。一方で、表示制御部22は、集約前の検査結果に「欠陥有」を示す検査結果が1個も含まれていない場合には、表示制御部22は、集約後の検査結果を「欠陥無」とする。
As described above, when the
図7は、展開/集約ボタンBH2を押下した場合における検査結果マトリクス25の画面遷移を示す図である。展開/集約ボタンBH2は、グループGH2のセルに対する集約指示および展開指示を押下の度に交互に受け付ける。すなわち、グループGH2のセルが展開されている状態で、展開/集約ボタンBH2が押下された場合、表示制御部22は、グループGH2のセルを一行に集約する。一方で、グループGH2のセルが集約されている状態で、展開/集約ボタンBH2が押下された場合、表示制御部22は、グループGH2のセルの表示を集約前に戻す。
FIG. 7 is a diagram showing a screen transition of the
一例として、破線AR3内の検査結果には、「欠陥有」を示す検査結果が1個含まれ、「欠陥無」を示す検査結果が9個含まれている。集約処理により、破線AR3内の10個の検査結果は、破線AR4内に示される1個の検査結果に集約される。このとき、集約前の検査結果には、「欠陥有」が含まれているので、表示制御部22は、集約後の検査結果を「欠陥有」として表わす。
As an example, the inspection result in the broken line AR3 includes one inspection result indicating “with defect” and nine inspection results indicating “no defect”. By the aggregation process, the 10 inspection results in the broken line AR3 are aggregated into one inspection result shown in the broken line AR4. At this time, since the inspection result before aggregation includes "defective", the
以上のように、画像処理装置20の表示制御部22は、グルーピングされている行群またはグルーピングされている列群に対する集約指示を受け付けた場合に、当該行群または当該列群の検査結果を一行または一列に集約して表示する。また、表示制御部22は、集約して表示されている検査結果に対する展開指示を受け付けた場合に、当該集約して表示されている検査結果の表示を集約前に戻す。これにより、検査結果マトリクス25の行数または列数が表示装置23に表示しきれないほど膨大である場合でも、ユーザは、集約表示および展開表示を活用することで検査結果を効率的に確認することができる。
As described above, when the
なお、上述の例では、集約されたセルが「欠陥有」と「欠陥無」との2値で表される例について説明を行なったが、集約されたセルは必ずしも2値で表される必要はない。一例として、「欠陥有」を示す検査結果が集約対象のセルに多く含まれているほど、表示制御部22は、集約後のセルの表示を濃く表示してもよい。
In the above example, the example in which the aggregated cells are represented by two values of "with defect" and "without defect" has been described, but the aggregated cells must be represented by two values. There is no. As an example, the
<C.ハードウェア構成>
次に、図8~図10を参照して、図1に示される画像処理装置20、PLC50、および設定装置60のハードウェア構成について順に説明する。
<C. Hardware configuration>
Next, with reference to FIGS. 8 to 10, the hardware configurations of the
(C1.画像処理装置20のハードウェア構成)
図8は、画像処理装置20のハードウェア構成の一例を示す模式図である。図8を参照して、画像処理装置20は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、外観検査処理などの各種の画像処理を実現する。
(C1. Hardware configuration of image processing device 20)
FIG. 8 is a schematic diagram showing an example of the hardware configuration of the
より具体的には、画像処理装置20は、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、RAM(Random Access Memory)112と、表示コントローラ114と、システムコントローラ116と、I/O(Input Output)コントローラ118と、ハードディスクなどの記憶装置120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130とを含む。これらの各部は、システムコントローラ116を中心として、互いにデータ通信可能に接続される。
More specifically, the
プロセッサ110は、システムコントローラ116との間でプログラム(コード)などを交換して、これらを所定順序で実行することで、目的の演算処理を実現する。
The
システムコントローラ116は、プロセッサ110、RAM112、表示コントローラ114、およびI/Oコントローラ118とそれぞれバスを介して接続されており、各部との間でデータ交換などを行なうとともに、画像処理装置20全体の処理を司る。
The
RAM112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、記憶装置120から読み出されたプログラムや、撮像装置10によって取得されたカメラ画像(画像データ)、カメラ画像に対する処理結果、およびワークデータなどを保持する。
The
表示コントローラ114は、表示装置23と接続されており、システムコントローラ116からの内部コマンドに従って、各種の情報を表示するための信号を表示装置23へ出力する。
The
I/Oコントローラ118は、画像処理装置20に接続される記録媒体や外部機器との間のデータ交換を制御する。より具体的には、I/Oコントローラ118は、記憶装置120と、カメラインターフェイス122と、入力インターフェイス124と、コントローラインターフェイス126と、通信インターフェイス128と、メモリカードインターフェイス130と接続される。
The I /
記憶装置120は、プロセッサ110で実行される画像処理プログラム142や表示プログラム143に加えて、プロジェクトファイル144などの各種データを格納する。プロジェクトファイル144の詳細については後述する。典型的には、記憶装置120は、ハードディスクなどの不揮発性の磁気記憶装置であってもよいし、フラッシュメモリなどの半導体記憶装置であってもよいし、DVD-RAM(Digital Versatile Disk Random Access Memory)などの光学記憶装置であってもよい。
The
画像処理プログラム142および表示プログラム143は、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合、画像処理プログラム142自体および表示プログラム143自体は、他のプログラムと協働して予め定められた処理を実行する。すなわち、画像処理プログラム142および表示プログラム143としては、このような他のプログラムに組み込まれた形態であってもよい。また、代替的に、画像処理プログラム142または表示プログラム143の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
The
カメラインターフェイス122は、ワークWを撮影することで生成された画像データを受け付ける入力部に相当し、撮像装置10とプロセッサ110との間のデータ伝送を仲介する。より具体的には、カメラインターフェイス122は、1つ以上の撮像装置10と接続が可能であり、プロセッサ110からカメラインターフェイス122を介して撮像装置10とに撮影指示が出力される。これにより、撮像装置10とは、被写体を撮影し、生成した画像をカメラインターフェイス122を介してプロセッサ110に出力する。
The
入力インターフェイス124は、プロセッサ110とキーボード134、マウス、タッチパネル、専用コンソールなどの入力装置との間のデータ伝送を仲介する。
The input interface 124 mediates data transmission between the
コントローラインターフェイス126は、PLC50とプロセッサ110との間のデータ伝送を仲介する。より具体的には、コントローラインターフェイス126は、PLC50によって制御される生産ラインの状態に係る情報やワークWに係る情報などをプロセッサ110へ伝送する。
The controller interface 126 mediates data transmission between the
通信インターフェイス128は、プロセッサ110と図示しない他のパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。通信インターフェイス128は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。
The communication interface 128 mediates data transmission between the
メモリカードインターフェイス130は、プロセッサ110と記録媒体であるメモリカード136との間のデータ伝送を仲介する。メモリカード136には、画像処理装置20で実行される画像処理プログラム142や表示プログラム143などが格納された状態で流通し、メモリカードインターフェイス130は、このメモリカード136からこれらのプログラムを読み出す。メモリカード136は、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記録媒体や、CD-ROM(Compact Disk Read Only Memory)などの光学記録媒体等からなる。あるいは、通信インターフェイス128を介して、配信サーバなどからダウンロードしたプログラムを画像処理装置20にインストールしてもよい。
The
(C2.PLC50のハードウェア構成)
次に、図9を参照して、PLC50のハードウェア構成について説明する。図9は、PLC50のハードウェア構成の一例を示す模式図である。
(C2. Hardware configuration of PLC50)
Next, the hardware configuration of the
PLC50は、チップセット212と、プロセッサ214と、不揮発性メモリ216と、主メモリ218と、システムクロック220と、メモリカードインターフェイス222と、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを含む。チップセット212と他のコンポーネントとの間は、各種のバスを介してそれぞれ結合されている。
The
プロセッサ214およびチップセット212は、典型的には、汎用的なコンピュータアーキテクチャに従う構成を有している。すなわち、プロセッサ214は、チップセット212から内部クロックに従って順次供給される命令コードを解釈して実行する。チップセット212は、接続されている各種コンポーネントとの間で内部的なデータを遣り取りするとともに、プロセッサ214に必要な命令コードを生成する。システムクロック220は、予め定められた周期のシステムクロックを発生してプロセッサ214に出力する。チップセット212は、プロセッサ214での演算処理の実行の結果得られたデータなどをキャッシュする機能を有する。
The
PLC50は、記憶手段として、不揮発性メモリ216および主メモリ218を有する。不揮発性メモリ216は、OS、システムプログラム、ユーザプログラム、ログ情報などを不揮発的に保持する。主メモリ218は、揮発性の記憶領域であり、プロセッサ214で実行されるべき各種プログラムを保持するとともに、各種プログラムの実行時の作業用メモリとしても使用される。
The
PLC50は、通信手段として、通信インターフェイス228と、内部バスコントローラ230と、フィールドバスコントローラ238とを有する。これらの通信回路は、データの送信および受信を行なう。
The
通信インターフェイス228は、画像処理装置20や設定装置60との間でデータを遣り取りする。一例として、PLC50は、通信インターフェイス228を介して画像処理装置20に対して撮像指示を出力する。あるいは、PLC50は、通信インターフェイス228を介して画像処理装置20からワークWの外観検査結果を受け付ける。
The
内部バスコントローラ230は、内部バス226を介したデータの遣り取りを制御する。より具体的には、内部バスコントローラ230は、DMA(Dynamic Memory Access)制御回路232と、内部バス制御回路234と、バッファメモリ236とを含む。
The
メモリカードインターフェイス222は、PLC50に対して着脱可能なメモリカード224とプロセッサ214とを接続する。
The
フィールドバスコントローラ238は、フィールドネットワークに接続するための通信インターフェイスである。PLC50は、フィールドバスコントローラ238を介してロボットコントローラ40と接続される。当該フィールドネットワークには、たとえば、EtherCAT(登録商標)、EtherNet/IP(登録商標)、CompoNet(登録商標)などが採用される。
The
(C3.設定装置60のハードウェア構成)
次に、図10を参照して、設定装置60のハードウェア構成について説明する。図10は、設定装置60のハードウェア構成の一例を示す模式図である。
(C3. Hardware configuration of setting device 60)
Next, the hardware configuration of the
設定装置60は、プロセッサ362と、メインメモリ363と、記憶装置364と、ディスプレイ366と、入力デバイス367と、通信インターフェイス368とを含む。これらの各部は、バス361を介して、互いにデータ通信可能に接続される。
The
プロセッサ362は、記憶装置364にインストールされた設定プログラム365を含むプログラム(コード)をメインメモリ363に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ363は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。
The
記憶装置364は、設定装置60が備える内部メモリであって、不揮発性の記憶装置であって、設定プログラム365等の各種プログラムを記憶する。なお、記憶装置364は、ハードディスクであってもよいし、フラッシュメモリなどの半導体記憶装置であってもよい。
The
設定プログラム365は、設定装置60による撮像条件の変更経路を設定するための手順を示すプログラムである。設定プログラム365などの各種プログラムは、記憶装置364に保存されている必要はなく、設定装置60と通信可能なサーバや、設定装置60と直接接続可能な外部メモリに保存されていてもよい。たとえば、外部メモリに設定装置60で実行される各種プログラムおよび各種プログラムで用いられる各種パラメータが格納された状態で流通し、設定装置60は、この外部メモリから各種プログラムおよび各種パラメータを読み出す。外部メモリは、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的または化学的作用によって蓄積する媒体である。あるいは、設定装置60と通信可能に接続されたサーバなどからダウンロードしたプログラムやパラメータを設定装置60にインストールしてもよい。
The
ディスプレイ366は、たとえば液晶ディスプレイである。入力デバイス367は、たとえばマウス、キーボード、タッチパッドなどにより構成される。
The
通信インターフェイス368は、PLC50とプロセッサ362との間で各種データをやり取りする。なお、通信インターフェイス368は、サーバとプロセッサ362との間でデータをやり取りしてもよい。通信インターフェイス368は、PLC50との間で各種データをやり取りするためのネットワークに対応するハードウェアを含む。
The
<D.プロジェクトファイル144>
図11を参照して、上述のプロジェクトファイル144(図8参照)について説明する。図11は、プロジェクトファイル144のデータ構造の一例を示す図である。
<D. Project file 144>
The above-mentioned project file 144 (see FIG. 8) will be described with reference to FIG. FIG. 11 is a diagram showing an example of the data structure of the
ワークWの検査処理に関する各種データがプロジェクトファイル144に関連付けられることで、ワークWの検査処理に関する各種データが一元的に管理される。
By associating various data related to the inspection process of the work W with the
一例として、プロジェクトファイル144には、撮像条件ファイル146Aと、画像ファイル群146Bと、検査条件ファイル146Cと、検査結果ファイル146Dと、ワーク情報ファイル146Eと、生産情報ファイル146Fと、分類ルールファイル146Gと、期待値ファイル146Hとが関連付けられる。
As an example, the
撮像条件ファイル146Aは、ワークWの各検査対象部分についての撮像条件を規定するデータである。すなわち、画像処理装置20は、撮像条件ファイル146Aを参照すれば、検査対象部分をキーとして、撮像条件を一意に特定することができる。あるいは、ワークNoと検査対象部分との組み合わせをキーとして撮像条件が一意に特定されてもよい。撮像条件は、たとえば、ワークWと撮像装置10との間の相対位置、ワークWの撮像時における照明の位置などを含む。
The
画像ファイル群146Bは、規定される撮像条件に従ってワークWを撮像して撮像装置10から得られたデータ群である。画像ファイル群146Bに含まれる各画像ファイルは、ワークNoと検査対象部分とに対応付けられている。すなわち、画像処理装置20は、ワークNoと検査対象部分との組み合わせをキーとして、検査に用いられた画像ファイルを一意に特定することができる。ワークNoと検査対象部分との組み合わせに関する情報は、たとえば、画像ファイルのファイル名や画像ファイルのヘッダに規定される。
The
検査条件ファイル146Cは、ワークの各検査対象部分についての検査条件を規定するデータである。すなわち、画像処理装置20は、検査条件ファイル146Cを参照すれば、検査対象部分キーとして検査条件を一意に特定することができる。検査条件は、たとえば、画像内の検査対象部分、実行される画像処理フローチャート、画像処理の実行時に読み込まれる計測パラメータ、欠陥の有無を判断するための閾値などを含む。
The
検査結果ファイル146Dは、各ワークの各検査対象部分に対する計測値や検査結果などを規定するデータである。検査結果ファイル146Dのデータ構造の詳細については後述する。
The
ワーク情報ファイル146Eは、検査対象のワークの形状を表わす3次元モデルや、検査対象のワークの種別情報などを含む。
The
生産情報ファイル146Fは、検査対象のワークのロット番号、シリアル番号などを規定するデータである。
The
分類ルールファイル146Gは、上述の分類ルール134A(図4参照)と、上述の分類ルール134B(図5参照)と、後述の分類ルール134C(図30参照)との少なくとも1つを含むデータである。
The
期待値ファイル146Hは、検査対象の各ワークの各検査対象部分について検査結果の期待値を規定するデータである。期待値ファイル146Hの詳細については後述する。
The expected
<E.検査結果ファイル146D>
図12を参照して、上述のプロジェクトファイル144(図11参照)に含まれる検査結果ファイル146Dについて説明する。
<E.
The
図12は、検査結果ファイル146Dのデータ構造の一例を示す図である。検査結果ファイル146Dは、ワークの識別情報(たとえば、ワークNo)と、ワークの検査対象部分を示す部位名と、検査処理の出力結果として得られる計測値と、欠陥の有無を示す検査結果とを含む。
FIG. 12 is a diagram showing an example of the data structure of the
画像処理装置20は、検査結果ファイル146Dを参照すれば、ワークNoと検査対象部分との組み合わせをキーとして、計測値および検査結果を一意に特定することができる。
With reference to the
<F.設定装置における処理の流れ>
図13は、設定装置60における処理の流れの一例を示すフローチャートである。外観検査システム1によって新製品または新品種のワークWの外観検査が必要になったときに、設定装置60は、たとえば図13に示すフローチャートに従った処理を行ない、新製品または新品種のワークWに適した撮像条件の変更経路を設定する。新製品または新品種のワークWの設計上の表面を示す3次元設計データは、設定装置60の記憶装置364に予め格納される。
<F. Process flow in the setting device>
FIG. 13 is a flowchart showing an example of the processing flow in the
図13に示す例では、まずステップS1において、設定装置60のプロセッサ362は、記憶装置364から3次元設計データを読み込む。次にステップS2において、プロセッサ362は、3次元設計データで示されるワークWの設計上の外観を示す模式図を設定装置60のディスプレイ366に表示し、ユーザ入力に従ってワークW上の検査対象領域を決定する。このとき、ワークWがステージ90上の予め定められた位置に予め定められた姿勢で載置されることを前提として、プロセッサ362は、3次元設計データの座標系を、ステージ90上の点を原点とするXYZ座標系に変換する。そのため、検査対象領域は、ステージ90上の点を原点とするXYZ座標系で示される。
In the example shown in FIG. 13, first, in step S1, the
次にステップS3において、プロセッサ362は、検査対象領域に対応する検査要件を満たすように、検査対象領域内から複数の検査対象位置を決定する。すなわち、プロセッサ362は、検査対象領域内において決定された複数の検査対象位置の各々を検査対象部分として決定する。
Next, in step S3, the
次にステップS4において、プロセッサ362は、複数の検査対象位置の各々に対して、検査時のワークWと撮像装置10との間の相対位置を含む撮像条件を決定する。
Next, in step S4, the
次にステップS5において、プロセッサ362は、ステップS4で決定された、ワークWと撮像装置10との間の相対位置を通過するように撮影経路を決定する。
Next, in step S5, the
ステップS2で決定された検査対象領域、ステップS3で決定された検査対象位置、ステップS4で決定された撮像条件、およびステップS5で決定された撮影経路は、画像処理装置20およびPLC50に送信される。
The inspection target area determined in step S2, the inspection target position determined in step S3, the imaging conditions determined in step S4, and the imaging path determined in step S5 are transmitted to the
なお、上記の例では、ステップS3において、検査対象部分から複数の検査対象位置が決定されるとした。しかしながら、ステップS2において、複数の検査対象部分が決定され、ステップS3において、複数の検査対象部分の各々から少なくとも1つの検査対象位置が決定されてもよい。これによっても、ステップS3により複数の検査対象位置が決定される。 In the above example, it is assumed that a plurality of inspection target positions are determined from the inspection target portion in step S3. However, in step S2, a plurality of inspection target portions may be determined, and in step S3, at least one inspection target position may be determined from each of the plurality of inspection target portions. Again, in step S3, a plurality of inspection target positions are determined.
<G.検査対象部分の決定方法>
図14および図15を参照して、検査対象部分の決定方法の一例について説明する。図14は、ワークWの設計上の外観を示す模式図が表示された画面の一例を示す図である。図15は、検査対象部分が表示された画面の一例を示す図である。
<G. How to determine the part to be inspected>
An example of a method for determining an inspection target portion will be described with reference to FIGS. 14 and 15. FIG. 14 is a diagram showing an example of a screen on which a schematic diagram showing the design appearance of the work W is displayed. FIG. 15 is a diagram showing an example of a screen on which an inspection target portion is displayed.
図14に示されるように、設定装置60は、ワークWの形状を表わす3次元モデルMLを含む画面61aをディスプレイ366に表示させる。画面61aには、垂直方向を軸として3次元モデルMLを回転させるためのツールボタン71と、水平方向を軸として3次元モデルMLを回転させるためのツールボタン72とが含まれる。ユーザは、ツールボタン71,72を操作することにより、3次元モデルMLを適宜回転させることができる。
As shown in FIG. 14, the setting
設定装置60は、ユーザから検査したい場所の指定を受け付ける。具体的には、ユーザは、入力デバイス367を用いて、ワークWの3次元モデルML上における検査したい複数点をクリックする。図14に示す画面61aでは、ユーザによってクリックされた複数点が丸印74によって示されている。
The
設定装置60は、3次元モデルML上で指定された複数の丸印74を含む領域を検査対象領域として切り出す。具体的には、設定装置60は、指定された各丸印74に対応するワークWの表面上の点から当該表面に沿って所定距離以内の範囲を求め、当該範囲の和集合を検査対象領域として切り出す。
The
さらに、設定装置60は、輪郭線が直線または円などの幾何学図形となるように検査対象領域を調整する。図15に示すディスプレイ366の画面61bには、輪郭線がワークWのいずれかの稜線と平行な直線となるように調整された検査対象領域75が示される。
Further, the setting
さらに、設定装置60は、ユーザから検査対象領域75の微調整の指示を受け付け、当該指示に応じて検査対象領域75を微調整する。画面61bには、検査対象領域75を拡大または縮小するためのツールボタン76,77が含まれる。ユーザは、入力デバイス367を用いて、検査対象領域75の輪郭線を構成する一辺を選択し、ツールボタン76,77を操作することにより、検査対象領域75の拡大または縮小の指示を入力する。もしくは、ユーザは、入力デバイス367に含まれるマウスを用いて、検査対象領域75の輪郭線を構成する一辺上の点78をドラッグすることにより、検査対象領域75の拡大または縮小の指示を入力してもよい。これにより、設定装置60は、検査対象領域75の拡大または縮小を行なう。このようにして、設定装置60は、検査対象領域75を決定する。図15に示す例では、直方体のワークWの6面のうちの4面の部分領域を集合した領域が検査対象領域75として決定されている。
Further, the setting
<H.検査対象位置の決定方法>
図16~図18を参照して、設定装置60による検査対象位置の決定方法の一例について説明する。図16は、検査対象領域上の点の例を示す図である。図17は、検査対象領域から決定された検査対象位置とそれに対応する実効視野との例を示す図である。図18は、検査対象領域から決定された全ての検査対象部分と実効視野とを示す図である。
<H. How to determine the inspection target position>
An example of a method of determining an inspection target position by the setting
カメラ解像度をR(pix)、要求される最小欠陥サイズをD(mm)とするとき、当該最小欠陥サイズの欠陥を認識できるという検査要件を満たすことが可能な最大の、撮像装置10による撮像視野FOVが検査対象部分として設定される。撮像視野FOVの径は、一般に、比例定数aを用いてa×D×Rで表わされる。
When the camera resolution is R (pix) and the required minimum defect size is D (mm), the maximum field of view taken by the
設定装置60は、検査対象領域75を点の集合とみなし、法線ベクトルの分布を用いて、検査対象領域75内の点の近傍の3次元形状を調査することができる。たとえば、設定装置60は、ワークWの3次元設計データに基づいて、検査対象領域75内の点から表面に沿って距離L以内の範囲における法線ベクトルの分布を求める。距離Lは、たとえば、撮像視野FOVの径(=a×D×R)に比例定数bを乗じた値(=b×a×D×R)である。
The
図16に示す例では、点P1の近傍は平坦である。そのため、点P1からワークWの表面に沿って距離L以内の範囲内の法線ベクトルは、全てベクトルn2となる。点P2は2面が交わる稜線の近傍に位置する。そのため、点P2からワークWの表面に沿って距離L以内の範囲内の法線ベクトルは、2つのベクトルn2,n4を含む。点P2は3面が交わる頂点の近傍に位置する。そのため、点P3からワークWの表面に沿って距離L以内の範囲内の法線ベクトルは、3つのベクトルn1,n2,n4を含む。したがって、設定装置60は、検査対象領域75内の点から表面に沿って距離L以内の範囲の法線ベクトルの分布により、当該点の近傍が平坦であるのか、当該点の近傍に稜線が存在するのか、当該点の近傍に稜線が存在するのか、を判定できる。
In the example shown in FIG. 16, the neighborhood of the point P1 is flat. Therefore, all the normal vectors within the range of the distance L from the point P1 along the surface of the work W become the vector n2. The point P2 is located near the ridgeline where the two surfaces intersect. Therefore, the normal vector within the range of the distance L from the point P2 along the surface of the work W includes two vectors n2 and n4. The point P2 is located near the apex where the three planes intersect. Therefore, the normal vector within the range of the distance L from the point P3 along the surface of the work W includes three vectors n1, n2, n4. Therefore, in the
図17に示されるように、設定装置60は、検査対象領域75の中から無作為に選択した1点を検査対象位置Biとして選択する。設定装置60は、検査対象位置Biに対して、撮像装置10による実効視野FOV2iを検査対象部分として求める。実効視野FOV2iは、検査対象位置Biを含み、1つの撮像条件を用いて撮像装置10が撮像可能かつ検査可能な視野である。設定装置60は、検査対象位置Biの近傍の3次元形状に応じて実効視野FOV2iを決定する。実効視野FOV2iが取り得る最大径は、撮像視野FOVの径(=a×D×R)に設定される。
As shown in FIG. 17, the setting
たとえば、設定装置60は、実効視野FOV2iにおける法線ベクトル分布のばらつきが所定範囲内に入るように、実効視野FOV2iを決定する。検査対象位置Biの近傍が平坦である場合、設定装置60は、検査対象位置Biから表面に沿って距離a×D×R以内の範囲(つまり、撮像視野FOV)を実効視野FOV2iとして決定する。一方、検査対象位置Biの近傍に稜線または頂点が存在する場合、図17に示されるように、設定装置60は、検査対象位置Biから表面に沿って距離a×D×R以内の範囲から一部の範囲を除いた範囲を実効視野FOV2iとする。除かれる範囲は、法線ベクトル分布において最大の分布量を示す法線ベクトル以外の法線ベクトルを有する表面の範囲である。
For example, the setting
次に、設定装置60は、検査対象領域75に属する点の集合から、決定した実効視野FOV2iに属する点の集合を除去し、残った点の集合の中から無作為に選択した1点を次の検査対象位置B(i+1)として選択する。設定装置60は、選択した検査対象位置B(i+1)に対しても実効視野FOV2(i+1)を決定する。設定装置60は、検査対象領域75に属する点の集合が0になるまで、この処理を繰り返す。これにより、図18に示されるように、検査対象領域75から複数の検査対象位置Bi(i=1,2,・・・)が決定される。検査対象領域75内の全ての点は、複数の検査対象位置Bi(i=1,2,・・・)のいずれかの実効視野FOV2iに含まれる。上述したように、実効視野FOV2iが取り得る最大径は、撮像視野FOVの径に設定される。そのため、検査対象領域75の全域について最小欠陥サイズの欠陥が認識可能なように検査対象位置が決定される。
Next, the setting
なお、上記の説明では、設定装置60は、検査対象領域75から無作為に検査対象位置Biを抽出するとした。しかしながら、設定装置60は、予め定められた幾何学的条件に従って検査対象領域75から検査対象位置Biを抽出してもよい。あるいは、設定装置60は、抽出された複数の検査対象位置Biが規則的に整列するように、検査対象領域75から検査対象位置Biを抽出してもよい。
In the above description, the setting
たとえば、ワークWにおいて稜線または頂点の近傍に欠陥が生じやすい場合、稜線または頂点の近傍を優先的に検査するという検査要件を満たすように、検査対象位置が決定されてもよい。たとえば、検査対象領域75内のうち、所定距離内に稜線または頂点が存在する点の集合から優先的に検査対象位置Biが抽出されてもよい。
For example, when a defect is likely to occur in the vicinity of the ridgeline or the apex in the work W, the inspection target position may be determined so as to satisfy the inspection requirement of preferentially inspecting the vicinity of the ridgeline or the apex. For example, the inspection target position Bi may be preferentially extracted from a set of points having ridges or vertices within a predetermined distance in the
<I.撮像条件の決定方法>
図19は、設定装置60によるワークWの撮影位置Ciの決定方法の一例を示す図である。設定装置60は、検査対象位置BiにおけるワークWの設計上の外観表面の法線上において撮影位置Ciを決定する。具体的には、撮影位置Ciは、検査対象位置Biに対応する実効視野FOV2iを撮像可能であり、かつ、検査対象位置Biにピントが合う最適な被写体距離だけ検査対象位置Biから離れた位置に決定される。
<I. Method of determining imaging conditions>
FIG. 19 is a diagram showing an example of a method of determining the imaging position Ci of the work W by the setting
次に、設定装置60は、決定された撮影位置Ciに基づいて撮像条件を決定する。典型的には、設定装置60は、検査対象位置Biを視野に含み、検査対象位置Biにピントが合う最適な撮像条件を決定する。
Next, the setting
撮像条件は、たとえば、ステージ90上の点を原点とするXYZ座標系における撮像装置10のX座標、Y座標およびZ座標と、撮像装置10の光軸の方向を特定するθx、θy、θzとの6個のパラメータを含む。θxは、撮像装置10の光軸をXY平面に投影した線とX軸とのなす角度であり、θyは、撮像装置10の光軸をYZ平面に投影した線とY軸とのなす角度であり、θzは、撮像装置10の光軸をZX平面に投影した線とZ軸とのなす角度である。XYZ座標は、ワークWと撮像装置10との間の相対位置を特定するパラメータであり、θx,θy,θzは、ワークWに対する撮像装置10の姿勢を特定するパラメータである。
The imaging conditions are, for example, the X, Y, and Z coordinates of the
<J.撮影経路の決定方法>
図20は、撮影位置Ciに対して決定された撮影経路の一例を示す図である。
<J. How to determine the shooting route>
FIG. 20 is a diagram showing an example of a shooting path determined for the shooting position Ci.
設定装置60は、決定した撮影位置C1~C7を通過するように撮影経路を決定する。このとき、設定装置60は、予め定められた要件を満たすように撮影経路を決定する。たとえば、予め定められた要件が移動時間を最短とする要件である場合、設定装置60は、複数の撮像位置を順に通過する経路候補のうちで、移動時間が最短となる経路候補を撮影経路として設定する。たとえば、設定装置60は、予め定められた要件で示される項目(たとえば移動時間)を評価するための評価値を経路候補ごとに算出し、算出した評価値に基づいて撮影経路を設定すればよい。さらに、複数の検査対象位置の各々について複数の撮像位置候補が存在する場合も、設定装置60は、評価値に基づいて、当該複数の撮像位置候補の中の1つを撮像位置として選択すればよい。このようにして、予め定められた要件を満たすように最適化された撮影経路が設定される。
The
図20には、決定された撮影経路PSが示されている。図20の例では、「撮影位置C1」→「撮影位置C4」→「撮影位置C5」→「撮影位置C6」→「撮影位置C7」→「撮影位置C3」→「撮影位置C2」を順に通過するように撮影経路PSが決定されている。 FIG. 20 shows the determined shooting path PS. In the example of FIG. 20, "shooting position C1"-> "shooting position C4"-> "shooting position C5"-> "shooting position C6"-> "shooting position C7"-> "shooting position C3"-> "shooting position C2" is passed in order. The shooting path PS is determined so as to be performed.
<K.PLC50による制御処理>
図21は、PLC50における処理の流れの一例を示すフローチャートである。図21に示される処理は、PLC50のプロセッサ214がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
<K. Control processing by PLC50>
FIG. 21 is a flowchart showing an example of the processing flow in the
PLC50は、撮像装置10が決定された撮影経路PS(図20参照)を通過するようにロボットコントローラ40を制御するとともに、撮像装置10が決定された撮影位置Ci(図20参照)で撮影を実行するように画像処理装置20を制御する。
The
まず、ステップS10において、プロセッサ214は、ステージ90に載置されたワークWが予め定められた位置に設置されたか否かを判断する。プロセッサ214は、ワークWが予め定められた位置に設置されたと判断した場合(ステップS10においてYES)、制御をステップS12に切り替える。そうでない場合には(ステップS10においてNO)、プロセッサ214は、ステップS10の処理を再び実行する。
First, in step S10, the
ステップS12において、プロセッサ214は、予め設定されている撮影経路PSに従ってロボットコントローラ40に指令値を順次出力する。ロボットコントローラ40は、PLC50からの指令値に従ってロボット30の各軸を駆動する。これにより、ロボット30の先端に取り付けられている撮像装置10が撮影経路PSに沿って順次移動する。
In step S12, the
ステップS20において、プロセッサ214は、撮像装置10が予め設定されている撮影位置Ci(図20参照)に到達したか否かを判断する。撮像装置10が予め設定されている撮影位置Ciに到達したか否かは、たとえば、ステップS12でロボットコントローラ40に出力される指令値に基づいて判断される。プロセッサ214は、撮像装置10が予め設定されている撮影位置Ciに到達したと判断した場合(ステップS20においてYES)、制御をステップS22に切り替える。そうでない場合には(ステップS20においてNO)、プロセッサ214は、制御をステップS30に切り替える。
In step S20, the
ステップS22において、プロセッサ214は、画像処理装置20に撮影指示を出力する。これにより、画像処理装置20は、撮影処理を実行する。
In step S22, the
ステップS30において、プロセッサ214は、撮像装置10が予め設定されている撮影経路PSの終点に到達したか否かを判断する。撮像装置10が予め設定されている撮影経路PSの終点に到達したか否かは、たとえば、ステップS12でロボットコントローラ40に出力される指令値に基づいて判断される。プロセッサ214は、撮像装置10が予め設定されている撮影経路PSの終点に到達したと判断した場合(ステップS30においてNO)、プロセッサ214は、制御をステップS10に戻す。そうでない場合には(ステップS30においてNO)、プロセッサ214は、制御をステップS12に戻す。
In step S30, the
<L.画像処理装置20による検査処理>
図22は、画像処理装置20による検査処理の流れの一例を示すフローチャートである。図22に示される処理は、画像処理装置20のプロセッサ110が画像処理プログラム142(図8参照)を実行することにより実現される。なお、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
<L. Inspection processing by
FIG. 22 is a flowchart showing an example of the flow of inspection processing by the
ステップS50において、プロセッサ110は、PLC50から撮影指示を受け付けたか否かを判断する。上述の図21で説明したように、PLC50は、撮像装置10が予め設定されている撮影位置Ciに到達した時点で撮影指示を画像処理装置20に出力する。プロセッサ110は、PLC50から当該撮影指示を受け付けたと判断した場合(ステップS50においてYES)、制御をステップS52に切り替える。そうでない場合には(ステップS50においてNO)、プロセッサ110は、制御をステップS60に切り替える。
In step S50, the
ステップS52において、プロセッサ110は、上述の検査部21(図1参照)として、撮影指示を撮像装置10に出力する。これにより、撮像装置10は、画像処理装置20から撮影指示を受け付けたことに基づいて、撮影処理を実行する。これにより、画像処理装置20は、予め定められた撮影位置Ciで撮像装置10に撮影処理を実行させることができる。
In step S52, the
ステップS54において、プロセッサ110は、上述の検査部21として、撮像装置10から得られた画像に対して予め定められた画像処理を実行することで検査処理を実行する。実行される画像処理は、たとえば、上述の検査条件ファイル146C(図11参照)に規定されている。上述のように、検査条件ファイル146Cは、ワークWの各検査対象部分についての検査条件を規定するデータである。すなわち、画像処理装置20は、検査条件ファイル146Cを参照すれば、検査対象部分をキーとして検査条件を一意に特定することができる。プロセッサ110は、検査条件ファイル146Cから取得した検査条件に従って得られた画像に対して画像処理を実行し、検査結果を得る。
In step S54, the
ステップS56において、プロセッサ110は、上述の検査部21として、ステップS54で得られた検査結果を上述の検査結果ファイル146D(図12参照)に書き込む。一例として、プロセッサ110は、ワークWの識別情報(たとえば、ワークNo)と、ワークWの検査対象部分を示す部位名と、検査処理の出力結果として得られる計測値と、欠陥の有無を示す検査結果とを対応付けた上で検査結果ファイル146Dに書き込む。
In step S56, the
ステップS60において、プロセッサ110は、検査処理の終了命令を受け付けたか否かを判断する。プロセッサ110は、検査処理の終了命令を受け付けたと判断した場合(ステップS60においてYES)、図22に示される検査処理を終了する。そうでない場合には(ステップS60においてNO)、プロセッサ110は、制御をステップS50に戻す。
In step S60, the
なお、図22の例では、ワークWの撮影処理が実行される度に検査処理が実行される例について説明を行ったが、ワークWの撮影処理と、画像に対する検査処理とは、個別に実行されてもよい。すなわち、画像処理装置20は、まず画像を蓄積し、その後に蓄積した画像を一括で検査してもよい。
In the example of FIG. 22, an example in which the inspection process is executed each time the photographing process of the work W is executed has been described, but the photographing process of the work W and the inspection process for the image are executed separately. May be done. That is, the
<M.検査結果マトリクス25の表示フロー>
図23は、上述の検査結果マトリクス25の表示処理の流れの一例を示すフローチャートである。図23に示される処理は、画像処理装置20のプロセッサ110が表示プログラム143(図8参照)を実行することにより実現される。なお、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
<M. Display flow of
FIG. 23 is a flowchart showing an example of the flow of the display processing of the above-mentioned
ステップS70において、プロセッサ110は、検査結果マトリクス25の表示操作を受け付けたか否かを判断する。当該表示操作は、画像処理装置20に備えられる操作部に対して行なわれる。当該操作部は、たとえば、キーボード134(図8参照)、マウス、タッチパネルなどを含む。プロセッサ110は、検査結果マトリクス25の表示操作を受け付けたと判断した場合(ステップS70においてYES)、制御をステップS72に切り替える。そうでない場合には(ステップS70においてNO)、プロセッサ110は、ステップS70の処理を再び実行する。
In step S70, the
ステップS72において、プロセッサ110は、上述の検査結果ファイル146D(図12参照)を参照して、検査結果ファイル146Dに規定されているワークNoと、検査結果ファイル146Dに規定されている検査対象部分とを取得する。
In step S72, the
ステップS74において、プロセッサ110は、上述の表示制御部22(図1参照)として、ステップS72で取得したワークNoに従って検査結果マトリクス25の縦軸を構成する。これにより、検査結果マトリクス25の縦軸にワークNoが配列される。
In step S74, the
ステップS76において、プロセッサ110は、上述の表示制御部22として、ステップS74で取得したワークの検査対象部分に従って検査結果マトリクス25の横軸を構成する。これにより、検査結果マトリクス25の横軸に検査対象部分が配列される。
In step S76, the
ステップS78において、プロセッサ110は、上述の表示制御部22として、ステップS72で取得したワークNoと、ステップS74で取得したワークの検査対象部分との組み合わせごとに検査結果マトリクス25上に空白のセルを配置する。各セルは、ワークNoと検査対象部分とに対応付けられる。
In step S78, the
ステップS80において、プロセッサ110は、上述の表示制御部22として、検査結果ファイル146Dを参照して、検査結果マトリクス25の各セルに検査結果を反映する。より具体的には、プロセッサ110は、ワークNoと検査対象部分との各組み合わせについて検査結果を取得し、各組み合わせに対応するセルに取得した検査結果を反映する。典型的には、プロセッサ110は、「欠陥有」の検査結果と「欠陥無」の検査結果とを区別可能な態様で各セルに検査結果を反映する。一例として、検査結果が「欠陥有」を示す場合、プロセッサ110は、対応するセルを特定の色(たとえば、赤色)で表示する。一方で、検査結果が「欠陥無」を示す場合、プロセッサ110は、対応するセルを他の色(たとえば、白色または緑色)で表示する。
In step S80, the
ステップS82において、プロセッサ110は、検査結果マトリクス25内のいずれかのセルが選択されたか否かを判断する。当該選択操作は、画像処理装置20に備えられる操作部に対して行なわれる。当該操作部は、たとえば、キーボード134(図8参照)、マウス、タッチパネルなどを含む。プロセッサ110は、検査結果マトリクス25内のいずれかのセルが選択されたと判断した場合(ステップS82においてYES)、制御をステップS84に切り替える。そうでない場合には(ステップS82においてNO)、プロセッサ110は、制御をステップS90に切り替える。
In step S82, the
検査結果マトリクス25は、ワークNoと検査対象部分とに対応付けられているため、各セルを選択することは、ワークNoと検査対象部分との組み合わせを指定することを意味する。
Since the
ステップS84において、プロセッサ110は、上述の検査部21(図1参照)または表示制御部22として、選択されたセルに応じた処理を実行する。すなわち、プロセッサ110は、指定されたワークNoと検査対象部分との組み合わせに応じた処理を実行する。セルの選択操作に応じて実行される処理の詳細については後述する。
In step S84, the
ステップS90において、プロセッサ110は、検査結果マトリクス25を閉じる操作を受け付けたか否かを判断する。プロセッサ110は、検査結果マトリクス25を閉じる操作を受け付けたと判断した場合(ステップS90においてYES)、図23に示される処理を終了する。そうでない場合には(ステップS90においてNO)、プロセッサ110は、制御をステップS82に戻す。
In step S90, the
<N.検査結果マトリクス内のセルの選択機能>
図24のステップS82,S84に示されるように、画像処理装置20は、検査結果マトリクス25内のセルが選択されたことに基づいて、選択されたセルに応じた処理を実行する。実行される得る処理としては、たとえば、以下で説明する具体例1~5の処理が挙げられる。以下では、これらの処理について順に説明する。
<N. Cell selection function in the test result matrix>
As shown in steps S82 and S84 of FIG. 24, the
なお、典型的には、画像処理装置20は、セルの選択操作を受け付けたことに基づいて、下記の具体例1~5に示す処理の少なくとも1つを実行する。あるいは、画像処理装置20は、セルの選択操作を受け付けたことに基づいて、下記の具体例1~5に示す処理の選択画面を表示し、当該選択画面において選択された処理を実行してもよい。
Typically, the
(N1.具体例1)
図24は、セル選択操作に応じて実行される処理の具体例1を示す図である。図24の例では、検査結果マトリクス25内のセルCE1が選択されている。
(N1. Specific example 1)
FIG. 24 is a diagram showing a specific example 1 of a process executed in response to a cell selection operation. In the example of FIG. 24, cell CE1 in the
画像処理装置20の表示制御部22は、セルCE1が選択されたことに基づいて、セルCE1に対応する検査対象部分の検査に用いられた画像と、当該画像の撮像条件とを表示装置23に表示する。これにより、ユーザは、欠陥を示す画像を目視で確認したり、撮像条件の妥当性などを確認することができる。また、ユーザは、検査結果マトリクス25に示される検査対象部分がワークのどの部分を示しているのかを容易に確認することができる。
Based on the selection of the cell CE1, the
より具体的には、画像処理装置20は、選択されたセルCE1に関連付けられているワークNoと検査対象部分との組み合わせを特定する。次に、画像処理装置20は、特定したワークNoと検査対象部分との組み合わせをキーとして対応する画像ファイルを上述の画像ファイル群146B(図11参照)から取得する。次に、画像処理装置20は、特定した検査対象部分をキーとして対応する撮像条件を上述の撮像条件ファイル146A(図11参照)から取得する。表示制御部22は、取得した画像ファイルと撮像条件とを、セルCE1に対応付けられたポップアップ画面PU1上に表示する。表示された撮像条件は、任意の値に変更可能に構成される。
More specifically, the
なお、図24の例では、セルの選択操作に応じて撮像画像と撮像条件との両方が表示される例について説明を行なったが、表示制御部22は、セルの選択操作に応じて撮像画像および撮像条件のいずれか一方を表示してもよい。
In the example of FIG. 24, an example in which both the captured image and the imaging condition are displayed according to the cell selection operation has been described, but the
(N2.具体例2)
図25は、セル選択操作に応じて実行される処理の具体例2を示す図である。図25の例では、検査結果マトリクス25内のセル群CE2が選択されている。
(N2. Specific example 2)
FIG. 25 is a diagram showing a specific example 2 of the process executed in response to the cell selection operation. In the example of FIG. 25, the cell group CE2 in the
画像処理装置20の表示制御部22は、セル群CE2が選択されたことに基づいて、検査対象のワークの形状を表わす3次元モデルMLを表示装置23に表示するとともに、セル群CE2に対応する検査対象部分の検査結果を当該3次元モデルML上の対応部分に表わす。これにより、ユーザは、ワークのどの部分に欠陥があるのかを容易に確認することができる。
The
より具体的には、画像処理装置20の表示制御部22は、セル群CE2が選択されたことに基づいて、上述のワーク情報ファイル146E(図11参照)から、検査対象のワークの3次元モデルMLを取得し、セル群CE2に対応付けられたポップアップ画面PU2上に当該3次元モデルMLを表示する。
More specifically, the
次に、選択された各セルに関連付けられているワークNoと検査対象部分との組み合わせを特定する。次に、画像処理装置20は、特定したワークNoと検査対象部分との各組み合わせに対応する検査結果を上述の検査結果ファイル146D(図12参照)から取得する。次に、画像処理装置20は、各検査対象部分の検査結果を3次元モデルMLの対応箇所に表わす。上述の図13~図18で説明したように、検査対象位置Biは、3次元モデルMLに対して設定されるので、3次元モデルMLと検査対象位置Biとの関係は既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、各検査対象部分の検査結果を3次元モデルML上に反映することができる。
Next, the combination of the work No. associated with each selected cell and the inspection target portion is specified. Next, the
図25の例では、選択されたセル群CE2に対応する検査対象部分A3~A5が3次元モデルML上に反映されている。このとき、表示制御部22は、3次元モデルML上において、「欠陥有」を示す検査対象部分を「欠陥無」とは異なる表示態様で表わす。「欠陥有」を示す検査対象部分は、3次元モデルML上で特定の色(たとえば、赤色)で表わされ、「欠陥無」を示す検査対象部分は、3次元モデルML上で他の色(たとえば、緑色)で表わされる。あるいは、「欠陥有」を示す検査対象部分は、点滅表示で表わされてもよい。
In the example of FIG. 25, the inspection target portions A3 to A5 corresponding to the selected cell group CE2 are reflected on the three-dimensional model ML. At this time, the
好ましくは、表示制御部22は、3次元モデルML上において、検査対象部分A3を含む検査対象領域75Aと、検査対象部分A4,A5を含む検査対象領域75Bとをさらに表わす。検査対象領域については図15で説明した通りであるので、その説明については繰り返さない。「欠陥有」を示す検査対象部分を含む検査対象領域75Bは、「欠陥有」を示す検査対象部分を含まない検査対象領域75Aとは異なる態様で表示される。一例として、検査対象領域75Bは、特定の色(たとえば、赤色)で表わされてもよいし、点滅表示で表わされてもよい。
Preferably, the
また、表示制御部22は、垂直方向を軸として3次元モデルMLを回転させるためのツールボタン71と、水平方向を軸として3次元モデルMLを回転させるためのツールボタン72とをポップアップ画面PU2上にさらに表示する。ユーザは、ツールボタン71,72を操作することにより、3次元モデルMLを適宜回転させることができる。
Further, the
(N3.具体例3)
図26は、セル選択操作に応じて実行される処理の具体例3を示す図である。図26の例では、検査結果マトリクス25内のセル群CE3が選択されている。
(N3. Specific example 3)
FIG. 26 is a diagram showing a specific example 3 of a process executed in response to a cell selection operation. In the example of FIG. 26, the cell group CE3 in the
画像処理装置20の表示制御部22は、セル群CE3が選択されたことに基づいて、セル群CE3に対応する検査結果の統計結果を表示装置23に表わす。これにより、ユーザは、任意の検査対象部分の検査結果を容易に分析することができる。
The
より具体的には、画像処理装置20は、選択されたセル群CE3の各セルに関連付けられているワークNoと検査対象部分との組み合わせを特定する。次に、画像処理装置20は、特定したワークNoと検査対象部分との組み合わせの各々に対応する検査結果および計測値を上述の検査結果ファイル146Dから取得する。次に、画像処理装置20は、取得した計測値に対して予め定められた統計処理を実行する。
More specifically, the
一例として、画像処理装置20は、予め定められた統計処理を実行することで、度数分布(すなわち、ヒストグラム)を生成する。当該ヒストグラムの横軸は計測値の区分を表わし、当該ヒストグラムの横軸は各区分に含まれる計測値の頻度を表わす。画像処理装置20の表示制御部22は、セル群CE3に対応付けられたポップアップ画面PU3上に、生成したヒストグラムを表示する。
As an example, the
好ましくは、計測値の度数分布は、選択された検査対象部分ごとに生成される。図26の例では、選択された検査対象部分A2,A3のそれぞれについて度数分布が示されている。 Preferably, a frequency distribution of measurements is generated for each selected portion to be inspected. In the example of FIG. 26, the frequency distribution is shown for each of the selected inspection target portions A2 and A3.
他の例として、画像処理装置20は、予め定められた統計処理を実行することで、計測値推移グラフを生成する。当該計測値推移グラフの横軸はワークNoを表わし、当該計測値推移グラフの縦軸は計測値を表わす。画像処理装置20の表示制御部22は、セル群CE3に対応付けられたポップアップ画面PU3上に、生成した計測値推移グラフを表示する。
As another example, the
好ましくは、計測値推移グラフは、選択されたセル群CE3に対応する検査対象部分ごとに生成される。図26の例では、選択された検査対象部分A2,A3のそれぞれについて計測値推移グラフが示されている。 Preferably, the measured value transition graph is generated for each inspection target portion corresponding to the selected cell group CE3. In the example of FIG. 26, a measured value transition graph is shown for each of the selected inspection target portions A2 and A3.
なお、図26の例では、セル群の選択操作に応じてヒストグラムと計測値推移グラフとの2つの統計結果が表示される例について説明を行なったが、表示制御部22は、セル群の選択操作に応じて少なくとも1つの統計結果を表示すればよい。
In the example of FIG. 26, an example in which two statistical results of a histogram and a measured value transition graph are displayed according to a cell group selection operation has been described, but the
(N4.具体例4)
図27は、セル選択操作に応じて実行される処理の具体例4を示す図である。図27の例では、検査結果マトリクス25内のセル群CE4が選択されている。
(N4. Specific Example 4)
FIG. 27 is a diagram showing a specific example 4 of the process executed in response to the cell selection operation. In the example of FIG. 27, the cell group CE4 in the
画像処理装置20の検査部21は、セル群CE4が選択されたことに基づいて、セル群CE4に対応する検査対象部分の検査に用いられた画像に基づいて、当該検査対象部分を再検査する。これにより、ユーザは、任意の検査対象部分について再検査を容易に実行することができる。
The
より具体的には、ユーザは、検査条件を設定し直し、その上で検査結果マトリクス25のセル群CE4を選択する。検査部21は、選択されたセル群CE4の各セルに関連付けられているワークNoと検査対象部分との組み合わせを特定する。次に、検査部21は、特定したワークNoと検査対象部分との組み合わせの各々に対応する画像データを上述の画像ファイル群146Bから取得する。次に、検査部21は、特定した検査対象部分の各々に対応する検査条件を上述の検査条件ファイル146Cから取得する。次に、検査部21は、取得した画像データの各々に対して、対応する検査条件に従った画像処理を実行する。次に、表示制御部22は、再検査の結果を検査結果マトリクス25に反映する。
More specifically, the user resets the inspection conditions and then selects the cell group CE4 of the
なお、図27の例では、検査結果マトリクス25内において複数のセルが選択される例について説明を行なったが、本例においては、選択されるセル数は、1つ以上であればよい。
In the example of FIG. 27, an example in which a plurality of cells are selected in the
(N5.具体例5)
図28は、セル選択操作に応じて実行される処理の具体例5を示す図である。図28の例では、検査結果マトリクス25内のセル群CE5が選択されている。
(N5. Specific Example 5)
FIG. 28 is a diagram showing a specific example 5 of the process executed in response to the cell selection operation. In the example of FIG. 28, the cell group CE5 in the
画像処理装置20の表示制御部22は、セル群CE5が選択されたことに基づいて、検査対象のワークの3次元モデルMLを表示装置23に表示するとともに、セル群CE5に対応する検査対象部分の撮像条件を3次元モデルML上の対応部分に表わす。これにより、ユーザは、選択部分の撮像条件を容易に確認することができる。
The
より具体的には、画像処理装置20の表示制御部22は、セル群CE5が選択されたことに基づいて、検査対象のワークの3次元モデルMLを上述のワーク情報ファイル146E(図11参照)から取得し、セル群CE5に対応付けられたポップアップ画面PU5に3次元モデルMLを表示する。
More specifically, the
次に、選択された各セルに関連付けられているワークNoと検査対象部分との組み合わせを特定する。次に、画像処理装置20は、特定したワークNoと検査対象部分との各組み合わせに対応する撮像条件を上述の撮像条件ファイル146A(図11参照)から取得する。
Next, the combination of the work No. associated with each selected cell and the inspection target portion is specified. Next, the
次に、画像処理装置20の表示制御部22は、セル群CE5に対応するワークNoの内からいずれか1つのワークNo(たとえば、最小のワークNo)を決定し、当該決定したワークNoに対応する各撮像条件を3次元モデルMLの対応箇所に表わす。ポップアップ画面PU5には、戻るボタン81と、進むボタン82とが表示されており、ユーザは、戻るボタン81または進むボタン82を押下することで、表示対象の撮像条件をワークNoの順に切り替えることができる。
Next, the
表示される撮像条件は、3次元モデルMLに対する撮像装置10の撮影位置を含む。上述の図19で説明したように、3次元モデルMLに対する撮像装置10の撮影位置Ciは、設定装置60による設定処理で決定されているので、3次元モデルMLに対する撮像装置10の撮影位置Ciは既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、撮像装置10を表わす模式図を撮影位置Ci上に表示することができる。図28の例では、撮影位置C5,C7において撮像装置10を表わす模式図が表示されている。
The displayed imaging conditions include the imaging position of the
他の例として、表示される撮像条件は、ワーク上の検査対象部分を含む。上述の図13~図18で説明したように、検査対象位置Biは、3次元モデルMLに対して設定されるので、3次元モデルMLと検査対象位置Biとの関係は既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、各検査対象部分の検査結果を3次元モデルML上に反映することができる。図28の例では、検査対象部分A5,B1が3次元モデルML上に表わされている。
As another example, the displayed imaging conditions include the inspection target portion on the workpiece. As described with reference to FIGS. 13 to 18 above, the inspection target position Bi is set for the three-dimensional model ML, so that the relationship between the three-dimensional model ML and the inspection target position Bi is known. Therefore, the
なお、上述の例では、撮像条件として撮影位置や検査対象部分が表示される例について説明を行なったが、表示される撮像条件は、撮影位置および検査対象部分に限定されない。たとえば、撮像時における撮像装置10の光学条件(撮像視野など)、撮像時における照明条件などが表示されてもよい。
In the above example, an example in which the imaging position and the inspection target portion are displayed as the imaging conditions has been described, but the displayed imaging conditions are not limited to the imaging position and the inspection target portion. For example, the optical conditions (imaging field of view, etc.) of the
<O.検査結果マトリクス25の変形例>
図29は、図3に示される検査結果マトリクス25の変形例を示す図である。図3に示される検査結果マトリクス25の各行は、ワークのロット番号でグルーピングされているのに対して、図29に示される検査結果マトリクス25の各行は、ワークの品種でグルーピングされている。
<O. Modification example of
FIG. 29 is a diagram showing a modified example of the
異なる品種のワーク間では、共通の検査対象部分が存在する可能性もあるし、特有の検査対象部分が存在する可能性もある。そのため、異なる品種の各ワークの検査結果を1つの検査結果マトリクス25上で表わす場合、工夫が必要になる。
There may be a common inspection target part between workpieces of different varieties, or there may be a unique inspection target part. Therefore, when the inspection results of each work of different varieties are represented on one
一例として、ワーク品種αは、ワーク品種βにはない特有の検査対象部分「A1」,「A3」を有するとする。この場合、図29に示されるように、ワーク品種αの検査対象部分「A1」,「A3」に対応するセルについては検査結果が反映されるが、ワーク品種βの検査対象部分「A1」,「A3」に対応するセルについては「該当無」として空白が表示される。 As an example, it is assumed that the work type α has unique inspection target portions “A1” and “A3” that are not found in the work type β. In this case, as shown in FIG. 29, the inspection results are reflected for the cells corresponding to the inspection target portions "A1" and "A3" of the work type α, but the inspection target portion "A1" of the work type β. A blank is displayed as "Not applicable" for the cell corresponding to "A3".
また、ワーク品種βは、ワーク品種αにはない特有の検査対象部分「A5」,「B3」を有するとする。この場合、図29に示されるように、ワーク品種βの検査対象部分「A5」,「B3」に対応するセルについては検査結果が反映されるが、ワーク品種αの検査対象部分「A5」,「B3」に対応するセルについては「該当無」として空白が表示される。 Further, it is assumed that the work type β has unique inspection target portions “A5” and “B3” that are not found in the work type α. In this case, as shown in FIG. 29, the inspection results are reflected for the cells corresponding to the inspection target portions "A5" and "B3" of the work type β, but the inspection target portion "A5" of the work type α, A blank is displayed as "Not applicable" for the cell corresponding to "B3".
また、ワーク品種α,βは、共通の検査対象部分「A2」,「A4」,「B1」,「B2」を有するとする。この場合、図29に示されるように、ワーク品種αの検査対象部分「A2」,「A4」,「B1」,「B2」に対応するセルと、ワーク品種βの検査対象部分「A2」,「A4」,「B1」,「B2」に対応するセルとの両方に、検査結果が反映される。 Further, it is assumed that the work varieties α and β have common inspection target portions “A2”, “A4”, “B1”, and “B2”. In this case, as shown in FIG. 29, the cells corresponding to the inspection target portions “A2”, “A4”, “B1”, “B2” of the work type α and the inspection target portion “A2” of the work type β, The inspection result is reflected in both the cells corresponding to "A4", "B1", and "B2".
ワークの品種別の検査対象部分は、たとえば、図30に示される分類ルール134Cに規定されている。図30は、分類ルール134Cのデータ構造の一例を示す図である。
The inspection target portion for each type of work is defined in, for example, the
図30に示されるように、分類ルール134Cには、ワークWの検査対象部分が階層的に関連付けられている。図30の例では、ワーク品種αの検査対象部分「A」には、「A1」~「A4」が関連付けられている。ワーク品種αの検査対象部分「B」には、「B1」,「B2」が関連付けられている。ワーク品種βの検査対象部分「A」には、「A2」,「A4」,「A5」が関連付けられている。ワーク品種βの検査対象部分「B」には、「B1」~「B3」が関連付けられている。
As shown in FIG. 30, the inspection target portion of the work W is hierarchically associated with the
再び図29を参照して、検査結果マトリクス25の縦軸方向および横軸方向の各グループには、ボタンが割り付けられている。図29の例では、グループGH1には展開/集約ボタンBH1が割り付けられている。グループGH2には展開/集約ボタンBH2が割り付けられている。グループGV1には展開/集約ボタンBV1が割り付けられている。グループGV2には展開/集約ボタンBV2が割り付けられている。
With reference to FIG. 29 again, buttons are assigned to each group in the vertical axis direction and the horizontal axis direction of the
図31は、展開/集約ボタンBV2を押下した場合における検査結果マトリクス25の画面遷移を示す図である。展開/集約ボタンBV2は、グループGV2のセルに対する集約指示および展開指示を押下の度に交互に受け付ける。すなわち、グループGV2のセルが展開されている状態で、展開/集約ボタンBV2が押下された場合、画像処理装置20の表示制御部22は、グループGV2のセルを一列に集約する。一方で、グループGV2のセルが集約されている状態で、展開/集約ボタンBV2が押下された場合、表示制御部22は、グループGV2のセルの表示を集約前に戻す。
FIG. 31 is a diagram showing screen transitions of the
「欠陥有」と「欠陥無」と「該当無」との検査結果が集約対象のセルに含まれている場合、表示制御部22は、「欠陥有」の表示を「欠陥無」,「該当無」の表示よりも優先して集約処理を行なう。また、「欠陥無」と「該当無」との検査結果が集約対象のセルに含まれている場合、表示制御部22は、「欠陥無」の表示を「該当無」の表示よりも優先して集約処理を行なう。
When the inspection results of "defect", "defect not" and "not applicable" are included in the cell to be aggregated, the
一例として、破線AR10内には、「欠陥有」のセルが1個含まれており、「該当無」のセルが2個含まれている。集約処理により、破線AR10内の3個のセルは、破線AR12内に示される1個のセルに集約される。このとき、集約前のセルには、「欠陥有」のセルが含まれているので、表示制御部22は、集約後の検査結果を「欠陥有」として表わす。
As an example, the broken line AR10 includes one "defective" cell and two "not applicable" cells. By the aggregation process, the three cells in the broken line AR10 are aggregated into one cell shown in the broken line AR12. At this time, since the cell before aggregation includes the cell with "defect", the
他の例として、破線AR11内には、「欠陥無」のセルが2個含まれており、「該当無」のセルが1個含まれている。集約処理により、破線AR11内の3個のセルは、破線AR13内に示される1個のセルに集約される。このとき、集約前のセルには、「欠陥有」のセルが含まれておらず、「欠陥無」のセルが含まれているので、表示制御部22は、集約後の検査結果を「欠陥無」として表わす。
As another example, the broken line AR11 contains two "no defects" cells and one "not applicable" cell. By the aggregation process, the three cells in the broken line AR11 are aggregated into one cell shown in the broken line AR13. At this time, since the cells before aggregation do not include the cells with "defects" but include the cells with "defects", the
図32は、展開/集約ボタンBH2を押下した場合における検査結果マトリクス25の画面遷移を示す図である。展開/集約ボタンBH2は、グループGH2のセルに対する集約指示および展開指示を押下の度に交互に受け付ける。すなわち、グループGH2のセルが展開されている状態で、展開/集約ボタンBH2が押下された場合、表示制御部22は、グループGH2のセルを一行に集約する。一方で、グループGH2のセルが集約されている状態で、展開/集約ボタンBH2が押下された場合、表示制御部22は、グループGH2のセルの表示を集約前に戻す。
FIG. 32 is a diagram showing a screen transition of the
破線AR14内には、「該当無」のセルが10個含まれている。グループGH2のセルの集約処理により、破線AR14内の10個のセルは、破線AR15内に示される1個のセルに集約される。このとき、集約前のセルには、「欠陥有」および「欠陥無」のセルが含まれていないので、表示制御部22は、集約後の検査結果を「該当無」として表わす。
The broken line AR14 contains 10 "not applicable" cells. By the aggregation process of the cells of the group GH2, the 10 cells in the broken line AR14 are aggregated into one cell shown in the broken line AR15. At this time, since the cells before aggregation do not include the cells "with defects" and "without defects", the
<P.検査結果マトリクスと期待値マトリクスとの比較機能>
画像処理装置20は、検査結果マトリクス25に含まれる各検査結果についての真の正解値(以下、「期待値」ともいう。)を示す期待値マトリクスと、検査結果マトリクス25との比較結果を表示装置23に表示する。これにより、ユーザは、検査結果マトリクス25に示される各検査結果が期待通りであるか否かを容易に判断することができる。このような比較処理は、検査結果マトリクス25に示される検査結果の数が増えるほど有効となる。
<P. Comparison function between test result matrix and expected value matrix>
The
図33は、検査結果マトリクス25と期待値マトリクス27との比較処理を概略的に示す図である。
FIG. 33 is a diagram schematically showing a comparison process between the
期待値マトリクス27内のセルにおいて、検査結果マトリクス25に含まれる検査結果の少なくとも一部について期待値が規定される。期待値マトリクス27の各セルの期待値は、たとえば、ユーザ入力によって設定される。入力可能な期待値は、たとえば、「欠陥有」、「欠陥無」、および「無効」のいずれかである。ユーザによって設定された期待値マトリクス27は、上述の期待値ファイル146H(図11参照)として画像処理装置20に格納される。
In the cell in the expected
画像処理装置20は、検査結果マトリクス25内の各セルと期待値マトリクス27内の各セルとの間で、同一行かつ同一列のセル同士を比較する。
The
より具体的には、検査結果マトリクス25の検査結果が「欠陥無」で、期待値マトリクス27の期待値が「欠陥無」である場合、比較結果として「正解OK」が出力される。すなわち、「正解OK」は、検査結果が期待通りであることを意味する。
More specifically, when the inspection result of the
検査結果マトリクス25の検査結果が「欠陥有」で、期待値マトリクス27の期待値が「欠陥有」である場合、比較結果として「正解NG」が出力される。すなわち、「正解NG」は、検査結果が期待通りであることを意味する。
When the inspection result of the
検査結果マトリクス25の検査結果が「欠陥無」で、期待値マトリクス27の期待値が「欠陥有」である場合、比較結果として「見逃し」が出力される。「見逃し」は、検出すべき欠陥を見逃したことを意味する。すなわち、「見逃し」は、検査結果が期待通りではないことを示す。比較結果が「見逃し」となる一因として、欠陥有/欠陥無を判断するための閾値が緩すぎることが挙げられる。
When the inspection result of the
検査結果マトリクス25の検査結果が「欠陥有」で、期待値マトリクス27の期待値が「欠陥無」である場合、比較結果として「過検出」が出力される。「過検出」は、正常な部分を欠陥として検出してしまったことを意味する。すなわち、「過検出」は、検査結果が期待通りではないことを示す。比較結果が「過検出」となる一因として、欠陥有/欠陥無を判断するための閾値が厳しすぎることが挙げられる。
When the inspection result of the
検査結果マトリクス25の検査結果と、期待値マトリクス27の期待値との少なくとも一方が「無効」である場合、比較結果として「無効」が出力される。「無効」は、検査結果および期待値の少なくとも一方が存在しないことを意味する。
When at least one of the inspection result of the
検査結果マトリクス25と期待値マトリクス27との比較結果として比較結果マトリクス29が出力される。表示制御部22は、比較結果「正解OK」,「正解NG」,「見逃し」,「過検出」,「無効」を区別可能な態様で表示する。一例として、これらの比較結果は、色によって区別されてもよいし、ハッチングの種類によって区別されてもよい。
The
なお、期待通りの比較結果である「正解OK」および「正解NG」は、同一色(たとえば、白色)で表示されてもよい。 The "correct answer OK" and "correct answer NG", which are the expected comparison results, may be displayed in the same color (for example, white).
また、検査結果マトリクス25と同様に、比較結果マトリクス29についてもセルの集約/展開機能が実装されてもよい。一例として、集約対象のセルに「見逃し」または「過検出」が1つでも含まれている場合、表示制御部22は、集約後のセルを「見逃し」または「過検出」とする。集約対象のセルに「見逃し」および「過検出」の両方が含まれている場合、表示制御部22は、「見逃し」および「過検出」の両方を含むことを示す表示態様で集約対象のセルを表わす。
Further, similarly to the
<Q.期待値マトリクスの作成支援機能>
図34は、期待値マトリクス27の作成過程の一例を示す図である。画像処理装置20は、期待値マトリクス27の作成を支援する機能を有する。
<Q. Expected value matrix creation support function>
FIG. 34 is a diagram showing an example of the process of creating the expected
より具体的には、ユーザは、検査結果マトリクス25の各セルを選択する。セルの選択操作は、画像処理装置20に備えられる操作部に対して行なわれる。当該操作部は、たとえば、キーボード134(図8参照)、マウス、タッチパネルなどを含む。
More specifically, the user selects each cell of the
一例として、ユーザによってセル群CE10が選択されたとする。その後、ユーザは、検査結果マトリクス25のセル群CE10を編集中の期待値マトリクス27にコピーする。これにより、ユーザは、期待値マトリクス27の各セルを1つずつ入力する必要がなくなり、期待値マトリクス27の作成の手間が軽減される。
As an example, it is assumed that the cell group CE10 is selected by the user. After that, the user copies the cell group CE10 of the
ユーザによって作成された期待値マトリクス27は、上述の期待値ファイル146H(図11参照)として画像処理装置20に格納される。
The expected
<R.検査結果の3次元表示のフロー>
画像処理装置20は、ワークの検査結果を3次元モデルMLに反映することで、検査結果を3次元表示する機能を有する。ユーザは、3次元モデルML上で検査結果を確認することで、欠陥が生じている箇所を容易に判別することができる。
<R. Flow of 3D display of inspection results>
The
以下では、図35を参照して、検査結果の3次元表示処理について説明する。図35は、検査結果の3次元表示処理の流れの一例を示すフローチャートである。図35に示される処理は、画像処理装置20のプロセッサ110が表示プログラム143(図8参照)を実行することにより実現される。なお、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
Hereinafter, the three-dimensional display process of the inspection result will be described with reference to FIG. 35. FIG. 35 is a flowchart showing an example of the flow of the three-dimensional display processing of the inspection result. The process shown in FIG. 35 is realized by the
ステップS90において、プロセッサ110は、検査結果の3次元表示処理の実行操作を受け付けたか否かを判断する。当該表示操作は、画像処理装置20に備えられる操作部に対して行なわれる。当該操作部は、たとえば、キーボード134(図8参照)、マウス、タッチパネルなどを含む。プロセッサ110は、検査結果の3次元表示処理の実行操作を受け付けたと判断した場合(ステップS90においてYES)、制御をステップS92に切り替える。そうでない場合には(ステップS90においてNO)、プロセッサ110は、ステップS90の処理を再び実行する。
In step S90, the
ステップS92において、プロセッサ110は、上述の表示制御部22(図1参照)として、ワークの3次元モデルMLを上述のワーク情報ファイル146E(図11参照)から取得し、取得した3次元モデルMLを表示装置23に表示する。
In step S92, the
ステップS100において、プロセッサ110は、検査結果の3次元表示の更新指示を受け付けたか否かを判断する。当該更新指示は、たとえば、新たな検査結果が検査部21から得られたことに基づいて発せられる。あるいは、当該更新指示は、欠陥を示す検査結果が検査部21によって検出されたことに基づいて発せられる。あるいは、当該更新指示は、ユーザ操作に基づいて発せられる。プロセッサ110は、検査結果の3次元表示の更新指示を受け付けたと判断した場合(ステップS100においてYES)、制御をステップS102に切り替える。そうでない場合には(ステップS100においてNO)、プロセッサ110は、制御をステップS120に切り替える。
In step S100, the
ステップS102において、プロセッサ110は、上述の検査結果ファイル146D(図12参照)を参照して、検査対象のワークのワークNoの各検査対象部分について検査結果を取得する。
In step S102, the
ステップS104において、プロセッサ110は、上述の表示制御部22として、ステップS102で取得した各検査結果を、ステップS92で表示された3次元モデルML上の対応箇所に表わす。上述の図13~図18で説明したように、検査対象位置Biは、3次元モデルMLに対して設定されるので、3次元モデルMLと検査対象位置Biとの関係は既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、ステップS102で取得した各検査結果を3次元モデルML上に反映することができる。
In step S104, the
典型的には、プロセッサ110は、各検査対象部分の検査結果を3次元モデルML上の対応部分に表わす際に、欠陥を示す部分を他の部分とは異なる表示態様で表示する。一例として、欠陥を示す部分は、特定の色(たとえば、赤色)で表わされてもよいし、点滅表示で表わされてもよい。これにより、ユーザは、欠陥を示す部分をより判別しやすくなる。
Typically, when the inspection result of each inspection target portion is represented by the corresponding portion on the three-dimensional model ML, the
ステップS110において、プロセッサ110は、3次元モデル上に示される検査対象部分のいずれかが選択されたか否かを判断する。当該選択操作は、画像処理装置20に備えられる操作部に対して行なわれる。当該操作部は、たとえば、キーボード134(図8参照)、マウス、タッチパネルなどを含む。プロセッサ110は、3次元モデル上に表わされている検査対象部分のいずれかが選択されたと判断した場合(ステップS110においてYES)、制御をステップS112に切り替える。そうでない場合には(ステップS110においてNO)、プロセッサ110は、制御をステップS120に切り替える。
In step S110, the
ステップS112において、プロセッサ110は、上述の検査部21または表示制御部22として、ステップS110で選択された検査対象部分に応じた処理を実行する。選択された検査対象部分に応じて実行される処理の詳細については後述する。
In step S112, the
ステップS120において、プロセッサ110は、検査結果の3次元表示画面を閉じる操作を受け付けたか否かを判断する。プロセッサ110は、検査結果の3次元表示画面を閉じる操作を受け付けたと判断した場合(ステップS120においてYES)、図35に示される処理を終了する。そうでない場合には(ステップS120においてNO)、プロセッサ110は、制御をステップS100に戻す。
In step S120, the
以上のように、ステップS100において検査結果の3次元表示の更新指示が発せられた時点で検査結果の3次元表示が更新される。上述のように、更新指示は、たとえば、欠陥を示す検査結果が検査部21によって検出されたことに基づいて発せられる。すなわち、プロセッサ110は、順次検査されるワークに欠陥が検出された時点で、当該ワークについての各検査対象部分の検査結果で3次元モデルMLに表わされている検査結果を更新する。その結果、欠陥を示す検査結果が検出されない間は、3次元モデルML上に表示される検査結果が更新されない。これにより、常に、欠陥を示す最新の検査結果が3次元モデルML上に表示される。そのため、ユーザは、欠陥を示す検査結果を見逃しにくくなる。
As described above, the three-dimensional display of the inspection result is updated when the instruction to update the three-dimensional display of the inspection result is issued in step S100. As described above, the update instruction is issued based on, for example, the inspection result indicating the defect being detected by the
<S.3次元モデルに対する検査対象部分の選択機能>
図35のステップS110,S112に示されるように、画像処理装置20は、3次元モデルMLに示される検査対象部分のいずれかが選択されたことに基づいて、選択された検査対象部分に応じた処理を実行する。実行される得る処理としては、たとえば、以下で説明する具体例1,2の処理が挙げられる。以下では、これらの処理について順に説明する。
<S. Selection function of the inspection target part for the 3D model>
As shown in steps S110 and S112 of FIG. 35, the
なお、典型的には、画像処理装置20は、3次元モデルML上の検査対象部分の選択操作を受け付けたことに基づいて、下記の具体例1,2に示す処理の少なくとも1つを実行する。あるいは、画像処理装置20は、3次元モデルML上の検査対象部分の選択操作を受け付けたことに基づいて、下記の具体例1,2に示す処理の選択画面を表示し、当該選択画面において選択された処理を実行してもよい。
Typically, the
(S1.具体例1)
図36は、3次元モデルMLに示される検査対象部分の選択操作に応じて実行される処理の具体例1を示す図である。
(S1. Specific example 1)
FIG. 36 is a diagram showing a specific example 1 of a process executed in response to a selection operation of an inspection target portion shown in the three-dimensional model ML.
図36に示されるように、表示装置23には、検査対象のワークの3次元モデルMLと、垂直方向を軸として3次元モデルMLを回転させるためのツールボタン71と、水平方向を軸として3次元モデルMLを回転させるためのツールボタン72とが表示される。ユーザは、ツールボタン71,72を操作することにより、3次元モデルMLを適宜回転させることができる。
As shown in FIG. 36, the
上述の図13~図18で説明したように、検査対象位置Biは、3次元モデルMLに対して設定されるので、3次元モデルMLと検査対象位置Biとの関係は既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、3次元モデルML上に検査対象部分を表わすことができる。図36の例では、3次元モデルMLにおいて、検査対象部分A1~A4が表わされている。
As described with reference to FIGS. 13 to 18 above, the inspection target position Bi is set for the three-dimensional model ML, so that the relationship between the three-dimensional model ML and the inspection target position Bi is known. Therefore, the
また、表示制御部22は、3次元モデルML上の検査対象部分A1~A4において検査結果を表わす。一例として、「欠陥有」を示す部分は、特定の色(たとえば、赤色)で表わされてもよいし、点滅表示で表わされてもよい。「欠陥無」を示す部分は、「欠陥有」を示す部分とは異なる色(たとえば、緑色)で表わされる。
Further, the
図36の例では、検査対象部分A1が「欠陥有」を示しており、検査対象部分A2~A4が「欠陥無」を示している。好ましくは、表示制御部22は、検査対象部分A1内の欠陥を示す欠陥部分A1_1を他の部分よりも強調表示する。
In the example of FIG. 36, the inspection target portion A1 indicates “with a defect”, and the inspection target portions A2 to A4 indicate “no defect”. Preferably, the
ユーザは、検査対象部分A1~A4のいずれかを選択することができる。図36の例では、検査対象部分A1が選択されている。画像処理装置20は、検査対象部分A1が選択されたことに基づいて、検査対象部分A1の検査に用いられた画像と、当該画像の撮像条件とを表示装置23に表示する。これにより、ユーザは、欠陥を示す画像を目視で確認したり、撮像条件の妥当性などを確認することができる。
The user can select any of the inspection target portions A1 to A4. In the example of FIG. 36, the inspection target portion A1 is selected. Based on the selection of the inspection target portion A1, the
より具体的には、画像処理装置20は、検査対象部分A1が選択されたことに基づいて、検査対象のワークのワークNoと選択された検査対象部分A1との組み合わせをキーとして対応する画像ファイルを上述の画像ファイル群146B(図11参照)から取得する。次に、画像処理装置20は、検査対象部分A1をキーとして対応する撮像条件を上述の撮像条件ファイル146A(図11参照)から取得する。表示制御部22は、取得した画像ファイルと撮像条件とを、選択された検査対象部分A1に対応付けられたポップアップ画面PU6上に表示する。表示された撮像条件は、任意の値に変更可能に構成される。
More specifically, the
なお、図36の例では、検査対象部分の選択操作に応じて撮像画像と撮像条件との両方が表示される例について説明を行なったが、表示制御部22は、検査対象部分の選択操作に応じて撮像画像および撮像条件のいずれか一方を表示してもよい。
In the example of FIG. 36, an example in which both the captured image and the imaging condition are displayed according to the selection operation of the inspection target portion has been described, but the
(S2.具体例2)
図37は、3次元モデルMLに示される検査対象部分の選択操作に応じて実行される処理の具体例2を示す図である。
(S2. Specific Example 2)
FIG. 37 is a diagram showing a specific example 2 of the process executed in response to the selection operation of the inspection target portion shown in the three-dimensional model ML.
3次元モデルMLは、検査対象部分A1~A4を含む。ユーザは、検査対象部分A1~A4のいずれかを選択することができる。図37の例では、検査対象部分A1が選択されている。画像処理装置20は、検査対象部分A1が選択されたことに基づいて、検査対象のワークのワークNoと選択された検査対象部分A1との組み合わせをキーとして対応する撮像条件を上述の撮像条件ファイル146A(図11参照)から取得する。次に、画像処理装置20の表示制御部22は、取得した撮像条件を3次元モデルMLの対応箇所に表わす。
The three-dimensional model ML includes the inspection target portions A1 to A4. The user can select any of the inspection target portions A1 to A4. In the example of FIG. 37, the inspection target portion A1 is selected. Based on the selection of the inspection target portion A1, the
一例として、表示される撮像条件は、3次元モデルMLに対する撮像装置10の撮影位置を含む。上述の図19で説明したように、3次元モデルMLに対する撮像装置10の撮影位置Ciは、設定装置60による設定処理で決定されているので、3次元モデルMLに対する撮像装置10の撮影位置Ciは既知である。そのため、画像処理装置20の表示制御部22は、この既知の情報に基づいて、撮像装置10を表わす模式図10Aを撮影位置Ci上に表示することができる。図37の例では、撮影位置C1において撮像装置10の模式図10Aが表示されている。
As an example, the displayed imaging conditions include the imaging position of the
なお、上述の例では、撮像条件として撮影位置が表示される例について説明を行なったが、表示される撮像条件は、撮影位置に限定されない。たとえば、撮像時における撮像装置10の光学条件、撮像時における照明条件などが表示されてもよい。
In the above example, an example in which the shooting position is displayed as the imaging condition has been described, but the displayed imaging condition is not limited to the imaging position. For example, the optical conditions of the
<T.検査対象部分の展開/集約機能>
図38は、3次元モデルMLに示される検査対象部分の展開/集約している過程を示す図である。
<T. Expansion / aggregation function of the part to be inspected>
FIG. 38 is a diagram showing a process of developing / aggregating the inspection target portion shown in the three-dimensional model ML.
3次元モデルMLに示される検査対象部分は、上述の分類ルール134A(図4参照)において階層的に関連付けられている。上位の階層に規定される検査対象部分は、下位の階層に規定される検査対象部分を包含する関係を有する。上位の階層に規定される検査対象部分に包含されている下位の検査対象部分は、同一グループとみなされる。
The inspection target portions shown in the three-dimensional model ML are hierarchically associated with each other in the above-mentioned
図38の例では、3次元モデルML上において、検査対象部分A~Cが示されている。一例として、上位の検査対象部分Aには、下位の検査対象部分A1~A3が関連付けられているとする。上位の検査対象部分Aに包含されている検査対象部分A1~A3は、同一グループとみなされる。 In the example of FIG. 38, the inspection target portions A to C are shown on the three-dimensional model ML. As an example, it is assumed that the lower inspection target portions A1 to A3 are associated with the upper inspection target portion A. The inspection target portions A1 to A3 included in the higher inspection target portion A are regarded as the same group.
上位の検査対象部分A1には、下位の検査対象部分A1_1~A1_4が関連付けられているとする。上位の検査対象部分A1に包含されている検査対象部分A1_1~A1_4は、同一グループとみなされる。 It is assumed that the lower inspection target portions A1_1 to A1_4 are associated with the upper inspection target portion A1. The inspection target portions A1_1 to A1_4 included in the higher inspection target portion A1 are regarded as the same group.
3次元モデルML上の検査対象部分A~Cには検査結果が表わされる。検査対象部分A~Cの検査結果は、上述の検査結果ファイル146D(図12参照)から取得される。一例として、検査対象部分Aは「欠陥有」を示し、検査対象部分B,Cは「欠陥無」を示す。
The inspection results are represented in the inspection target portions A to C on the three-dimensional model ML. The inspection results of the inspection target portions A to C are obtained from the above-mentioned
検査対象部分Aには、展開/集約ボタンBT1が割り付けられている。検査対象部分Bには、展開/集約ボタンBT2が割り付けられている。検査対象部分Cには、展開/集約ボタンBT3が割り付けられている。「+」は展開ボタンを示し、「-」は集約ボタンを示す。 An expansion / aggregation button BT1 is assigned to the inspection target portion A. An expansion / aggregation button BT2 is assigned to the inspection target portion B. An expansion / aggregation button BT3 is assigned to the inspection target portion C. "+" Indicates an expand button, and "-" indicates an aggregate button.
表示制御部22は、グルーピングされている検査対象部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査対象部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査対象部分に対応する3次元モデルML上の各部分に表わす。また、表示制御部22は、集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻す。
When the
たとえば、展開/集約ボタンBT1が押下された場合、表示制御部22は、検査対象部分Aを下位の検査対象部分A1~A3に展開する。次に、表示制御部22は、検査対象部分A1~A3の検査結果を検査対象部分A1~A3に反映する。検査対象部分A1~A3の検査結果は、上述の検査結果ファイル146D(図12参照)から取得される。一例として、検査対象部分A1は「欠陥有」を示し、検査対象部分A2,A3は「欠陥無」を示す。
For example, when the expansion / aggregation button BT1 is pressed, the
次に、表示制御部22は、検査対象部分A1に展開/集約ボタンBT1_1を割り付ける。同様に、表示制御部22は、検査対象部分A2に展開/集約ボタンBT1_2を割り付ける。同様に、表示制御部22は、検査対象部分A3に展開/集約ボタンBT1_3を割り付ける。
Next, the
展開/集約ボタンBT1_1の「+」が押下された場合、表示制御部22は、検査対象部分A1を下位の検査対象部分A1_1~A1_4に展開する。次に、表示制御部22は、検査対象部分A1_1~A1_4の検査結果を検査対象部分A1_1~A1_4に反映する。検査対象部分A1_1~A1_4の検査結果は、上述の検査結果ファイル146D(図12参照)から取得される。一例として、検査対象部分A1_1~A1_3は「欠陥無」を示し、検査対象部分A1_4は「欠陥有」を示す。
When the "+" of the expand / aggregate button BT1_1 is pressed, the
展開/集約ボタンBT1_1Aが押下された場合、表示制御部22は、検査対象部分A1_1~A1_4を上位の検査対象部分A1に集約する。このとき、「欠陥有」を示す検査結果が集約対象の検査対象部分の検査結果に1個でも含まれている場合、表示制御部22は、集約後の検査対象部分の検査結果を「欠陥有」とする。一方で、「欠陥有」を示す検査結果が集約対象の検査対象部分の検査結果に1個も含まれていない場合、表示制御部22は、集約後の検査対象部分の検査結果を「欠陥無」とする。検査対象部分A1_4は「欠陥有」を示すので、表示制御部22は、検査対象部分A1_1~A1_4を集約した検査対象部分A1の検査結果を「欠陥有」とする。
When the expand / aggregate button BT1_1A is pressed, the
展開/集約ボタンBT1の「-」が押下された場合、表示制御部22は、検査対象部分A1~A3を検査対象部分Aに集約する。検査対象部分A1は「欠陥有」を示すので、表示制御部22は、検査対象部分A1~A3を集約した検査対象部分Aの検査結果を「欠陥有」とする。
When the "-" of the expansion / aggregation button BT1 is pressed, the
<U.外観検査システムの変形例>
図39は、変形例に係る外観検査システムを示す図である。図39に示される外観検査システムは、図1に示す外観検査システム1と比較して、PLC50を備えず、画像処理装置20の代わりに画像処理装置20aを備える点で相違する。画像処理装置20aは、上記の画像処理装置20の構成とPLC50の構成との両方を有する。
<U. Modification example of visual inspection system>
FIG. 39 is a diagram showing a visual inspection system according to a modified example. The visual inspection system shown in FIG. 39 is different from the
図40は、ワークWと撮像装置10との間の相対位置を変更する別の形態を示す図である。図40に示されるように、ロボット30は、撮像装置10ではなく、ワークWを移動させてもよい。図40に示す例では、撮像装置10は固定される。このようにワークWを移動させることにより、ワークWと撮像装置10との間の相対位置を変更してもよい。
FIG. 40 is a diagram showing another mode in which the relative position between the work W and the
図41は、ワークWと撮像装置10との間の相対位置を変更するさらに別の形態を示す図である。図41に示されるように、ワークWは、回転テーブル91の上に載置されてもよい。回転テーブル91は、ロボットコントローラ40の指示に応じて回転する。これにより、ワークWと撮像装置10との間の相対位置を容易に変更することができる。
FIG. 41 is a diagram showing still another mode in which the relative position between the work W and the
なお、ロボット30は、垂直多関節ロボット以外のロボット(たとえば、水平多関節ロボット、直交ロボットなど)であってもよい。
The
上記では、撮像視野FOVおよび実効視野FOV2を円形とした説明したが、撮像視野FOVおよび実効視野FOV2の形状は、円形に限定されず、たとえば矩形(長方形、正方形)であってもよい。 In the above, the imaging field of view FOV and the effective field of view FOV2 have been described as being circular, but the shapes of the imaging field of view FOV and the effective field of view FOV2 are not limited to a circle, and may be, for example, a rectangle (rectangle, square).
<V.付記>
以上のように、本実施形態は以下のような開示を含む。
<V. Addendum>
As described above, the present embodiment includes the following disclosures.
[構成1]
検査対象物(W)と撮像装置(10)との間の相対位置を変化させつつ前記検査対象物(W)の複数の検査部分を前記撮像装置(10)で撮像して、前記検査対象物(W)の外観検査を行なう外観検査システムであって、
表示装置(23)と、
前記検査対象物(W)の形状を表わす3次元モデル(ML)を格納するための記憶装置とを備え、前記検査対象物(W)の複数の検査部分は、前記3次元モデル(ML)に対して予め設定されており、
前記検査対象物(W)の各検査部分を撮像して前記撮像装置(10)から得られた各画像に基づいて、当該検査対象物(W)の各検査部分について欠陥の有無を検査するための検査部(21)と、
前記3次元モデル(ML)を前記表示装置(23)に表示するとともに、前記検査対象物(W)の各検査部分の検査結果を前記3次元モデル(ML)上の対応部分に表わすための表示制御部(22)とを備える、外観検査システム。
[Structure 1]
While changing the relative position between the inspection object (W) and the image pickup device (10), a plurality of inspection portions of the inspection object (W) are imaged by the image pickup device (10), and the inspection object is imaged. (W) is a visual inspection system that performs visual inspection.
Display device (23) and
A storage device for storing a three-dimensional model (ML) representing the shape of the inspection object (W) is provided, and a plurality of inspection portions of the inspection object (W) are provided in the three-dimensional model (ML). On the other hand, it is preset and
To inspect each inspection part of the inspection object (W) for defects based on each image obtained from the image pickup apparatus (10) by imaging each inspection portion of the inspection object (W). Inspection department (21) and
The display for displaying the three-dimensional model (ML) on the display device (23) and displaying the inspection results of each inspection portion of the inspection object (W) on the corresponding portion on the three-dimensional model (ML). A visual inspection system including a control unit (22).
[構成2]
前記表示制御部(22)は、さらに、前記検査対象物(W)の各検査部分を前記3次元モデル(ML)上の対応部分に表わす、構成1に記載の外観検査システム。
[Structure 2]
The visual inspection system according to
[構成3]
前記表示制御部(22)は、前記検査対象物(W)の各検査部分の検査結果を前記3次元モデル(ML)上の対応部分に表わす際に、欠陥を示す部分を他の部分とは異なる表示態様で表示する、構成1または2に記載の外観検査システム。
[Structure 3]
When the display control unit (22) displays the inspection result of each inspection portion of the inspection object (W) on the corresponding portion on the three-dimensional model (ML), the portion showing a defect is different from the other portion. The visual inspection system according to
[構成4]
前記3次元モデル(ML)に対して設定される各検査部分は、予め定められた分類ルールに従ってグルーピングされており、
前記表示制御部(22)は、
グルーピングされている検査部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査部分に対応する前記3次元モデル(ML)上の各部分に表わし、
前記集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻す、構成1~3のいずれか1項に記載の外観検査システム。
[Structure 4]
Each inspection part set for the three-dimensional model (ML) is grouped according to a predetermined classification rule.
The display control unit (22)
When an aggregation instruction is received for the grouped inspection parts, the inspection results of the grouped inspection parts are aggregated, and the inspection results after the aggregation are collected in the three dimensions corresponding to the grouped inspection parts. Represented in each part on the model (ML)
The visual inspection system according to any one of
[構成5]
欠陥を示す検査結果が、前記グルーピングされている検査部分の検査結果に含まれている場合、集約後の検査結果は、欠陥を示し、
欠陥を示す検査結果が、前記グルーピングされている検査部分の検査結果に含まれていない場合、集約後の検査結果は、正常を示す、構成4に記載の外観検査システム。
[Structure 5]
When the inspection result indicating a defect is included in the inspection result of the grouped inspection portion, the inspection result after aggregation indicates a defect and indicates a defect.
The visual inspection system according to
[構成6]
前記外観検査システムは、前記3次元モデル(ML)上に表わされる検査部分の内から、1つ以上の検査部分を選択する選択操作を受け付けることが可能な操作部(134)をさらに備え、
前記表示制御部(22)は、前記操作部(134)が前記選択操作を受け付けたことに基づいて、選択された検査部分の検査に用いられた画像と、当該画像の撮像条件との少なくとも一方を前記表示装置(23)に表示する、構成1~5のいずれか1項に記載の外観検査システム。
[Structure 6]
The visual inspection system further includes an operation unit (134) capable of accepting a selection operation for selecting one or more inspection portions from the inspection portions represented on the three-dimensional model (ML).
The display control unit (22) has at least one of an image used for inspection of the selected inspection portion and an imaging condition of the image based on the acceptance of the selection operation by the operation unit (134). The visual inspection system according to any one of the
[構成7]
前記検査部(21)は、複数の検査対象物(W)の検査処理を順次実行し、
前記表示制御部(22)は、順次検査される検査対象物(W)に欠陥が検出された時点で、当該検査対象物(W)の各検査部分の検査結果で前記3次元モデル(ML)上に表わされている検査結果を更新する、構成1~6のいずれか1項に記載の外観検査システム。
[Structure 7]
The inspection unit (21) sequentially executes inspection processing of a plurality of inspection objects (W), and then performs inspection processing.
When a defect is detected in the inspection target (W) to be sequentially inspected, the display control unit (22) uses the inspection results of each inspection portion of the inspection target (W) to obtain the three-dimensional model (ML). The visual inspection system according to any one of
[構成8]
検査対象物(W)と撮像装置(10)との間の相対位置を変化させつつ前記検査対象物(W)の複数の検査部分を前記撮像装置(10)で撮像して行なわれた外観検査結果の表示方法であって、
前記検査対象物(W)の形状を表わす3次元モデル(ML)を取得するステップを備え、前記検査対象物(W)の複数の検査部分は、前記3次元モデル(ML)に対して予め設定されており、
前記検査対象物(W)の各検査部分を撮像して前記撮像装置(10)から得られた各画像に基づいて、当該検査対象物(W)の各検査部分について欠陥の有無を検査するステップと、
前記3次元モデル(ML)を表示装置(23)に表示するとともに、前記検査対象物(W)の各検査部分の検査結果を前記3次元モデル(ML)上の対応部分に表わすステップとを備える、外観検査結果の表示方法。
[Structure 8]
A visual inspection performed by imaging a plurality of inspection portions of the inspection object (W) with the imaging device (10) while changing the relative position between the inspection object (W) and the image pickup device (10). How to display the result
A step of acquiring a three-dimensional model (ML) representing the shape of the inspection object (W) is provided, and a plurality of inspection portions of the inspection object (W) are preset with respect to the three-dimensional model (ML). Has been
A step of imaging each inspection portion of the inspection object (W) and inspecting each inspection portion of the inspection object (W) for the presence or absence of defects based on each image obtained from the image pickup apparatus (10). When,
The three-dimensional model (ML) is displayed on the display device (23), and the inspection result of each inspection portion of the inspection object (W) is displayed on the corresponding portion on the three-dimensional model (ML). , How to display visual inspection results.
[構成9]
検査対象物(W)と撮像装置(10)との間の相対位置を変化させつつ前記検査対象物(W)の複数の検査部分を前記撮像装置(10)で撮像して行なわれた外観検査結果の表示プログラムであって、
前記表示プログラムは、コンピュータに、
前記検査対象物(W)の形状を表わす3次元モデル(ML)を取得するステップを備え、前記検査対象物(W)の複数の検査部分は、前記3次元モデル(ML)に対して予め設定されており、
前記検査対象物(W)の各検査部分を撮像して前記撮像装置(10)から得られた各画像に基づいて、当該検査対象物(W)の各検査部分について欠陥の有無を検査するステップと、
前記3次元モデル(ML)を表示装置(23)に表示するとともに、前記検査対象物(W)の各検査部分の検査結果を前記3次元モデル(ML)上の対応部分に表わすステップとを実行させる、外観検査プログラム。
[Structure 9]
A visual inspection performed by imaging a plurality of inspection portions of the inspection object (W) with the imaging device (10) while changing the relative position between the inspection object (W) and the image pickup device (10). The result display program
The display program is installed on the computer.
A step of acquiring a three-dimensional model (ML) representing the shape of the inspection object (W) is provided, and a plurality of inspection portions of the inspection object (W) are preset with respect to the three-dimensional model (ML). Has been
A step of imaging each inspection portion of the inspection object (W) and inspecting each inspection portion of the inspection object (W) for the presence or absence of defects based on each image obtained from the image pickup apparatus (10). When,
The step of displaying the three-dimensional model (ML) on the display device (23) and displaying the inspection result of each inspection portion of the inspection object (W) on the corresponding portion on the three-dimensional model (ML) is executed. Let, visual inspection program.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
1 外観検査システム、10 撮像装置、10A 模式図、20,20a 画像処理装置、21 検査部、22 表示制御部、23 表示装置、25 検査結果マトリクス、27 期待値マトリクス、29 比較結果マトリクス、30 ロボット、31 基台、32 アーム、32a 先端アーム、40 ロボットコントローラ、50 PLC、60 設定装置、61a,61b 画面、71,72,76,77 ツールボタン、74 丸印、75,75A,75B 検査対象領域、81 戻るボタン、82 進むボタン、90 ステージ、91 回転テーブル、110,214,362 プロセッサ、112 RAM、114 表示コントローラ、116 システムコントローラ、118 I/Oコントローラ、120,364 記憶装置、122 カメラインターフェイス、124 入力インターフェイス、126 コントローラインターフェイス、128,228,368 通信インターフェイス、130,222 メモリカードインターフェイス、134 キーボード、134A,134B,134C 分類ルール、136,224 メモリカード、142 画像処理プログラム、143 表示プログラム、144 プロジェクトファイル、146A 撮像条件ファイル、146B 画像ファイル群、146C 検査条件ファイル、146D 検査結果ファイル、146E ワーク情報ファイル、146F 生産情報ファイル、146G 分類ルールファイル、146H 期待値ファイル、212 チップセット、216 不揮発性メモリ、218 主メモリ、220 システムクロック、226 内部バス、230 内部バスコントローラ、232 制御回路、234 内部バス制御回路、236 バッファメモリ、238 フィールドバスコントローラ、361 バス、363 メインメモリ、365 設定プログラム、366 ディスプレイ、367 入力デバイス。 1 Visual inspection system, 10 Imaging device, 10A schematic diagram, 20, 20a Image processing device, 21 Inspection unit, 22 Display control unit, 23 Display device, 25 Inspection result matrix, 27 Expected value matrix, 29 Comparison result matrix, 30 Robot , 31 base, 32 arm, 32a tip arm, 40 robot controller, 50 PLC, 60 setting device, 61a, 61b screen, 71,72,76,77 tool button, 74 circle mark, 75,75A, 75B Inspection target area , 81 back button, 82 forward button, 90 stages, 91 turntables, 110, 214, 362 processors, 112 RAM, 114 display controllers, 116 system controllers, 118 I / O controllers, 120, 364 storage devices, 122 camera interfaces, 124 Input Interface, 126 Controller Interface, 128,228,368 Communication Interface, 130,222 Memory Card Interface, 134 Keyboard, 134A, 134B, 134C Classification Rule, 136,224 Memory Card, 142 Image Processing Program, 143 Display Program, 144 Project file, 146A imaging condition file, 146B image file group, 146C inspection condition file, 146D inspection result file, 146E work information file, 146F production information file, 146G classification rule file, 146H expected value file, 212 chip set, 216 non-volatile Memory, 218 main memory, 220 system clock, 226 internal bus, 230 internal bus controller, 232 control circuit, 234 internal bus control circuit, 236 buffer memory, 238 field bus controller, 361 bus, 363 main memory, 365 setting program, 366 Display, 367 input device.
Claims (8)
表示装置と、
前記検査対象物の形状を表わす3次元モデルを格納するための記憶装置とを備え、前記検査対象物の複数の検査部分は、前記3次元モデルに対して予め設定されており、
前記検査対象物の各検査部分を撮像して前記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するための検査部と、
前記3次元モデルを前記表示装置に表示するとともに、前記検査対象物の各検査部分の検査結果を前記3次元モデル上の対応部分に表わすための表示制御部とを備え、
前記3次元モデルに対して設定される各検査部分は、予め定められた分類ルールに従ってグルーピングされており、
前記表示制御部は、
グルーピングされている検査部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査部分に対応する前記3次元モデル上の各部分に表わし、
前記集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻す、外観検査システム。 It is a visual inspection system that performs an visual inspection of the inspection object by taking an image of a plurality of inspection portions of the inspection object with the imaging device while changing the relative position between the inspection object and the image pickup device.
Display device and
A storage device for storing a three-dimensional model representing the shape of the inspection object is provided, and a plurality of inspection portions of the inspection object are preset with respect to the three-dimensional model.
An inspection unit for inspecting each inspection portion of the inspection target for the presence or absence of defects based on each image obtained from the imaging device by imaging each inspection portion of the inspection target.
It is provided with a display control unit for displaying the three-dimensional model on the display device and displaying the inspection result of each inspection portion of the inspection object on the corresponding portion on the three-dimensional model .
Each inspection part set for the three-dimensional model is grouped according to a predetermined classification rule.
The display control unit
When an aggregation instruction is received for the grouped inspection parts, the inspection results of the grouped inspection parts are aggregated, and the inspection results after the aggregation are collected in the three dimensions corresponding to the grouped inspection parts. Represented in each part on the model
A visual inspection system that returns the display of the aggregated inspection results to the state before aggregation when the deployment instruction for the aggregated inspection results is received .
欠陥を示す検査結果が、前記グルーピングされている検査部分の検査結果に含まれていない場合、集約後の検査結果は、正常を示す、請求項1~3のいずれか1項に記載の外観検査システム。 When the inspection result indicating a defect is included in the inspection result of the grouped inspection portion, the inspection result after aggregation indicates a defect and indicates a defect.
The visual inspection according to any one of claims 1 to 3 , wherein the inspection result indicating a defect is not included in the inspection result of the grouped inspection portion, and the inspection result after aggregation indicates normality. system.
前記表示制御部は、前記操作部が前記選択操作を受け付けたことに基づいて、選択された検査部分の検査に用いられた画像と、当該画像の撮像条件との少なくとも一方を前記表示装置に表示する、請求項1~4のいずれか1項に記載の外観検査システム。 The visual inspection system further includes an operation unit capable of accepting a selection operation for selecting one or more inspection portions from the inspection portions represented on the three-dimensional model.
The display control unit displays at least one of the image used for the inspection of the selected inspection portion and the imaging condition of the image on the display device based on the acceptance of the selection operation by the operation unit. The visual inspection system according to any one of claims 1 to 4 .
前記表示制御部は、順次検査される検査対象物に欠陥が検出された時点で、当該検査対象物の各検査部分の検査結果で前記3次元モデル上に表わされている検査結果を更新する、請求項1~5のいずれか1項に記載の外観検査システム。 The inspection unit sequentially executes inspection processing of a plurality of inspection objects, and then performs inspection processing.
When a defect is detected in the inspection target to be sequentially inspected, the display control unit updates the inspection result displayed on the three-dimensional model in the inspection result of each inspection portion of the inspection target. , The visual inspection system according to any one of claims 1 to 5 .
前記検査対象物の形状を表わす3次元モデルを取得するステップを備え、前記検査対象物の複数の検査部分は、前記3次元モデルに対して予め設定されており、
前記検査対象物の各検査部分を撮像して前記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するステップと、
前記3次元モデルを表示装置に表示するとともに、前記検査対象物の各検査部分の検査結果を前記3次元モデル上の対応部分に表わすステップとを備え、
前記3次元モデルに対して設定される各検査部分は、予め定められた分類ルールに従ってグルーピングされており、
前記検査結果を前記3次元モデル上の対応部分に表わすステップは、
グルーピングされている検査部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査部分に対応する前記3次元モデル上の各部分に表わすステップと、
前記集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻すステップとを含む、外観検査結果の表示方法。 It is a method of displaying the visual inspection result performed by imaging a plurality of inspection portions of the inspection object with the imaging device while changing the relative position between the inspection object and the imaging device.
A step of acquiring a three-dimensional model representing the shape of the inspection object is provided, and a plurality of inspection portions of the inspection object are preset with respect to the three-dimensional model.
A step of imaging each inspection portion of the inspection target and inspecting each inspection portion of the inspection target for the presence or absence of defects based on each image obtained from the imaging device.
It is provided with a step of displaying the three-dimensional model on a display device and displaying the inspection result of each inspection portion of the inspection object on the corresponding portion on the three-dimensional model.
Each inspection part set for the three-dimensional model is grouped according to a predetermined classification rule.
The step of expressing the inspection result in the corresponding part on the three-dimensional model is
When an aggregation instruction is received for the grouped inspection parts, the inspection results of the grouped inspection parts are aggregated, and the inspection results after the aggregation are collected in the three dimensions corresponding to the grouped inspection parts. The steps shown in each part of the model and
A method for displaying visual inspection results , which comprises a step of returning the display of the aggregated inspection results to before aggregation when an expansion instruction for the aggregated inspection results is received .
前記表示プログラムは、コンピュータに、
前記検査対象物の形状を表わす3次元モデルを取得するステップを実行させ、前記検査対象物の複数の検査部分は、前記3次元モデルに対して予め設定されており、
前記表示プログラムは、前記コンピュータに、さらに、
前記検査対象物の各検査部分を撮像して前記撮像装置から得られた各画像に基づいて、当該検査対象物の各検査部分について欠陥の有無を検査するステップと、
前記3次元モデルを表示装置に表示するとともに、前記検査対象物の各検査部分の検査結果を前記3次元モデル上の対応部分に表わすステップとを実行させ、
前記3次元モデルに対して設定される各検査部分は、予め定められた分類ルールに従ってグルーピングされており、
前記検査結果を前記3次元モデル上の対応部分に表わすステップは、
グルーピングされている検査部分に対する集約指示を受け付けた場合に、当該グルーピングされている検査部分の検査結果を集約し、当該集約後の検査結果を、当該グルーピングされている検査部分に対応する前記3次元モデル上の各部分に表わすステップと、
前記集約された検査結果に対する展開指示を受け付けた場合に、当該集約された検査結果の表示を集約前に戻すステップとを含む、外観検査結果の表示プログラム。 It is a display program of visual inspection results performed by imaging a plurality of inspection portions of the inspection object with the imaging device while changing the relative position between the inspection object and the imaging device.
The display program is installed on the computer.
A step of acquiring a three-dimensional model representing the shape of the inspection object is executed, and a plurality of inspection portions of the inspection object are preset for the three-dimensional model.
The display program is applied to the computer and further.
A step of imaging each inspection portion of the inspection target and inspecting each inspection portion of the inspection target for the presence or absence of defects based on each image obtained from the imaging device.
The three-dimensional model is displayed on the display device, and the step of displaying the inspection result of each inspection portion of the inspection object in the corresponding portion on the three-dimensional model is executed .
Each inspection part set for the three-dimensional model is grouped according to a predetermined classification rule.
The step of expressing the inspection result in the corresponding part on the three-dimensional model is
When an aggregation instruction is received for the grouped inspection parts, the inspection results of the grouped inspection parts are aggregated, and the inspection results after the aggregation are collected in the three dimensions corresponding to the grouped inspection parts. The steps shown in each part of the model and
A visual inspection result display program including a step of returning the display of the aggregated inspection results to before aggregation when an expansion instruction for the aggregated inspection results is received .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122069A JP7070153B2 (en) | 2018-06-27 | 2018-06-27 | Visual inspection system, visual inspection result display method, and visual inspection result display program |
PCT/JP2019/021683 WO2020003888A1 (en) | 2018-06-27 | 2019-05-31 | External-appearance inspection system, method for displaying external-appearance inspection result, and program for displaying external-appearance inspection result |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122069A JP7070153B2 (en) | 2018-06-27 | 2018-06-27 | Visual inspection system, visual inspection result display method, and visual inspection result display program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020003301A JP2020003301A (en) | 2020-01-09 |
JP7070153B2 true JP7070153B2 (en) | 2022-05-18 |
Family
ID=68984999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018122069A Active JP7070153B2 (en) | 2018-06-27 | 2018-06-27 | Visual inspection system, visual inspection result display method, and visual inspection result display program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7070153B2 (en) |
WO (1) | WO2020003888A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021148593A (en) * | 2020-03-19 | 2021-09-27 | 株式会社Screenホールディングス | Inspection system, display method of inspection result, and display program |
CN113466236A (en) | 2020-03-30 | 2021-10-01 | 新东工业株式会社 | Inspection result display device and recording medium |
JP7338534B2 (en) | 2020-03-30 | 2023-09-05 | 新東工業株式会社 | Display controller and control program |
US11810286B2 (en) | 2020-03-30 | 2023-11-07 | Sintokogio, Ltd. | Display control device and storage medium |
JP7363638B2 (en) * | 2020-03-30 | 2023-10-18 | 新東工業株式会社 | Display control device and control program |
WO2023248573A1 (en) * | 2022-06-24 | 2023-12-28 | 富士フイルム株式会社 | Display control device, display control method, and display control program |
CN115292964B (en) * | 2022-09-28 | 2023-01-06 | 中科航迈数控软件(深圳)有限公司 | Visual service life management method, system, terminal and storage medium for processing parts |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020828A (en) | 2007-07-13 | 2009-01-29 | Sharp Corp | Display device and display method |
JP2009237759A (en) | 2008-03-26 | 2009-10-15 | Fujitsu Ltd | Display control device, display control method, and display control program |
JP2010177293A (en) | 2009-01-27 | 2010-08-12 | Omron Corp | Information display system and information display method for quality control of component-mounted substrate |
JP2014132437A (en) | 2013-01-02 | 2014-07-17 | Boeing Co | Systems and methods for stand-off inspection of aircraft structures |
JP2015038749A (en) | 2009-02-25 | 2015-02-26 | マイクロソフト コーポレーション | Multi-condition filtering of interactive summary table |
US20160328835A1 (en) | 2011-09-28 | 2016-11-10 | Kurion, Inc. | Automatic detection of defects in composite structures using ndt methods |
JP2017062160A (en) | 2015-09-24 | 2017-03-30 | アイシン精機株式会社 | Defect inspection device and defect inspection method |
JP2018096660A (en) | 2016-12-16 | 2018-06-21 | 三菱日立パワーシステムズ株式会社 | Management device, boiler system provided with the same, and method for managing identification information |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59153151A (en) * | 1983-02-21 | 1984-09-01 | Dainippon Printing Co Ltd | Apparatus for inspecting defect of regular pattern |
JPH0656363B2 (en) * | 1985-11-08 | 1994-07-27 | 日産自動車株式会社 | Data output method of surface defect inspection device |
JPS63141332A (en) * | 1986-12-03 | 1988-06-13 | Hitachi Electronics Eng Co Ltd | Zooming map displaying method for detective data on face plate |
JPH01187438A (en) * | 1988-01-22 | 1989-07-26 | Hitachi Electron Eng Co Ltd | Zooming display system for close presence part of disk defect |
JP2748977B2 (en) * | 1988-09-12 | 1998-05-13 | オムロン株式会社 | Board inspection result display device |
JP2000004079A (en) * | 1998-06-12 | 2000-01-07 | Omron Corp | Solder inspection equipment |
JP2007281500A (en) * | 1998-11-30 | 2007-10-25 | Hitachi Ltd | Inspection device, inspection system and inspection method for circuit pattern |
-
2018
- 2018-06-27 JP JP2018122069A patent/JP7070153B2/en active Active
-
2019
- 2019-05-31 WO PCT/JP2019/021683 patent/WO2020003888A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020828A (en) | 2007-07-13 | 2009-01-29 | Sharp Corp | Display device and display method |
JP2009237759A (en) | 2008-03-26 | 2009-10-15 | Fujitsu Ltd | Display control device, display control method, and display control program |
JP2010177293A (en) | 2009-01-27 | 2010-08-12 | Omron Corp | Information display system and information display method for quality control of component-mounted substrate |
JP2015038749A (en) | 2009-02-25 | 2015-02-26 | マイクロソフト コーポレーション | Multi-condition filtering of interactive summary table |
US20160328835A1 (en) | 2011-09-28 | 2016-11-10 | Kurion, Inc. | Automatic detection of defects in composite structures using ndt methods |
JP2014132437A (en) | 2013-01-02 | 2014-07-17 | Boeing Co | Systems and methods for stand-off inspection of aircraft structures |
JP2017062160A (en) | 2015-09-24 | 2017-03-30 | アイシン精機株式会社 | Defect inspection device and defect inspection method |
JP2018096660A (en) | 2016-12-16 | 2018-06-21 | 三菱日立パワーシステムズ株式会社 | Management device, boiler system provided with the same, and method for managing identification information |
Also Published As
Publication number | Publication date |
---|---|
JP2020003301A (en) | 2020-01-09 |
WO2020003888A1 (en) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070153B2 (en) | Visual inspection system, visual inspection result display method, and visual inspection result display program | |
JP6405320B2 (en) | Method and system for improved automated visual inspection of physical assets | |
JP7167453B2 (en) | APPEARANCE INSPECTION SYSTEM, SETTING DEVICE, IMAGE PROCESSING DEVICE, SETTING METHOD AND PROGRAM | |
WO2017124074A1 (en) | Methods for automatically generating a common measurement across multiple assembly units | |
JP2011191312A (en) | Image processing apparatus | |
JP7167418B2 (en) | Position control system, position detector, and control program | |
WO2020003887A1 (en) | External-appearance inspection system, method for displaying external-appearance inspection result, and program for displaying external-appearance inspection result | |
JP6902332B2 (en) | Defect information acquisition system | |
JP2014126494A (en) | Inspection support device, inspection support method, robot system, control device, robot and program | |
US10133256B2 (en) | Information processing apparatus and method for calculating inspection ranges | |
JP4668059B2 (en) | Visual inspection support device, visual inspection support program, and recording medium recording the program | |
JP2011222636A (en) | Inspection apparatus, inspection method, and defect coordinate correction method | |
JP6915288B2 (en) | Image processing system, image processing device, circuit reconstruction method in FPGA (Field Programmable Gate Array), and circuit reconstruction program in FPGA | |
JP2007103645A (en) | Pattern inspection method | |
JP2018005500A (en) | Image processing system, image processing method, and image processing program | |
JP6906177B2 (en) | Intersection detection device, camera calibration system, intersection detection method, camera calibration method, program and recording medium | |
JP7287408B2 (en) | Display method, information processing device, and program | |
JP2019215225A (en) | Image inspection system and method for controlling the same | |
JP7404017B2 (en) | Image processing method, image processing device, production system, article manufacturing method, program, and recording medium | |
JP4812477B2 (en) | Image measurement device part program generation device, image measurement device part program generation method, and image measurement device part program generation program | |
JP7067869B2 (en) | Image processing systems, information processing equipment, information processing methods, and information processing programs | |
JP2016125846A (en) | Data processing device, data processing method, and program | |
JP7409199B2 (en) | Visual inspection route search method, inspection route search device for visual inspection robot, inspection route search program, and visual inspection robot | |
JP6293293B2 (en) | How to establish routines for multi-sensor measurement equipment | |
JP2020057298A (en) | Determination device, determination method, and determination program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7070153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |