JP7506565B2 - 画像処理装置、検査装置およびプログラム - Google Patents
画像処理装置、検査装置およびプログラム Download PDFInfo
- Publication number
- JP7506565B2 JP7506565B2 JP2020154005A JP2020154005A JP7506565B2 JP 7506565 B2 JP7506565 B2 JP 7506565B2 JP 2020154005 A JP2020154005 A JP 2020154005A JP 2020154005 A JP2020154005 A JP 2020154005A JP 7506565 B2 JP7506565 B2 JP 7506565B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- information
- inspection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 698
- 238000012545 processing Methods 0.000 title claims description 99
- 238000003384 imaging method Methods 0.000 claims description 555
- 230000004044 response Effects 0.000 claims description 75
- 230000009471 action Effects 0.000 claims description 51
- 230000010365 information processing Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 description 95
- 230000008569 process Effects 0.000 description 88
- 238000013461 design Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 41
- 238000005286 illumination Methods 0.000 description 41
- 238000012937 correction Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 230000036544 posture Effects 0.000 description 12
- 230000032258 transport Effects 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
第7の態様に係る検査装置は、3次元形状を有する検査対象物を検査する検査装置であって、前記検査対象物を保持する保持部と、該保持部によって保持された前記検査対象物を撮像する撮像部と、画像処理部と、を備えている。該画像処理部は、第1取得部と、第2取得部と、指定部と、出力部と、入力部と、を有する。前記第1取得部は、前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する。前記第2取得部は、前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する。前記指定部は、前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する。前記出力部は、情報を可視的に出力する。前記入力部は、ユーザの動作に応答して情報の入力を受け付ける。前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成する。前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力する。前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成する。前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力する。前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する。
第8の態様に係る検査装置は、3次元形状を有する検査対象物を検査する検査装置であって、前記検査対象物を保持する保持部と、該保持部によって保持された前記検査対象物を撮像する撮像部と、画像処理部と、を備えている。該画像処理部は、第1取得部と、第2取得部と、指定部と、出力部と、入力部と、を有する。前記第1取得部は、前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する。前記第2取得部は、前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する。前記指定部は、前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する。前記出力部は、情報を可視的に出力する。前記入力部は、ユーザの動作に応答して情報の入力を受け付ける。前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成する。前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力する。前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成する。前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力する。前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像をそれぞれ生成し、前記1つの第2モデル画像および前記複数の第3モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記1つの第2モデル画像および前記複数の第3モデル画像のうちの1つのモデル画像を検出するとともに、該1つのモデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する。
第9の態様に係る検査装置は、3次元形状を有する検査対象物を検査する検査装置であって、前記検査対象物を保持する保持部と、該保持部によって保持された前記検査対象物を撮像する撮像部と、画像処理部と、を備えている。該画像処理部は、第1取得部と、第2取得部と、指定部と、出力部と、入力部と、を有する。前記第1取得部は、前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する。前記第2取得部は、前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する。前記指定部は、前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する。前記出力部は、情報を可視的に出力する。前記入力部は、ユーザの動作に応答して情報の入力を受け付ける。前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成するとともに、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像をそれぞれ生成し、前記第1モデル画像および前記複数の第2モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記第1モデル画像および前記複数の第2モデル画像のうちの1つのモデル画像を検出する。前記出力部は、前記1つのモデル画像と前記参照画像とが重畳された第1重畳画像を可視的に出力する。前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記1つのモデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像を順次に生成する。前記出力部は、前記指定部によって前記複数の第3モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第3モデル画像とが重畳された第2重畳画像を可視的に出力する。前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第3モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第3モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する。
第10の態様に係る検査装置は、3次元形状を有する検査対象物を検査する検査装置であって、前記検査対象物を保持する保持部と、該保持部によって保持された前記検査対象物を撮像する撮像部と、画像処理部と、を備えている。該画像処理部は、第1取得部と、第2取得部と、指定部と、出力部と、入力部と、設定部と、を有する。前記第1取得部は、前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する。前記第2取得部は、前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する。前記指定部は、前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する。前記出力部は、情報を可視的に出力する。前記入力部は、ユーザの動作に応答して情報の入力を受け付ける。前記設定部は、前記出力部によって前記領域指定情報で指定された前記検査画像領域に係る情報が可視的に出力された状態で、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記検査画像領域に対して検査条件を設定する。
<1-1.検査装置>
<1-1-1.検査装置の概略的な構成>
図1は、検査装置2の概略的な構成の一例を示す図である。検査装置2は、例えば、3次元形状を有する検査対象物W0を検査するための装置である。図1で示されるように、検査装置2は、例えば、搬入部(投入部ともいう)10、4つの搬送部20、2つの昇降部30、2つの検査部40、反転部50、搬出部60および制御装置70を備えている。4つの搬送部20は、例えば、第1搬送部20a、第2搬送部20b、第3搬送部20cおよび第4搬送部20dを含む。2つの昇降部30は、例えば、第1昇降部30aおよび第2昇降部30bを含む。2つの検査部40は、例えば、第1検査部40aおよび第2検査部40bを含む。
図2(a)から図3(b)は、検査部40の一構成例を示す図である。図2(a)から図3(b)で示されるように、検査部40は、例えば、保持部41と、複数の撮像モジュール42と、を有する。図2(a)には、保持部41の一構成例が模式的に描かれた平面図が示されている。図2(b)には、保持部41の一構成例が模式的に描かれた正面図が示されている。図2(a)および図2(b)では、便宜的に複数の撮像モジュール42の図示が省略されている。図3(a)には、検査部40における複数の撮像モジュール42の配置の一例が描かれた平面図が示されている。図3(b)には、図3(a)のIIb-IIb線に沿った仮想的な切断面の一例が示されている。図3(a)および図3(b)では、便宜的に保持部41の図示が省略されている。
保持部41は、検査対象物W0を保持するための部分である。保持部41は、例えば、検査対象物W0を所望の姿勢で保持することができる。例えば、第1検査部40aの保持部41は、検査対象物W0を第1検査用姿勢で保持することができる。例えば、第2検査部40bの保持部41は、検査対象物W0を第2検査用姿勢で保持することができる。
図3(a)および図3(b)で示されるように、各撮像モジュール42は、例えば、撮像部421と、照明部422と、を有する。
第1撮像モジュール42vは、第1撮像部Cv1と、第1照明部Lv1と、を含む。第1撮像部Cv1は、例えば、撮像方向としての重力方向(-Z方向)に向かって検査対象物W0を撮像することができる撮像部(天井撮像部とも上方撮像部ともいう)である。第1照明部Lv1は、例えば、照明方向としての重力方向(-Z方向)に向かって検査対象物W0を照明することができる照明部(天井照明部とも上方照明部ともいう)である。このため、例えば、第1撮像部Cv1は、重力方向(下方向)に向かって、第1照明部Lv1によって照明された検査対象物W0の少なくとも一部を被写体として撮像することができる。換言すれば、例えば、第1撮像部Cv1は、下方向に向けた1つのアングル(下方アングルともいう)で、検査対象物W0を撮像することができる。
各第2撮像モジュール42sでは、撮像部421が、撮像方向としての斜め下方向に向かって検査対象物W0を撮像することができ、照明部422が、照明方向としての斜め下方向に向かって検査対象物W0を照明することができる。このため、各第2撮像モジュール42sでは、例えば、撮像部421が、斜め下方向に向かって、照明部422によって照明された検査対象物W0の少なくとも一部を被写体として撮像することができる。換言すれば、各第2撮像モジュール42sでは、例えば、撮像部421は、斜め下方向に向けたアングル(斜め下方アングルともいう)で、検査対象物W0を撮像することができる。
各第3撮像モジュール42hでは、撮像部421が、撮像方向としての略水平方向に向かって検査対象物W0を撮像することができ、照明部422が、照明方向としての略水平方向に向かって検査対象物W0を照明することができる。このため、各第3撮像モジュール42hでは、例えば、撮像部421が、略水平方向に向かって、照明部422によって照明された検査対象物W0の少なくとも一部を被写体として撮像することができる。換言すれば、各第3撮像モジュール42hでは、例えば、撮像部421は、略水平方向に向けたアングル(略水平アングルともいう)で、検査対象物W0を撮像することができる。
<1-2-1.情報処理装置の概略的な構成>
図4は、第1実施形態に係る情報処理装置1の電気的な構成の一例を示すブロック図である。図4で示されるように、情報処理装置1は、例えば、コンピュータなどで実現される。情報処理装置1は、例えば、バスライン1bを介して接続された、通信部11、入力部12、出力部13、記憶部14、制御部15およびドライブ16を備えている。
図6は、演算処理部15aで実現される機能的な構成を例示するブロック図である。図6には、演算処理部15aでプログラム14pの実行によって実現されるデータ処理に係る各種機能が例示されている。
第1取得部151は、例えば、検査対象物W0の3次元モデル3dmに係る情報(3次元モデル情報)と、検査対象物W0の3次元モデル3dmにおける検査の対象となる部分の領域(検査領域ともいう)に係る情報(検査領域情報ともいう)と、を取得する機能を有する。ここでは、第1取得部151は、例えば、記憶部14に記憶された3次元モデル情報を取得することができる。
第1領域区分処理では、例えば、所定のルール(区分ルールともいう)に従って、3次元モデル3dmの表面が複数の領域に区分される。区分ルールとしては、例えば、法線ベクトルの方向が所定範囲内の方向にある平面が所定領域に属するものとされるルールが考えられる。例えば、3次元モデル3dmの表面が、重力方向とは反対の方向(上方向ともいう)を向いた面の領域(上面領域ともいう)と、水平方向に沿った方向を向いた面の領域(側面領域ともいう)と、重力方向(下方向ともいう)を向いた面の領域(下面領域ともいう)と、に区分されるルールが考えられる。換言すれば、例えば、3次元モデル3dmの表面が、3つの領域としての、上面領域、側面領域および下面領域に区分される区分ルールが考えられる。ここでは、例えば、法線ベクトルの方向が上方向(+z方向)を基準として第1の角度(例えば、45度)以内の傾きの範囲(第1所定範囲ともいう)内にある平面が、第1所定領域としての上面領域に属するものとされ、法線ベクトルの方向が下方向(-z方向)を基準として第2の角度(例えば、45度)以内の傾きの範囲(第2所定範囲ともいう)内にある平面が、第2所定領域としての下面領域に属するものとされ、法線ベクトルの方向が、第1所定範囲および第2所定範囲の何れにも重ならない残余の範囲(第3所定範囲ともいう)内にある平面が、第3所定領域としての側面領域に属するものとされる区分ルールが考えられる。
第2領域区分処理では、例えば、第1領域区分処理によって得られた各領域について、3次元モデル3dmにおいて連結している領域が1つの塊の領域として区分され得る。換言すれば、第1領域区分処理によって得られた各領域について、3次元モデル3dmにおいて連結していない領域が、別の単位検査領域に区分される。これにより、例えば、3次元モデル3dmにおけるより細かい検査領域情報が容易に取得され得る。図7(c)は、第2領域区分処理によって複数の領域に分割された3次元モデル3dmの表面の第1例を示す図である。図7(c)には、図7(b)で示された上面領域Ar1が、相互に連結していない第1上面領域Ar1aと第2上面領域Ar1bとに区分され、図7(b)で示された側面領域Ar3が、相互に連結していない第1側面領域Ar3aと第2側面領域Ar3bとに区分された状態が例示されている。換言すれば、図7(c)には、図7(a)で示された3次元モデル3dmの表面が、5つの単位検査領域としての、第1上面領域Ar1a、第2上面領域Ar1b、下面領域Ar2、第1側面領域Ar3aおよび第2側面領域Ar3bに区分された状態の一例が示されている。
第2取得部152は、例えば、検査装置2における撮像部421および検査対象物W0についての位置および姿勢に係る情報(位置姿勢情報)を取得する機能を有する。ここでは、第2取得部152は、例えば、記憶部14に記憶された位置姿勢情報を取得することができる。
指定部153は、例えば、第1取得部151によって取得された3次元モデル情報および検査領域情報と、第2取得部152によって取得された位置姿勢情報と、に基づいて、各撮像部421による検査対象物W0の撮像で取得され得る撮像画像について検査領域に対応する検査画像領域を指定する領域指定情報を作成することができる。第1実施形態では、指定部153によって、例えば、[A]第1モデル画像Im1の生成、[B]複数の第2モデル画像Im2の生成、[C]1つのモデル画像の検出、および[D]撮影画像についての領域指定情報の作成、の処理が行われる。
指定部153は、例えば、3次元モデル情報と位置姿勢情報とに基づいて、各撮像部421によって検査対象物W0を仮想的に捉えた画像(第1モデル画像ともいう)Im1を生成することができる。ここでは、例えば、記憶部14などに記憶された各撮像部421に係る撮像パラメータ情報が適宜用いられ得る。
指定部153は、例えば、各撮像部421について、3次元モデル3dmの位置および姿勢に係る位置姿勢パラメータを、第1モデル画像Im1の生成に用いられた位置姿勢パラメータ(第1位置姿勢パラメータともいう)を基準として所定のルールで変更させつつ撮像部421によって検査対象物W0を仮想的に捉えた複数のモデル画像(第2モデル画像ともいう)Im2をそれぞれ生成することができる。ここでも、例えば、記憶部14などに記憶された各撮像部421に係る撮像パラメータ情報が適宜用いられ得る。
指定部153は、例えば、各撮像部421について、第1モデル画像Im1および複数の第2モデル画像Im2のそれぞれにおける3次元モデル3dmに対応する部分と、撮像部421による検査対象物W0の撮像で得られた参照画像Ir1における検査対象物W0に対応する部分と、の一致度に応じて、第1モデル画像Im1および複数の第2モデル画像Im2のうちの1つのモデル画像を検出することができる。
指定部153は、例えば、各撮像部421について、検出された1つのモデル画像の生成に用いられた3次元モデル3dmの位置および姿勢に係るパラメータ(位置姿勢パラメータ)と、3次元モデル情報および検査領域情報とに基づいて、撮像画像に対する検査画像領域を指定する領域指定情報を作成することができる。なお、ここで、検出された1つのモデル画像の生成に用いられた3次元モデル3dmの位置および姿勢に係る位置姿勢パラメータは、例えば、上記のマッチング処理によって得られた位置姿勢パラメータであると言える。また、ここで、例えば、3次元モデル情報と検査領域情報との組は、表面が複数の単位検査領域に区分された3次元モデル3dmの情報の役割を果たす。
出力制御部154は、例えば、出力部13によって、各種情報をユーザが認識可能な態様で出力させることができる。例えば、出力制御部154は、指定部153で作成された領域指定情報によって指定された検査画像領域に係る情報を出力部13によって可視的に出力させてもよい。例えば、各撮像部421について、図12で示されたような領域指定画像Is1が、出力部13によって表示される態様が考えられる。これにより、ユーザは、各撮像部421について、検査対象物W0の撮像で取得され得る撮像画像について指定された検査画像領域を確認することができる。
設定部155は、例えば、指定部153で作成された領域指定情報によって指定された検査画像領域に係る情報が出力部13によって可視的に出力された状態で、ユーザの動作に応答して入力部12で受け付けられた情報に応じて、検査画像領域に対して検査条件を設定することができる。これにより、例えば、各撮像部421について、検査対象物W0の撮像で取得され得る撮像画像について指定された検査画像領域に対して、ユーザが容易に検査条件を設定することができる。
図14(a)から図14(c)は、第1実施形態に係る画像処理方法に沿って画像処理装置100で実行される画像処理のフローの一例を示す流れ図である。この処理のフローは、例えば、演算処理部15aにおいてプログラム14pが実行されることで実現され得る。また、この処理のフローは、例えば、記憶部14にプログラム14pおよび各種データ14dが記憶された状態で、ユーザによる入力部12を介した信号の入力に応答して開始される。ここでは、例えば、図14(a)で示されるステップS1からステップS3の処理がこの記載の順に行われる。なお、例えば、ステップS1の処理とステップS2の処理とが並行して行われてもよいし、ステップS2の処理の後に、ステップS1の処理が行われてもよい。
以上のように、第1実施形態に係る画像処理装置100および画像処理方法によれば、例えば、各撮像部421について、設計上の3次元モデル情報および位置姿勢情報に基づいて生成された、撮像部421が3次元モデル3dmを仮想的に捉えた第1モデル画像Im1における3次元モデル3dmに対応する部分と、事前に撮像部421で得られた参照画像Ir1における検査対象物W0に対応する部分と、の間にズレが生じている場合であっても、このズレが低減されるように自動的な補正が行われて、撮像画像について検査画像領域を指定する領域指定情報が作成され得る。その結果、例えば、各撮像部421について、検査対象物W0の撮像で取得され得る撮像画像について、検査の対象となる部分が捉えられるものと予想される検査画像領域が効率良く指定され得る。
本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更および改良などが可能である。
上記第1実施形態では、例えば、指定部153によって、各撮像部421に対し、4段階の処理([A]第1モデル画像Im1の生成、[B]複数の第2モデル画像Im2の生成、[C]1つのモデル画像の検出、および[D]撮影画像についての領域指定情報の作成)が自動的に行われたが、これに限られない。例えば、上記の2段階目の処理([B]複数の第2モデル画像Im2の生成)および3段階目の処理([C]1つのモデル画像の検出)で実現された第1輪郭線Ln1と第2輪郭線Ln2との間のズレを低減するようなマッチング処理が、ユーザの動作に応じて行われてもよい。換言すれば、指定部153では、ユーザの動作に応じたマッチング処理(手動マッチング処理ともいう)が行われてもよい。
上記第1実施形態では、自動でマッチング処理が行われ、上記第2実施形態では、手動でマッチング処理が行われたが、これに限られない。例えば、手動でマッチング処理を行った上に、さらに自動でマッチング処理が行われてもよい。例えば、上記第1実施形態における、指定部153によって行われた各撮像部421に対する4段階の処理([A]第1モデル画像Im1の生成、[B]複数の第2モデル画像Im2の生成、[C]1つのモデル画像の検出、および[D]撮影画像についての領域指定情報の作成)のうち、上記の2段階目の処理([B]複数の第2モデル画像Im2の生成)および3段階目の処理([C]1つのモデル画像の検出)で実現された第1輪郭線Ln1と第2輪郭線Ln2との間のズレを低減するような自動的なマッチング処理の代わりに、ユーザの動作に応じた手動のマッチング処理(手動マッチング処理)と、その後の自動のマッチング処理(自動マッチング処理ともいう)と、が行われてもよい。この場合には、例えば、第2実施形態と同様に、出力部13で可視的に出力される画面(手動マッチング画面)によって、ユーザの動作に応じた手動マッチング処理が実現され、さらに、第1実施形態と同様な自動のマッチング処理が行われる態様が考えられる。
上記各実施形態では、例えば、検査部40が複数の撮像部421を有していたが、これに限られない。検査部40は、例えば、1つ以上の撮像部421を有していてもよい。ここでは、検査部40は、相互に異なる複数の位置および姿勢で固定された複数の撮像部421を有する代わりに、例えば、図18で示されるように、撮像部421の位置および姿勢を相互に異なる複数の位置および姿勢となるように撮像部421を移動させることが可能な移動機構44を有していてもよい。図18は、第4実施形態に係る検査部40の一構成例を示す図である。図18では、便宜的に保持部41の図示が省略されている。図18の例では、検査部40は、撮像モジュール42と移動機構44とを有する。移動機構44は、例えば、検査部40の筐体などに固定されている。移動機構44は、例えば、検査対象物W0に対する撮像モジュール42の相対的な位置および姿勢を変更させることができる。移動機構44には、例えば、ロボットアームなどが適用される。ロボットアームには、例えば、6軸ロボットアームなどが適用される。撮像モジュール42は、例えば、ロボットアームの先端に固定されている。これにより、例えば、移動機構44は、撮像モジュール42の位置および姿勢が相互に異なる複数の位置および姿勢となるように、撮像モジュール42を移動させることができる。このような構成が採用される場合には、上記各実施形態における各撮像部421についての画像処理は、1つの撮像部421における複数の位置および姿勢についての画像処理とされればよい。
上記各実施形態では、例えば、複数の位置および姿勢で配される撮像部421のそれぞれについて、マッチング処理が行われたが、これに限られない。例えば、複数の位置および姿勢のうちの一部の位置および姿勢で配される撮像部421について、マッチング処理が行われてもよい。この場合には、例えば、複数の位置および姿勢のうちの一部の位置および姿勢を除く残余の位置および姿勢で配される撮像部421については、指定部153によって、一部の位置および姿勢で配される撮像部421についてのマッチング処理で得られた位置姿勢パラメータと、位置姿勢情報に含まれる撮像部421の複数の位置および姿勢についての相対的な関係に係る情報と、に基づいて、撮像部421による検査対象物W0の撮像で取得され得る撮像画像について検査領域に対応する検査画像領域を指定する領域指定情報が作成されてもよい。このような構成が採用されれば、例えば、各撮像部421について、検査対象物W0の撮像で取得され得る撮像画像について、検査の対象となる部分が捉えられるものと予想される検査画像領域が効率良く指定され得る。
上記各実施形態では、マッチング処理が行われたが、これに限られない。例えば、各撮像部421および検査対象物W0の設計上の位置および姿勢と、検査部40における各撮像部421および検査対象物W0の実際の位置および姿勢と、の間における誤差が、非常に小さな場合には、上述したマッチング処理が行われなくてもよい。
上記各実施形態において、例えば、第1取得部151は、上述した第1領域区分処理および第2領域区分処理のうちの第2領域区分処理を行わなくてもよい。換言すれば、例えば、第1取得部151は、3次元モデル3dmを構成する複数の平面の向きに係る情報に基づいて、3次元モデル3dmの表面を複数の領域に区分することで、検査領域情報を取得することができてもよい。このような構成が採用されても、例えば、3次元モデル情報から検査領域に係る情報が容易に取得され得る。
100 画像処理装置
12 入力部
13 出力部
14 記憶部
14d 各種データ
14p プログラム
15 制御部
151 第1取得部
152 第2取得部
153 指定部
154 出力制御部
155 設定部
15a 演算処理部
16m 記憶媒体
2 検査装置
3dm 3次元モデル
40 検査部
41 保持部
42 撮像モジュール
421 撮像部
44 移動機構
70 制御装置
A11 第1検査画像領域
A12 第2検査画像領域
A31 第3検査画像領域
A32 第4検査画像領域
Im1 第1モデル画像
Im2 第2モデル画像
Im3 第3モデル画像
Io1 第1重畳画像
Io2 第2重畳画像
Io3 第3重畳画像
Is1 領域指定画像
Ln1 第1輪郭線
Ln2 第2輪郭線
Sc2 手動マッチング画面
Ss1 検査条件設定画面
W0 検査対象物
Claims (11)
- 検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
検査装置における撮像部および前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、を備え、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成するとともに、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像をそれぞれ生成し、前記第1モデル画像および前記複数の第2モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記第1モデル画像および前記複数の第2モデル画像のうちの1つのモデル画像を検出するとともに、該1つのモデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、画像処理装置。 - 検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
検査装置における撮像部および前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を備え、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成し、
前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、画像処理装置。 - 検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
検査装置における撮像部および前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を備え、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成し、
前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像をそれぞれ生成し、前記1つの第2モデル画像および前記複数の第3モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記1つの第2モデル画像および前記複数の第3モデル画像のうちの1つのモデル画像を検出するとともに、該1つのモデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、画像処理装置。 - 検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
検査装置における撮像部および前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を備え、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成するとともに、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像をそれぞれ生成し、前記第1モデル画像および前記複数の第2モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記第1モデル画像および前記複数の第2モデル画像のうちの1つのモデル画像を検出し、
前記出力部は、前記1つのモデル画像と前記参照画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記1つのモデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第3モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第3モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第3モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第3モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、画像処理装置。 - 検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
検査装置における撮像部および前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、
前記出力部によって前記領域指定情報で指定された前記検査画像領域に係る情報が可視的に出力された状態で、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記検査画像領域に対して検査条件を設定する設定部と、を備えている、画像処理装置。 - 3次元形状を有する検査対象物を検査する検査装置であって、
前記検査対象物を保持する保持部と、
該保持部によって保持された前記検査対象物を撮像する撮像部と、
画像処理部と、を備え、
該画像処理部は、
前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、を有し、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成するとともに、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像をそれぞれ生成し、前記第1モデル画像および前記複数の第2モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記第1モデル画像および前記複数の第2モデル画像のうちの1つのモデル画像を検出するとともに、該1つのモデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、検査装置。 - 3次元形状を有する検査対象物を検査する検査装置であって、
前記検査対象物を保持する保持部と、
該保持部によって保持された前記検査対象物を撮像する撮像部と、
画像処理部と、を備え、
該画像処理部は、
前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を有し、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成し、
前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、検査装置。 - 3次元形状を有する検査対象物を検査する検査装置であって、
前記検査対象物を保持する保持部と、
該保持部によって保持された前記検査対象物を撮像する撮像部と、
画像処理部と、を備え、
該画像処理部は、
前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を有し、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成し、
前記出力部は、前記撮像部による前記検査対象物の撮像で得られた参照画像と前記第1モデル画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第2モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第2モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第2モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第2モデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像をそれぞれ生成し、前記1つの第2モデル画像および前記複数の第3モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記1つの第2モデル画像および前記複数の第3モデル画像のうちの1つのモデル画像を検出するとともに、該1つのモデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、検査装置。 - 3次元形状を有する検査対象物を検査する検査装置であって、
前記検査対象物を保持する保持部と、
該保持部によって保持された前記検査対象物を撮像する撮像部と、
画像処理部と、を備え、
該画像処理部は、
前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、を有し、
前記指定部は、前記3次元モデル情報と前記位置姿勢情報とに基づいて前記撮像部によって前記検査対象物を仮想的に捉えた第1モデル画像を生成するとともに、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを前記第1モデル画像の生成に用いられた第1位置姿勢パラメータを基準として所定のルールで変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第2モデル画像をそれぞれ生成し、前記第1モデル画像および前記複数の第2モデル画像のそれぞれにおける前記3次元モデルに対応する部分と、前記撮像部による前記検査対象物の撮像で得られた参照画像における前記検査対象物に対応する部分と、の一致度に応じて、前記第1モデル画像および前記複数の第2モデル画像のうちの1つのモデル画像を検出し、
前記出力部は、前記1つのモデル画像と前記参照画像とが重畳された第1重畳画像を可視的に出力し、
前記指定部は、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記1つのモデル画像の生成に用いられた第2位置姿勢パラメータを基準として、前記3次元モデルの位置および姿勢に係る位置姿勢パラメータを変更させつつ前記撮像部によって前記検査対象物を仮想的に捉えた複数の第3モデル画像を順次に生成し、
前記出力部は、前記指定部によって前記複数の第3モデル画像のそれぞれが新たに生成されるたびに、前記参照画像と新たに生成された該第3モデル画像とが重畳された第2重畳画像を可視的に出力し、
前記指定部は、前記ユーザの特定の動作に応答して前記入力部で受け付けられた情報に応答して、前記複数の第3モデル画像のうちの前記出力部によって可視的に出力されている前記第2重畳画像を生成する際に前記参照画像に重畳された1つの第3モデル画像の生成に用いられた前記位置姿勢パラメータと前記3次元モデル情報および前記検査領域情報とに基づいて前記撮像画像について前記領域指定情報を作成する、検査装置。 - 3次元形状を有する検査対象物を検査する検査装置であって、
前記検査対象物を保持する保持部と、
該保持部によって保持された前記検査対象物を撮像する撮像部と、
画像処理部と、を備え、
該画像処理部は、
前記検査対象物の3次元モデルに係る3次元モデル情報と、該3次元モデルにおける検査領域に係る検査領域情報と、を取得する第1取得部と、
前記撮像部および前記保持部によって保持される前記検査対象物についての位置および姿勢に係る位置姿勢情報を取得する第2取得部と、
前記3次元モデル情報と、前記検査領域情報と、前記位置姿勢情報と、に基づいて、前記撮像部による前記検査対象物の撮像で取得され得る撮像画像について前記検査領域に対応する検査画像領域を指定する領域指定情報を作成する指定部と、
情報を可視的に出力する出力部と、
ユーザの動作に応答して情報の入力を受け付ける入力部と、
前記出力部によって前記領域指定情報で指定された前記検査画像領域に係る情報が可視的に出力された状態で、前記ユーザの動作に応答して前記入力部で受け付けられた情報に応じて、前記検査画像領域に対して検査条件を設定する設定部と、を有する、検査装置。 - 情報処理装置に含まれる処理部によって実行されることで、該情報処理装置を、請求項1から請求項5の何れか1つの請求項に記載の画像処理装置として機能させる、プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154005A JP7506565B2 (ja) | 2020-09-14 | 2020-09-14 | 画像処理装置、検査装置およびプログラム |
US17/459,720 US20220084188A1 (en) | 2020-09-14 | 2021-08-27 | Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium |
CN202111040285.8A CN114264659A (zh) | 2020-09-14 | 2021-09-06 | 图像处理装置及方法、检查装置及计算机可读取的存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020154005A JP7506565B2 (ja) | 2020-09-14 | 2020-09-14 | 画像処理装置、検査装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022047946A JP2022047946A (ja) | 2022-03-25 |
JP7506565B2 true JP7506565B2 (ja) | 2024-06-26 |
Family
ID=77640342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020154005A Active JP7506565B2 (ja) | 2020-09-14 | 2020-09-14 | 画像処理装置、検査装置およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220084188A1 (ja) |
JP (1) | JP7506565B2 (ja) |
CN (1) | CN114264659A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052956B (zh) * | 2021-03-19 | 2023-03-10 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
CN115546379A (zh) * | 2022-11-29 | 2022-12-30 | 思看科技(杭州)股份有限公司 | 一种数据处理方法、装置和计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010281754A (ja) | 2009-06-05 | 2010-12-16 | Nikon Corp | 生成装置、検査装置、プログラムおよび生成方法 |
JP2019028595A (ja) | 2017-07-27 | 2019-02-21 | 株式会社大林組 | 検査処理システム、検査処理方法及び検査処理プログラム |
JP2019159375A (ja) | 2018-03-07 | 2019-09-19 | 富士通株式会社 | 情報処理装置,重畳表示プログラム,重畳表示方法 |
US20190339207A1 (en) | 2018-05-04 | 2019-11-07 | United Technologies Corporation | System and method for flexibly holding workpiece and reporting workpiece location |
JP2020003301A (ja) | 2018-06-27 | 2020-01-09 | オムロン株式会社 | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム |
JP2020003995A (ja) | 2018-06-27 | 2020-01-09 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4892792B2 (ja) * | 2001-07-04 | 2012-03-07 | コニカミノルタホールディングス株式会社 | 測定装置及び測定方法 |
JP5863440B2 (ja) * | 2010-12-28 | 2016-02-16 | キヤノン株式会社 | 情報処理装置および方法 |
JP5762099B2 (ja) * | 2011-04-06 | 2015-08-12 | キヤノン株式会社 | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 |
GB2506338A (en) * | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
JP6499476B2 (ja) * | 2015-02-27 | 2019-04-10 | 東レエンジニアリング株式会社 | 検査装置 |
JP6374812B2 (ja) * | 2015-03-12 | 2018-08-15 | セコム株式会社 | 三次元モデル処理装置およびカメラ校正システム |
CN208043125U (zh) * | 2018-04-27 | 2018-11-02 | 湖北楚雄建筑工程有限公司 | 一种建筑工地移动环境监测装置 |
CN113196337B (zh) * | 2019-01-09 | 2023-08-29 | 株式会社富士 | 图像处理装置、作业机器人、基板检查装置及检体检查装置 |
-
2020
- 2020-09-14 JP JP2020154005A patent/JP7506565B2/ja active Active
-
2021
- 2021-08-27 US US17/459,720 patent/US20220084188A1/en not_active Abandoned
- 2021-09-06 CN CN202111040285.8A patent/CN114264659A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010281754A (ja) | 2009-06-05 | 2010-12-16 | Nikon Corp | 生成装置、検査装置、プログラムおよび生成方法 |
JP2019028595A (ja) | 2017-07-27 | 2019-02-21 | 株式会社大林組 | 検査処理システム、検査処理方法及び検査処理プログラム |
JP2019159375A (ja) | 2018-03-07 | 2019-09-19 | 富士通株式会社 | 情報処理装置,重畳表示プログラム,重畳表示方法 |
US20190339207A1 (en) | 2018-05-04 | 2019-11-07 | United Technologies Corporation | System and method for flexibly holding workpiece and reporting workpiece location |
JP2020003301A (ja) | 2018-06-27 | 2020-01-09 | オムロン株式会社 | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム |
JP2020003995A (ja) | 2018-06-27 | 2020-01-09 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022047946A (ja) | 2022-03-25 |
US20220084188A1 (en) | 2022-03-17 |
CN114264659A (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4637417B2 (ja) | 基準マーク部検索用標準線設定方法および基準マーク部検索方法 | |
JP7506565B2 (ja) | 画像処理装置、検査装置およびプログラム | |
US11972589B2 (en) | Image processing device, work robot, substrate inspection device, and specimen inspection device | |
JPH04233245A (ja) | 半導体チップと導体リード・フレームの検査及び位置合せのためのシステム及び方法 | |
CN108323179B (zh) | 检查***及检查方法 | |
CN111225143B (zh) | 图像处理装置及其控制方法以及程序存储介质 | |
US10607337B2 (en) | Object inspection system and object inspection method | |
US20190080468A1 (en) | Positioning and measuring system based on image scale | |
JP2018138871A (ja) | 基板検査装置 | |
WO2016174763A1 (ja) | 部品検査機及び部品装着機 | |
CN211401101U (zh) | 高精度3d轮廓建模设备 | |
US20180231474A1 (en) | Apparatus and method for generating operation program of inspection system | |
JP7368141B2 (ja) | ウエーハ外観検査装置および方法 | |
JP5375488B2 (ja) | 外観検査装置,外観検査方法および外観検査プログラム | |
US20220083019A1 (en) | Work receiving apparatus, work transport apparatus, inspection apparatus, placement support method, and inspection method | |
TWI747500B (zh) | 自動物件取像方法及裝置 | |
CN116930207B (zh) | 展示区与实时区视野同步放大的显示方法 | |
WO2022050085A1 (ja) | 情報処理装置、情報処理方法、プログラムおよびコンピュータで読み取り可能な非一時的な記憶媒体 | |
TWI704630B (zh) | 半導體設備及其檢測方法 | |
JP7377655B2 (ja) | ダイボンディング装置および半導体装置の製造方法 | |
JPWO2019058475A1 (ja) | シェイプデータ類比判定装置 | |
JP7290790B2 (ja) | 表面実装機、及び、画像解析方法 | |
EP3872480A1 (en) | Inspection method and inspection apparatus | |
JPH09113220A (ja) | 微細加工製品の検査ポイントマーキング方法、自動寸法検査方法及び自動寸法検査装置 | |
JPWO2017009980A1 (ja) | モデルデータ作成装置、モデルデータの作成方法、搭載基準点決定装置、搭載基準点の決定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240614 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7506565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |