JP2017111638A - 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 - Google Patents
画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2017111638A JP2017111638A JP2015245758A JP2015245758A JP2017111638A JP 2017111638 A JP2017111638 A JP 2017111638A JP 2015245758 A JP2015245758 A JP 2015245758A JP 2015245758 A JP2015245758 A JP 2015245758A JP 2017111638 A JP2017111638 A JP 2017111638A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- searched
- pyramid
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】最上段の被探索画像よりも下段の被探索画像において、該被探索画像に対して上段の被探索画像で抽出した候補点に対応した位置の点毎に、該候補点に対応した位置の点を含む領域と領域限定閾値とを設定する(S21,S22)。類似度の計算途中で、類似度の計算途中結果に基づき、類似度が領域限定閾値よりも低い値となるか否かを予測し、類似度が領域限定閾値よりも低い値となると予測した場合には、類似度の計算を途中で打ち切る。類似度が領域限定閾値以上となると予測した場合には、類似度の計算を続行し、類似度の計算が完了したとき類似度が領域限定閾値よりも高い値であれば、次の走査位置において用いる領域限定閾値を、領域限定閾値よりも高い値となった類似度で更新する(S23〜S26)。
【選択図】図10
Description
図1は、第1実施形態に係る生産装置の概略構成を示す説明図である。図1に示す生産装置100は、ワーク(検出対象の物体)W1をワーク(被組み付け部材)W2に組付けて組立部品Wを製造する製造方法を実行するものである。生産装置100は、ロボット200と、ロボット200に取り付けられた撮像装置としてのカメラ500と、カメラ500と有線又は無線で通信を行うように構成された画像処理装置300と、を備えている。また、生産装置100は、ロボット200及び画像処理装置300にケーブル等で接続されたロボット制御装置400を備えている。
次に、第2実施形態の画像処理方法について説明する。第2実施形態の生産装置の構成及び画像処理装置の構成は、第1実施形態と同様である。以下、画像処理装置300によるパターンマッチング方法(画像処理方法)について説明する。画像処理装置300のCPU301は、プログラム321をHDD304から読み出して実行することにより、以下に説明する画像処理方法の各工程を実行する。まず、パターンマッチング処理を行うためのモデルピラミッド(画像モデル)の作成処理について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 処理部が、縮小率の異なる複数の被探索画像を有し、下段から上段に向かうに連れて縮小率が高くなるように前記複数の被探索画像を階層化した被探索ピラミッドを生成する被探索ピラミッド生成工程と、
前記処理部が、前記被探索ピラミッドのうち、最下段の被探索画像よりも上段の被探索画像に対しモデル画像を走査し、閾値以上の類似度となる候補点を抽出する第1抽出工程と、
前記処理部が、前記第1抽出工程にて候補点を抽出した被探索画像よりも下段の被探索画像において、該被探索画像に対して上段の被探索画像で抽出した候補点に対応した位置の点毎に、該候補点に対応した位置の点を含む領域と前記領域に限定して用いる領域限定閾値とを設定する設定工程と、
前記処理部が、前記設定工程にて設定した前記領域内でモデル画像を走査して、前記領域限定閾値以上の類似度となる候補点を抽出する第2抽出工程と、を備え、
前記第2抽出工程では、前記処理部が、前記領域内でモデル画像を走査した際に、類似度の計算途中で、類似度の計算途中結果に基づき、類似度が前記領域限定閾値よりも低い値となるか否かを予測し、類似度が前記領域限定閾値よりも低い値となると予測した場合には、類似度の計算を途中で打ち切り、類似度が前記領域限定閾値よりも低い値となると予測できなかった場合には、類似度の計算を続行し、類似度の計算が完了したとき類似度が前記領域限定閾値よりも高い値であれば、次の走査位置において用いる前記領域限定閾値を、前記領域限定閾値よりも高い値となった類似度で更新する画像処理方法。 - 前記第2抽出工程は、前記処理部が、前記被探索ピラミッドのうち最下段の被探索画像に対して行う請求項1に記載の画像処理方法。
- 前記処理部が、前記第2抽出工程にて抽出した候補点のうち類似度が最も高い候補点を検出対象の物体の位置に決定する決定工程を更に備えた請求項2に記載の画像処理方法。
- 前記第2抽出工程は、前記処理部が、前記被探索ピラミッドのうち最下段の被探索画像と最上段の被探索画像との間の被探索画像に対して行う請求項1乃至3のいずれか1項に記載の画像処理方法。
- 前記第2抽出工程では、前記処理部が、前記領域限定閾値を更新する際の走査位置を、候補点として更新する請求項1乃至4のいずれか1項に記載の画像処理方法。
- 前記閾値が固定値であり、前記領域限定閾値の初期値が前記閾値と同じ値に設定されている請求項1乃至5のいずれか1項に記載の画像処理方法。
- 前記被探索ピラミッドが、検出対象の物体を撮像した撮像画像からエッジを抽出したエッジ画像と、前記エッジ画像を縮小した縮小画像とで構成されている請求項1乃至6のいずれか1項に記載の画像処理方法。
- 前記被探索ピラミッドが、検出対象の物体を撮像した撮像画像と、前記撮像画像を縮小した縮小画像とで構成されている請求項1乃至6のいずれか1項に記載の画像処理方法。
- 前記処理部が、縮小率の異なる複数のモデル画像を有し、下段から上段に向かうに連れて縮小率が高くなるように前記複数のモデル画像を階層化したモデルピラミッドを生成するモデルピラミッド生成工程を更に備え、
前記被探索ピラミッド生成工程では、前記処理部が、前記モデルピラミッドと同じ縮小率で同じ段数の前記被探索ピラミッドを生成する請求項1乃至8のいずれか1項に記載の画像処理方法。 - 縮小率の異なる複数の被探索画像を有し、下段から上段に向かうに連れて縮小率が高くなるように前記複数の被探索画像を階層化した被探索ピラミッドを生成する被探索ピラミッド生成処理と、
前記被探索ピラミッドのうち、最下段の被探索画像よりも上段の被探索画像に対しモデル画像を走査し、閾値以上の類似度となる候補点を抽出する第1抽出処理と、
前記第1抽出処理にて候補点を抽出した被探索画像よりも下段の被探索画像において、該被探索画像に対して上段の被探索画像で抽出した候補点に対応した位置の点毎に、該候補点に対応した位置の点を含む領域と前記領域に限定して用いる領域限定閾値とを設定する設定処理と、
前記設定処理にて設定した前記領域内でモデル画像を走査して、前記領域限定閾値以上の類似度となる候補点を抽出する第2抽出処理と、を実行する処理部を備え、
前記処理部が、前記第2抽出処理で、前記領域内でモデル画像を走査した際に、類似度の計算途中で、類似度の計算途中結果に基づき、類似度が前記領域限定閾値よりも低い値となるか否かを予測し、類似度が前記領域限定閾値よりも低い値となると予測した場合には、類似度の計算を途中で打ち切り、類似度が前記領域限定閾値よりも低い値となると予測できなかった場合には、類似度の計算を続行し、類似度の計算が完了したとき類似度が前記領域限定閾値よりも高い値であれば、次の走査位置において用いる前記領域限定閾値を、前記領域限定閾値よりも高い値となった類似度で更新する画像処理装置。 - 請求項10に記載の画像処理装置と、
検出対象の物体を撮像する撮像装置と、を備えた画像処理システム。 - ロボットと、
請求項10に記載の画像処理装置と、
前記画像処理装置の処理部による画像処理結果に基づき、前記ロボットを制御するロボット制御装置と、を備えた生産装置。 - コンピュータに請求項1乃至9のいずれか1項に記載の画像処理方法の各工程を実行させるためのプログラム。
- 請求項13に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245758A JP6648925B2 (ja) | 2015-12-17 | 2015-12-17 | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 |
US15/380,849 US10572762B2 (en) | 2015-12-17 | 2016-12-15 | Image processing method for performing pattern matching for detecting a position of a detection target |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245758A JP6648925B2 (ja) | 2015-12-17 | 2015-12-17 | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017111638A true JP2017111638A (ja) | 2017-06-22 |
JP6648925B2 JP6648925B2 (ja) | 2020-02-14 |
Family
ID=59066457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015245758A Expired - Fee Related JP6648925B2 (ja) | 2015-12-17 | 2015-12-17 | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10572762B2 (ja) |
JP (1) | JP6648925B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033426A (ja) * | 2019-08-19 | 2021-03-01 | 東芝情報システム株式会社 | 画像検出装置、画像検出方法及び画像検出用プログラム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170305438A1 (en) * | 2014-10-27 | 2017-10-26 | Fts Computertechnik Gmbh | Computer vision monitoring for a computer vision system |
US11042754B2 (en) * | 2017-05-05 | 2021-06-22 | Google Llc | Summarizing video content |
US10592782B2 (en) * | 2018-01-22 | 2020-03-17 | International Business Machines Corporation | Image analysis enhanced related item decision |
US10664997B1 (en) * | 2018-12-04 | 2020-05-26 | Almotive Kft. | Method, camera system, computer program product and computer-readable medium for camera misalignment detection |
EP3884423A4 (en) * | 2018-12-26 | 2021-12-01 | Zhejiang Dahua Technology Co., Ltd. | SYSTEMS AND METHODS FOR OBJECT DETECTION |
JP7372076B2 (ja) * | 2019-08-07 | 2023-10-31 | ファナック株式会社 | 画像処理システム |
US11900652B2 (en) * | 2021-03-05 | 2024-02-13 | Mujin, Inc. | Method and computing system for generating a safety volume list for object detection |
US11941863B2 (en) * | 2021-08-04 | 2024-03-26 | Datalogic Ip Tech S.R.L. | Imaging system and method using a multi-layer model approach to provide robust object detection |
CN114445379B (zh) * | 2022-01-28 | 2023-04-07 | 江苏海辉塑胶制品有限公司 | 基于图像处理的注塑件分类方法与*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021389A (ja) * | 1996-07-03 | 1998-01-23 | Mitsubishi Electric Corp | テンプレートマッチング方法およびその装置 |
JP2002230549A (ja) * | 2001-02-05 | 2002-08-16 | Omron Corp | 画像処理方法およびその装置 |
CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005978A (en) * | 1996-02-07 | 1999-12-21 | Cognex Corporation | Robust search for image features across image sequences exhibiting non-uniform changes in brightness |
ATE468572T1 (de) * | 2008-01-18 | 2010-06-15 | Mvtec Software Gmbh | System und verfahren zur erkennung verformbarer objekte |
JP6493163B2 (ja) * | 2015-11-06 | 2019-04-03 | オムロン株式会社 | 粗密探索方法および画像処理装置 |
-
2015
- 2015-12-17 JP JP2015245758A patent/JP6648925B2/ja not_active Expired - Fee Related
-
2016
- 2016-12-15 US US15/380,849 patent/US10572762B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021389A (ja) * | 1996-07-03 | 1998-01-23 | Mitsubishi Electric Corp | テンプレートマッチング方法およびその装置 |
JP2002230549A (ja) * | 2001-02-05 | 2002-08-16 | Omron Corp | 画像処理方法およびその装置 |
CN102654902A (zh) * | 2012-01-16 | 2012-09-05 | 江南大学 | 基于轮廓向量特征的嵌入式实时图像匹配方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021033426A (ja) * | 2019-08-19 | 2021-03-01 | 東芝情報システム株式会社 | 画像検出装置、画像検出方法及び画像検出用プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20170177970A1 (en) | 2017-06-22 |
US10572762B2 (en) | 2020-02-25 |
JP6648925B2 (ja) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6648925B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 | |
JP6406900B2 (ja) | 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法 | |
US10997465B2 (en) | Information processing device, information processing method, and storage medium | |
EP1901228B1 (en) | Apparatus, method and program for image matching | |
US9785864B2 (en) | Image processing method, image processing apparatus, program, and recording medium | |
US10366307B2 (en) | Coarse-to-fine search method, image processing device and recording medium | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
US9135519B2 (en) | Pattern matching method and pattern matching apparatus | |
JP7191823B2 (ja) | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム | |
JPWO2007072678A1 (ja) | 画像合成方法、画像合成プログラム、画像合成装置、テンプレート抽出方法、およびテンプレート抽出プログラム | |
US9595095B2 (en) | Robot system | |
US20120033873A1 (en) | Method and device for determining a shape match in three dimensions | |
US10207409B2 (en) | Image processing method, image processing device, and robot system | |
JP2007034525A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
KR100647750B1 (ko) | 화상 처리 장치 | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
CN110600106B (zh) | 病理切片处理方法、计算机设备和存储介质 | |
KR20050063991A (ko) | 영상 피라미드를 이용한 영상정합 처리방법 및 장치 | |
WO2020209046A1 (ja) | 物体検出装置 | |
Christie et al. | Chess piece movement detection and tracking, a vision system framework for autonomous chess playing robot | |
CN109227531A (zh) | 生成动作程序的编程装置以及程序生成方法 | |
JP7404017B2 (ja) | 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体 | |
JP2001060265A (ja) | 画像処理装置および方法、並びに媒体 | |
JP6265370B2 (ja) | 対象物追跡方法及び対象物追跡システム | |
CN110686687A (zh) | 视觉机器人构建地图的方法、机器人和芯片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6648925 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |