JP2020077397A - 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体 - Google Patents
画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP2020077397A JP2020077397A JP2019185678A JP2019185678A JP2020077397A JP 2020077397 A JP2020077397 A JP 2020077397A JP 2019185678 A JP2019185678 A JP 2019185678A JP 2019185678 A JP2019185678 A JP 2019185678A JP 2020077397 A JP2020077397 A JP 2020077397A
- Authority
- JP
- Japan
- Prior art keywords
- matching
- matching score
- image processing
- image
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 80
- 238000004519 manufacturing process Methods 0.000 title claims description 52
- 238000003672 processing method Methods 0.000 title claims description 30
- 238000003860 storage Methods 0.000 title description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000007689 inspection Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 67
- 238000004364 calculation method Methods 0.000 description 33
- 238000000605 extraction Methods 0.000 description 16
- 238000009826 distribution Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
前記複数の仮モデルの各々について、前記第1のマッチングスコア群と前記第2のマッチングスコア群とから評価値を算出する評価工程と、算出された前記評価値に基づいて前記複数の仮モデルの中からマッチングモデルを決定する決定工程と、を備えたことを特徴する画像処理方法である。
図2は、本実施形態に係る生産システムの概略構成を示している。図2の生産機器200は、ワークW1(対象物)をワークW2(被組み付け部材)に組付けて、物品Wを製造する。生産機器200は、ロボット401と、撮像装置としてのカメラ500と、カメラ500と有線ないし無線で通信するよう構成された画像処理装置300と、を備えている。また、生産機器200は、ロボット401および画像処理装置300に、ネットワークや制御線で接続されたロボット制御装置400を備えている。
マッチングの精度誤差やノイズによる誤差、個体差による誤差等が大きいと、同じ位置におけるマッチングスコアがずれて複数個所に現れるが場合がある。そのような場合には最大検出スコアが検出された山1201の第1の位置からある閾値(所定距離)以上、離間した位置において、最大となるマッチングスコアを第2のマッチングスコアとするのが好ましい。第1の位置と第2の位置との離間距離の閾値は、マッチングの精度誤差やノイズによる誤差、個体差による誤差等に基づく値を算出して予め設定しておいてもよいし、ユーザが任意に設定してもよい。例えば、最大検出スコアが検出された山1201の位置から画像のX、Y方向に10画素以内の位置を最大検出スコア近傍の範囲として定義することができる。この場合は、空間的に10画素を超えて離間した範囲内における最大のスコアを抽出して第2のマッチングスコアとしてもよい。
上記の実施形態1では、形状(エッジ)ベースのパターンマッチングに用いられるモデルの作成手法につき説明した。他の手法によるパターンマッチングのためのモデル作成に関しても、本発明の手法を実施することができる。以下、本実施形態2では輝度ベースのパターンマッチングに用いられるモデルの自動作成につき説明する。
以下、画像処理装置300によるモデル作成と、パターンマッチング実行(画像処理方法)について説明する。画像処理装置300のCPU301は、プログラム321をHDD304から読み出して実行することにより、以下に説明する画像処理方法の各工程を実行する。
Claims (19)
- パターンマッチングの対象物が記録された参照画像を用いてパターンマッチングのための複数の仮モデルを作成する仮モデル作成工程と、
前記複数の仮モデルの各々と、前記パターンマッチングの対象物が記録された複数の評価画像の各々とでパターンマッチングを行い、前記複数の仮モデルの各々と前記複数の評価画像の各々との間のマッチングスコアを求め、前記複数の仮モデルの各々について、各評価画像内において類似度が最大となる第1のマッチングスコアを集合した第1のマッチングスコア群と、前記各評価画像内において類似度が前記第1のマッチングスコアよりも小さな第2のマッチングスコアを集合した第2のマッチングスコア群と、を取得するマッチングスコア取得工程と、
前記複数の仮モデルの各々について、前記第1のマッチングスコア群と前記第2のマッチングスコア群とから評価値を算出する評価工程と、
算出された前記評価値に基づいて前記複数の仮モデルの中からマッチングモデルを決定する決定工程と、
を備えたことを特徴する画像処理方法。 - 請求項1に記載の画像処理方法において、前記マッチングスコア取得工程において、前記仮モデルと前記評価画像とのパターンマッチングによって生成されるスコアマップが複数の極大値を有する場合、マッチングスコアが第1位の極大値を前記第1のマッチングスコアとし、マッチングスコアが第2位の極大値を前記第2のマッチングスコアとすることを特徴とする画像処理方法。
- 請求項1に記載の画像処理方法において、前記マッチングスコア取得工程において、前記仮モデルと前記評価画像とのパターンマッチングによって生成されるスコアマップの極大値が1つの場合、前記極大値を前記第1のマッチングスコアとし、スコアマップ中の最小値を前記第2のマッチングスコアとすることを特徴とする画像処理方法。
- 請求項2に記載の画像処理方法において、前記第2のマッチングスコアが得られる第2の位置と、前記第1のマッチングスコアが得られる第1の位置との距離に閾値が設定されている場合、前記第1の位置から前記閾値以上離れた領域においてマッチングスコアが第2位の極大値を前記第2のマッチングスコアとすることを特徴とする画像処理方法。
- 請求項1に記載の画像処理方法において、前記マッチングスコア取得工程において、前記第1のマッチングスコアが得られた評価画像中の空間的な第1の位置から、所定の距離以上離れた範囲から得られた最大のマッチングスコアを前記第2のマッチングスコアとする画像処理方法。
- 請求項1に記載の画像処理方法において、前記マッチングスコア取得工程において、前記第1のマッチングスコアが得られた評価画像中の空間的な第1の位置に仮モデルを配置した時に、前記第1の位置に配置された前記仮モデルとの重複範囲が所定の割合以下となるような位置に前記仮モデルを配置して得られたマッチングスコアの最大値を、前記第2のマッチングスコアとする画像処理方法。
- 請求項1乃至6のいずれか1項に記載の画像処理方法において、前記仮モデル作成工程は、前記参照画像から前記仮モデルを作成するための仮モデル作成領域を指定するユーザの操作を受け付けるユーザインターフェース工程を含む画像処理方法。
- 請求項1乃至7のいずれか1項に記載の画像処理方法において、前記仮モデル作成工程で、前記参照画像からエッジ点が連結した連結エッジを複数抽出し、抽出された複数の前記連結エッジの組合せにより前記複数の仮モデルを作成する画像処理方法。
- 請求項1乃至7のいずれか1項に記載の画像処理方法において、前記仮モデル作成工程で、前記参照画像から抽出した大きさおよび/または形状の異なる複数の領域により、前記複数の仮モデルを作成する画像処理方法。
- 請求項1乃至9のいずれか1項に記載の画像処理方法において、前記評価工程において、前記第1のマッチングスコア群と前記第2のマッチングスコア群とから、前記第1のマッチングスコアと前記第2のマッチングスコアとの差を前記評価画像ごとに算出し、算出した前記第1のマッチングスコアと前記第2のマッチングスコアとの差の最大値もしくは最小値を前記評価値として算出する画像処理方法。
- 請求項1乃至9のいずれか1項に記載の画像処理方法において、前記評価工程において、前記第1のマッチングスコア群の平均値と、前記第2のマッチングスコア群の平均値と、の差を前記評価値として算出する画像処理方法。
- 請求項1乃至11のいずれか1項に記載の画像処理方法において、前記決定工程で決定されたマッチングモデルを用いてパターンマッチングを実行するパターンマッチング工程を更に含む画像処理方法。
- 請求項12に記載の画像処理方法の各工程と、
前記パターンマッチング工程の結果を用いてワークの位置および姿勢を認識する認識工程と、
前記認識工程で得られた情報を用いて、前記ワークを用いて物品を生産する生産制御工程と、
を含む物品の製造方法。 - 請求項12に記載の画像処理方法の各工程と、
前記パターンマッチング工程の結果を用いてワークを検査する検査工程と、
前記検査工程の検査結果に応じて、前記ワークを用いて物品を生産する生産制御工程と、
を含む物品の製造方法。 - 請求項1乃至12のいずれか1項に記載の画像処理方法をコンピュータに実行させるプログラム。
- 請求項15に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
- パターンマッチングの対象物が記録された参照画像を用いてパターンマッチングのための複数の仮モデルを作成する仮モデル作成部と、
前記複数の仮モデルの各々と、前記パターンマッチングの対象物が記録された複数の評価画像の各々とでパターンマッチングを行い、前記複数の仮モデルの各々と前記複数の評価画像の各々との間のマッチングスコアを求め、
前記複数の仮モデルの各々について、
各評価画像内において類似度が最大となる第1のマッチングスコアを集合した第1のマッチングスコア群と、
前記各評価画像内において類似度が前記第1のマッチングスコアよりも小さな第2のマッチングスコアを集合した第2のマッチングスコア群と、
を取得するマッチングスコア取得部と、
前記複数の仮モデルの各々について、前記第1のマッチングスコア群と前記第2のマッチングスコア群とから評価値を算出する評価部と、
算出された前記評価値に基づいて前記複数の仮モデルからマッチングモデルを決定する決定部と、を備えたことを特徴する画像処理装置。 - 請求項17に記載の画像処理装置は、前記決定部で決定されたマッチングモデルを用いてパターンマッチングを実行するパターンマッチング部を更に有することを特徴する画像処理装置。
- 請求項18に記載の画像処理装置と、
ワークを撮像した画像に対して行った前記パターンマッチング部によるパターンマッチングの結果を用いて、前記ワークに対する生産処理を実行する生産機器と、
を有する生産システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/661,262 US11200632B2 (en) | 2018-11-09 | 2019-10-23 | Image processing method and image processing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211413 | 2018-11-09 | ||
JP2018211413 | 2018-11-09 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020077397A true JP2020077397A (ja) | 2020-05-21 |
JP2020077397A5 JP2020077397A5 (ja) | 2022-10-24 |
JP7404017B2 JP7404017B2 (ja) | 2023-12-25 |
Family
ID=70724244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185678A Active JP7404017B2 (ja) | 2018-11-09 | 2019-10-09 | 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7404017B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220083570A (ko) | 2020-12-11 | 2022-06-20 | 주식회사 히타치하이테크 | 관찰 장치의 컴퓨터 시스템 및 처리 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032753A (ja) * | 2000-07-19 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 画像認識方法 |
JP2009245287A (ja) * | 2008-03-31 | 2009-10-22 | Fujitsu Ltd | 画像追尾装置及び画像追尾方法並びに画像追尾プログラム |
JP2014021684A (ja) * | 2012-07-18 | 2014-02-03 | Hitachi High-Technologies Corp | 測定装置のテンプレート生成装置 |
-
2019
- 2019-10-09 JP JP2019185678A patent/JP7404017B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032753A (ja) * | 2000-07-19 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 画像認識方法 |
JP2009245287A (ja) * | 2008-03-31 | 2009-10-22 | Fujitsu Ltd | 画像追尾装置及び画像追尾方法並びに画像追尾プログラム |
JP2014021684A (ja) * | 2012-07-18 | 2014-02-03 | Hitachi High-Technologies Corp | 測定装置のテンプレート生成装置 |
Non-Patent Citations (2)
Title |
---|
GANG WANG ET AL.: ""A template extraction approach for image recognition"", 2012 INTERNATIONAL SYMPOSIUM ON INFORMATION TECHNOLOGIES IN MEDICINE AND EDUCATION, JPN6023033885, 3 August 2012 (2012-08-03), US, pages 932 - 935, XP032228964, ISSN: 0005132618, DOI: 10.1109/ITiME.2012.6291456 * |
斉藤 文彦: ""遺伝的アルゴリズムを用いた画素選択テンプレートによる画像マッチング"", 電子情報通信学会論文誌, vol. 84, no. 3, JPN6023033884, 1 March 2001 (2001-03-01), JP, pages 488 - 499, ISSN: 0005132617 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220083570A (ko) | 2020-12-11 | 2022-06-20 | 주식회사 히타치하이테크 | 관찰 장치의 컴퓨터 시스템 및 처리 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP7404017B2 (ja) | 2023-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997465B2 (en) | Information processing device, information processing method, and storage medium | |
US9621793B2 (en) | Information processing apparatus, method therefor, and measurement apparatus | |
TWI419081B (zh) | 提供擴增實境的標籤追蹤方法、系統與電腦程式產品 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
US10572762B2 (en) | Image processing method for performing pattern matching for detecting a position of a detection target | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
CN112837371A (zh) | 基于3d匹配的物体抓取方法、装置及计算设备 | |
US9805443B2 (en) | Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly | |
JP7070153B2 (ja) | 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム | |
US20150310617A1 (en) | Display control device and display control method | |
JP2004213332A (ja) | キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具 | |
US20130058526A1 (en) | Device for automated detection of feature for calibration and method thereof | |
JP2012042396A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
US20180247150A1 (en) | Information processing device, information processing method, and article manufacturing method | |
JP6483168B2 (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
US11590657B2 (en) | Image processing device, control method thereof, and program storage medium | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
US10623629B2 (en) | Imaging apparatus and imaging condition setting method and program | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
US20210042576A1 (en) | Image processing system | |
JP7404017B2 (ja) | 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体 | |
CN111199533B (zh) | 图像处理装置 | |
CN112991327A (zh) | 基于机器视觉的钢格网焊接***、方法和终端设备 | |
JP6337530B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221006 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7404017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |