JP7337495B2 - 画像処理装置およびその制御方法、プログラム - Google Patents
画像処理装置およびその制御方法、プログラム Download PDFInfo
- Publication number
- JP7337495B2 JP7337495B2 JP2018220364A JP2018220364A JP7337495B2 JP 7337495 B2 JP7337495 B2 JP 7337495B2 JP 2018220364 A JP2018220364 A JP 2018220364A JP 2018220364 A JP2018220364 A JP 2018220364A JP 7337495 B2 JP7337495 B2 JP 7337495B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- work
- processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Description
本発明は、作業を短時間で復元して所期の作業を再現可能な画像処理装置を提供することを目的とする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102 ロボット
103 画像処理装置
104 撮像装置
Claims (12)
- 作業用装置の位置または姿勢を示す教示点により前記作業用装置の動作を制御する制御手段と、
撮像手段によって撮像された各教示点での画像データと、前記各教示点での前記撮像手段の撮影パラメータと、前記各教示点に対応する前記作業用装置の位置または姿勢のデータとを関連付けて記憶する記憶手段と、
前記記憶手段に記憶された、所定の教示点での撮像手段の撮影パラメータと、前記所定の教示点に対応する前記作業用装置の位置または姿勢のデータと、を用いて撮影条件の再現処理を行い、前記再現処理の下で前記作業用装置の前記所定の教示点で前記撮像手段によって取得した第1の画像のデータ、および、前記記憶手段に記憶された、前記画像データのうちの前記所定の教示点での第2の画像のデータを処理し、前記処理した前記第1の画像および第2の画像を表示することにより作業復元の設定を支援する支援処理を行う画像処理手段と、を備える
ことを特徴とする画像処理装置。 - 前記画像処理手段は、前記第1および第2の画像の特徴をそれぞれ抽出し、前記第1の画像の特徴と前記第2の画像の特徴との位置または姿勢のずれ量を計算して作業復元の復元率を表示することにより前記支援処理を行う
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理手段は、前記復元率として前記第1の画像の特徴と前記第2の画像の特徴との一致率または類似度を表示することにより前記支援処理を行う
ことを特徴とする請求項2に記載の画像処理装置。 - 前記画像処理手段は、前記ずれ量を用いて前記復元率を向上させる補正方向を求めて表示することにより前記支援処理を行う
ことを特徴とする請求項2または請求項3に記載の画像処理装置。 - 前記画像処理手段は、前記支援処理にて画像表示領域を有する設定画面を表示し、前記画像表示領域に前記第1および第2の画像を重畳して表示する制御を行う
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記画像処理手段は、前記画像表示領域にて画像処理により抽出された画像の特徴情報を前記第1および第2の画像と併せて表示する制御を行う
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像処理手段は、前記作業用装置の作業中における撮影画像の特徴情報を時系列で比較して前記特徴情報を推定し、前記画像表示領域にて前記特徴情報の抽出範囲を表示する制御を行う
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像処理手段は、前記画像表示領域に前記第1の画像の特徴量が閾値より大きい領域を表示する制御を行う
ことを特徴とする請求項5に記載の画像処理装置。 - 前記画像処理手段は、前記作業用装置の作業中に、前記撮像手段の制御および撮像された画像の処理を行うための画像処理プログラムを実行している途中で、前記ずれ量が指定された誤差量の範囲外となった場合に前記画像処理プログラムの実行を停止させる処理を行う
ことを特徴とする請求項2に記載の画像処理装置。 - 前記画像処理手段は、前記画像処理プログラムを繰り返し実行して画像の特徴抽出結果または前記ずれ量の変化を監視してグラフ化または傾向分析の処理結果を出力する
ことを特徴とする請求項9に記載の画像処理装置。 - 作業用装置の位置または姿勢を示す教示点により前記作業用装置の動作を制御する工程と、
撮像手段により各教示点で被写体を撮像する制御を行う工程と、
前記撮像手段によって撮像された前記各教示点での画像データと、前記各教示点での前記撮像手段の撮影パラメータと、前記各教示点に対応する前記作業用装置の位置または姿勢のデータとを関連付けて記憶手段に記憶する工程と、
前記記憶手段に記憶された、所定の教示点での撮像手段の撮影パラメータと、前記所定の教示点に対応する前記作業用装置の位置または姿勢のデータと、を用いて撮影条件の再現処理を行い、前記再現処理の下で前記作業用装置の前記所定の教示点で前記撮像手段によって取得した第1の画像のデータ、および、前記記憶手段に記憶された、前記画像データのうちの前記所定の教示点での第2の画像のデータを処理し、前記処理した前記第1の画像および第2の画像を表示することにより作業復元の設定を支援する支援処理を行う工程と、を有する
ことを特徴とする画像処理装置の制御方法。 - 請求項11に記載の各工程を画像処理装置のコンピュータに実行させる
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220364A JP7337495B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法、プログラム |
US16/684,954 US11373263B2 (en) | 2018-11-26 | 2019-11-15 | Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium |
CN201911173238.3A CN111225142A (zh) | 2018-11-26 | 2019-11-26 | 图像处理装置及其控制方法和记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220364A JP7337495B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020082273A JP2020082273A (ja) | 2020-06-04 |
JP2020082273A5 JP2020082273A5 (ja) | 2022-01-06 |
JP7337495B2 true JP7337495B2 (ja) | 2023-09-04 |
Family
ID=70771173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220364A Active JP7337495B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11373263B2 (ja) |
JP (1) | JP7337495B2 (ja) |
CN (1) | CN111225142A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7391571B2 (ja) * | 2019-08-28 | 2023-12-05 | キヤノン株式会社 | 電子機器、その制御方法、プログラム、および記憶媒体 |
US11478936B2 (en) * | 2019-10-09 | 2022-10-25 | Canon Kabushiki Kaisha | Image processing apparatus that processes image picked up by image pickup apparatus attached to robot, control method therefor, and storage medium storing control program therefor |
US11826908B2 (en) | 2020-04-27 | 2023-11-28 | Scalable Robotics Inc. | Process agnostic robot teaching using 3D scans |
JP2022111464A (ja) * | 2021-01-20 | 2022-08-01 | セイコーエプソン株式会社 | コンピュータープログラム、ロボットの制御プログラムを作成する方法、及び、ロボットの制御プログラムを作成する処理を実行するシステム |
WO2023053368A1 (ja) * | 2021-09-30 | 2023-04-06 | ファナック株式会社 | 教示装置及びロボットシステム |
WO2023203694A1 (ja) * | 2022-04-20 | 2023-10-26 | ファナック株式会社 | ロボットシステム、教示操作盤及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008080466A (ja) | 2006-09-28 | 2008-04-10 | Daihen Corp | 搬送用ロボットの教示方法 |
JP2012240174A (ja) | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | キャリブレーション装置及びキャリブレーション方法 |
JP2018001393A (ja) | 2016-07-08 | 2018-01-11 | キヤノン株式会社 | ロボット装置、ロボット制御方法、プログラム及び記録媒体 |
JP2018182217A (ja) | 2017-04-20 | 2018-11-15 | 株式会社Screenホールディングス | 基板搬送装置、それを備える基板処理装置および基板搬送装置のティーチング方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0288187A (ja) * | 1988-09-26 | 1990-03-28 | Honda Motor Co Ltd | ロボットの制御方法 |
JP3665353B2 (ja) * | 1993-09-14 | 2005-06-29 | ファナック株式会社 | ロボットの教示位置データの3次元位置補正量取得方法及びロボットシステム |
JPH07237158A (ja) | 1993-12-28 | 1995-09-12 | Hitachi Ltd | 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム |
JP2002172575A (ja) * | 2000-12-07 | 2002-06-18 | Fanuc Ltd | 教示装置 |
JP2004074224A (ja) * | 2002-08-19 | 2004-03-11 | Kobe Steel Ltd | 溶接ロボット装置 |
JP3733364B2 (ja) * | 2003-11-18 | 2006-01-11 | ファナック株式会社 | 教示位置修正方法 |
JP4053550B2 (ja) * | 2005-05-27 | 2008-02-27 | ファナック株式会社 | 教示点を修正するための装置、プログラム、記録媒体及び方法 |
JP4210270B2 (ja) * | 2005-06-07 | 2009-01-14 | ファナック株式会社 | ロボット制御装置及びロボット制御方法 |
US9393691B2 (en) * | 2009-02-12 | 2016-07-19 | Mitsubishi Electric Corporation | Industrial robot system including action planning circuitry for temporary halts |
JP4819957B1 (ja) * | 2010-06-01 | 2011-11-24 | ファナック株式会社 | ロボットの位置情報復元装置および位置情報復元方法 |
JP5810562B2 (ja) * | 2011-03-15 | 2015-11-11 | オムロン株式会社 | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 |
JP2013042250A (ja) | 2011-08-12 | 2013-02-28 | Sony Corp | 撮像装置および撮像方法 |
JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
US20150262346A1 (en) * | 2012-10-18 | 2015-09-17 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
ES2522921B2 (es) * | 2013-05-17 | 2015-07-30 | Loxin 2002, S.L. | Cabezal y procedimiento de mecanizado automático con visión |
DE102013114707A1 (de) * | 2013-12-20 | 2015-06-25 | EXTEND3D GmbH | Verfahren zur Durchführung und Kontrolle eines Bearbeitungsschritts an einem Werkstück |
JP6379874B2 (ja) * | 2014-08-29 | 2018-08-29 | 株式会社安川電機 | ティーチングシステム、ロボットシステムおよびティーチング方法 |
US10076840B2 (en) * | 2015-04-03 | 2018-09-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
JP6750841B2 (ja) * | 2015-06-26 | 2020-09-02 | キヤノン株式会社 | 検査方法、検査装置、処理装置、プログラム及び記録媒体 |
US20190041649A1 (en) | 2016-03-04 | 2019-02-07 | Ns Solutions Corporation | Display system, information processor, information processing method and program |
CN108000499B (zh) | 2016-10-27 | 2020-07-31 | 达明机器人股份有限公司 | 机器人视觉坐标的编程方法 |
CN108214486A (zh) | 2016-12-22 | 2018-06-29 | 精工爱普生株式会社 | 控制装置、机器人及机器人*** |
EP3366433B1 (en) * | 2017-02-09 | 2022-03-09 | Canon Kabushiki Kaisha | Method of controlling robot, method of teaching robot, and robot system |
JP6964989B2 (ja) * | 2017-02-09 | 2021-11-10 | キヤノン株式会社 | 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体 |
JP6823502B2 (ja) * | 2017-03-03 | 2021-02-03 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
WO2019234814A1 (ja) * | 2018-06-05 | 2019-12-12 | 株式会社日立製作所 | カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット |
-
2018
- 2018-11-26 JP JP2018220364A patent/JP7337495B2/ja active Active
-
2019
- 2019-11-15 US US16/684,954 patent/US11373263B2/en active Active
- 2019-11-26 CN CN201911173238.3A patent/CN111225142A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008080466A (ja) | 2006-09-28 | 2008-04-10 | Daihen Corp | 搬送用ロボットの教示方法 |
JP2012240174A (ja) | 2011-05-23 | 2012-12-10 | Mitsubishi Electric Corp | キャリブレーション装置及びキャリブレーション方法 |
JP2018001393A (ja) | 2016-07-08 | 2018-01-11 | キヤノン株式会社 | ロボット装置、ロボット制御方法、プログラム及び記録媒体 |
JP2018182217A (ja) | 2017-04-20 | 2018-11-15 | 株式会社Screenホールディングス | 基板搬送装置、それを備える基板処理装置および基板搬送装置のティーチング方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020082273A (ja) | 2020-06-04 |
US11373263B2 (en) | 2022-06-28 |
US20200167886A1 (en) | 2020-05-28 |
CN111225142A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7337495B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
CN109629122B (zh) | 一种基于机器视觉的机器人缝制方法 | |
JP2004351570A (ja) | ロボットシステム | |
JP2018111165A (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
JP3608920B2 (ja) | 非接触画像計測システム | |
JPH07311610A (ja) | 視覚センサを用いた座標系設定方法 | |
JP2008021092A (ja) | ロボットシステムのシミュレーション装置 | |
CN111225143B (zh) | 图像处理装置及其控制方法以及程序存储介质 | |
JP2001319219A (ja) | 画像測定装置用パートプログラム生成装置及び方法、並びに画像測定装置及びその測定結果表示方法 | |
JP2014126494A (ja) | 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム | |
JP2005265661A (ja) | 画像処理方法およびその装置 | |
US20150287177A1 (en) | Image measuring device | |
JP2021033869A (ja) | 電子機器、その制御方法、プログラム、および記憶媒体 | |
JP2021043167A (ja) | 工具検査システム | |
JP7436627B2 (ja) | 画像処理装置、作業指示作成システム、作業指示作成方法 | |
US11559888B2 (en) | Annotation device | |
JP2003302345A (ja) | ロボットを用いた検査方法及び検査システム | |
JP2015058488A (ja) | ロボット制御システム、ロボット、ロボット制御方法及びプログラム | |
JP7094806B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
CN112184819A (zh) | 机器人的引导方法、装置、计算机设备和存储介质 | |
WO2014091897A1 (ja) | ロボット制御システム | |
JP2019036072A (ja) | 画像処理方法、画像処理装置、および製造方法 | |
JP2006320962A (ja) | 溶接治具監視装置、画像処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230823 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7337495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |