JPWO2020144784A1 - 画像処理装置、作業ロボット、基板検査装置および検体検査装置 - Google Patents
画像処理装置、作業ロボット、基板検査装置および検体検査装置 Download PDFInfo
- Publication number
- JPWO2020144784A1 JPWO2020144784A1 JP2020565086A JP2020565086A JPWO2020144784A1 JP WO2020144784 A1 JPWO2020144784 A1 JP WO2020144784A1 JP 2020565086 A JP2020565086 A JP 2020565086A JP 2020565086 A JP2020565086 A JP 2020565086A JP WO2020144784 A1 JPWO2020144784 A1 JP WO2020144784A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- image processing
- feature
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
図1は第1実施形態のロボットシステム10の構成の概略を示す構成図である。なお、図1の左右方向がX軸方向であり、前後方向がY軸方向であり、上下方向がZ軸方向である。第1実施形態のロボットシステム10は、図示するように、供給装置12と、搬送装置14と、作業ロボット20と、制御装置18とを備える。供給装置12は、前後方向(Y軸方向)に離して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト12aを備え、駆動ローラの回転駆動により、コンベアベルト12a上の機械部品や電子部品などの複数のワークWを後方から前方へ供給する。搬送装置14は、コンベアベルトにより構成され、ワークWの供給方向と直交する方向(X軸方向)にトレイTを搬送し、中央位置にて位置決め保持する。制御装置18は、CPUやROM,RAM,HDD,入出力ポートなどを備え、供給装置12と搬送装置14と作業ロボット20の各動作を制御する。
次に、第2実施形態について説明する。図12は第2実施形態の基板作業ライン100の構成の概略を示す構成図である。基板作業ライン100は、基板Bに粘性流体であるはんだを印刷する印刷装置110と、印刷状態を検査する印刷検査装置115と、基板Bに部品を実装する実装装置120と、部品の実装状態を検査する実装検査装置125とを備える。各装置は、図示しない管理装置に接続されており、管理装置から受信した作業指示に基づいて各作業を実行したり、各作業の実行状況を管理装置に送信したりする。また、各装置は、下記の構成以外に入力装置と出力装置とをそれぞれ備える。
次に、第3実施形態について説明する。図13は第3実施形態の検体検査装置200の構成の概略を示す構成図である。検体検査装置200は、顕微鏡装置210と、画像処理装置230と、検査制御装置202とを備える。顕微鏡装置210は、検査対象物としての検体の像を拡大するための顕微鏡部212と、顕微鏡装置210に内蔵され拡大された検体の二次元画像を撮像するカメラ213とを備える。顕微鏡部212は、検体が載置されるステージ212aと対物レンズ212bの他、図示は省略するが、ステージ212aを水平方向や垂直方向に移動させるステージ駆動部や対物レンズ212bを合焦させる焦準部、検体に光を照射する照射部、検体の観察光をカメラ213に導く光学系などを備える。画像処理装置230は、カメラ213により撮像された検体の二次元画像に各種画像処理を行う。また、画像処理装置230は、検体の三次元形状モデルMdなどを記憶する記憶部232を備え、キーボードやマウス等の入力装置238と、ディスプレイ等の出力装置239とが接続されている。検査制御装置202は、カメラ213により撮像された二次元画像に対してなされた画像処理装置230の処理結果に基づいて検体の検査を行ったり、検体検査装置200の全体を制御したりする。
Claims (9)
- 対象物の複数の特徴点の特徴量および三次元の位置情報が対応付けられた三次元形状モデルを記憶する記憶部と、
カメラにより撮像された前記対象物の二次元画像から特徴点の特徴量および二次元の位置情報を抽出する抽出処理部と、
前記二次元画像の特徴点と前記三次元形状モデルの特徴点とのマッチングを前記特徴量を用いて行うことにより、前記二次元画像の特徴点の三次元の位置情報を特定して前記対象物の位置および姿勢を認識する認識処理部と、
を備える画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記抽出処理部は、基準となる前記対象物が所定位置に配置された状態で前記カメラにより複数の視点で撮像された前記対象物の複数の二次元画像を取得し、該複数の二次元画像から前記特徴点の特徴量および二次元の位置情報を抽出し、
前記二次元画像間の視差から前記特徴点の高さ情報を求めて三次元の位置情報を作成し、特徴量および三次元の位置情報を前記特徴点に対応付けた前記三次元形状モデルを作成して前記記憶部に記憶する作成処理部を備える
画像処理装置。 - 請求項2に記載の画像処理装置であって、
前記抽出処理部は、前記複数の二次元画像として、基準となる前記対象物が前記所定位置に配置された状態で前記カメラが前記所定位置を基準とする前記複数の視点に順次移動して撮像した画像を取得し、
前記所定位置に対する前記対象物の位置ずれ量が所定の許容量以上である場合に警告を報知する報知部を備える
画像処理装置。 - 請求項2または3に記載の画像処理装置であって、
前記作成処理部は、前記複数の二次元画像から抽出した前記特徴点の各々について、前記複数の二次元画像に出現する度数をカウントし、該カウントした度数が所定数以上となる前記特徴点を用いて前記三次元形状モデルを作成する
画像処理装置。 - 請求項1ないし4のいずれか1項に記載の画像処理装置であって、
前記認識処理部は、前記マッチングにより前記特徴点の粗位置を設定し、該設定した粗位置に基づいて前記二次元画像上に前記三次元形状モデルの画像を投影し、該投影した画像と前記二次元画像との重なり度合いがより大きくなるように前記粗位置を調整して前記特徴点の三次元の位置情報を特定する
画像処理装置。 - 請求項1ないし5のいずれか1項に記載の画像処理装置であって、
前記抽出処理部は、前記特徴量の抽出を所定の機械学習により行う
画像処理装置。 - 請求項1ないし6のいずれか1項に記載の画像処理装置と、
前記対象物としてのワークの前記二次元画像を撮像するカメラと、
を備え、
前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記ワークの認識結果に基づいて前記ワークをピックアップして所定作業を行う
作業ロボット。 - 請求項1ないし6のいずれか1項に記載の画像処理装置と、
基板に対する所定作業により該基板に設けられた結果物を前記対象物として二次元画像を撮像するカメラと、
を備え、
前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記結果物の認識結果に基づいて前記基板の検査を行う
基板検査装置。 - 請求項1ないし6のいずれか1項に記載の画像処理装置と、
前記対象物としての検体の像を拡大する顕微鏡装置と、
前記顕微鏡装置により拡大された前記検体の二次元画像を撮像するカメラと、
を備え、
前記カメラにより撮像された前記二次元画像から前記画像処理装置により認識された前記検体の認識結果に基づいて該検体の検査を行う
検体検査装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/000412 WO2020144784A1 (ja) | 2019-01-09 | 2019-01-09 | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020144784A1 true JPWO2020144784A1 (ja) | 2021-09-30 |
JP7174074B2 JP7174074B2 (ja) | 2022-11-17 |
Family
ID=71521602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020565086A Active JP7174074B2 (ja) | 2019-01-09 | 2019-01-09 | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11972589B2 (ja) |
EP (1) | EP3910593A4 (ja) |
JP (1) | JP7174074B2 (ja) |
CN (1) | CN113196337B (ja) |
WO (1) | WO2020144784A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
CN111447504B (zh) * | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
US20210316450A1 (en) * | 2020-04-14 | 2021-10-14 | 3Deo, Inc. | Robotics for three-dimensional printing |
US11366983B2 (en) * | 2020-09-09 | 2022-06-21 | International Business Machines Corporation | Study-level multi-view processing system |
JP7506565B2 (ja) * | 2020-09-14 | 2024-06-26 | 株式会社Screenホールディングス | 画像処理装置、検査装置およびプログラム |
CN112465890A (zh) * | 2020-11-24 | 2021-03-09 | 深圳市商汤科技有限公司 | 深度检测方法、装置、电子设备和计算机可读存储介质 |
CN114820613B (zh) * | 2022-06-29 | 2022-10-28 | 深圳市瑞亿科技电子有限公司 | 一种smt贴片加工用来料测量及定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016192132A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
JP2016197287A (ja) * | 2015-04-02 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3326851B2 (ja) * | 1993-03-08 | 2002-09-24 | 株式会社デンソー | 視覚に基く三次元位置および姿勢の認識方法とその装置 |
EP0631250B1 (en) * | 1993-06-21 | 2002-03-20 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
US6985620B2 (en) | 2000-03-07 | 2006-01-10 | Sarnoff Corporation | Method of pose estimation and model refinement for video representation of a three dimensional scene |
JP2010146303A (ja) * | 2008-12-18 | 2010-07-01 | Fuji Electric Holdings Co Ltd | 3次元物体姿勢・位置検出装置、方法、およびプログラム |
JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
US9098744B2 (en) * | 2010-05-19 | 2015-08-04 | Tokyo Institute Of Technology | Position estimation device, position estimation method, and program |
JP5699697B2 (ja) | 2011-03-07 | 2015-04-15 | セイコーエプソン株式会社 | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 |
US9437005B2 (en) * | 2011-07-08 | 2016-09-06 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
EP2994883B1 (en) * | 2013-05-06 | 2018-12-12 | Hercules LLC | Device and method for analysis of coating additive performance |
JP6369131B2 (ja) * | 2014-05-27 | 2018-08-08 | 村田機械株式会社 | 物体認識装置及び物体認識方法 |
CN108965690B (zh) * | 2017-05-17 | 2021-02-26 | 欧姆龙株式会社 | 图像处理***、图像处理装置及计算机可读存储介质 |
US9990767B1 (en) * | 2017-10-24 | 2018-06-05 | Lowe's Companies, Inc. | Generation of 3D models using stochastic shape distribution |
JP7457968B2 (ja) * | 2020-03-09 | 2024-03-29 | パナソニックIpマネジメント株式会社 | 情報処理方法、学習済みモデルの生成方法、装置、及びプログラム |
EP4145338A4 (en) * | 2020-05-13 | 2023-06-21 | Huawei Technologies Co., Ltd. | TARGET DETECTION METHOD AND APPARATUS |
JP2021193538A (ja) * | 2020-06-09 | 2021-12-23 | ソニーグループ株式会社 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
JP7453192B2 (ja) * | 2021-09-27 | 2024-03-19 | Kddi株式会社 | ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法 |
-
2019
- 2019-01-09 US US17/419,499 patent/US11972589B2/en active Active
- 2019-01-09 CN CN201980082694.9A patent/CN113196337B/zh active Active
- 2019-01-09 EP EP19908808.9A patent/EP3910593A4/en active Pending
- 2019-01-09 JP JP2020565086A patent/JP7174074B2/ja active Active
- 2019-01-09 WO PCT/JP2019/000412 patent/WO2020144784A1/ja unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016192132A (ja) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
JP2016197287A (ja) * | 2015-04-02 | 2016-11-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7174074B2 (ja) | 2022-11-17 |
CN113196337B (zh) | 2023-08-29 |
EP3910593A4 (en) | 2022-01-19 |
US20220092330A1 (en) | 2022-03-24 |
CN113196337A (zh) | 2021-07-30 |
EP3910593A1 (en) | 2021-11-17 |
WO2020144784A1 (ja) | 2020-07-16 |
US11972589B2 (en) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7174074B2 (ja) | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 | |
JP6506731B2 (ja) | ビジョンシステムで3dポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法 | |
JP6000579B2 (ja) | 情報処理装置、情報処理方法 | |
JP5564349B2 (ja) | 画像処理装置及び外観検査方法 | |
JP6503153B2 (ja) | ビジョンシステムにおいて3dアライメントアルゴリズムを自動選択するためのシステム及び方法 | |
US12002240B2 (en) | Vision system for a robotic machine | |
JP2011083882A (ja) | ロボットシステム | |
JP6983828B2 (ja) | ビジョンシステムにより画像特徴におけるエッジと法線を同時に考慮するためのシステム及び方法 | |
CN112276936A (zh) | 三维数据生成装置以及机器人控制*** | |
US20190278991A1 (en) | Control apparatus, robot system, and method of detecting object | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP2011107083A (ja) | 姿勢認識方法およびこの方法を用いた3次元視覚センサ | |
JPWO2017081773A1 (ja) | 基板用の画像処理装置および画像処理方法 | |
CN113495073A (zh) | 视觉检查***的自动对焦功能 | |
CN116188559A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
CN116175542A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
Sansoni et al. | Combination of 2D and 3D vision systems into robotic cells for improved flexibility and performance | |
JP7221409B2 (ja) | 高さ測定装置 | |
JP7508206B2 (ja) | 画像処理方法、エッジモデル作成方法、ロボットシステム、および物品の製造方法 | |
WO2023089981A1 (ja) | ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法 | |
TWI747500B (zh) | 自動物件取像方法及裝置 | |
WO2022168617A1 (ja) | ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム | |
WO2023140266A1 (ja) | ピッキング装置及び画像生成プログラム | |
US20240070910A1 (en) | Processing method and processing device for generating cross-sectional image from three-dimensional position information acquired by visual sensor | |
TW202333920A (zh) | 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174074 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |