JP6080407B2 - 3次元計測装置及びロボット装置 - Google Patents
3次元計測装置及びロボット装置 Download PDFInfo
- Publication number
- JP6080407B2 JP6080407B2 JP2012149596A JP2012149596A JP6080407B2 JP 6080407 B2 JP6080407 B2 JP 6080407B2 JP 2012149596 A JP2012149596 A JP 2012149596A JP 2012149596 A JP2012149596 A JP 2012149596A JP 6080407 B2 JP6080407 B2 JP 6080407B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- line
- dimensional
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
以下、本発明の第1実施形態に係るロボット装置1について、図1から図9を参照しながら説明する。まず、ロボット装置1の概略構成について、図1から図3を参照しながら説明する。図1は、本発明の実施形態に係るロボット装置1を示す斜視図である。図2は、本実施形態に係るロボット装置1の制御装置4の構成を示すブロック図である。図3は、第1実施形態に係るカメラ制御部5の構成を示すブロック図である。
次に、本発明の第2実施形態に係るロボット装置1Aについて、図1及び図2を援用すると共に、図10から図12を参照しながら説明する。第2実施形態においては、カメラ制御部5によるワークの3次元座標の計測方法が第1実施形態と相違する。そのため、第2実施形態においては、第1実施形態と相違する点、即ち、カメラ制御部による3次元位置の計測方法を中心に説明し、第1実施形態と同様の構成については同じ符号を付してその説明は省略する。
2 ロボット
5、5A カメラ制御部(制御部)
10 ワーク
22 基準カメラ(第1カメラ)
22a 基準画像面(第1画像)
23 参照カメラ(第2カメラ)
23a 参照画像面(第2画像)
Claims (8)
- ワークを撮像して第1画像を取得する第1カメラと、
前記第1カメラとは異なる視点でワークを撮像して第2画像を取得する第2カメラと、
前記第1画像及び前記第2画像のそれぞれからワークの複数のエッジ線を抽出し、前記第1画像の複数のエッジ線の中から任意に選択された第1エッジ線の端部と、前記第1エッジ線に対応するように前記第2画像の複数のエッジ線から抽出された第2エッジ線の端部と、の仮の3次元座標に対する視線誤差を演算し、前記第1エッジ線の端点及び第2エッジ線の端点のそれぞれの視線誤差とワークの3次元形状に基づき、前記第1画像又は前記第2画像の複数のエッジ線の中の2本のエッジ線が、同一平面、同一直線、垂直及び平行、の各拘束条件の中からいずれか1つ以上を選択して設定された3次元拘束条件とから、評価関数を設定し、前記評価関数の値を最小又は最大にする最適化計算を行ってワークの3次元座標を決定する制御部と、を備えた、
ことを特徴とする3次元計測装置。 - ワークを撮像して第1画像を取得する第1カメラと、
前記第1カメラとは異なる視点でワークを撮像して第2画像を取得する第2カメラと、
前記第1画像及び前記第2画像のそれぞれからワークの複数のエッジ線を抽出し、前記第1画像の複数のエッジ線の中から任意に選択された第1エッジ線の端部の仮の3次元座標に対する視線誤差を演算すると共に、前記第1エッジ線に対応するように前記第2画像の複数のエッジ線の中から抽出された第2エッジ線の前記仮の3次元座標に対する視平面誤差を演算し、前記第1エッジ線の端点の視線誤差、第2エッジ線の視平面誤差及びワークの形状に基づき、前記第1画像又は前記第2画像の複数のエッジ線の中の2本のエッジ線が、同一平面、同一直線、垂直及び平行、の各拘束条件の中からいずれか1つ以上を選択して設定された3次元拘束条件から評価関数を設定し、前記評価関数の値を最小又は最大にする最適化計算を行ってワークの3次元座標を決定する制御部と、を備えた、
ことを特徴とする3次元計測装置。 - 前記3次元拘束条件として、前記第1画像又は前記第2画像の複数のエッジ線の中の2本のエッジ線が、同一平面、同一直線、垂直及び平行、の各拘束条件の中からいずれか1つ以上を設定する選択手段を備えた、
ことを特徴とする請求項1又は2に記載の3次元計測装置。 - ワークを3次元計測する請求項1から3のいずれか1項に記載の3次元計測装置と、
前記3次元計測装置により計測されたワークの3次元位置に基づいてワークを把持するロボットアームと、を備えた、
ことを特徴とするロボット装置。 - 第1カメラでワークを撮像して取得した第1画像からワークの複数のエッジ線を抽出する第1画像エッジ線抽出工程と、
第2カメラでワークを撮像して取得した第2画像からワークの複数のエッジ線を抽出する第2画像エッジ線抽出工程と、
前記第1画像の前記複数のエッジ線の中から任意に選択した第1エッジ線に対応するように前記第2画像の前記複数のエッジ線の中から抽出された第2エッジ線の、前記第1エッジ線の端点に対応する端点を演算する対応点演算工程と、
仮の3次元座標に対する、前記第1エッジ線の端点と、前記第2エッジ線の端点と、のそれぞれの視線誤差を演算する視線誤差演算工程と、
前記第1エッジ線の端点と前記第2エッジ線の端点とのそれぞれに設定された前記視線誤差と、ワークの形状に基づき、前記第1画像又は前記第2画像の複数のエッジ線の中の2本のエッジ線が、同一平面、同一直線、垂直及び平行、の各拘束条件の中からいずれか1つ以上を選択して設定された3次元拘束条件とから評価関数を設定する評価関数設定工程と、
前記評価関数を最小又は最大にする最適化計算を行ってワークの3次元座標を決定する3次元座標計測工程と、備えた、
ことを特徴とする3次元計測方法。 - 第1カメラでワークを撮像して取得した第1画像からワークの複数のエッジ線を抽出する第1画像エッジ線抽出工程と、
第2カメラでワークを撮像して取得した第2画像からワークの複数のエッジ線を抽出する第2画像エッジ線抽出工程と、
前記第1画像の前記複数のエッジ線の中から任意に選択された第1エッジ線の端部の、仮の3次元座標に対する視線誤差と、前記第1エッジ線に対応するように前記第2画像の前記複数のエッジ線の中から抽出された第2エッジ線の、前記仮の3次元座標に対する視平面誤差と、を演算する誤差演算工程と、
前記第1エッジ線の端点の視線誤差、前記第2エッジ線の視平面誤差、及びワークの3次元形状に基づき、前記第1画像又は前記第2画像の複数のエッジ線の中の2本のエッジ線が、同一平面、同一直線、垂直及び平行、の各拘束条件の中からいずれか1つ以上を選択して設定された3次元拘束条件と、から評価関数を設定する評価関数設定工程と、
前記評価関数の値を最小又は最大にする最適化計算を行ってワークの3次元座標を決定する3次元座標計算工程と、備えた、
ことを特徴とする3次元計測方法。 - 請求項5又は6に記載の各工程をコンピュータに実行させるための3次元計測プログラム。
- 請求項7に記載の3次元計測プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012149596A JP6080407B2 (ja) | 2012-07-03 | 2012-07-03 | 3次元計測装置及びロボット装置 |
US13/927,269 US9715730B2 (en) | 2012-07-03 | 2013-06-26 | Three-dimensional measurement apparatus and robot system |
EP13174626.5A EP2682710B1 (en) | 2012-07-03 | 2013-07-02 | Apparatus and method for three-dimensional measurement and robot system comprising said apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012149596A JP6080407B2 (ja) | 2012-07-03 | 2012-07-03 | 3次元計測装置及びロボット装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014013147A JP2014013147A (ja) | 2014-01-23 |
JP2014013147A5 JP2014013147A5 (ja) | 2015-08-20 |
JP6080407B2 true JP6080407B2 (ja) | 2017-02-15 |
Family
ID=48699660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012149596A Active JP6080407B2 (ja) | 2012-07-03 | 2012-07-03 | 3次元計測装置及びロボット装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9715730B2 (ja) |
EP (1) | EP2682710B1 (ja) |
JP (1) | JP6080407B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019110598A1 (de) | 2018-06-01 | 2019-12-05 | Shinmei Industry Co., Ltd. | Achsgeometrie-einstellsystem |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9628775B2 (en) | 2010-01-20 | 2017-04-18 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
US9879976B2 (en) | 2010-01-20 | 2018-01-30 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features |
US9607239B2 (en) | 2010-01-20 | 2017-03-28 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations |
TR201901878T4 (tr) * | 2014-08-08 | 2019-03-21 | Sanovo Tech Italia S R L | Yumurta viyolleri için paletten boşaltma makinesi. |
WO2016044014A1 (en) * | 2014-09-15 | 2016-03-24 | Faro Technologies, Inc. | Articulated arm coordinate measurement machine having a 2d camera and method of obtaining 3d representations |
WO2016042779A1 (ja) * | 2014-09-18 | 2016-03-24 | 日本電気株式会社 | 三角測量装置、三角測量方法およびそのプログラムを記録した記録媒体 |
JP5987073B2 (ja) * | 2015-02-12 | 2016-09-06 | ファナック株式会社 | 撮像部を用いたワークの位置決め装置 |
ES2899284T3 (es) | 2016-07-15 | 2022-03-10 | Fastbrick Ip Pty Ltd | Vehículo que incorpora una máquina de colocación de ladrillos |
WO2018009980A1 (en) | 2016-07-15 | 2018-01-18 | Fastbrick Ip Pty Ltd | Boom for material transport |
US11441899B2 (en) | 2017-07-05 | 2022-09-13 | Fastbrick Ip Pty Ltd | Real time position and orientation tracker |
WO2019033170A1 (en) | 2017-08-17 | 2019-02-21 | Fastbrick Ip Pty Ltd | LASER TRACKING DEVICE WITH ENHANCED ROLL ANGLE MEASUREMENT |
WO2019033165A1 (en) | 2017-08-17 | 2019-02-21 | Fastbrick Ip Pty Ltd | CONFIGURATION OF INTERACTION SYSTEM |
EP3694793B1 (en) | 2017-10-11 | 2023-11-08 | Fastbrick IP Pty Ltd | Machine for conveying objects |
CN109493378B (zh) * | 2018-10-29 | 2021-05-28 | 宁波研新工业科技有限公司 | 一种基于单目视觉与双目视觉相结合的垂直度检测方法 |
WO2021133183A1 (ru) * | 2019-12-23 | 2021-07-01 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Способ управления роботизированным манипулятором |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100356016B1 (ko) | 1999-12-21 | 2002-10-18 | 한국전자통신연구원 | 영상인식에 의한 소포우편물 부피계측시스템 및부피계측방법 |
JP3870255B2 (ja) | 2002-02-25 | 2007-01-17 | 独立行政法人産業技術総合研究所 | 3次元復元方法及び装置 |
JP2006003157A (ja) * | 2004-06-16 | 2006-01-05 | Nippon Telegr & Teleph Corp <Ntt> | 位置検出システム |
EP1901225A1 (en) | 2005-05-10 | 2008-03-19 | Olympus Corporation | Image processing device, image processing method, and image processing program |
JP4599515B2 (ja) * | 2005-05-27 | 2010-12-15 | コニカミノルタセンシング株式会社 | 3次元形状データの位置合わせ方法および装置 |
JP2010117223A (ja) * | 2008-11-12 | 2010-05-27 | Fanuc Ltd | ロボットに取付けられたカメラを用いた三次元位置計測装置 |
JP2010121999A (ja) * | 2008-11-18 | 2010-06-03 | Omron Corp | 3次元モデルの作成方法および物体認識装置 |
JP5713624B2 (ja) * | 2009-11-12 | 2015-05-07 | キヤノン株式会社 | 三次元計測方法 |
JP2011185650A (ja) * | 2010-03-05 | 2011-09-22 | Omron Corp | モデル作成装置およびモデル作成プログラム |
-
2012
- 2012-07-03 JP JP2012149596A patent/JP6080407B2/ja active Active
-
2013
- 2013-06-26 US US13/927,269 patent/US9715730B2/en active Active
- 2013-07-02 EP EP13174626.5A patent/EP2682710B1/en not_active Not-in-force
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019110598A1 (de) | 2018-06-01 | 2019-12-05 | Shinmei Industry Co., Ltd. | Achsgeometrie-einstellsystem |
US11077529B2 (en) | 2018-06-01 | 2021-08-03 | Toyota Jidosha Kabushiki Kaisha | Wheel alignment adjustment system |
Also Published As
Publication number | Publication date |
---|---|
EP2682710B1 (en) | 2016-02-03 |
US20140009582A1 (en) | 2014-01-09 |
EP2682710A1 (en) | 2014-01-08 |
JP2014013147A (ja) | 2014-01-23 |
US9715730B2 (en) | 2017-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6080407B2 (ja) | 3次元計測装置及びロボット装置 | |
JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
CN106873550B (zh) | 模拟装置以及模拟方法 | |
JP5257335B2 (ja) | 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ | |
JP4492654B2 (ja) | 3次元計測方法および3次元計測装置 | |
JP5310130B2 (ja) | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ | |
US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP5897624B2 (ja) | ワークの取出工程をシミュレーションするロボットシミュレーション装置 | |
JP5365218B2 (ja) | ロボットビジョンシステムおよび自動キャリブレーション方法 | |
JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
US9199379B2 (en) | Robot system display device | |
US9841271B2 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP4508252B2 (ja) | ロボット教示装置 | |
JP6324025B2 (ja) | 情報処理装置、情報処理方法 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7238060B2 (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
KR20200100102A (ko) | 증강 현실 디바이스를 교정하기 위한 방법 | |
JP2014180707A (ja) | ロボット装置及び被加工物の製造方法 | |
JP2014013147A5 (ja) | ||
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
JP6973233B2 (ja) | 画像処理システム、画像処理装置および画像処理プログラム | |
KR101972432B1 (ko) | 레이저비전 센서 및 그 보정방법 | |
WO2021210540A1 (ja) | 座標系設定システム及び位置姿勢計測システム | |
TW202305749A (zh) | 模擬裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150702 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6080407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |