JP5839671B2 - 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 - Google Patents
三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 Download PDFInfo
- Publication number
- JP5839671B2 JP5839671B2 JP2011204945A JP2011204945A JP5839671B2 JP 5839671 B2 JP5839671 B2 JP 5839671B2 JP 2011204945 A JP2011204945 A JP 2011204945A JP 2011204945 A JP2011204945 A JP 2011204945A JP 5839671 B2 JP5839671 B2 JP 5839671B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- edge
- image
- information
- captured images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
このように上記実施形態では、撮像カメラC1、C2と三次元認識部5で構成されるステレオ撮像系SS(図2)が本発明の「三次元位置・姿勢認識装置」に相当し、双腕ロボット1が本発明の「産業用ロボット」に相当し、コンピューター3が本発明の「コンピューター」に相当し、記録媒体6が本発明の「記録媒体」に相当し、プログラム7が本発明の「プログラム」に相当する。また、撮像カメラC1、C2が本発明の「撮像部」に相当し、撮像カメラC1、C2と制御回路50が本発明の「画像取得部」として機能し、平行化回路51およびステレオマッチング回路52が本発明の「視差取得部」として機能し、エッジ抽出回路53が本発明の「エッジ抽出部」に相当し、マスク回路54が本発明の「視差抽出部」に相当し、三次元情報生成回路55、モデルマッチング回路56および制御回路50が本発明の「認識部」に相当し、アーム22およびハンド25が本発明の「部品移動手段」に相当し、制御回路50が本発明の「制御手段」に相当する。また、ステップS101が本発明の「画像取得工程」に相当し、ステップS102、S103が本発明の「視差取得工程」に相当し、ステップS104が本発明の「エッジ抽出工程」に相当し、ステップS105、S106が本発明の「視差抽出工程」に相当し、ステップS108、S109が本発明の「認識工程」に相当する。また、撮像画像I1、I2が本発明の「撮像画像」に相当し、視差画像Isが本発明の「視差画像」および「視差情報」に相当し、エッジ画像Ieが本発明の「エッジ画像」および「エッジ情報」に相当する。
2…ロボット本体
22…アーム
25…ハンド
3…コンピューター
4…ドライバー
5…三次元認識部
50…制御回路
51…平行化回路
52…ステレオマッチング回路
53…エッジ抽出回路
54…マスク回路
55…三次元情報生成回路
56…モデルマッチング回路
6…記録媒体
7…プログラム
91…部品
C1,C2…撮像カメラ
I1,I2…撮像画像
Is…視差画像
Ie…エッジ画像
E…エッジ
L…輪郭
S…三次元情報
SS…ステレオ撮像系
Claims (9)
- 複数の撮像部から対象物を撮像することで、互いに異なる場所から前記対象物を撮像した複数の撮像画像を取得する画像取得部と、
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得部と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出部と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出部と、
前記視差抽出部が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識部と、
を備え、
前記エッジ抽出部は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得部は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出部は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とする三次元位置・姿勢認識装置。 - 前記エッジ抽出部は、前記複数の撮像画像のうちの一の撮像画像のみから前記エッジを抽出して得られる前記対象物の一の前記エッジ画像を、前記エッジ情報として求める請求項1に記載の三次元位置・姿勢認識装置。
- 前記視差取得部は、前記一の撮像画像の各位置での前記視差を示す一の前記視差画像を、前記視差情報として求める請求項2に記載の三次元位置・姿勢認識装置。
- 前記視差取得部は、前記複数の撮像画像それぞれのエピポーラ線を平行にする画像変換を行って、当該画像変換後の前記複数の撮像画像について前記ステレオマッチングを実行する請求項1ないし3のいずれか一項に記載の三次元位置・姿勢認識装置。
- 前記認識部は、前記視差抽出部が抽出した前記視差を三次元での情報に変換して三次元情報を生成するとともに、前記三次元情報と前記対象物の外形を示すモデルとをマッチングさせて、三次元における前記対象物の位置および姿勢を認識する請求項1ないし4のいずれか一項に記載の三次元位置・姿勢認識装置。
- 部品を取って移動させる部品移動手段と、
請求項1ないし5のいずれか一項に記載の三次元位置・姿勢認識装置と、
前記三次元位置・姿勢認識装置により前記対象物としての前記部品の三次元での位置および姿勢を認識した結果に基づいて、前記部品移動手段を制御する制御手段と
を備えることを特徴とする産業用ロボット。 - 互いに異なる場所から対象物を撮像した複数の撮像画像を取得する画像取得工程と、
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得工程と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出工程と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出工程と、
前記視差抽出工程が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識工程と、
を備え、
前記エッジ抽出工程は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得工程は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出工程は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とする三次元位置・姿勢認識方法。 - 互いに異なる場所から対象物を撮像した複数の撮像画像を取得する画像取得機能と、
前記複数の撮像画像についてステレオマッチング処理を行って、前記複数の撮像画像間の視差を示す視差情報を取得する視差取得機能と、
前記撮像画像からエッジを抽出して、前記対象物のエッジを示すエッジ情報を取得するエッジ抽出機能と、
前記エッジ情報が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差情報に含まれる前記視差から抽出する視差抽出機能と、
前記視差抽出機能が抽出した前記視差に基づいて、三次元における前記対象物の位置および姿勢を認識する認識機能とを、コンピューターに実現させ、
前記エッジ抽出機能は、前記複数の撮像画像のうちの一の撮像画像から前記エッジを抽出して得られる前記対象物のエッジ画像を、前記エッジ情報として求め、
前記視差取得機能は、前記一の撮像画像の各位置での前記視差を示す視差画像を、前記視差情報として求め、
前記視差抽出機能は、前記視差画像に前記エッジ画像を重ね合わせることで、前記エッジ画像が示す前記対象物の前記エッジ上の位置での前記視差を、前記視差画像に含まれる前記視差から抽出することを特徴とするプログラム。 - 請求項8に記載のプログラムが記録されており、コンピューターにより読み取りが可能であることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011204945A JP5839671B2 (ja) | 2011-09-20 | 2011-09-20 | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011204945A JP5839671B2 (ja) | 2011-09-20 | 2011-09-20 | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013068417A JP2013068417A (ja) | 2013-04-18 |
JP5839671B2 true JP5839671B2 (ja) | 2016-01-06 |
Family
ID=48474295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011204945A Expired - Fee Related JP5839671B2 (ja) | 2011-09-20 | 2011-09-20 | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5839671B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6849262B1 (ja) * | 2020-05-28 | 2021-03-24 | リンクウィズ株式会社 | 情報処理方法、情報処理システム、プログラム |
EP4261496A4 (en) * | 2020-12-08 | 2024-05-29 | Panasonic Intellectual Property Management Co., Ltd. | METHOD AND DEVICE FOR CREATING A THREE-DIMENSIONAL MODEL |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3826236B2 (ja) * | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置 |
CN1162681C (zh) * | 1999-03-19 | 2004-08-18 | 松下电工株式会社 | 三维物体识别方法及使用该方法的零件抓取*** |
JP2002216113A (ja) * | 2001-01-16 | 2002-08-02 | Fujitsu Ten Ltd | 物体認識装置 |
JP2008082870A (ja) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | 画像処理プログラム及びこれを用いた路面状態計測システム |
JP5380792B2 (ja) * | 2007-06-15 | 2014-01-08 | 株式会社Ihi | 物体認識方法および装置 |
JP5311465B2 (ja) * | 2008-11-25 | 2013-10-09 | Necシステムテクノロジー株式会社 | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム |
-
2011
- 2011-09-20 JP JP2011204945A patent/JP5839671B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013068417A (ja) | 2013-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
Song et al. | CAD-based pose estimation design for random bin picking using a RGB-D camera | |
JP6427972B2 (ja) | ロボット、ロボットシステム及び制御装置 | |
JP6180086B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6222898B2 (ja) | 3次元計測装置及びロボット装置 | |
US8977378B2 (en) | Systems and methods of using a hieroglyphic machine interface language for communication with auxiliary robotics in rapid fabrication environments | |
JP2013069100A (ja) | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 | |
JP2012254518A (ja) | ロボット制御システム、ロボットシステム及びプログラム | |
JP2015071206A (ja) | 制御装置、ロボット、教示データ生成方法及びプログラム | |
JP2004185123A (ja) | 3次元モデルデータ生成装置 | |
US20130054030A1 (en) | Object gripping apparatus, object gripping method, and object gripping program | |
JP4709668B2 (ja) | 3次元物体認識システム | |
JP2013099808A (ja) | 組み付け装置、およびその方法、組み付け動作プログラム | |
JP2014184543A (ja) | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム | |
TW201609302A (zh) | 機器人控制程式產生方法及裝置 | |
JP5839671B2 (ja) | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 | |
Jerbić et al. | Robot assisted 3D point cloud object registration | |
Kingkan et al. | Model-based virtual visual servoing with point cloud data | |
Liang et al. | Rgb-d camera based 3d object pose estimation and grasping | |
JP5868005B2 (ja) | 撮像装置、撮像条件設定方法、プログラム | |
Di Castro et al. | Tracking-based depth estimation of metallic pieces for robotic guidance | |
Byambaa et al. | 6d pose estimation of transparent object from single rgb image for robotic manipulation | |
Seçil et al. | 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot | |
CN116419829A (zh) | 测量***、测量装置、测量方法以及测量程序 | |
Niu et al. | Eye-in-hand manipulation for remote handling: Experimental setup |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5839671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |