JP6724499B2 - 物体把持装置及び把持制御プログラム - Google Patents
物体把持装置及び把持制御プログラム Download PDFInfo
- Publication number
- JP6724499B2 JP6724499B2 JP2016075739A JP2016075739A JP6724499B2 JP 6724499 B2 JP6724499 B2 JP 6724499B2 JP 2016075739 A JP2016075739 A JP 2016075739A JP 2016075739 A JP2016075739 A JP 2016075739A JP 6724499 B2 JP6724499 B2 JP 6724499B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- grip
- data
- grip control
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
以下に図面を参照して第一の実施形態について説明する。図1は、第一の実施形態の物体把持装置を説明する図である。
このコスト関数を最小化することで、見えている部分の確からしさと、見えている部分をベースに補間した形状の物体形状らしさが最適化されることになる。
以下に、図面を参照して第二の実施形態について説明する。第二の実施形態では、ハンド部材310が把持対象物を把持する際の接触点が可視状態であるか否かを考慮する点が、第一の実施形態と相違する。したがって、以下の第二の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
以下に図面を参照して第三の実施形態について説明する。第三の実施形態は、成功確率が最大値となる3次元形状データと対応する角度で把持対象物を把持させる点が第一の実施形態と相違する。よって、以下の第三の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
以下に図面を参照して第四の実施形態について説明する。以下の第四の実施形態の説明では、第一の実施形態との相違点についてのみ説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
本実施形態では、信頼度の値が大きいほど、物体の3次元形状データが示す形状が物体の真の形状に近いものとなる。
200、200A、200B、200C 把持制御装置
210、210A、210B、210C 把持制御処理部
220 撮像データ取得部
230 認識処理部
231 物体領域検出部
232 形状復元部
240、240A、240B、240C 把持制御部
241 学習モデル保持部
242 成功確率算出部
243 閾値判定部
244 把持指示出力部
245 可視領域判定部
246 最大値取得部
250 学習モデル
251 物体領域抽出部
252 信頼度算出部
253 信頼度閾値判定部
254 対象物判定部
300 アーム部材
310 ハンド部材
400 撮像装置
Claims (5)
- 撮像領域の画像及び距離情報を含む撮像データを取得する撮像データ取得部と、
前記撮像データを用いて撮像領域内に配置された物体毎の物体領域を検出し、前記物体領域と物体形状モデルに基づいて前記物体の3次元形状データを生成する認識処理部と、
前記3次元形状データに基づいて、アーム部材及びハンド部材の動作を制御する把持制御部と、を有し、
前記把持制御部は、
前記3次元形状データに対する把持の成功確率を出力するモデルデータを保持する保持部と、
前記3次元形状データが示す形状を所定の角度ずつ回転させ、回転させる毎に、前記モデルデータを用いて前記成功確率を算出する成功確率算出部と、
前記成功確率に応じて前記アーム部材及び前記ハンド部材に対し、前記物体の把持の指示を出力する把持指示出力部と、を有する物体把持装置。 - 前記把持制御部は、
前記成功確率が閾値以上であるか否かを判定する閾値判定部を有し、
前記把持指示出力部は、
前記成功確率が前記閾値以上であるとき、前記把持の指示を出力する請求項1記載の物体把持装置。 - 前記認識処理部は、
複数の物体領域から1つの物体領域を抽出する物体領域抽出部と、
抽出された物体領域に基づき生成された物体の3次元形状データが示す形状の信頼度を算出する信頼度算出部と、を有し、
前記物体領域抽出部は、
前記信頼度が信頼度閾値未満であったとき、
前記複数の物体領域のうち、前記抽出された物体領域よりも撮像装置に近い物体領域を抽出する請求項1又は2記載の物体把持装置。 - 前記把持制御部は、
前記信頼度が信頼度閾値以上であり、且つ前記抽出された物体領域と対応する物体が把持対象物でないと判定されたとき、前記物体を把持して前記撮像領域外へ移動させる請求項3記載の物体把持装置。 - 撮像領域の画像及び距離情報を含む撮像データを取得する処理と、
前記撮像データを用いて撮像領域内に配置された物体毎の物体領域を検出し、前記物体領域と物体形状モデルに基づいて前記物体の3次元形状データを生成する処理と、
前記3次元形状データに基づいて、アーム部材及びハンド部材の動作指示を出力し、
前記3次元形状データに対する把持の成功確率を出力するモデルデータを保持部に保持し、
前記3次元形状データが示す形状を所定の角度ずつ回転させ、回転させる毎に、前記モデルデータを用いて前記成功確率を算出し、
前記成功確率に応じて前記アーム部材及び前記ハンド部材に対し、前記物体の把持の指示を出力する処理と、をコンピュータに実行させる把持制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075739A JP6724499B2 (ja) | 2016-04-05 | 2016-04-05 | 物体把持装置及び把持制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075739A JP6724499B2 (ja) | 2016-04-05 | 2016-04-05 | 物体把持装置及び把持制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017185578A JP2017185578A (ja) | 2017-10-12 |
JP6724499B2 true JP6724499B2 (ja) | 2020-07-15 |
Family
ID=60045268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016075739A Active JP6724499B2 (ja) | 2016-04-05 | 2016-04-05 | 物体把持装置及び把持制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6724499B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6880457B2 (ja) * | 2017-11-14 | 2021-06-02 | オムロン株式会社 | 把持方法、把持システム及びプログラム |
JP6676030B2 (ja) | 2017-11-20 | 2020-04-08 | 株式会社安川電機 | 把持システム、学習装置、把持方法、及び、モデルの製造方法 |
JP7136554B2 (ja) * | 2017-12-18 | 2022-09-13 | 国立大学法人信州大学 | 把持装置、学習装置、プログラム、把持システム、及び学習方法 |
WO2019130429A1 (ja) * | 2017-12-26 | 2019-07-04 | Kyoto Robotics株式会社 | ピッキング対象物把持情報登録システム |
JP6911798B2 (ja) | 2018-03-15 | 2021-07-28 | オムロン株式会社 | ロボットの動作制御装置 |
CN108656107B (zh) * | 2018-04-04 | 2020-06-26 | 北京航空航天大学 | 一种基于图像处理的机械臂抓取***及方法 |
JP6937995B2 (ja) * | 2018-04-05 | 2021-09-22 | オムロン株式会社 | 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法 |
JP6912415B2 (ja) | 2018-04-10 | 2021-08-04 | ファナック株式会社 | ハンド制御装置およびハンド制御システム |
JP7052546B2 (ja) * | 2018-05-11 | 2022-04-12 | トヨタ自動車株式会社 | 自律移動システム、自律移動体、充電ドック、制御方法、及びプログラム |
JP7068746B2 (ja) * | 2018-08-30 | 2022-05-17 | 株式会社オプティム | コンピュータシステム、物体検知方法及びプログラム |
WO2020050405A1 (ja) * | 2018-09-07 | 2020-03-12 | Ntn株式会社 | 作業装置 |
JP7044047B2 (ja) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
US11185978B2 (en) * | 2019-01-08 | 2021-11-30 | Honda Motor Co., Ltd. | Depth perception modeling for grasping objects |
JP6697204B1 (ja) | 2019-01-25 | 2020-05-20 | 株式会社Mujin | ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置 |
US10870204B2 (en) | 2019-01-25 | 2020-12-22 | Mujin, Inc. | Robotic system control method and controller |
US10456915B1 (en) | 2019-01-25 | 2019-10-29 | Mujin, Inc. | Robotic system with enhanced scanning mechanism |
JP7204513B2 (ja) * | 2019-02-13 | 2023-01-16 | 株式会社東芝 | 制御装置及びプログラム |
JP6659886B1 (ja) * | 2019-03-14 | 2020-03-04 | 上銀科技股▲分▼有限公司 | ランダムに積み重ねた複数の対象物の干渉を排除するシステム |
JP7179672B2 (ja) * | 2019-04-24 | 2022-11-29 | 株式会社日立製作所 | 計算機システム及び機械学習方法 |
JP7229115B2 (ja) * | 2019-07-09 | 2023-02-27 | 株式会社日立製作所 | ロボット制御装置及びロボット |
US11213953B2 (en) | 2019-07-26 | 2022-01-04 | Google Llc | Efficient robot control based on inputs from remote client devices |
JP2022120664A (ja) * | 2021-02-05 | 2022-08-18 | 株式会社アマダ | ワーク検出装置、ワーク検出方法、ワーク検出システム及びワーク検出プログラム |
WO2023042306A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
WO2023152812A1 (ja) * | 2022-02-09 | 2023-08-17 | 日本電気株式会社 | 構造物調査支援システム、構造物調査支援方法及び記録媒体 |
-
2016
- 2016-04-05 JP JP2016075739A patent/JP6724499B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017185578A (ja) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6724499B2 (ja) | 物体把持装置及び把持制御プログラム | |
Davison | Real-time simultaneous localisation and mapping with a single camera | |
US9292734B2 (en) | Method and system for head tracking and pose estimation | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
Sridhar et al. | Interactive markerless articulated hand motion tracking using RGB and depth data | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US9904845B2 (en) | Body feature detection and human pose estimation using inner distance shape contexts | |
JP4177402B2 (ja) | 人間の姿を与えたものを動画化するためのウェーブレットに基づく顔の動きの捕捉 | |
US11741701B2 (en) | Autonomous task performance based on visual embeddings | |
JP2020512646A (ja) | 静的物体及び動的物体を含むシーンの位置特定及びマッピングに関するイメージングシステム | |
KR20140033868A (ko) | 증강현실 응용을 위한 환경 모델링 방법 및 장치 | |
CN113614784A (zh) | 利用稀疏rgb-d slam和交互感知对对象进行检测、跟踪和三维建模 | |
Bandouch et al. | A self-training approach for visual tracking and recognition of complex human activity patterns | |
JP2986455B1 (ja) | 手振り認識装置 | |
JP2000331170A (ja) | 手振り認識装置 | |
JP2015011526A (ja) | 行動認識装置、方法及びプログラム並びに認識器構築装置 | |
JP7385747B2 (ja) | 物体の把持点の三次元位置、ローカル参照フレーム及び把持パターンを求める方法及びシステム | |
JP6877072B1 (ja) | 領域抽出装置、領域抽出方法、及び領域抽出プログラム | |
Bellando et al. | Region-based modeling and tree edit distance as a basis for gesture recognition | |
CN113379930B (zh) | 通过人体曲线图进行的沉浸式交互方法、装置及存储介质 | |
US11620479B2 (en) | System for determining diverting availability of object recognition model | |
KR102392594B1 (ko) | 정리정돈 로봇을 이용한 정리정돈 시스템 | |
Krzeszowski et al. | An approach for model-based 3D human pose tracking, animation and evaluation | |
Mohammed et al. | Deep Reinforcement Learning-Based Robotic Grasping in Clutter and Occlusion. Sustainability 2021, 13, 13686 | |
JP2002170121A (ja) | 画像処理装置および方法、並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6724499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |