JP2018161692A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2018161692A5 JP2018161692A5 JP2017058864A JP2017058864A JP2018161692A5 JP 2018161692 A5 JP2018161692 A5 JP 2018161692A5 JP 2017058864 A JP2017058864 A JP 2017058864A JP 2017058864 A JP2017058864 A JP 2017058864A JP 2018161692 A5 JP2018161692 A5 JP 2018161692A5
- Authority
- JP
- Japan
- Prior art keywords
- holding
- target object
- manipulator
- orientation
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000000875 corresponding Effects 0.000 claims 2
- 230000005484 gravity Effects 0.000 claims 2
- 238000000034 method Methods 0.000 claims 2
- 238000003672 processing method Methods 0.000 claims 2
- 238000005286 illumination Methods 0.000 claims 1
Description
上記課題を解決するために、本発明に係る情報処理装置の一態様は、複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得手段と、対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定手段と、前記第一の決定手段により決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御手段と、前記対象物体の保持の成否を判定する判定手段と、前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得手段と、前記第一の取得手段によって取得された画像のそれぞれに対して前記第二の取得手段により取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。
Claims (19)
- 複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得手段と、
対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定手段と、
前記第一の決定手段により決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御手段と、
前記対象物体の保持の成否を判定する判定手段と、
前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得手段と、
前記第一の取得手段によって取得された画像のそれぞれに対して前記第二の取得手段により取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。 - 前記学習データは、前記第一の取得手段により取得された画像と教師信号となるラベルとの組であり、
前記ラベルは、前記画像の撮像を行ったときの前記マニピュレータの撮像位置姿勢と前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢との相対的な位置姿勢情報と、前記保持成否情報とを含むことを特徴とする請求項1に記載の情報処理装置。 - 前記第二の取得手段は、
前記マニピュレータの前記対象物体との接触情報に基づいて前記保持位置姿勢を取得することを特徴とする請求項1または2に記載の情報処理装置。 - 前記第一の制御手段は、
前記マニピュレータの前記対象物体との接触情報に基づいて前記対象物体を保持可能であると判定したときに、前記保持を指示することを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 - 前記第一の取得手段により取得された画像における重力方向を示す重力方向情報を取得する第三の取得手段をさらに備え、
前記生成手段は、さらに前記第三の取得手段により取得された重力方向情報に基づいて前記学習データを生成することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 前記対象物体を撮像するための目標の撮像位置姿勢を決定する第二の決定手段と、
前記第二の決定手段により決定された撮像位置姿勢に基づいて、前記対象物体を撮像する撮像装置および前記対象物体の少なくとも一方を移動し、前記撮像装置に撮像を指示する第二の制御手段と、をさらに備えることを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記第二の決定手段は、
ユーザが指定した撮像位置姿勢の範囲内で前記目標の撮像位置姿勢を決定することを特徴とする請求項6に記載の情報処理装置。 - 前記第二の制御手段は、さらに前記撮像装置による前記対象物体の撮像時における照明の状態を制御することを特徴とする請求項6または7に記載の情報処理装置。
- 前記生成手段により生成された学習データを用いてモデルを学習する学習手段と、
前記学習手段により学習されたモデルに基づいて、画像中の前記対象物体を認識し、認識された前記対象物体を保持の対象として決定する認識手段と、をさらに備えることを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - 前記認識手段は、
前記画像を入力とし、前記学習手段により学習されたモデルに基づいて、前記第二の取得手段によって取得される前記保持位置姿勢と、前記第一の取得手段によって取得される画像の撮像を行う前記撮像位置姿勢とを決定することを特徴とする請求項9に記載の情報処理装置。 - 前記第二の取得手段は、前記マニピュレータによる複数回の撮像の対象となる前記対象物体に関する学習情報として、前記保持位置姿勢と、前記保持成否情報とを含む情報を取得し、
前記第一の取得手段は、前記対象物体が複数回撮像された複数の画像を取得し、
前記生成手段は、前記第二の取得手段により取得された学習情報と、前記第一の取得手段により取得された複数の画像と、前記撮像位置姿勢とに基づいて、前記学習データを生成することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。 - 前記対象物体を撮像する撮像装置と、
前記撮像装置を移動可能な前記マニピュレータと、をさらに備えることを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。 - 前記マニピュレータの姿勢を取得する姿勢センサをさらに備えることを特徴とする請求項12に記載の情報処理装置。
- 前記対象物体を保持可能な保持装置と、
前記保持装置を移動可能な前記マニピュレータと、をさらに備えることを特徴とする請求項1から13のいずれか1項に記載の情報処理装置。 - 前記保持装置が物体に接触したときの反力を取得する力覚センサをさらに備えることを特徴とする請求項14に記載の情報処理装置。
- 複数の異なる撮像位置から対象物体を撮影した画像を取得する第一の取得手段と、
前記対象物体をマニピュレータによって保持するための保持位置に基づいて前記対象物体を前記マニピュレータで保持する処理を実行したときに、保持に成功したか失敗したかを示す保持成否情報を取得する第二の取得手段と、
前記第二の取得手段によって取得された、一度の保持に対応する前記保持位置と前記保持成否情報とを、前記第一の取得手段によって取得されたそれぞれの画像に対応付けることにより学習データを生成する生成手段と、を備えることを特徴とする情報処理装置。 - 複数の異なる撮像位置姿勢から対象物体が撮像された画像を取得する第一の取得ステップと、
対象物体の保持を行うためのマニピュレータの保持位置姿勢を決定する第一の決定ステップと、
前記第一の決定ステップにより決定された保持位置姿勢に基づいて、前記マニピュレータを移動し、保持を指示する第一の制御ステップと、
前記対象物体の保持の成否を判定する判定ステップと、
前記対象物体の保持を行うときの前記マニピュレータの保持位置姿勢と、当該保持位置姿勢における前記対象物体の保持成否情報とを取得する第二の取得ステップと、
前記第一の取得ステップによって取得された画像のそれぞれに対して前記第二の取得ステップにより取得された保持位置姿勢と前記保持成否情報とを対応付けた学習データを生成する生成ステップと、を含むことを特徴とする情報処理方法。 - 複数の異なる撮像位置から対象物体を撮影した画像を取得する第一の取得ステップと、
前記対象物体をマニピュレータによって保持するための保持位置に基づいて前記対象物体を前記マニピュレータで保持する処理を実行したときに、保持に成功したか失敗したかを示す保持成否情報を取得する第二の取得ステップと、
前記第二の取得ステップによって取得された、一度の保持に対応する前記保持位置と前記保持成否情報とを、前記第一の取得ステップによって取得されたそれぞれの画像に対応付けることにより学習データを生成する生成ステップと、を含むことを特徴とする情報処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017058864A JP6983524B2 (ja) | 2017-03-24 | 2017-03-24 | 情報処理装置、情報処理方法およびプログラム |
US15/927,670 US10839261B2 (en) | 2017-03-24 | 2018-03-21 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017058864A JP6983524B2 (ja) | 2017-03-24 | 2017-03-24 | 情報処理装置、情報処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018161692A JP2018161692A (ja) | 2018-10-18 |
JP2018161692A5 true JP2018161692A5 (ja) | 2020-05-07 |
JP6983524B2 JP6983524B2 (ja) | 2021-12-17 |
Family
ID=63581131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017058864A Active JP6983524B2 (ja) | 2017-03-24 | 2017-03-24 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10839261B2 (ja) |
JP (1) | JP6983524B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3432099B1 (en) * | 2017-07-20 | 2021-09-01 | Siemens Aktiengesellschaft | Method and system for detection of an abnormal state of a machine |
EP3751976B1 (en) * | 2018-02-09 | 2024-06-26 | Fuji Corporation | System for creating learned model for component image recognition, and method for creating learned model for component image recognition |
JP7034971B2 (ja) * | 2018-11-08 | 2022-03-14 | 株式会社東芝 | 作動システム、制御装置、およびプログラム |
US11396101B2 (en) | 2018-11-08 | 2022-07-26 | Kabushiki Kaisha Toshiba | Operating system, control device, and computer program product |
JP7205752B2 (ja) * | 2018-11-09 | 2023-01-17 | オムロン株式会社 | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
JP7207704B2 (ja) * | 2018-11-14 | 2023-01-18 | 旭鉄工株式会社 | 学習システム、及びロボット位置調整システム |
JP6915605B2 (ja) * | 2018-11-29 | 2021-08-04 | オムロン株式会社 | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム |
JP7044047B2 (ja) * | 2018-12-14 | 2022-03-30 | トヨタ自動車株式会社 | ロボット |
KR102156231B1 (ko) * | 2018-12-20 | 2020-09-15 | 한국전자기술연구원 | 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법 |
JP2022521001A (ja) * | 2019-02-22 | 2022-04-04 | デクステリティ・インコーポレーテッド | 非剛体パッケージ内における軟質製品のロボットハンドリング |
KR102158989B1 (ko) * | 2019-02-25 | 2020-09-23 | 군산대학교 산학협력단 | 기억 모델을 형성하는 방법 및 장치 |
US12030175B2 (en) | 2019-03-13 | 2024-07-09 | Nec Corporation | Information processing device, driving control method, and program-recording medium |
WO2020194392A1 (ja) * | 2019-03-22 | 2020-10-01 | connectome.design株式会社 | 自律型ロボット用教師データ生成コンピュータ、方法及びプログラム |
JP7275759B2 (ja) * | 2019-03-28 | 2023-05-18 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
DE102019107969B3 (de) * | 2019-03-28 | 2020-08-06 | Franka Emika Gmbh | Lagewinkelanzeige beim manuellen Führen eines Robotermanipulators |
JP2020166371A (ja) * | 2019-03-28 | 2020-10-08 | セイコーエプソン株式会社 | 情報処理方法、情報処理装置、物体検出装置およびロボットシステム |
JP7358808B2 (ja) * | 2019-07-08 | 2023-10-11 | 株式会社リコー | ロボットおよび機械学習方法 |
US11389957B2 (en) | 2019-09-30 | 2022-07-19 | Mitsubishi Electric Research Laboratories, Inc. | System and design of derivative-free model learning for robotic systems |
JP7376318B2 (ja) * | 2019-10-30 | 2023-11-08 | ファナック株式会社 | アノテーション装置 |
JP7358257B2 (ja) * | 2020-01-28 | 2023-10-10 | 住友重機械工業株式会社 | 制御プログラム生成装置、制御プログラム生成方法、ロール・ツー・ロール搬送システム |
JP7364778B2 (ja) * | 2020-02-19 | 2023-10-18 | ファナック株式会社 | 学習用データセット生成装置および学習用データセット生成方法 |
EP4114622A1 (en) * | 2020-03-06 | 2023-01-11 | Embodied Intelligence Inc. | Imaging process for detecting failure modes |
CN111906782B (zh) * | 2020-07-08 | 2021-07-13 | 西安交通大学 | 一种基于三维视觉的智能机器人抓取方法 |
JPWO2022208843A1 (ja) * | 2021-04-01 | 2022-10-06 | ||
DE112021008134T5 (de) | 2021-10-25 | 2024-07-11 | Fanuc Corporation | Vorrichtung zum Erzeugen von Lerndaten, Verfahren zum Erzeugen von Lerndaten sowie Vorrichtung für maschinelles Lernen und Verfahren für maschinelles Lernen mithilfe von Lerndaten |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10249767A (ja) * | 1997-03-13 | 1998-09-22 | Mitsubishi Electric Corp | 移動型物体把持装置及びその制御方法 |
JP2001019165A (ja) * | 1999-07-02 | 2001-01-23 | Murata Mach Ltd | ワークピッキング装置 |
US6859683B2 (en) * | 2001-06-04 | 2005-02-22 | Futaba Corporation Of America | Integrated robotic cell |
JP5361664B2 (ja) * | 2009-10-30 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5468367B2 (ja) * | 2009-11-24 | 2014-04-09 | Idec株式会社 | ロボット制御方法およびロボット制御システム |
JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
FI20105732A0 (fi) * | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
JP2012088787A (ja) | 2010-10-15 | 2012-05-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP5743499B2 (ja) * | 2010-11-10 | 2015-07-01 | キヤノン株式会社 | 画像生成装置、画像生成方法、およびプログラム |
JP5787642B2 (ja) * | 2011-06-28 | 2015-09-30 | キヤノン株式会社 | 対象物保持装置、対象物保持装置の制御方法、およびプログラム |
JP6541397B2 (ja) * | 2015-04-06 | 2019-07-10 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2016203293A (ja) * | 2015-04-21 | 2016-12-08 | 株式会社豊田自動織機 | ピッキング装置およびピッキング方法 |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017039184A (ja) * | 2015-08-19 | 2017-02-23 | 富士通株式会社 | ロボット |
JP6572687B2 (ja) * | 2015-09-02 | 2019-09-11 | トヨタ自動車株式会社 | 把持可否判定方法 |
JP6514171B2 (ja) * | 2016-09-27 | 2019-05-15 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
-
2017
- 2017-03-24 JP JP2017058864A patent/JP6983524B2/ja active Active
-
2018
- 2018-03-21 US US15/927,670 patent/US10839261B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018161692A5 (ja) | ||
JP2018116599A5 (ja) | ||
JP2019063984A5 (ja) | 情報処理装置及び情報処理方法 | |
JP2020205637A5 (ja) | ||
JP5928114B2 (ja) | ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット | |
Ward-Cherrier et al. | Tactile manipulation with a TacThumb integrated on the open-hand M2 gripper | |
US20190184554A1 (en) | Grasping apparatus, learning apparatus, learned model, grasping system, determination method, and learning method | |
JP2017087326A5 (ja) | ||
JP2014204375A5 (ja) | ||
CN110293553B (zh) | 控制机械臂操作物体的方法、装置及模型训练方法、装置 | |
JP2015176253A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
JP2018107710A5 (ja) | ||
JP2020508888A5 (ja) | ||
JP2013146813A (ja) | ロボット装置および位置姿勢検出方法 | |
JP6838833B2 (ja) | 把持装置、把持方法、及びプログラム | |
JP2014151377A5 (ja) | ||
JP2009078310A5 (ja) | ||
CN112109069A (zh) | 机器人示教装置以及机器人*** | |
JP2018038009A5 (ja) | ||
JP2015186834A (ja) | ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム | |
CN110363811B (zh) | 用于抓取设备的控制方法、装置、存储介质及电子设备 | |
JP7372076B2 (ja) | 画像処理システム | |
US11400363B2 (en) | Information processing apparatus, information processing system, controller device, information processing method, and program | |
JP2005128959A5 (ja) |