JP6067547B2 - 物体認識装置、ロボット及び物体認識方法 - Google Patents
物体認識装置、ロボット及び物体認識方法 Download PDFInfo
- Publication number
- JP6067547B2 JP6067547B2 JP2013257666A JP2013257666A JP6067547B2 JP 6067547 B2 JP6067547 B2 JP 6067547B2 JP 2013257666 A JP2013257666 A JP 2013257666A JP 2013257666 A JP2013257666 A JP 2013257666A JP 6067547 B2 JP6067547 B2 JP 6067547B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- recognized
- robot
- motion
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 68
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000032258 transport Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
本実施の形態1に係るロボット1について説明する。まず、図1を参照して、本実施の形態1に係るロボット1の外部構成について説明する。図1は、本実施の形態1に係るロボット1の外部構成図である。
(2)対象物体Aが対象物体Bを隠している場合、対象物体Aが動いた後でも対象物体Bが見えなければ、対象物体Bは対象物体Aに随伴して運動している
(3)対象物体Aが静止しており、対象物体Bが運動した後に対象物体Bが見えなくなった場合、対象物体Bは対象物体A内に存在する
(4)対象物体Aが静止しており、対象物体Bが運動した後に対象物体Aが見えなくなった場合、対象物体Bは対象物体A上に存在する
撮像部50は、その画角内で周辺を撮像し、撮像した環境の画像(カメラ画像)を示す画像情報を生成して特徴抽出部111に出力する(S1)。特徴抽出部111は、撮像部50から出力された画像情報が示す画像について特徴点を抽出する(S2)。
次のフレームとなるt−1フレーム目の画像についても物体が認識されることになるため、その認識結果を利用して以下の処理が行われる(S7)。具体的には、ロボット1は、t−1フレーム目の画像についても、上述のステップS1〜S4と同様の処理によって対象物A及び対象物Bを認識する。すなわち、t−1フレーム目の画像による物体の認識は、ステップS6でNoとなる場合も当然に行われることとなる。
次のフレームとなるtフレーム目の画像についても物体が認識されることになるため、その認識結果を利用して以下の処理が行われる(S12)。具体的には、ロボット1は、tフレーム目の画像についても、上述のステップS1〜S4と同様の処理によって対象物A及び対象物Bを認識する。すなわち、tフレーム目の画像による物体の認識は、ステップS6でNoとなる場合も当然に行われることとなる。ただし、ここでは、対象物A及び対象物Bのうち、いずれかの対象物が認識できない場合が発生するものとして説明する。
上述したように、次のフレームとなるtフレーム目の画像についても物体が認識されることになるため、その認識結果を利用して以下の処理が行われる(S18)。ただし、ここでも、上述と同様に、対象物A及び対象物Bのうち、いずれかの対象物が認識できない場合が発生するものとして説明する。
続いて、実施の形態2に係るロボット1について説明する。本実施の形態2に係るロボット1の外部構成及び内部構成については、図1及び図2と同様であるため説明を省略する。図8を参照して、本実施の形態2に係るロボット1の処理ブロックについて説明する。図8は、本実施の形態2に係るロボット1の処理ブロック図である。
10 ロボット本体
20 移動台車
30 把持部
40 頭部
50 撮像部
60 ハンド
11 制御部
12 記憶部
13 通信部
21a、21b アクチュエータ
22a、22b 車輪
31a、31b アクチュエータ
111 特徴抽出部
112 特徴点対応付け部
113 物体認識部
114 運動ベクトル算出部114
115 運動判定部
116 距離算出部
117 重畳関係推定部
118 物体機能推定部
121 物体情報格納部
122 物体機能格納部
Claims (6)
- 周辺を時間的に連続して撮像し、それぞれの画像を示す複数の画像情報を生成する撮像部と、
前記生成された複数の画像情報のそれぞれについて、前記撮像部の撮像範囲に位置する第1の物体及び第2の物体を認識する物体認識部と、
前記認識された第1の物体及び第2の物体のそれぞれの位置の変化から、前記第1の物体及び前記第2の物体のそれぞれが静止状態か運動状態のいずれにあるかを判定する運動判定部と、
前記第1の物体及び前記第2の物体の認識結果と、前記第1の物体及び前記第2の物体が静止状態か運動状態のいずれにあるかの判定結果から、前記第1の物体と前記第2の物体の重畳関係を推定する重畳関係推定部と、を備え、
前記重畳関係推定部は、
前記第1の物体が静止状態にあり前記第2の物体が運動状態にあるときに、前記第1の物体が認識されているが前記第2の物体が認識されなくなった場合には、前記第1の物体内に前記第2の物体が存在すると推定し、
前記第1の物体が静止状態にあり前記第2の物体が運動状態にあるときに、前記第2の物体が認識されているが前記第1の物体が認識されなくなった場合には、前記第1の物体上に前記第2の物体が存在すると推定する、
物体認識装置。 - 前記物体認識装置は、さらに、前記認識された第1の物体及び前記第2の物体のそれぞれの位置から、前記第1の物体と前記第2の物体との間の距離を算出する距離算出部を備え、
前記重畳関係推定部は、前記距離算出部により算出された前記第1の物体と前記第2の物体との間の距離が所定の距離閾値以上であるときには、前記第1の物体と前記第2の物体のいずれかが認識されなくなるような場合であっても、前記第1の物体と前記第2の物体とが重畳関係にあると推定しない、
請求項1に記載の物体認識装置。 - 前記運動判定部は、前記認識された第1の物体及び第2の物体のそれぞれの位置の変化として、前記第1の物体及び前記第2の物体のそれぞれについて運動ベクトルを算出し、算出した運動ベクトルの大きさが、所定の運動ベクトル閾値未満である場合には静止状態であると判定し、前記運動ベクトル閾値以上である場合には運動状態にあると判定する、
請求項1又は2に記載の物体認識装置。 - 請求項1乃至3のいずれか1項に記載の物体認識装置と、
物体を操作可能なロボットアームと、
前記重畳関係推定部によって推定された前記第1の物体と前記第2の物体の重畳関係を考慮して前記第1の物体又は前記第2の物体を操作するように前記ロボットアームを制御する制御部と、
を備えたロボット。 - 請求項1乃至3のいずれか1項に記載の物体認識装置と、
物体を操作可能なロボットアームと、
前記第1の物体について、その物体内に他の物体を置くことができる物体か、又は、その物体上に他の物体を置くことができる物体かを示す物体機能情報が格納される格納部と、
前記ロボットアームにより前記第1の物体に他の物体を置く場合、前記格納部に格納された物体機能情報に従って、前記第1の物体内に他の物体を置く、又は、前記第2の物体上に他の物体を置くように前記ロボットアームを制御する制御部と、を備え、
前記重畳関係推定部は、
前記第1の物体内に前記第2の物体が存在すると推定した場合、前記第1の物体について、その物体内に他の物体を置くことができる物体であることを示す物体機能情報を前記格納部に格納し、
前記第1の物体上に前記第2の物体が存在すると推定した場合、前記第1の物体について、その物体上に他の物体を置くことができる物体であることを示す物体機能情報を前記格納部に格納する、
ロボット。 - 周辺を時間的に連続して撮像し、それぞれの画像を示す複数の画像情報を生成するステップと、
前記生成された複数の画像情報により、撮像範囲に位置する第1の物体及び第2の物体が静止状態か運動状態のいずれにあるかを判定するステップと、
前記第1の物体が静止状態にあり前記第2の物体が運動状態にあると判定した場合、前記第1の物体及び前記第2の物体のうち、前記第2の物体が認識されなくなったときには、前記第1の物体内に前記第2の物体が存在すると推定し、前記第1の物体が認識されなくなったときには、前記第1の物体上に前記第2の物体が存在すると推定するステップと、
を備えた物体認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257666A JP6067547B2 (ja) | 2013-12-13 | 2013-12-13 | 物体認識装置、ロボット及び物体認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013257666A JP6067547B2 (ja) | 2013-12-13 | 2013-12-13 | 物体認識装置、ロボット及び物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015114933A JP2015114933A (ja) | 2015-06-22 |
JP6067547B2 true JP6067547B2 (ja) | 2017-01-25 |
Family
ID=53528656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013257666A Active JP6067547B2 (ja) | 2013-12-13 | 2013-12-13 | 物体認識装置、ロボット及び物体認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6067547B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105696483A (zh) * | 2016-04-07 | 2016-06-22 | 扬州江润科技有限公司 | 轻型路锥自动收放机器人 |
WO2017179543A1 (ja) * | 2016-04-14 | 2017-10-19 | 日本電気株式会社 | 情報処理装置、情報処理方法及びプログラム記録媒体 |
US11205076B2 (en) * | 2018-08-01 | 2021-12-21 | Rakuten Group, Inc. | Apparatus for alerting based on detecting objects approaching each other in images, alerting method, program, and non-transitory computer-readable information recording medium |
JP7497223B2 (ja) * | 2020-06-16 | 2024-06-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4240957B2 (ja) * | 2002-08-30 | 2009-03-18 | 日本電気株式会社 | 物体追跡装置、物体追跡方法および物体追跡プログラム |
JP4050636B2 (ja) * | 2003-03-05 | 2008-02-20 | 日本電信電話株式会社 | オブジェクト管理システム、オブジェクト管理方法、オブジェクト管理プログラム、及び該プログラムを記録した記録媒体 |
JP4769943B2 (ja) * | 2006-03-30 | 2011-09-07 | 国立大学法人電気通信大学 | 物体追跡装置、異常状態検知装置及び物体追跡方法 |
JP5320850B2 (ja) * | 2008-06-23 | 2013-10-23 | 日産自動車株式会社 | 電力変換装置及び自動車システム |
JP5229593B2 (ja) * | 2010-09-30 | 2013-07-03 | 株式会社Jvcケンウッド | 目標追跡装置、目標追跡方法 |
-
2013
- 2013-12-13 JP JP2013257666A patent/JP6067547B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015114933A (ja) | 2015-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
CN107972026B (zh) | 机器人、机械臂及其控制方法和装置 | |
JP2017185578A (ja) | 物体把持装置及び把持制御プログラム | |
Delmerico et al. | Spatial computing and intuitive interaction: Bringing mixed reality and robotics together | |
US20170368687A1 (en) | Method for teaching a robotic arm to pick or place an object | |
JP6067547B2 (ja) | 物体認識装置、ロボット及び物体認識方法 | |
CN111319044B (zh) | 物品抓取方法、装置、可读存储介质及抓取机器人 | |
KR20120027253A (ko) | 물체-학습 로봇 및 방법 | |
JP2015071206A (ja) | 制御装置、ロボット、教示データ生成方法及びプログラム | |
CN111319039B (zh) | 机器人 | |
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
US20220080581A1 (en) | Dual arm robot teaching from dual hand human demonstration | |
JP2014138964A (ja) | ロボットハンドの制御装置及び制御方法 | |
JP5879704B2 (ja) | ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法 | |
Yang et al. | Real-time human-robot interaction in complex environment using kinect v2 image recognition | |
JP6322949B2 (ja) | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム | |
CN112975952A (zh) | 远程操作***及远程操作方法 | |
JP2018089736A (ja) | マスタスレーブシステム | |
JP2015182212A (ja) | ロボットシステム、ロボット、制御装置、及び制御方法 | |
JP6931585B2 (ja) | 作業システム、作業システムの制御方法及びプログラム | |
JP2012228765A (ja) | ロボット、ロボットの動作方法、及びプログラム | |
JP6455869B2 (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
JP2015145050A (ja) | ロボットシステム、ロボット制御装置、ロボット制御方法およびロボット制御プログラム | |
JP2015157343A (ja) | ロボット、ロボットシステム、制御装置、および制御方法 | |
Hafiane et al. | 3D hand recognition for telerobotics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6067547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |