JP2019193974A - ロボットシステムおよびロボット制御方法 - Google Patents
ロボットシステムおよびロボット制御方法 Download PDFInfo
- Publication number
- JP2019193974A JP2019193974A JP2019108549A JP2019108549A JP2019193974A JP 2019193974 A JP2019193974 A JP 2019193974A JP 2019108549 A JP2019108549 A JP 2019108549A JP 2019108549 A JP2019108549 A JP 2019108549A JP 2019193974 A JP2019193974 A JP 2019193974A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- dimensional image
- image
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
特許文献1の技術では、カメラにより取得された2次元画像を処理して2次元画像内の物体の像を検出して物体の2次元位置情報を取得し、取得された2次元位置情報に基づいて3次元情報から物体の3次元の位置および姿勢を計算している。
このようにすることで、物体抽出部により抽出された物体を表す領域の形状そのものを用いるのではなく、その領域を包含するように単純化された探索領域を設定することができ、画像探索部による探索演算を容易にすることができる。
撮像部からの距離が近い位置に配置されている物体に付されているマークは2次元画像中に大きく写り、撮像部からの距離が遠い位置に配置されている物体に付されているマークは2次元画像中に小さく写る。このようにすることで、撮像部からの距離に応じて基準画像の縮尺を変更することにより、探索すべきマークの大きさに基準画像を近づけて、探索を容易にすることができる。
マークが付されている物体の表面が撮像部の光軸に対して傾斜していると、マークが歪む。このようにすることで、物体の表面の傾斜角度に応じて基準画像を変形することにより、探索すべきマークの形状に基準画像を近づけて、探索を容易にすることができる。
本実施形態に係る物体認識装置1は、図1に示されるように、所定の監視領域Aを撮影する撮像部2と、該撮像部2により取得された2次元画像G2および3次元画像G1に基づいて物体の種別を認識する画像処理部3とを備えている。
そして、基準画像Mと同一の画像が2次元画像G2の探索領域C2内において発見された場合には、判定部100において、物体Bの種別が、基準画像Mに対応づけられた種別であると認識され、発見されない場合には、物体Bの種別が異物であると認識されるようになっている。
本実施形態に係る物体認識方法は、図6に示されるように、撮像部2により監視領域Aの2次元画像G2および3次元画像G1を取得する撮像ステップS1と、3次元画像G1から物体Bの存在する領域を抽出する物体抽出ステップS2と、物体Bが抽出されたか否かを判定するステップS3と、物体Bが抽出された場合に、2次元画像G2において、記憶している基準画像Mと同一のマークを探索する画像探索ステップS4と、基準画像Mと同一のマークが探索領域C2内に発見されたか否かを判定するステップS5と、発見された否かによって物体Bの種別を判定する判定ステップS6,S7とを含んでいる。
ステップS5においてマークが発見されなかった場合には、探索が終了したか否かを判定し(ステップS8)、終了している場合には、判定ステップS7において物体Bが異物であると認識されるようになっている。探索が終了していない場合には、ステップS4からの工程が繰り返される。
また、本実施形態においては、全ての人間にマークM1を付与することにより、マークM1が探索領域C1,C2に検出されればその物体Bが人間であると認識できるが、特定の人間のみにマークM1を付与することにより、物体Bが特定の人間であるということも認識できるという利点もある。
また、3次元画像G1から抽出された物体Bを包含する探索領域C1,C2として長方形等の単純な形状の領域を定義したので、基準画像Mが探索領域C2内に存在するか否かを簡易に判定することができる。
このロボットシステム70は、図9および図10に示すように、所定の作業を行うロボット10と、ロボット10が作業を行う作業台20と、ロボット10および作業台20を囲う安全柵30とを備えている。
ロボット10は、ロボット制御部16に接続され、該ロボット制御部16により各軸の動作が制御されるようになっている。
また、安全監視対象として認識される作業者Sは複数であってもよい。この場合は、複数の作業者Sの各々について前述と同様の処理が行われる。つまり、全ての作業者Sが認識されなくなるまで前述の安全監視の処理が行われる。
また、作業者Sだけではなく、作業者Sにより運搬される物品も安全監視対象となるので、当該物品とロボット10との接触等を防止することが可能になり、作業者Sの安全の確保やロボット10の故障防止を図ることができる。
また、非対象物体による侵入が検出された場合でもロボット10を共通作業領域A2の外で作業を継続するようにしてもよい。この場合、ロボット10の稼働率を下げることなく、作業者Sの安全が確保される。
2,40 撮像部
6 物体抽出部
7 探索領域設定部
9 画像探索部
10 ロボット
16 ロボット制御部
70 ロボットシステム
100 判定部
A 監視領域
A1 作業者認識領域(監視領域)
A2 共通作業領域(監視領域)
B 物体
C1,C2 探索領域
M 基準画像
G1 3次元画像
G2 2次元画像
S1 撮像ステップ
S2 物体抽出ステップ
S4 画像探索ステップ
S5 判定ステップ
Claims (4)
- 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像部と、
該撮像部により取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、
前記撮像部により取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、
該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置と、
前記監視領域内の所定の作業領域で作業するロボットと、
該ロボットを制御するロボット制御部とを備え、
前記物体認識装置が、前記物体が安全監視対象であると認識した場合に、前記物体が前記作業領域に侵入するのを検出し、
前記ロボット制御部が、前記物体認識装置によって前記作業領域への前記物体の侵入が検出された場合に前記ロボットを停止させるロボットシステム。 - 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像部と、
該撮像部により取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、
前記撮像部により取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、
該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置と、
前記監視領域内の所定の作業領域で作業するロボットと、
該ロボットを制御するロボット制御部とを備え、
前記物体認識装置が、前記物体が安全監視対象であると認識した場合は、前記物体が前記作業領域に侵入するのを許容する一方、前記物体が前記安全監視対象として認識されていない非対象物体であると認識した場合は、前記物体が前記作業領域に侵入するのを検出し、
前記ロボット制御部が、前記物体認識装置によって前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボットシステム。 - 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像ステップと、
該撮像ステップにより取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、
前記撮像ステップにより取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、
該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定ステップと、
該判定ステップにより前記物体が安全監視対象と識別された場合に、ロボットが作業する前記監視領域内の所定の作業領域に前記物体が侵入するのを検出する検出ステップと、
該検出ステップにより前記作業領域への前記物体の侵入が検出された場合に前記ロボットを停止させるロボット停止ステップとを含むロボット制御方法。 - 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像ステップと、
該撮像ステップにより取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、
前記撮像ステップにより取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、
該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定ステップと、
該判定ステップにより前記物体が安全監視対象と識別された場合は、ロボットが作業する前記監視領域内の所定の作業領域に前記物体が侵入するのを許容する一方、前記物体が前記安全監視対象として認識されていない非対象物体と識別された場合は、前記物体が前記作業領域に侵入するのを検出する検出ステップと、
該検出ステップにより前記作業領域への前記非対象物体の侵入が検出された場合に前記ロボットを停止させるロボット停止ステップとを含むロボット制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019108549A JP6806845B2 (ja) | 2019-06-11 | 2019-06-11 | ロボットシステムおよびロボット制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019108549A JP6806845B2 (ja) | 2019-06-11 | 2019-06-11 | ロボットシステムおよびロボット制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016191125A Division JP2018055429A (ja) | 2016-09-29 | 2016-09-29 | 物体認識装置および物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019193974A true JP2019193974A (ja) | 2019-11-07 |
JP6806845B2 JP6806845B2 (ja) | 2021-01-06 |
Family
ID=68469143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019108549A Active JP6806845B2 (ja) | 2019-06-11 | 2019-06-11 | ロボットシステムおよびロボット制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6806845B2 (ja) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61244493A (ja) * | 1985-04-24 | 1986-10-30 | 株式会社東芝 | ロボツト装置 |
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2003196656A (ja) * | 2001-12-28 | 2003-07-11 | Matsushita Electric Works Ltd | 距離画像処理装置 |
JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
JP2007061924A (ja) * | 2005-08-29 | 2007-03-15 | Nachi Fujikoshi Corp | ロボット制御装置、ロボットシステム及びプログラム |
JP2010120139A (ja) * | 2008-11-21 | 2010-06-03 | New Industry Research Organization | 産業用ロボットの安全制御装置 |
JP2010208002A (ja) * | 2009-03-12 | 2010-09-24 | Ihi Corp | ロボット装置の制御装置及びロボット装置の制御方法 |
JP2011194488A (ja) * | 2010-03-18 | 2011-10-06 | Denso Wave Inc | ロボットシステム |
US20140067121A1 (en) * | 2012-08-31 | 2014-03-06 | Rodney Brooks | Systems and methods for safe robot operation |
JP2014094436A (ja) * | 2012-11-12 | 2014-05-22 | Yaskawa Electric Corp | ロボットシステム |
JP2015100873A (ja) * | 2013-11-25 | 2015-06-04 | セイコーエプソン株式会社 | ロボットシステム及びロボット |
JP2015230621A (ja) * | 2014-06-05 | 2015-12-21 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
-
2019
- 2019-06-11 JP JP2019108549A patent/JP6806845B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61244493A (ja) * | 1985-04-24 | 1986-10-30 | 株式会社東芝 | ロボツト装置 |
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2003196656A (ja) * | 2001-12-28 | 2003-07-11 | Matsushita Electric Works Ltd | 距離画像処理装置 |
JP2006003263A (ja) * | 2004-06-18 | 2006-01-05 | Hitachi Ltd | 視覚情報処理装置および適用システム |
JP2007061924A (ja) * | 2005-08-29 | 2007-03-15 | Nachi Fujikoshi Corp | ロボット制御装置、ロボットシステム及びプログラム |
JP2010120139A (ja) * | 2008-11-21 | 2010-06-03 | New Industry Research Organization | 産業用ロボットの安全制御装置 |
JP2010208002A (ja) * | 2009-03-12 | 2010-09-24 | Ihi Corp | ロボット装置の制御装置及びロボット装置の制御方法 |
JP2011194488A (ja) * | 2010-03-18 | 2011-10-06 | Denso Wave Inc | ロボットシステム |
US20140067121A1 (en) * | 2012-08-31 | 2014-03-06 | Rodney Brooks | Systems and methods for safe robot operation |
JP2014094436A (ja) * | 2012-11-12 | 2014-05-22 | Yaskawa Electric Corp | ロボットシステム |
JP2015100873A (ja) * | 2013-11-25 | 2015-06-04 | セイコーエプソン株式会社 | ロボットシステム及びロボット |
JP2015230621A (ja) * | 2014-06-05 | 2015-12-21 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6806845B2 (ja) | 2021-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018055429A (ja) | 物体認識装置および物体認識方法 | |
JP6360105B2 (ja) | ロボットシステム | |
CN105729468B (zh) | 一种基于多深度摄像机增强的机器人工作台 | |
US10347005B2 (en) | Object state identification method, object state identification apparatus, and carrier | |
US7505620B2 (en) | Method for the monitoring of a monitored zone | |
EP1457730B1 (en) | Intruding object monitoring system | |
US20180116556A1 (en) | Height measurement method based on monocular machine vision | |
US11565418B2 (en) | Robot system | |
JP2015212629A (ja) | 検出装置およびこの装置を具えたマニプレータの動作制御 | |
JPH0798214A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JPH05261692A (ja) | ロボットの作業環境監視装置 | |
KR20170142379A (ko) | 영상처리를 이용한 용접로봇의 용접선 인식장치 | |
JP4817384B2 (ja) | 移動物体検出装置及び移動物体検出装置用プログラム | |
JP2019193974A (ja) | ロボットシステムおよびロボット制御方法 | |
US20190139177A1 (en) | Device for detecting road surface state | |
US20230237809A1 (en) | Image processing device of person detection system | |
EP2685150A1 (en) | Monitoring system and method | |
TWI520110B (zh) | 判斷物體是否進入隨選區域之立體視覺偵測方法與系統 | |
EP3800576A1 (en) | Object detection device, vehicle, and object detection process | |
CN107020545A (zh) | 识别机械工件位姿的装置和方法 | |
Kiddee et al. | A geometry based feature detection method of V-groove weld seams for thick plate welding robots | |
Pop et al. | Colored object detection algorithm for visual-servoing application | |
US20230237830A1 (en) | Image processing device of person detection system | |
Vision | Efficient Determination of Misalignment of | |
KR20220089968A (ko) | 철강제품용 태그 부착 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6806845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |