JP6838027B2 - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP6838027B2 JP6838027B2 JP2018204895A JP2018204895A JP6838027B2 JP 6838027 B2 JP6838027 B2 JP 6838027B2 JP 2018204895 A JP2018204895 A JP 2018204895A JP 2018204895 A JP2018204895 A JP 2018204895A JP 6838027 B2 JP6838027 B2 JP 6838027B2
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- space
- boundary
- stationary object
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Manipulator (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
この場合において、本態様によれば、記憶部に、監視エリア内に物体が存在しない状態での監視エリアの境界の距離画像情報である基準距離画像情報を記憶し、基準距離画像情報と距離画像センサにより取得された距離画像情報とに基づいて監視エリア内に存在する静止物体が距離画像センサの視野内において境界を遮っているか否かが検出される。
この構成により、静止物体によって形成される死角を作業者等が通過したり隠れたりすることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
この構成により、静止物体によって形成される死角が表示部に表示されるので、表示された死角に対して進入を防止する対策を容易に施すことができる。
この構成により、静止物体によって形成される死角が表示部に3次元モデルとして表示されるので、死角の角度を変えて表示し、死角に対して進入を防止する対策を容易に施すことができる。
この構成により、静止物体によって形成される死角が表示部に3次元モデルとして、実際に撮像部により取得されたロボット等の画像に重畳されて表示されるので、ロボット等に対する死角の位置を把握しやすく、死角に対して進入を防止する対策を容易に施すことができる。
本実施形態に係るロボットシステム1は、図1に示されるように、ロボット2と、ロボット2の動作範囲(動作領域)Gの上方に配置される安全カメラ(距離画像センサ)3と、安全カメラ3に接続された画像処理装置4とを備えている。
安全カメラ3は、ステレオカメラあるいはTOF(Time of flight)方式の距離画像センサを用いることができる。安全カメラ3は、画素毎に、安全カメラ3のレンズ中心からの距離を検出した距離画像(距離画像情報)を取得することができる。
すなわち、画像処理装置4は、図2の監視エリアAの外面A1よりも外側に存在する点B1については、その点B1と安全カメラ3のレンズ中心とを結ぶ直線L1において、監視エリアAの外面A1よりも遠い位置に配置されているため、距離画像において対応する画素の距離情報は、同一画素に対応する監視エリアAの外面A1における点B2よりも大きくなり、監視エリアA外の点であるとして監視対象から除外することができる。
具体的には、画像処理装置4は、静止物体Xが配置されていない状態での監視エリアAの外面A1および底面A2の距離画像である第1基準距離画像を記憶する記憶部(図示略)を備え、安全カメラ3により取得された距離画像と基準距離画像との差分から静止物体Xを検出することができる。
図3に基準距離画像の例を示す。そして、図4に監視エリアA内に静止物体Xが配置されている場合の側面図、図5に監視エリアAの外面A1および底面A2の距離画像の例を示す。また、図6に図3の基準距離画像と図5の距離画像との差分画像を示す。
また、図6において、ハッチングが施された領域は、静止物体Xによって監視エリアAの外面A1が遮られている領域を示している。
また、画像処理装置4が、空間の3次元モデルを生成する3次元モデル生成部を備え、生成された空間の3次元モデルを表示部が表示することにしてもよい。
3次元モデルを表示することにより、静止物体Xにより遮られている空間の形状を、見る角度を異ならせて確認することができる。
2 ロボット
3 安全カメラ(距離画像センサ)
4 画像処理装置
A 監視エリア
A1 外面(境界)
A3 内面(境界)
D 最小横断面積
E 最小寸法
G 動作範囲(動作領域)
V 視界(視野)
X 静止物体
Claims (7)
- ロボットと、
該ロボットの動作領域の上方から該動作領域の周囲の距離画像情報を時間的に連続して取得する距離画像センサと、
該距離画像センサにより取得された前記距離画像情報を処理する画像処理装置とを備え、
該画像処理装置が、外部から前記動作領域内への進入を可能とする境界を備えた監視エリアを前記動作領域の周囲に画定し、前記監視エリア内に物体が存在しない状態での該監視エリアの前記境界の前記距離画像情報である基準距離画像情報を記憶する記憶部を備え、前記距離画像センサにより取得された前記距離画像情報と、前記記憶部に記憶されている前記基準距離画像情報とに基づいて、前記監視エリア内に存在する静止物体が、前記距離画像センサの視野内において前記境界を遮っているか否かを検出するロボットシステム。 - 前記画像処理装置は、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間の大きさを算出し、算出された前記空間の大きさが所定の閾値を超えている場合に報知する報知部を備える請求項1に記載のロボットシステム。
- 前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の面積である最小横断面積を算出する請求項2に記載のロボットシステム。
- 前記画像処理装置は、前記空間の大きさとして、前記空間の前記境界に沿う横断面の最小寸法を算出する請求項2に記載のロボットシステム。
- 前記画像処理装置が、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間を表示する表示部を備える請求項1に記載のロボットシステム。
- 前記画像処理装置は、前記空間の3次元モデルを生成する3次元モデル生成部を備え、
前記表示部は、前記3次元モデル生成部により生成された前記空間の3次元モデルを表示する請求項5に記載のロボットシステム。 - 前記ロボットおよびその周辺を撮影する撮影部を備え、
前記表示部が、前記撮影部により取得された画像に前記3次元モデルを重畳して表示する請求項6に記載のロボットシステム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018204895A JP6838027B2 (ja) | 2018-10-31 | 2018-10-31 | ロボットシステム |
US16/565,857 US11126859B2 (en) | 2018-10-31 | 2019-09-10 | Robot system |
DE102019128458.9A DE102019128458A1 (de) | 2018-10-31 | 2019-10-22 | Robotersystem |
CN201911035999.2A CN111113374A (zh) | 2018-10-31 | 2019-10-29 | 机器人*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018204895A JP6838027B2 (ja) | 2018-10-31 | 2018-10-31 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020069572A JP2020069572A (ja) | 2020-05-07 |
JP6838027B2 true JP6838027B2 (ja) | 2021-03-03 |
Family
ID=70325270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018204895A Active JP6838027B2 (ja) | 2018-10-31 | 2018-10-31 | ロボットシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11126859B2 (ja) |
JP (1) | JP6838027B2 (ja) |
CN (1) | CN111113374A (ja) |
DE (1) | DE102019128458A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112971616B (zh) * | 2021-02-07 | 2022-12-30 | 美智纵横科技有限责任公司 | 一种充电座规避方法、装置、扫地机器人及存储介质 |
JP2022139852A (ja) * | 2021-03-12 | 2022-09-26 | オムロン株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60255392A (ja) * | 1984-06-01 | 1985-12-17 | 株式会社日立製作所 | ロボツトの起動方法 |
DE3509241A1 (de) | 1985-03-14 | 1986-09-18 | Traub GmbH Maschinenfabrik, 7313 Reichenbach | Verfahren zum optischen bestimmen und/oder lokalisieren eines objektes |
JPH0538655A (ja) | 1991-07-30 | 1993-02-19 | Hitachi Constr Mach Co Ltd | 作業機械の安全監視システム |
JP3376029B2 (ja) * | 1993-07-15 | 2003-02-10 | 株式会社東芝 | ロボットの遠隔操作装置 |
JP5157067B2 (ja) | 2006-01-06 | 2013-03-06 | トヨタ自動車株式会社 | 自動走行用マップ作成装置、及び自動走行装置。 |
WO2007085330A1 (en) * | 2006-01-30 | 2007-08-02 | Abb Ab | A method and a system for supervising a work area including an industrial robot |
JP4893212B2 (ja) | 2006-10-04 | 2012-03-07 | トヨタ自動車株式会社 | 周辺監視装置 |
DE102007007576B4 (de) * | 2007-02-15 | 2009-01-15 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Sichern eines Arbeitsraums |
US8395490B2 (en) * | 2008-03-27 | 2013-03-12 | Panasonic Corporation | Blind spot display apparatus |
DE102010002250B4 (de) | 2010-02-23 | 2022-01-20 | pmdtechnologies ag | Überwachungssystem |
JP5027270B2 (ja) * | 2010-03-31 | 2012-09-19 | セコム株式会社 | 物体検出センサ |
JP6045806B2 (ja) | 2012-03-30 | 2016-12-14 | セコム株式会社 | 侵入監視装置 |
JP6123307B2 (ja) * | 2013-01-23 | 2017-05-10 | 株式会社デンソーウェーブ | ロボット周辺への物体の侵入を監視する監視システムおよび監視方法 |
JP5673716B2 (ja) * | 2013-03-19 | 2015-02-18 | 株式会社安川電機 | ロボットシステム及び被加工物の製造方法 |
JP2016099257A (ja) * | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP6088605B1 (ja) * | 2015-08-31 | 2017-03-01 | ファナック株式会社 | 視覚センサを用いたロボットシステム |
JP6360105B2 (ja) * | 2016-06-13 | 2018-07-18 | ファナック株式会社 | ロボットシステム |
JP6490121B2 (ja) | 2017-02-17 | 2019-03-27 | ファナック株式会社 | ロボットシステム |
JP6416980B1 (ja) * | 2017-05-17 | 2018-10-31 | ファナック株式会社 | 監視領域を分割した空間領域を監視する監視装置 |
JP6626138B2 (ja) * | 2018-02-19 | 2019-12-25 | ファナック株式会社 | センサを用いた物体監視装置 |
-
2018
- 2018-10-31 JP JP2018204895A patent/JP6838027B2/ja active Active
-
2019
- 2019-09-10 US US16/565,857 patent/US11126859B2/en active Active
- 2019-10-22 DE DE102019128458.9A patent/DE102019128458A1/de active Pending
- 2019-10-29 CN CN201911035999.2A patent/CN111113374A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11126859B2 (en) | 2021-09-21 |
JP2020069572A (ja) | 2020-05-07 |
US20200134322A1 (en) | 2020-04-30 |
DE102019128458A1 (de) | 2020-06-18 |
CN111113374A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10323386B2 (en) | Surroundings monitoring system for work machine | |
EP3553017B1 (en) | Crane | |
KR101566784B1 (ko) | 산업용 및 건설용 중장비 접근감시 및 작동제어 시스템 | |
US10969762B2 (en) | Configuring a hazard zone monitored by a 3D sensor | |
US9596451B2 (en) | Device for monitoring at least one three-dimensional safety area | |
JP6352592B2 (ja) | ショベル | |
US20040227816A1 (en) | Intruding object monitoring system | |
CN108958097B (zh) | 对分割监视区域得到的空间区域进行监视的监视装置 | |
JP7119442B2 (ja) | 監視システム、監視方法及び監視プログラム | |
JP6052881B2 (ja) | 作業機械用周辺監視装置 | |
JP5177515B2 (ja) | 周辺認知支援システム | |
JP7052583B2 (ja) | 監視システム | |
JP6838027B2 (ja) | ロボットシステム | |
JP2014181508A (ja) | 作業機械用周辺監視装置 | |
JP6512793B2 (ja) | 撮像装置、監視カメラシステム、撮像装置の制御方法およびプログラム | |
JP6763913B2 (ja) | 作業機械用周辺監視装置及びショベル | |
JP6290497B2 (ja) | ショベル | |
JP2009140305A (ja) | 車両用情報提示装置 | |
JP6125102B2 (ja) | 情報表示システム | |
JP6301536B2 (ja) | ショベル | |
JP6391656B2 (ja) | 作業機械用周辺監視装置及び作業機械 | |
JP6690203B2 (ja) | ロボット安全システム | |
WO2020111053A1 (ja) | 監視装置、監視システム、監視方法、監視プログラム | |
JP7125454B2 (ja) | ショベル | |
CN112470465B (zh) | 俯瞰图像生成装置以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200714 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6838027 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |