JP2018055429A - 物体認識装置および物体認識方法 - Google Patents
物体認識装置および物体認識方法 Download PDFInfo
- Publication number
- JP2018055429A JP2018055429A JP2016191125A JP2016191125A JP2018055429A JP 2018055429 A JP2018055429 A JP 2018055429A JP 2016191125 A JP2016191125 A JP 2016191125A JP 2016191125 A JP2016191125 A JP 2016191125A JP 2018055429 A JP2018055429 A JP 2018055429A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- unit
- dimensional image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
特許文献1の技術では、カメラにより取得された2次元画像を処理して2次元画像内の物体の像を検出して物体の2次元位置情報を取得し、取得された2次元位置情報に基づいて3次元情報から物体の3次元の位置および姿勢を計算している。
本発明の一態様は、所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像部と、該撮像部により取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、前記撮像部により取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置を提供する。
このようにすることで、物体抽出部により抽出された物体を表す領域の形状そのものを用いるのではなく、その領域を包含するように単純化された探索領域を設定することができ、画像探索部による探索演算を容易にすることができる。
撮像部からの距離が近い位置に配置されている物体に付されているマークは2次元画像中に大きく写り、撮像部からの距離が遠い位置に配置されている物体に付されているマークは2次元画像中に小さく写る。このようにすることで、撮像部からの距離に応じて基準画像の縮尺を変更することにより、探索すべきマークの大きさに基準画像を近づけて、探索を容易にすることができる。
マークが付されている物体の表面が撮像部の光軸に対して傾斜していると、マークが歪む。このようにすることで、物体の表面の傾斜角度に応じて基準画像を変形することにより、探索すべきマークの形状に基準画像を近づけて、探索を容易にすることができる。
本実施形態に係る物体認識装置1は、図1に示されるように、所定の監視領域Aを撮影する撮像部2と、該撮像部2により取得された2次元画像G2および3次元画像G1に基づいて物体の種別を認識する画像処理部3とを備えている。
そして、基準画像Mと同一の画像が2次元画像G2の探索領域C2内において発見された場合には、判定部100において、物体Bの種別が、基準画像Mに対応づけられた種別であると認識され、発見されない場合には、物体Bの種別が異物であると認識されるようになっている。
本実施形態に係る物体認識方法は、図6に示されるように、撮像部2により監視領域Aの2次元画像G2および3次元画像G1を取得する撮像ステップS1と、3次元画像G1から物体Bの存在する領域を抽出する物体抽出ステップS2と、物体Bが抽出されたか否かを判定するステップS3と、物体Bが抽出された場合に、2次元画像G2において、記憶している基準画像Mと同一のマークを探索する画像探索ステップS4と、基準画像Mと同一のマークが探索領域C2内に発見されたか否かを判定するステップS5と、発見された否かによって物体Bの種別を判定する判定ステップS6,S7とを含んでいる。
ステップS5においてマークが発見されなかった場合には、探索が終了したか否かを判定し(ステップS8)、終了している場合には、判定ステップS7において物体Bが異物であると認識されるようになっている。探索が終了していない場合には、ステップS4からの工程が繰り返される。
また、本実施形態においては、全ての人間にマークM1を付与することにより、マークM1が探索領域C1,C2に検出されればその物体Bが人間であると認識できるが、特定の人間のみにマークM1を付与することにより、物体Bが特定の人間であるということも認識できるという利点もある。
また、3次元画像G1から抽出された物体Bを包含する探索領域C1,C2として長方形等の単純な形状の領域を定義したので、基準画像Mが探索領域C2内に存在するか否かを簡易に判定することができる。
このロボットシステム70は、図9および図10に示すように、所定の作業を行うロボット10と、ロボット10が作業を行う作業台20と、ロボット10および作業台20を囲う安全柵30とを備えている。
ロボット10は、ロボット制御部16に接続され、該ロボット制御部16により各軸の動作が制御されるようになっている。
また、安全監視対象として認識される作業者Sは複数であってもよい。この場合は、複数の作業者Sの各々について前述と同様の処理が行われる。つまり、全ての作業者Sが認識されなくなるまで前述の安全監視の処理が行われる。
また、作業者Sだけではなく、作業者Sにより運搬される物品も安全監視対象となるので、当該物品とロボット10との接触等を防止することが可能になり、作業者Sの安全の確保やロボット10の故障防止を図ることができる。
また、非対象物体による侵入が検出された場合でもロボット10を共通作業領域A2の外で作業を継続するようにしてもよい。この場合、ロボット10の稼働率を下げることなく、作業者Sの安全が確保される。
2 撮像部
6 物体抽出部
7 探索領域設定部
9 画像探索部
100 判定部
A 監視領域
A1 作業者認識領域(監視領域)
A2 共通作業領域(監視領域)
B 物体
C1,C2 探索領域
M 基準画像
G1 3次元画像
G2 2次元画像
S1 撮像ステップ
S2 物体抽出ステップ
S4 画像探索ステップ
S5 判定ステップ
Claims (5)
- 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像部と、
該撮像部により取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出部と、
前記撮像部により取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索部と、
該画像探索部により探索される前記基準画像が前記物体抽出部により抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定部とを備える物体認識装置。 - 前記物体抽出部により抽出された前記領域を包含するように、前記画像探索部による探索領域を設定する探索領域設定部を備える請求項1に記載の物体認識装置。
- 前記画像探索部が、前記撮像部により取得された前記3次元画像の各部における前記撮像部からの距離に基づいて、前記基準画像の縮尺を変更して探索を行う請求項1または請求項2に記載の物体認識装置。
- 前記画像探索部が、前記撮像部により取得された前記3次元画像の各部の前記撮像部の光軸に対する傾斜角度に基づいて、前記基準画像を変形して探索を行う請求項1から請求項3のいずれかに記載の物体認識装置。
- 所定の監視領域を撮影して3次元画像および2次元画像を取得する撮像ステップと、
該撮像ステップにより取得された前記3次元画像において、所定範囲の画素値を有する領域を抽出する物体抽出ステップと、
前記撮像ステップにより取得された前記2次元画像において、物体の種別に応じて予め登録された基準画像を探索する画像探索ステップと、
該画像探索ステップにより探索される前記基準画像が前記物体抽出ステップにより抽出された前記領域内に存在するか否かにより前記物体の種別を判定する判定ステップとを含む物体認識方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191125A JP2018055429A (ja) | 2016-09-29 | 2016-09-29 | 物体認識装置および物体認識方法 |
US15/704,083 US10482341B2 (en) | 2016-09-29 | 2017-09-14 | Object recognition device and object recognition method |
CN201710854181.8A CN107886044B (zh) | 2016-09-29 | 2017-09-20 | 物体识别装置以及物体识别方法 |
DE102017122362.2A DE102017122362A1 (de) | 2016-09-29 | 2017-09-26 | Objekterkennungsvorrichtung und Objekterkennungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191125A JP2018055429A (ja) | 2016-09-29 | 2016-09-29 | 物体認識装置および物体認識方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019108549A Division JP6806845B2 (ja) | 2019-06-11 | 2019-06-11 | ロボットシステムおよびロボット制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018055429A true JP2018055429A (ja) | 2018-04-05 |
Family
ID=61563982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016191125A Pending JP2018055429A (ja) | 2016-09-29 | 2016-09-29 | 物体認識装置および物体認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10482341B2 (ja) |
JP (1) | JP2018055429A (ja) |
CN (1) | CN107886044B (ja) |
DE (1) | DE102017122362A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019240051A1 (ja) * | 2018-06-11 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 測距システム及び測距方法 |
JP6945209B1 (ja) * | 2021-03-05 | 2021-10-06 | 株式会社Mujin | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10783682B2 (en) | 2016-11-02 | 2020-09-22 | United Parcel Service Of America, Inc. | Displaying items of interest in an augmented reality environment |
WO2018163572A1 (ja) * | 2017-03-10 | 2018-09-13 | 富士フイルム株式会社 | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
US11797910B2 (en) * | 2017-08-15 | 2023-10-24 | United Parcel Service Of America, Inc. | Hands-free augmented reality system for picking and/or sorting assets |
US10832548B2 (en) * | 2018-05-02 | 2020-11-10 | Rockwell Automation Technologies, Inc. | Advanced industrial safety notification systems |
CN108724183B (zh) * | 2018-05-29 | 2024-03-26 | 广东工业大学 | 一种搬运机械臂的控制方法、***及相关装置 |
CN108875080B (zh) * | 2018-07-12 | 2022-12-13 | 百度在线网络技术(北京)有限公司 | 一种图像搜索方法、装置、服务器及存储介质 |
WO2020213932A1 (en) * | 2019-04-15 | 2020-10-22 | Samsung Electronics Co., Ltd. | Method and system for encoding, decoding and playback of video content in client-server architecture |
US11113526B2 (en) * | 2019-07-23 | 2021-09-07 | Toyota Research Institute, Inc. | Training methods for deep networks |
WO2021177183A1 (ja) * | 2020-03-05 | 2021-09-10 | 日本電気株式会社 | 監視装置、監視システム、監視方法およびプログラム記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2008040616A (ja) * | 2006-08-02 | 2008-02-21 | Teikyo Univ | 暗所における監視方法と監視装置 |
JP2014238687A (ja) * | 2013-06-07 | 2014-12-18 | セイコーエプソン株式会社 | 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004180036A (ja) | 2002-11-27 | 2004-06-24 | Toyota Central Res & Dev Lab Inc | 視差探索方法及び視差探索装置 |
JP2006003994A (ja) | 2004-06-15 | 2006-01-05 | Calsonic Kansei Corp | 道路標識認識装置 |
JP5160643B2 (ja) | 2007-07-12 | 2013-03-13 | トムソン ライセンシング | 2次元画像からの3次元オブジェクト認識システム及び方法 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
WO2012061945A1 (en) * | 2010-11-10 | 2012-05-18 | Ambercore Software Inc. | System and method for object searching using spatial data |
JP2013101045A (ja) | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
JP5891399B2 (ja) | 2012-01-13 | 2016-03-23 | パナソニックIpマネジメント株式会社 | 作業検知システムの設定方法及びそれを用いた作業検知システム |
-
2016
- 2016-09-29 JP JP2016191125A patent/JP2018055429A/ja active Pending
-
2017
- 2017-09-14 US US15/704,083 patent/US10482341B2/en active Active
- 2017-09-20 CN CN201710854181.8A patent/CN107886044B/zh active Active
- 2017-09-26 DE DE102017122362.2A patent/DE102017122362A1/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JPH1031742A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | 画像処理装置および物体移載装置 |
JP2008040616A (ja) * | 2006-08-02 | 2008-02-21 | Teikyo Univ | 暗所における監視方法と監視装置 |
JP2014238687A (ja) * | 2013-06-07 | 2014-12-18 | セイコーエプソン株式会社 | 画像処理装置、ロボット制御システム、ロボット、画像処理方法及び画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
村上 慎治 SHINJI MURAKAMI: "異種画像を用いたロボット視覚による配電作業の自動化手法 Robot Vision System with Gray-Scale Image an", 電気学会論文誌C VOL.122−C NO.11 THE TRANSACTIONS OF THE INSTITUTE OF ELECTRICAL EN, vol. 第122-C巻, JPN6018041336, 1 November 2002 (2002-11-01), JP, pages 1961 - 1968, ISSN: 0004131613 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019240051A1 (ja) * | 2018-06-11 | 2019-12-19 | パナソニックIpマネジメント株式会社 | 測距システム及び測距方法 |
JP6945209B1 (ja) * | 2021-03-05 | 2021-10-06 | 株式会社Mujin | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
JP2022135848A (ja) * | 2021-03-05 | 2022-09-15 | 株式会社Mujin | 物体検出のために安全ボリュームリストを生成するための方法および計算システム |
US11900652B2 (en) | 2021-03-05 | 2024-02-13 | Mujin, Inc. | Method and computing system for generating a safety volume list for object detection |
Also Published As
Publication number | Publication date |
---|---|
CN107886044A (zh) | 2018-04-06 |
DE102017122362A1 (de) | 2018-03-29 |
US10482341B2 (en) | 2019-11-19 |
US20180089524A1 (en) | 2018-03-29 |
CN107886044B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018055429A (ja) | 物体認識装置および物体認識方法 | |
JP6360105B2 (ja) | ロボットシステム | |
US10347005B2 (en) | Object state identification method, object state identification apparatus, and carrier | |
CN105729468B (zh) | 一种基于多深度摄像机增强的机器人工作台 | |
US20050232465A1 (en) | Method for the monitoring of a monitored zone | |
US20180116556A1 (en) | Height measurement method based on monocular machine vision | |
US20040227816A1 (en) | Intruding object monitoring system | |
US20170243372A1 (en) | Object state identification method, object state identification apparatus, and carrier | |
CN105959655A (zh) | 一种智慧金睛识别区域入侵报警方法和装置 | |
CN110926330A (zh) | 图像处理装置和图像处理方法 | |
JP5539250B2 (ja) | 接近物体検知装置及び接近物体検知方法 | |
US20170292650A1 (en) | Configurable user detection system | |
JP5288440B2 (ja) | 人体検出装置及び人体検出方法 | |
EP4049962A1 (en) | Operation assistance device for cargo handling vehicle | |
JPH0798214A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
JPH05261692A (ja) | ロボットの作業環境監視装置 | |
JP4817384B2 (ja) | 移動物体検出装置及び移動物体検出装置用プログラム | |
US20190139177A1 (en) | Device for detecting road surface state | |
JP6806845B2 (ja) | ロボットシステムおよびロボット制御方法 | |
TWI520110B (zh) | 判斷物體是否進入隨選區域之立體視覺偵測方法與系統 | |
Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
JP5432545B2 (ja) | 対象物検出装置 | |
JPWO2018146997A1 (ja) | 立体物検出装置 | |
CN107020545A (zh) | 识别机械工件位姿的装置和方法 | |
CN109493369B (zh) | 一种智能机器人视觉动态定位跟踪方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |