JP2018124177A - 床面判断方法 - Google Patents
床面判断方法 Download PDFInfo
- Publication number
- JP2018124177A JP2018124177A JP2017016762A JP2017016762A JP2018124177A JP 2018124177 A JP2018124177 A JP 2018124177A JP 2017016762 A JP2017016762 A JP 2017016762A JP 2017016762 A JP2017016762 A JP 2017016762A JP 2018124177 A JP2018124177 A JP 2018124177A
- Authority
- JP
- Japan
- Prior art keywords
- floor surface
- rgb
- regions
- floor
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004441 surface measurement Methods 0.000 title abstract description 23
- 238000001514 detection method Methods 0.000 description 35
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の実施の形態1に係る移動体の構成を示すブロック図である。また、図2は、実施の形態1に係る床面判断方法を示すフローチャートである。また、図3は、実施の形態1に係る床面判断方法を説明する図である。また、図4は、実施の形態1に係る物体情報データベース103Dの一例を示す図である。
また、制御部103のそれぞれの記憶部に格納されるプログラムは、CPUに実行されることにより、制御部103のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、制御部103における処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。
具体的には、第1の領域検出部103Aは、RANSAC(Ramdom Sample Consensus)法等を用いて、距離センサ101が取得した距離情報である距離画像から平面である領域(以下、「平面領域」と称する。)を推定する。そして、第1の領域検出部103Aは、移動体100の姿勢及び距離センサ101の姿勢に関する情報に基づいて、距離画像から推定した平面領域のうち、床面と推定される位置に位置する平面領域を床面推定領域R1(図3参照)とする。なお、移動体100は、図示しない姿勢センサ等を備え、当該姿勢センサが検出した移動体100の姿勢及び距離センサ101の姿勢は、第1の領域検出部103Aに入力される。
具体的には、第2の領域検出部103Bは、canny法等を用いて、RGB情報であるRGB画像からエッジを検出することにより、RGB画像を複数の領域に分ける。そして、第2の領域検出部103Bは、当該複数の領域のうち、面積が最も大きい領域を床面領域R2とし、それ以外の領域を床面以外の領域R3、R4とする。
あるいは、第2の領域検出部103Bは、Deep Neural Network等のニューラルネットワークを用いて、セマンティックセグメンテーションを行う。より具体的には、第2の領域検出部103Bは、床面のラベル及び床面以外のラベルの2種類のラベルを用いて学習させたニューラルネットワーク(モデル)に、RGBセンサ102によって得られたRGB画像の各画素のRGB値を入力し、入力した画素のRGB値が床面のRGB値か床面以外のRGB値かを判定させる。そして、第2の領域検出部103Bは、当該ニューラルネットワークから出力された判定結果に基づいて、セマンティックセグメンテーションを実行する。なお、床面のラベルとは床面のRGB値であり、床面以外のラベルとは床面以外のRGB値である。また、セマンティックセグメンテーションとは、RGB画像の各画素のRGB値が床面のRGB値であるか床面以外のRGB値であるかについての判定結果に基づいて、床面を示す画素の集まりを床面として検出する処理を意味する。
具体的には、物体認識部103Cは、FAST(Features from Accelerated Segment Test)等の特徴点検出アルゴリズムを用いて当該床面以外の領域R3、R4から特徴点を検出し、検出した特徴点に対してSIFT特徴量等の特徴量を算出し、算出した特徴量と様々な物体の特徴量とを比較する。そして、物体認識部103Cは、床面以外の領域R3、R4が当該床面以外の領域R3、R4の特徴量と最も類似する特徴量を有するテンプレート画像の物体を示す領域であると判定する。なお、テンプレート画像においてもFAST等の特徴点検出アルゴリズムを用いて特徴点を抽出し、抽出した特徴点に対してSIFT特徴量等の特徴量を算出しておく。算出したテンプレート画像の特徴量は、後述の物体情報データベース103Dに、当該テンプレート画像の物体の一般名称と(物体情報データベース103Dに特定名称が格納されている場合には特定名称と)対応付けられて、格納されていてもよい。
あるいは、物体認識部103Cは、Deep Neural Network等のニューラルネットワークを用いて、当該床面以外の領域R3、R4に対して物体認識処理を行う。より具体的には、物体認識部103Cは、様々な物体のラベル(RGB画像又はRGB値)を用いて学習させたニューラルネットワーク(モデル)に、当該床面以外の領域R3、R4のRGB画像(RGB値)を入力し、当該床面以外の領域R3、R4のRGB画像(RGB値)と最も類似するRGB画像(RGB値)を有する物体を抽出させ、当該床面以外の領域R3、R4は抽出された物体を示す領域であると判定する。実際には、当該ニューラルネットワークは、床面以外の領域R3、R4のRGB画像(RGB値)と様々な物体のラベル(RGB画像又はRGB値)との類似度を、床面以外の領域R3、R4が当該物体である確率値として出力する。そして、物体認識部103Cは、当該ニューラルネットワークが出力した確率値に基づいて、当該床面以外の領域R3、R4が何れの物体を示す領域であるかを判定する。
また、物体情報データベース103Dは、様々な物体の一般名称又は特定名称と、当該物体のRGB画像又はRGB値や当該物体のテンプレート画像のSIFT特徴量等と、当該物体上を移動体100が走行可能か否かとを対応付けて格納していてもよい。
まず、第1の領域検出部103Aは、距離センサ101が取得した距離情報と、移動体100の姿勢及び距離センサ101の姿勢に関する情報とに基づいて床面推定領域R1(図3参照)を検出し、当該床面推定領域R1についての情報を第2の領域検出部103Bに入力する(ステップS101)。
ステップS103において、物体認識部103Cが、ステップS102において床面以外の領域R3、R4が検出されなかったと判断した場合(ステップS103;No)、本床面判断方法の処理は、ステップS108に進む。そして、ステップS108において、物体認識部103Cは、当該床面推定領域R1を走行可能領域(図2の走行領域)と判定して(ステップS108)、本床面判断方法の処理を終了する。
ステップS103において、物体認識部103Cが、ステップS102において床面以外の領域R3、R4が検出されたと判断した場合(ステップS103;Yes)、物体認識部103Cは、当該床面以外の領域R3、R4がどの一般物体を示す領域か否かを判定する(ステップS104)。
ステップS105において、物体認識部103Cが、当該一般物体の上を移動体100が走行可能と判断した場合(ステップS105;Yes)、本床面判断方法の処理は、ステップS108に進む。そして、ステップS108において、物体認識部103Cは、当該床面以外の領域R3、R4を走行可能領域(図2の走行領域)と判定して(ステップS108)、本床面判断方法の処理を終了する。
ステップS105において、物体認識部103Cが、当該一般物体の上を移動体100が走行不可能と判断した場合(ステップS105;No1)、本床面判断方法の処理は、ステップS109に進む。そして、ステップS109において、物体認識部103Cは、当該床面以外の領域R3、R4を走行不可能領域(図2の障害物領域)と判定して(ステップS109)、本床面判断方法の処理を終了する。なお、ステップS104において、物体認識部103Cが、床面以外の領域R3、R4がどの一般物体を示す領域か否かを判定できなかった場合にも、物体認識部103Cは、当該一般物体の上を移動体100が走行不可能と判断し(ステップS105;No1)、本床面判断方法の処理は、ステップS109に進む。
ステップS105において、物体認識部103Cが、当該一般物体について物体情報データベース103Dに特定物体の情報が格納されていると判断した場合(ステップS015;No2)、物体認識部103Cは、当該一般物体がどの特定物体を示す領域か否かを判定する(ステップS106)。
ステップS107において、物体認識部103が、当該特定物体の上を移動体100が走行可能と判断した場合(ステップS107;Yes)、物体認識部103は、当該床面以外の領域R3、R4を走行可能領域(図2の走行領域)と判定して(ステップS108)、本床面判断方法の処理を終了する。具体的には、例えば、床面以外の領域R3、R4が示す特定物体の特定名称が図4に示す物体情報データベース103Dの特定名称104Bの「タイプ3」である場合、当該特定名称104Bの「タイプ3」に対応付けられている走行可否104Cは「走行可能」であるため、物体認識部103Cは、当該特定物体「タイプ3」の上を移動体100が走行可能と判断する。
ステップS107において、物体認識部103が、当該特定物体の上を移動体100が走行不可能と判断した場合(ステップS107;No)、物体認識部103は、当該床面以外の領域R3、R4を走行不可能領域(図2の障害物領域)と判定して(ステップS109)、本床面判断方法の処理を終了する。具体的には、例えば、床面以外の領域R3、R4が示す特定物体の特定名称が図4に示す物体情報データベース103Dの特定名称104Bの「タイプ1」である場合、当該特定名称104Bの「タイプ1」に対応付けられている走行可否104Cは「走行不可能」であるため、物体認識部103Cは、当該特定物体「タイプ1」の上を移動体100が走行不可能と判断する。
101 距離センサ
102 RGBセンサ
103 制御部
103A 第1の領域検出部
103B 第2の領域検出部
103C 物体認識部
103D 物体情報データベース
104A 一般名称
104B 特定名称
104C 走行可否
R1 床面推定領域
R2 床面領域
R3、R4 床面以外の領域
Claims (1)
- 距離センサと、
前記距離センサが取得した距離情報に基づいて床面を検出する制御部と、
を備える移動体の床面判断方法であって、
前記移動体は、RGBセンサを更に備え、
前記制御部が、前記距離情報に基づいて床面推定領域を推定し、前記RGBセンサが取得した前記床面推定領域内のRGB情報に基づいて前記床面推定領域内の面が床面か床面以外かを判断する、床面判断方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016762A JP2018124177A (ja) | 2017-02-01 | 2017-02-01 | 床面判断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016762A JP2018124177A (ja) | 2017-02-01 | 2017-02-01 | 床面判断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124177A true JP2018124177A (ja) | 2018-08-09 |
Family
ID=63109530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017016762A Pending JP2018124177A (ja) | 2017-02-01 | 2017-02-01 | 床面判断方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018124177A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021032650A (ja) * | 2019-08-22 | 2021-03-01 | Automagi株式会社 | 劣化状態検出装置及び劣化状態検出方法 |
WO2022244333A1 (ja) * | 2021-05-21 | 2022-11-24 | 日立Astemo株式会社 | 物体認識装置、および、物体認識方法 |
WO2024009518A1 (ja) * | 2022-07-08 | 2024-01-11 | 日本電信電話株式会社 | 認識装置、認識方法及び認識プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2014117989A (ja) * | 2012-12-14 | 2014-06-30 | Nippon Soken Inc | 駐車支援装置 |
JP2016028311A (ja) * | 2014-07-10 | 2016-02-25 | 株式会社リコー | ロボット、プログラム、及び記憶媒体 |
-
2017
- 2017-02-01 JP JP2017016762A patent/JP2018124177A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2014117989A (ja) * | 2012-12-14 | 2014-06-30 | Nippon Soken Inc | 駐車支援装置 |
JP2016028311A (ja) * | 2014-07-10 | 2016-02-25 | 株式会社リコー | ロボット、プログラム、及び記憶媒体 |
Non-Patent Citations (1)
Title |
---|
中村 祐太郎 他: "Kinectセンサを用いた床上静止障害物の検出精度評価", PROCEEDINGS OF THE 2014 JSME CONFERENCE ON ROBOTICS AND MECHATRONICS, vol. No.14-2,3P1-J06, JPN6020029116, 2014, ISSN: 0004644203 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021032650A (ja) * | 2019-08-22 | 2021-03-01 | Automagi株式会社 | 劣化状態検出装置及び劣化状態検出方法 |
JP7290510B2 (ja) | 2019-08-22 | 2023-06-13 | Automagi株式会社 | 劣化状態検出装置及び劣化状態検出方法 |
WO2022244333A1 (ja) * | 2021-05-21 | 2022-11-24 | 日立Astemo株式会社 | 物体認識装置、および、物体認識方法 |
JP7516313B2 (ja) | 2021-05-21 | 2024-07-16 | 日立Astemo株式会社 | 物体認識装置、および、物体認識方法 |
WO2024009518A1 (ja) * | 2022-07-08 | 2024-01-11 | 日本電信電話株式会社 | 認識装置、認識方法及び認識プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823429B2 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
Keller et al. | A new benchmark for stereo-based pedestrian detection | |
CN101271333B (zh) | 移动机器人的定位方法 | |
CN103959307B (zh) | 从灰度图像中检测和描述特征的方法 | |
TWI684136B (zh) | 機器人、控制系統以及用以操作機器人之方法 | |
EP2309454B1 (en) | Apparatus and method for detecting motion | |
JP6265499B2 (ja) | 特徴量抽出装置及び場所推定装置 | |
JP6688962B2 (ja) | 判定装置、判定方法、および判定プログラム | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
US11670078B2 (en) | Method and system for visual based inspection of rotating objects | |
JP2018124177A (ja) | 床面判断方法 | |
CN101383005A (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
JP2014170368A (ja) | 画像処理装置、方法及びプログラム並びに移動体 | |
El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
US10140555B2 (en) | Processing system, processing method, and recording medium | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
KR100998709B1 (ko) | 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 | |
EP3042609B1 (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, and program | |
JP4745966B2 (ja) | 目標物の自動識別システム | |
JP2010009236A (ja) | 平面領域推定装置及びプログラム | |
JP2006172016A (ja) | 移動ロボット、移動ロボット制御方法および移動ロボット制御プログラム | |
JP5369036B2 (ja) | 通過者検出装置、通過者検出方法 | |
Han et al. | Monocular SLAM and obstacle removal for indoor navigation | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
CN114648809A (zh) | 计算机实施的处理监视方法、装置、***和记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211124 |