JP2022160106A - 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム - Google Patents

床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム Download PDF

Info

Publication number
JP2022160106A
JP2022160106A JP2021064637A JP2021064637A JP2022160106A JP 2022160106 A JP2022160106 A JP 2022160106A JP 2021064637 A JP2021064637 A JP 2021064637A JP 2021064637 A JP2021064637 A JP 2021064637A JP 2022160106 A JP2022160106 A JP 2022160106A
Authority
JP
Japan
Prior art keywords
floor
distance
distance information
unit
floor surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021064637A
Other languages
English (en)
Inventor
宏行 田中
Hiroyuki Tanaka
秀樹 中條
Hideki Nakajo
政宏 木下
Masahiro Kinoshita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2021064637A priority Critical patent/JP2022160106A/ja
Priority to US17/700,586 priority patent/US20220316866A1/en
Priority to DE102022107223.1A priority patent/DE102022107223A1/de
Priority to CN202210348952.7A priority patent/CN115201841A/zh
Publication of JP2022160106A publication Critical patent/JP2022160106A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】床面の状態を正確に検出することが可能な床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラムを提供する。【解決手段】制御部10は、対象物30が置かれる床面FLの状態を検出する装置であって、距離演算部11と、対象物検出部18とを備えている。距離演算部11は、照明装置21から対象物30に対して照射された光の反射量に応じて対象物30までの距離情報を算出する。対象物検出部18は、距離演算部11において取得された距離情報に基づいて、対象物30が置かれる床面FLの状態を検出する。【選択図】図3

Description

本発明は、例えば、床面の凹凸や障害物等の床面の状態を検出する床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラムに関する。
近年、例えば、光源としてLED(Light Emitting Diode)から測定対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time of Flight)センサを用いて、各画素ごとに測定対象物までの距離情報を含む距離画像を生成する測距装置が使用されている。
例えば、特許文献1には、デプスカメラによって得られる距離画像の座標系を、距離画像に含まれる屋内平面部のデータに基づいて実験室座標系に構成するヒト計測システムの座標校正方法について開示されている。
特開2017-122690号公報
しかしながら、上記従来のヒト計測システムでは、以下に示すような問題点を有している。
すなわち、上記公報には、デプスカメラにより得られた距離画像の座標系を実験室座標系に校正することで、ヒトの動作や姿勢を精度よく解析する方法について開示されているものの、ヒトがいる床面の状態がどのようになっているかは考慮されていない。
例えば、デプスカメラが床面上で移動しながらヒトを検出する場合には、走行する床面の状態を認識することが非常に重要である。
本発明の課題は、床面の状態を正確に検出することが可能な床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラムを提供することにある。
第1の発明に係る床面状態検出装置は、対象物が置かれる床面の状態を検出する床面状態検出装置であって、距離情報取得部と、状態検出部と、を備えている。距離情報取得部は、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。状態検出部は、距離情報取得部において取得された距離情報に基づいて、対象物が置かれる床面の状態を検出する。
ここでは、例えば、光源としてLED(Light emitting diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて、床面の状態を検出する。
ここで、検出される床面の状態には、例えば、床面に形成された穴等の凹部、床面に置かれた障害物等の凸部等が含まれる。
本床面状態検出装置は、例えば、TOFセンサ等の測距装置内に設けられていてもよいし、測距装置の外部に設けられていてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得部は、電磁波の反射を検出して距離情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得する構成であってもよい。
これにより、例えば、測距装置が床面上を走行可能な搬送装置等に搭載されている場合でも、走行する床面の状態を検出することができるため、穴や障害物等の凹凸を避けながら搬送等の作業を実施することができる。
この結果、床面の状態を正確に検出して、搬送等の作業を効率よく実施することができる。
第2の発明に係る床面状態検出装置は、第1の発明に係る床面状態検出装置であって、状態検出部は、距離情報を用いて、床面にある凹凸を検出する。
これにより、床面に形成された穴や障害物等の凹凸を精度よく検出することができるため、搬送等の作業を効率よく実施することができる。
第3の発明に係る床面状態検出装置は、第1または第2の発明に係る床面状態検出装置であって、距離画像に含まれる各画素ごとに対応する角度情報を取得する角度情報取得部を、さらに備えている。
これにより、例えば、測距装置が、受光部として、受光レンズと受光レンズを介して受光する電磁波の量を検出する撮像素子とを含む構成では、撮像素子の各画素には、受光レンズによって被写体に対する角度が決められるため、各画素に対応する角度情報を取得することができる。
第4の発明に係る床面状態検出装置は、第3の発明に係る床面状態検出装置であって、距離情報取得部において取得された距離情報を、角度情報取得部において取得された角度情報に基づいて、3次元座標へ変換する3次元座標変換部を、さらに備えている。
これにより、各画素に対応する角度情報を用いて、距離情報を3次元座標(X,Y,Z)へ変換することができる。
第5の発明に係る床面状態検出装置は、第4の発明に係る床面状態検出装置であって、対象物が置かれる床面を検出する平面検出部を、さらに備えている。
これにより、実際に床面に形成された凹凸の検出を行う前段階として、床面を検出することで、対象物の有無を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
第6の発明に係る床面状態検出装置は、第5の発明に係る床面状態検出装置であって、平面検出部において検出された床面における距離情報を、3次元座標変換部において変換した3次元座標に基づいて、測距装置の設置高さを算出する高さ算出部を、さらに備えている。
これにより、床面の位置からの測距装置の設置高さを算出して、床面の凹凸を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
第7の発明に係る床面状態検出装置は、第6の発明に係る床面状態検出装置であって、高さ算出部は、平面検出部において検出された床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させて再度取得された座標値の光軸方向における座標値を、設置高さとして算出する。
これにより、測距装置において測定された床面までの距離について、床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させることで、再度取得された座標値の光軸方向における座標値を測距装置の設置高さとして算出することができる。
すなわち、例えば、測距装置の光軸に相当するZ軸が鉛直方向に向くように、床面の垂線と測距装置の光軸とがなす角度だけ軸周りに回転させることで、測距装置が真下に向かって光を照射してその反射光を受光した場合と同等の距離情報を取得するように、設置高さを算出することができる。
第8の発明に係る床面状態検出装置は、第7の発明に係る床面状態検出装置であって、高さ算出部は、測距装置の直交座標系を軸周りに回転させて再度取得された複数の座標値の光軸方向における座標値の平均値を、設置高さとして算出する。
これにより、床面として認識されている平面からの座標値(距離)について平均値を求め、この平均値を設置高さとして算出することで、例えば、床面に微小な凹凸等がある場合でも正確に床面からの測距装置の設置高さを算出することができる。
第9の発明に係る床面状態検出装置は、第8の発明に係る床面状態検出装置であって、3次元座標変換部において距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する座標回転演算部を、さらに備えている。
これにより、実際に床面の状態を検出する際に、3次元座標変換部において距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算することで、床面における凹凸の有無を検出することができる。
すなわち、演算された回転座標を用いることで、実質的に、凹凸の真上から見た状態で測定した高さ方向における距離(穴の深さ、障害物の高さ等)を測定することができる。
第10の発明に係る床面状態検出装置は、第9の発明に係る床面状態検出装置であって、座標回転演算部において演算された回転座標の高さ方向の座標と、高さ算出部において算出された設置高さとを比較して、高さ方向における正または負の寸法を有する物体を検出すると、物体を床面上における凹凸として検出する凹凸検出部を、さらに備えている。
これにより、床面までの設置高さと対象物の高さ(高さ方向における座標)とを比較して、床面の表面に対する高さ方向における寸法の変化があるか否かに応じて、床面に凹凸があるか否かを容易に検出することができる。
第11の発明に係る床面状態検出装置は、第10の発明に係る床面状態検出装置であって、凹凸検出部における凹凸の検出時に用いられる所定の閾値を設定する閾値設定部を、さらに備えている。
これにより、床面の状態(凹凸等)の検出時において、床面までの設置高さと凹凸の高さ(高さ方向における座標)とを比較する際に、その高さの差が所定の閾値より大きいまたは小さい場合には、その物体を床面の凹凸として検出することで、凹凸の誤検出を抑制することができる。
第12の発明に係る床面状態検出装置は、第10または第11の発明に係る床面状態検出装置であって、状態検出部において検出された凹凸を含む各画素の距離情報を選択して出力する出力情報選択部を、さらに備えている。
これにより、撮像素子の全画素中、床面における凹凸を含む画素だけに対応する距離情報を選択的に出力することで、出力されるデータ量を大幅に削減し、出力負荷を軽減することができる。
第13の発明に係る測距装置は、第1から第12の発明のいずれか1つに係る床面状態検出装置と、対象物に対して電磁波を照射する照射装置と、照明装置から照射された電磁波の反射量を検出する受光部と、を備えている。
これにより、上述した床面状態検出装置が、照明装置と受光部とを備えた測距装置の内部に設けられていることで、床面の状態を正確に検出することが可能な測距装置を得ることができる。
第14の発明に係る測距装置は、第13の発明に係る測距装置であって、距離情報、距離画像に含まれる各画素ごとに対応する角度情報、測距装置の直交座標系、設置高さ、距離情報および角度情報から変換された3次元座標を軸周りに回転させた回転座標、対象物の検出時に用いられる閾値、出力の対象となる画素の座標値の少なくとも1つを保存する記憶部を、さらに備えている。
これにより、距離情報、角度情報、直交座標系、設置高さ、回転座標、閾値、出力の対象となる画素の座標値等を測距装置内に保存することで、保存された各種データを用いて、床面の状態を検出するための処理を実施することができる。
第15の発明に係る測距装置は、第13または第14の発明に係る測距装置であって、画素に対応する距離情報を、外部機器へ出力する出力部を、さらに備えている。
これにより、例えば、対象物を含むと判定され選択された画素に対応する距離情報だけを、出力部から外部機器へ出力することで、測距装置から出力される距離情報を含む情報のデータ量を大幅に軽減することができる。
第16の発明に係る床面状態検出方法は、対象物が置かれる床面の状態を検出する床面状態検出方法であって、距離情報取得ステップと、状態検出ステップと、を備えている。距離情報取得ステップは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。状態検出ステップは、距離情報取得ステップにおいて取得された距離情報に基づいて、対象物が置かれる床面の状態を検出する。
ここでは、例えば、光源としてLED(Light emitting diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて、床面の状態を検出する。
ここで、検出される床面の状態には、例えば、床面に形成された穴等の凹部、床面に置かれた障害物等の凸部等が含まれる。
本床面状態検出方法は、例えば、TOFセンサ等の測距装置内で実施されていてもよいし、測距装置の外部において実施されてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出してもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得してもよい。
これにより、例えば、測距装置が床面上を走行可能な搬送装置等に搭載されている場合でも、走行する床面の状態を検出することができるため、穴や障害物等の凹凸を避けながら搬送等の作業を実施することができる。
この結果、床面の状態を正確に検出して、搬送等の作業を効率よく実施することができる。
第17の発明に係る床面状態検出プログラムは、対象物が置かれる床面の状態を検出する床面状態検出プログラムであって、距離情報取得ステップと、状態検出ステップと、を備えている床面状態検出方法をコンピュータに実行させる。距離情報取得ステップは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。状態検出ステップは、距離情報取得ステップにおいて取得された距離情報に基づいて、対象物が置かれる床面の状態を検出する。
ここでは、例えば、光源としてLED(Light emitting diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて、床面の状態を検出する。
ここで、検出される床面の状態には、例えば、床面に形成された穴等の凹部、床面に置かれた障害物等の凸部等が含まれる。
本床面状態検出方法は、例えば、TOFセンサ等の測距装置内で実施されていてもよいし、測距装置の外部において実施されてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出してもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得してもよい。
これにより、例えば、測距装置が床面上を走行可能な搬送装置等に搭載されている場合でも、走行する床面の状態を検出することができるため、穴や障害物等の凹凸を避けながら搬送等の作業を実施することができる。
この結果、床面の状態を正確に検出して、搬送等の作業を効率よく実施することができる。
本発明に係る床面状態検出装置によれば、床面の状態を正確に検出することができる。
本発明の一実施形態に係る測距装置の外観構成を示す斜視図。 図1の測距装置の制御ブロック図。 図2の測距装置の制御部内に形成される制御ブロック図。 図2の測距装置に含まれるTOF方式で算出される対象物までの距離を算出する原理を説明する図。 図1の測距装置と床面上に置かれた対象物との位置関係を示す図。 図5の測距装置の直交座標形式(3次元座標)をX軸周りに角度θだけ回転させた直交座標回転形式を示す図。 図6の直交座標形式への変換について説明する図。 図6の直交座標回転形式への変換について説明する図。 図1の測距装置と床面上に置かれた対象物との位置関係を直交座標回転形式によって示す図。 図1の測距装置と床面に開いた穴との位置関係を直交座標回転形式によって示す図。 図1の測距装置と床面上のスロープとの位置関係を直交座標回転形式によって示す図。 図1の測距装置によって実施される出力制御方法の処理のうち、実際の測定前に実施されるキャリブレーションの処理の流れを示すフローチャート。 図1の測距装置によって実施される床面状態検出方法の処理のうち、実際の距離測定時の処理の流れを示すフローチャート。 図13のステップS25の処理において、床面上に置かれた対象物(物体)の検出の流れを詳細に説明するフローチャート。 図13のステップS25の処理において、図10の床面の穴を検出する際のフローチャート。 図13のステップS25の処理において、図11のスロープを検出する際のフローチャート。
(実施形態1)
本発明の一実施形態に係る制御部(床面検出装置)10を備えた測距装置20について、図1~図16を用いて説明すれば以下の通りである。
(1)測距装置20の構成
本実施形態に係る測距装置20は、図1に示すように、本体部20aの表面に設けられた照明装置21から対象物30に向かって照射された光L1(電磁波の一例)の反射光を、受光レンズ22を介して撮像素子23において受光して、光L1が照射されてから受光されるまでの光の飛行時間(Time of Flight)に応じて算出される距離情報を取得する。
そして、測距装置20は、図2に示すように、照明装置21と、受光レンズ22と、撮像素子23と、制御部(床面検出装置)10と、記憶部25と、出力部26と、を備えている。
照明装置21は、例えば、LEDを有しており、対象物30に対して所望の波長を有する光を照射する。なお、照明装置21には、LEDから照射された光を集光して対象物30の方向へ導く投光レンズ(図示せず)が設けられている。
受光レンズ22は、照明装置21から対象物30に対して照射され、対象物30において反射した反射光を受光して、撮像素子23へと導くために設けられている。
撮像素子23は、複数の画素を有しており、受光レンズ22において受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部10へと送信する。また、撮像素子23において検出される反射光の受光量に対応する電気信号は、制御部10において各画素における距離情報の算出に用いられる。
制御部10は、図2に示すように、照明装置21、撮像素子23および記憶部25と接続されている。そして、制御部10は、記憶部25に保存された照明制御プログラムを読み込んで、対象物30に対して光を照射する照明装置21を制御する。より詳細には、制御部10は、光を照射する対象物30までの距離、形状、色等の対象物の性質等に応じて最適な光を照射するように、照明装置21を制御する。また、制御部10は、撮像素子23から受信した各画素に対応する電気信号に基づいて、各画素ごとに、対象物30までの距離情報を算出する。
なお、測距装置20による対象物30までの距離測定原理については、後段にて詳述する。
記憶部25は、図2に示すように、制御部10と接続されており、照明装置21および撮像素子23を制御するための制御プログラム、撮像素子23において検出された反射光の光量、受光タイミング、反射光の光量に基づいて算出された距離情報等のデータを保存する。さらに、記憶部25は、後述する距離情報、角度情報、直交座標系、設置高さ、回転座標、閾値、出力の対象となる画素の座標値等の情報を保存する。
出力部26は、後述する出力情報選択部19(図3参照)において選択された画素に対応する距離情報を、外部機器へ出力する。
出力部26から出力された各画素に対応する距離情報は、全画素分ではなく、選択された一部の画素に対応する情報に限定される。このため、出力負荷を軽減することができるとともに、出力先である外部機器における後処理の負荷も軽減することができる。
(2)制御部10の構成
制御部10は、図3に示すように、距離演算部(距離情報取得部)11と、角度情報取得部12と、3次元座標変換部13と、平面検出部14と、高さ算出部15と、座標回転演算部16と、閾値設定部17と、対象物検出部(状態検出部)18と、出力情報選択部19と、を備えている。
距離演算部11は、後述するTOF(Time of Flight)方式の距離測定原理に基づいて、撮像素子23において撮影された濃淡画像の各画素に対応する対象物30までの距離情報を演算する。
角度情報取得部12は、受光レンズ22を介して反射光を受光する撮像素子23において生成される距離画像を構成する複数の画素は、被写体に対する反射光の入射角度が決まるため、各画素それぞれに対応する角度情報を取得する。
3次元座標変換部13は、距離演算部11において取得された距離情報を、角度情報取得部12において取得された角度情報に基づいて、直交座標形式の3次元座標(X,Y,Z)へ変換する(図7参照)。
平面検出部14は、対象物30までの距離を測定する際の基準として、対象物30が置かれた床面FLを検出する画素の範囲を指定して床面FLを検出する(キャリブレーション処理)。
高さ算出部15は、平面検出部14において検出された床面FLにおける距離情報(高さ)を、3次元座標変換部13において変換した3次元座標(X,Y,Z)に基づいて、測距装置20の床面FLからの設置高さhを算出する。より詳細には、高さ算出部15は、床面FLの垂線と測距装置20の光軸とがなす角度θだけ、測距装置20の直交座標系(X,Y,Z)を軸周りに回転させて再度取得された座標値(X,Yr,Zr)のうち、光軸方向における座標値Zrを、設置高さhとして算出する(図6参照)。
本実施形態では、高さ算出部15は、測距装置20の直交座標系(X,Y,Z)を軸周りに回転させて再度取得された複数の座標値(Xr,Yr,Zr)のZ方向における座標値の平均値を、設置高さhとして算出する。
座標回転演算部16は、3次元座標変換部13において距離情報および角度情報から変換された3次元座標(直交座標形式)を、軸周りに回転させた回転座標(直交座標回転形式)を演算する(図6参照)。
閾値設定部17は、対象物検出部18において対象物30を検出する際に用いられる所定の閾値を設定する。なお、閾値設定部17によって設定される閾値は、検出される対象物30の形態、形状、大きさ等に応じて、適宜、異なる値が設定されていればよい。
対象物検出部18は、座標回転演算部16において演算された回転座標の高さ方向の座標zと、高さ算出部15において算出された設置高さhとを比較して、高さ方向における寸法を有する物体を検出すると、この物体を床面FL上に置かれた対象物30として検出する。
出力情報選択部19は、距離演算部11において演算された距離情報に基づいて検出される対象物30を含む距離画像を構成する複数の画素のうち、対象物30を含む画素に対応する距離情報だけを出力対象として選択して出力する。
<測距装置20による距離測定原理>
本実施形態の測距装置20による対象物までの距離測定の原理について、図4を用いて説明すれば以下の通りである。
すなわち、本実施形態では、測距装置20の制御部10(距離演算部11)が、照明装置21から照射された光の投光波と、撮像素子23において受光した光の受光波との位相差Φ(図4参照)に基づいて、対象物30までの距離を算出する。
ここで、位相差Φは、以下の関係式(1)によって示される。
Φ=atan(y/x) ・・・・・(1)
(x=a2-a0,y=a3-a1、a0~a3は、受光波を90度間隔で4回サンプリングしたポイントにおける振幅)
そして、位相差Φから距離Dへの変換式は、以下の関係式(2)によって示される。
D=(c/(2×fLED))×(Φ/2π)+DOFFSET ・・・・・(2)
(cは、光速(≒3×10m/s)、fLEDは、LEDの投光波の周波数、DOFFSETは、距離オフセット。)
これにより、照明装置21から照射された光の反射光を受光して、その位相差を比較することで、距離演算部11は、光速cを用いて、対象物30までの距離を容易に算出することができる。
<出力対象を選択する処理>
本実施形態の測距装置20の制御部10による出力対象を選択する方法について、図面を用いて説明すれば以下の通りである。
すなわち、本実施形態では、測距装置20が、図5に示すように、床面FLに設置された高さhの支柱P1の上端に、斜め下向きの取付角度で取り付けられており、床面FL上に置かれた対象物30が存在するとする。
この場合、測距装置20では、撮像素子23の全ての画素に映る物体(対象物30,床面FL等)までの距離が演算され、各画素に対応する距離情報として、測距装置20を原点とする3次元座標(X,Y,Z)が保存されている。
本実施形態の測距装置20は、これらの各画素に対応する距離情報のうち、対象物30がある位置に対応する画素の距離情報だけを選択的に出力するために、以下のような出力制御処理を実施する。
まず、事前準備時として、測距装置20は、床面FLからの設置高さhを算出するキャリブレーションを実施する。
具体的には、測距装置20は、図5に示すように、床面FL上において、直交座標系(X,Y,Z)で距離の測定を行い、各画素における測定結果(X,Y,Z)座標値を取得する。
次に、測距装置20は、取得した結果に対して、指定された画素範囲において平面検出を行い、平面αの式aX+bY+cZ+d=0の係数a,b,c,dを求める。
なお、平面検出およびa,b,c,dの導出は、既存の技術を活用して行うことができる。例えば、Point Cloud Libraryに提示された平面検出(Plane model segmentation)のサンプルコードを用いて求めることができる(http://pointclouds.org/documentation/tutorials/planar_segmentation.html等参照)。
次に、測距装置20は、床面FLの垂線と、測距装置20の直交座標系のZ軸とがなす角度θを求める。
ここで、図6に示す平面αと測距装置20の直交座標系のZ軸(z+t=0)とがなす角度θは、以下の関係式(1)によって求められる。
θ=cos-1(|a×0+b×0+c×1|÷((a2+b2+c2)1/2×(02+02+12))) ・・・・・(1)
直交座標系をX軸周りにθ度回転させた直交座標回転系によって再度、距離を測定することで、各画素における直交座標回転系の測定結果(Xr,Yr,Zr)の座標値が得られる。
次に、測距装置20は、平面αを検出した平面範囲内におけるZrの平均値を算出し、この平均値を床面FLからの高さhとして算出する。
なお、撮像素子23の各画素における距離の測定値を、角度情報に基づいて、3次元座標に変換する処理について、図7を用いて説明すれば以下の通りである。
すなわち、測距装置20は、図7に示すように、各画素に対応する距離の測定値rを、角度θ、φを用いて3次元座標X,Y,Zへと変換する。
なお、図7に示すr,θ,φおよびX,Y,Zは、以下のように定義される。
X=r×sinθcosφ
Y=r×sinθsinφ
Z=r×cosθ
(測定値rは距離ベクトルrの大きさ、角度θは距離ベクトルrの方向とZ軸がなす角度、角度情報φは距離ベクトルrのX-Y平面への射影ベクトルと、X軸とがなす角度である。)
次に、各画素に対応する距離の測定値を変換した3次元座標(X,Y,Z)を、それぞれX軸、Y軸、Z軸周りで回転させて著効座標回転系へ変換する処理について、図8を用いて説明する。
ここでは、測距装置20は、X軸、Y軸、Z軸周りの回転角度を指定し、全画素のX,Y,Z座標に対して、以下の関係式(2)を用いて、回転後の座標値Xr,Yr,Zrを算出する。
Figure 2022160106000002
例えば、図8に示すように、ある画素の3次元座標値が、(X,Y,Z)=(0,1,0)である場合、X軸周りに90度、Y軸、Z軸周りの回転無しの場合は、回転後の座標(Xr,Yr,Zr)=(0,0,1)となる。
続いて、以上のようなキャリブレーション処理によって、測距装置20の設置高さhを求めた後、図9に示すように、実際に対象物30までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、対象物30を検出するための所定の閾値S1が設定されている。
そして、測距装置20は、測定結果として取得された座標(Xr,Yr,Zr)の中のZrの値と、キャリブレーション処理において算出された設置高さhの値とを比較し、その差の大きさが所定の閾値S1を超える場合には、その画素には対象物30が含まれると判断し、その画素に対応する測定結果の座標(Xr,Yr,Zr)が出力対象として選択される。
本実施形態の測距装置20では、例えば、図9に示すように、床面FL上に置かれた対象物30を検出し、その対象物30までの距離情報を選択して出力する。
このとき、床面FL上に置かれた対象物30を検出するための閾値として、閾値S1が設定される。
そして、直交座標回転形式で得られた測距結果(Xr,Yr,Zr)のZrに着目し、撮像素子23の各画素のそれぞれについて、その差(h-Zr)の演算が行われる。
ここで、差(h-Zr)>S1であれば、その画素位置に対象物30があると判定され、その画素に対応する距離情報が選択され出力される。
本実施形態の測距装置20では、以上のように、TOF方式によって取得される対象物30までの距離情報および角度情報を用いて、測定された距離情報を直交座標回転形式に変換する。そして、測距装置20は、設置高さhとZr値とを比較することで、床面FLと高さの差が所定の閾値S1以上になる物体がある位置と物体のない床面だけの位置とを区別して、物体がある位置を対象物30が存在する画素として検出することができる。
これにより、対象物30が検出された画素に対応する距離情報だけを選択して出力することで、対象物30のない床面の位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
次に、上述したように距離情報を用いて検出される対象物が、床面FLに形成された穴130aである場合の処理について、図10を用いて説明する。
ここでは、図10に示すように、床面FLに形成された穴130aを検出して、その測距結果のみを選択して出力する。
具体的には、上述したキャリブレーション処理によって測距装置20の設置高さhを求めた後、図10に示すように、実際に対象物(穴130a)までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、穴130aを検出するための所定の閾値S2が設定されている。
そして、測距装置20は、測定結果として取得された全ての画素の座標(Xr,Yr,Zr)の中のZrの値と、キャリブレーション処理において算出された設置高さhの値とを比較し、その差(h-Zr)が所定の閾値S2未満である場合には、その画素には穴130aが含まれると判断し、その画素に対応する測定結果の座標(Xr,Yr,Zr)が出力対象として選択される。
これにより、床面FLの状態として、どの位置に穴130aがあるかを容易に検出することができるとともに、穴130aが検出された画素に対応する距離情報だけを選択して出力することで、穴130aのない床面FLの位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
次に、上述したように距離情報を用いて検出される対象物が、床面FLに形成された高さが変化するスロープ130bである場合の処理について、図11を用いて説明する。
ここでは、図11に示すように、床面FLに高さが変化するスロープ130bを検出して、その測距結果のみを選択して出力する。
具体的には、上述したキャリブレーション処理によって測距装置20の設置高さhを求めた後、図11に示すように、実際に対象物(スロープ130b)までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、スロープ130bを検出するための所定の閾値S3が設定されている。
そして、測距装置20は、測定結果として取得された全ての画素の座標(Xr,Yr,Zr)の中のZrの値に着目し、隣接する上下左右の画素間の変化量(ΔZr/ΔXr)+(ΔZr/ΔYr)を求める。
そして、(ΔZr/ΔXr)+(ΔZr/ΔYr)が、所定の閾値S3よりも大きい場合にはS、スロープ130bを検出したその画素に対応する測距結果として、選択されて出力される。
これにより、床面FLの状態として、スロープ130bが検出された画素に対応する距離情報だけを選択して出力することで、スロープ130bのない床面FLの位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
<床面状態検出方法の処理の流れ>
本実施形態の測距装置20は、以上のような構成により、図12から図16に示すフローチャートに従って、床面状態検出方法を実施する。
すなわち、図12では、上述したように、実際の対象物30までの距離の測定を実施する前の段階として、キャリブレーション処理を実施する。
ステップS11では、測距装置20の距離演算部11が、撮像素子23の全ての画素における位相差情報から距離情報を算出する。
次に、ステップS12では、ステップS11において算出された各画素ごとの距離情報と、角度情報取得部12において取得された各画素に対応する角度情報とに基づいて、3次元座標変換部13が、距離情報から直交座標形式の3次元座標(X,Y,Z)に変換する。
次に、ステップS13では、平面検出部14が、測距装置20が設置された床面FL上の所定の平面範囲に対して、平面検出処理を実施する。
次に、ステップS14では、高さ算出部15が、測距装置20の3次元座標のZ軸と床面FLの垂線とがなす角度θ(図6参照)を算出する。
次に、ステップS15では、座標回転演算部16が、全ての画素において、3次元座標を指定された角度θだけ、3軸周りに回転させた直交座標回転形式の座標(Xr,Yr、Zr)を演算する。
次に、ステップS16では、高さ算出部15が、床面FLの所定の平面範囲においてZrの平均値を求め、これを設置高さhとして設定する。
本実施形態の測距装置20では、以上のような処理によって、実際の対象物30までの距離を測定する前段階として、キャリブレーション処理を実施して、対象物30の位置を検出するために使用される基準となる測距装置20の設置高さhを設定する。
続いて、図13では、図12に示すキャリブレーション処理を実施した後、実際の対象物30までの距離測定を行う工程を実施する。
すなわち、ステップS21では、距離演算部11が、撮像素子23の全ての画素において取得された位相差情報を用いて、複数の画素のそれぞれに対応する対象物までの距離情報を算出する。
次に、ステップS22では、3次元座標変換部13が、角度情報取得部12において取得された画素ごとの角度情報に基づいて、撮像素子23の全ての画素において算出された距離情報を、直交座標形式の3次元座標(X,Y,Z)へ変換する。
次に、ステップS23では、座標回転演算部16が、所定の角度θだけ、全ての画素に対応する3次元座標をX・Y・Zの3軸周りに回転させて、回転座標(Xr,Yr,Zr)を演算する。
次に、ステップS24では、撮像素子23の全ての画素について、出力対象となる距離情報を持つ画素であるか否かを1つずつ確認するために、例えば、撮像素子23の全ての画素のうち左下の端からスタートするために、i=0、j=0と設定される。
次に、ステップS25では、画素(i,j)の回転後のZ軸座標値Zrと設置高さhとを比較し、検出対象となる対象物30に応じて設定される所定の閾値S1,S2,S3以上の差があると判定された画素を選択対象として座標(Xr,Yr,Zr)を保存する。
なお、ステップS25の処理内容については、対象物30の種類によって異なるため、詳細は処理については後段にて詳述する。
次に、ステップS26では、i=i+1として、隣接する画素について、出力対象となる距離情報を持つ画素であるか否かを確認する。
次に、ステップS27では、i<Max_iの条件を満たすか否かを判定する。すなわち、ステップS27では、撮像素子23の画素が横方向において端から端まで検証されたか否かを確認する。
ここで、まだ横方向における端(MAX)まで検証されていないと判定されると、ステップS25へ戻り、出力対象となる距離情報を持つ画素であるか否かの検証が行われる。一方、横方向における端(MAX)まで検証されたと判定されると、ステップS28へ移動する。
次に、ステップS28では、ステップS27において、横方向において最大の位置(端)の画素まで検証したと判定されたため、1つ上の列の画素に移動するために、i=0、j=j+1とする。
次に、ステップS29では、j<Max_jの条件を満たすか否かを判定する。すなわち、ステップS29では、撮像素子23の画素が縦方向において端から端まで検証されたか否かを確認する。
ここで、まだ縦方向における端(MAX)まで検証されていないと判定されると、ステップS25へ戻り、出力対象となる距離情報を持つ画素であるか否かの検証が行われる。一方、縦方向における端(MAX)まで検証されたと判定されると、ステップS30へ移動する。
次に、ステップS30では、撮像素子23の全ての画素について検証が完了したため、ステップS25における検証の結果を踏まえて、選択された画素に対応する座標(Xr,Yr,Zr)を出力する。
これにより、対象物30が検出された画素に対応する距離情報だけを選択して出力することで、対象物30のない床面FLの位置に対応する全ての画素分の距離情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
<検出対象が対象物30の場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FLに置かれた物体である場合の処理について、図14を用いて詳細に説明する。
すなわち、ステップS31では、図12に示すキャリブレーションの処理によって求められた床面FLからの高さhから対象画素(i,j)の直交座標回転系の鉛直方向に対応する座標Zr値を減算して、(h-Zr)を算出する。
次に、ステップS32では、ステップS31における減算処理の結果(h-Zr)は、床面FLに置かれた対象物30の有無を判定するために、閾値設定部17によって設定された所定の閾値S1より大きいか否かが判定される。
ここで、減算処理の結果(h-Zr)が閾値S1よりも大きいと判定されると、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値以上ある物体であると認識され、ステップS33へ進む。
一方、減算処理の結果(h-Zr)が閾値S1よりも小さいと判定されると、対象画素に含まれる対象物30が床面FLからの高さ寸法がほとんどない物体あるいは床面FLであると認識され、ステップS35へ進む。
次に、ステップS33では、ステップS32において、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値以上ある物体であると認識されたため、対象物検出部18が、床面FL上に対象物30ありと判定する。
次に、ステップS34では、出力情報選択部19が、対象物30ありと判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(01)とを出力対象として選択する。
次に、ステップS35では、ステップS32において、対象画素に含まれる対象物30が床面FLからの高さ寸法がほとんどない物体あるいは床面FLであると認識されたため、その画素に対応する床面FL上の位置に対象物なしと判定して、ステップS26へ進む。
これにより、床面FLに置かれた物体(対象物30)の有無を判定するために設定された閾値S1を用いて、対象画素に床面FL上に置かれた対象物30が含まれるか否かを容易に判定することができる。
<検出対象が穴130aの場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FLに形成された穴130a(図10参照)である場合の処理について、図15を用いて詳細に説明する。
すなわち、ステップS41では、図12に示すキャリブレーションの処理によって求められた床面FLからの高さhから対象画素(i,j)の直交座標回転系の鉛直方向に対応する座標Zr値を減算して、(h-Zr)を算出する。
次に、ステップS42では、ステップS41における減算処理の結果(h-Zr)は、床面FLに形成された穴130aの有無を判定するために、閾値設定部17によって設定された所定の閾値S2より小さいか否かが判定される。
すなわち、対象物が穴130aである場合には、測距装置20において取得される対応画素の距離情報は、床面FLまでの設置高さhよりも大きくなる。よって、ここでは、(h-Zr)の値は、穴130aに対応する画素ではマイナスの値になることを踏まえ、判定用に設定された閾値S2よりも小さくなるか否かを判定する。
ここで、減算処理の結果(h-Zr)が閾値S2よりも小さいと判定されると、対象画素に含まれる対象物30が床面FLよりも下にある穴130aであると認識され、ステップS43へ進む。
一方、減算処理の結果(h-Zr)が閾値S2よりも大きいと判定されると、対象画素に含まれる対象物30が床面FLからの深さ寸法がほとんどない物体あるいは床面FLであると認識され、ステップS45へ進む。
次に、ステップS43では、ステップS42において、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値S2より小さいと判定されたため、対象物検出部18が、床面FLに穴130aありと判定する。
次に、ステップS44では、出力情報選択部19が、穴130aがあると判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(02)とを出力対象として選択する。
次に、ステップS45では、ステップS42において、対象画素に含まれる対象物が床面FLからの深さ寸法がほとんどない物体あるいは床面FLであると認識されたため、その画素に対応する床面FL上の位置に穴130aなしと判定して、ステップS26へ進む。
これにより、床面FLに形成された穴130aの有無を判定するために設定された閾値S2を用いて、対象画素に床面FLに形成された穴130aが含まれるか否かを容易に判定することができる。
<検出対象がスロープ130bの場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FL上のスロープ130b(図11参照)である場合の処理について、図16を用いて詳細に説明する。
すなわち、ステップS51では、高さ方向における寸法が変化するスロープ130bの有無を判定するために、ある画素位置(i,j)とこれに横方向マイナス側に隣接する画素位置(i-1,j)のZrの変化量ΔZr/ΔXrを算出する。さらに、ある画素位置(i,j)とこれに縦方向マイナス側に隣接する画素位置(i,j-1)のZrの変化量ΔZr/ΔYrを算出する。
次に、ステップS52では、ステップS51において算出されたΔZr/ΔXrとΔZr/ΔYrの和が、床面FL上のスロープ130bの有無を判定するために、閾値設定部17によって設定された所定の閾値S3より大きいか否か、すなわち、{(ΔZr/ΔXr)+(ΔZr/ΔYr)}>閾値S3という条件式を満たすか否かが判定される。
すなわち、対象物がスロープ130bである場合には、横方向および縦方向に隣接する画素との高さ方向における変化量が所定値以上になることを踏まえ、その変化量の縦横の和が判定用に設定された閾値S3よりも大きいか否かを判定する。
ここで、判定結果が閾値S3よりも大きいと判定されると、対象画素に含まれる対象物30がスロープ130bである可能性があると認識され、ステップS53へ進む。
一方、判定結果が閾値S3よりも小さいと判定されると、対象画素にはスロープ130bが含まれていないと認識され、ステップS57へ進む。
次に、ステップS53では、ある画素位置(i,j)とこれに横方向プラス側に隣接する画素位置(i+1,j)のZrの変化量ΔZr/ΔXrを算出する。さらに、ある画素位置(i,j)とこれに縦方向プラス側に隣接する画素位置(i,j+1)のZrの変化量ΔZr/ΔYrを算出する。
次に、ステップS54では、ステップS53において算出されたΔZr/ΔXrとΔZr/ΔYrの和が、閾値S3より大きいか否か、すなわち、{(ΔZr/ΔXr)+(ΔZr/ΔYr)}>S3という条件式を満たすか否かが判定される。
ここで、判定結果が閾値S3よりも大きいと判定されると、対象画素に含まれる対象物30がスロープ130bであると認識され、ステップS55へ進む。
一方、判定結果が閾値S3よりも小さいと判定されると、対象画素にはスロープ130bが含まれていないと認識され、ステップS57へ進む。
次に、ステップS55では、ステップS54において、ΔZr/ΔXrとΔZr/ΔYrの和が閾値S3より大きいと判定されたため、対象物検出部18が、床面FLにスロープ130bありと判定する。
次に、ステップS56では、出力情報選択部19が、スロープ130bがあると判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(03)とを出力対象として選択する。
次に、ステップS57では、ステップS54において、ΔZr/ΔXrとΔZr/ΔYrの和が閾値S3より小さいと判定されたことから、対象物の高さ方向における寸法が隣接する画素間でほとんどない変化しないと認識されるため、床面上にスロープなしと判定して、ステップS26へ進む。
これにより、床面FL上のスロープ130bの有無を判定するために設定された閾値S3を用いて、対象画素に床面FL上に置かれたスロープ130bが含まれるか否かを容易に判定することができる。
<床面FLの状態の検出処理>
本実施形態の測距装置20は、以上のように、撮像素子23に含まれる全ての画素について対象物(物体、穴、スロープ等)を含むか否かを、距離情報を用いて判定することで、対象物を含む対象画素が持つ距離情報だけを選択して出力することができる。
また本実施形態の測距装置20は、さらに図14から図16のフローチャートを連続して実施することで、床面FLの状態を検出することもできる。
具体的には、図13のステップS25の処理について、図14から図16に示すフローチャートを連続して実施することで、3つの閾値S1,S2,S3を用いて、床面FLの状態として、物体の有無、穴の有無、スロープの有無等を検出することができる。
このため、まず図14に示すフローチャートに従って閾値S1を用いて判定処理が実施され、床面FL上に高さ寸法を持つ物体が検出されれば床面FL上に置かれた対象物30ありと判定され、物体が検出されない場合には、図15に示すフローチャートに従って判定処理が行われる。
そして、図15に示すフローチャートに従って閾値S2を用いて判定処理が実施され、床面FLに深さ寸法を持つ穴130aが検出されれば床面FLに形成された穴130aありと判定され、穴130aが検出されない場合には、図16に示すフローチャートに従って判定処理が行われる。
最後に、図16に示すフローチャートに従って閾値S3を用いて判定処理が実施され、床面FL上にスロープ130bが検出されれば床面FL上にスロープ130bありと判定され、スロープ130bが検出されない場合には、床面FLの状態検出処理を終了し、ステップS26へ進む。
これにより、異なる閾値S1,S2,S3を用いて判定処理が実施されることで、例えば、測距装置20が床面FL上を走行可能な搬送装置に搭載された場合でも、床面FLの穴130a等の凹凸の有無や、障害物の有無等を正確に判定して、スムーズに搬送作業を実施することができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、床面状態検出装置および床面状態検出方法として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した床面状態検出装置の床面状態検出方法をコンピュータに実行させる床面状態検出プログラムとして本発明を実現してもよい。
この床面状態検出プログラムは、床面状態検出装置に搭載されたメモリ(記憶部)に保存されており、CPUがメモリに保存された床面状態検出プログラムを読み込んで、ハードウェアに各ステップを実行させる。より具体的には、CPUがプログラムを読み込んで、上述した距離情報取得ステップと、状態検出ステップと、を実行することで、上記と同様の効果を得ることができる。
また、本発明は、床面状態検出装置の床面状態検出プログラムを保存した記録媒体として実現されてもよい。
(B)
上記実施形態では、距離情報取得部として、TOF方式で距離画像の各画素に対応する距離情報を演算する距離演算部11を、例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、TOF方式で求められた距離画像の各画素に対応する距離情報を、外部の測距装置から取得する構成であってもよい。
すなわち、本発明の出力制御装置が、測距装置とは別に設けられており、測距装置から距離情報を取得して、出力対象となる画素に対応する距離情報を選択して出力する構成であってもよい。
(C)
上記実施形態では、測距装置20の取付角度θを演算によって算出する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、測距装置の取付角度が予め分かっている場合には、その取付角度θを用いて、設置高さ等を求める構成であってもよい。
(D)
上記実施形態では、照明装置21から対象物に対して照射された光の反射光を検出して、対象物までの距離を測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、照明装置から対象物に対して、広義の光(紫外光・可視光・赤外光)以外に、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)等の電磁波を照射して、その反射を検出することで対象物までの距離を測定する構成であってもよい。
すなわち、対象物に対して照射される光は、その反射量が距離の二乗に反比例して減衰する性質を有する他の電磁波であってもよい。
(E)
上記実施形態では、距離情報を用いて検出される対象物として、床面FL上に置かれた物体、穴130a、スロープ130bを例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、検出可能な対象物としては、上記以外の物体であってもよい。
この場合には、それぞれの物体の形態、大きさ、形状等に応じて設定される閾値を用いることで、それぞれの物体の有無を検出することができる。
本発明の測距装置は、出力される距離情報を含む情報のデータ量を軽減することができるという効果を奏することから、例えば、TOFセンサ等の測距装置に対して広く適用可能である。
10 制御部(床面検出装置)
11 距離演算部(距離情報取得部)
12 角度情報取得部
13 3次元座標変換部
14 平面検出部
15 高さ算出部
16 座標回転演算部
17 閾値設定部
18 対象物検出部(状態検出部)
19 出力情報選択部
20 測距装置
20a 本体部
21 照明装置
22 受光レンズ
23 撮像素子
25 記憶部
26 出力部
30 対象物
130a 穴
130b スロープ
D 距離
FL 床面
L1 光
P1 支柱

Claims (17)

  1. 対象物が置かれる床面の状態を検出する床面状態検出装置であって、
    照明装置から前記対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得部と、
    前記距離情報取得部において取得された前記距離情報に基づいて、前記対象物が置かれる前記床面の状態を検出する状態検出部と、
    を備えている床面状態検出装置。
  2. 前記状態検出部は、前記距離情報を用いて、前記床面にある凹凸を検出する、
    請求項1に記載の床面状態検出装置。
  3. 距離画像に含まれる各画素ごとに対応する角度情報を取得する角度情報取得部を、さらに備えている、
    請求項1または2に記載の床面状態検出装置。
  4. 前記距離情報取得部において取得された前記距離情報を、前記角度情報取得部において取得された前記角度情報に基づいて、3次元座標へ変換する3次元座標変換部を、さらに備えている、
    請求項3に記載の床面状態検出装置。
  5. 前記対象物が置かれる床面を検出する平面検出部を、さらに備えている、
    請求項4に記載の床面状態検出装置。
  6. 前記平面検出部において検出された前記床面における前記距離情報を、前記3次元座標変換部において変換した3次元座標に基づいて、測距装置の設置高さを算出する高さ算出部を、さらに備えている、
    請求項5に記載の床面状態検出装置。
  7. 前記高さ算出部は、前記平面検出部において検出された前記床面の垂線と前記測距装置の光軸とがなす角度だけ、前記測距装置の直交座標系を軸周りに回転させて再度取得された座標値の前記光軸方向における座標値を、前記設置高さとして算出する、
    請求項6に記載の床面状態検出装置。
  8. 前記高さ算出部は、前記測距装置の直交座標系を軸周りに回転させて再度取得された複数の座標値の前記光軸方向における座標値の平均値を、前記設置高さとして算出する、
    請求項7に記載の床面状態検出装置。
  9. 前記3次元座標変換部において前記距離情報および前記角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する座標回転演算部を、さらに備えている、
    請求項8に記載の床面状態検出装置。
  10. 前記座標回転演算部において演算された前記回転座標の高さ方向の座標と、前記高さ算出部において算出された前記設置高さとを比較して、高さ方向における正または負の寸法を有する物体を検出すると、前記物体を前記床面上における凹凸として検出する凹凸検出部を、さらに備えている、
    請求項9に記載の床面状態検出装置。
  11. 前記凹凸検出部における前記凹凸の検出時に用いられる所定の閾値を設定する閾値設定部を、さらに備えている、
    請求項10に記載の床面状態検出装置。
  12. 前記状態検出部において検出された前記凹凸を含む各画素の距離情報を選択して出力する出力情報選択部を、さらに備えている、
    請求項10または11に記載の床面状態検出装置。
  13. 請求項1から12のいずれか1項に記載の床面状態検出装置と、
    前記対象物に対して電磁波を照射する照射装置と、
    前記照明装置から照射された前記電磁波の反射量を検出する受光部と、
    を備えた測距装置。
  14. 前記距離情報、前記距離画像に含まれる各画素ごとに対応する角度情報、前記測距装置の直交座標系、設置高さ、前記距離情報および前記角度情報から変換された3次元座標を軸周りに回転させた回転座標、前記対象物の検出時に用いられる閾値、前記出力の対象となる画素の座標値の少なくとも1つを保存する記憶部を、さらに備えている、
    請求項13に記載の測距装置。
  15. 前記画素に対応する前記距離情報を、外部機器へ出力する出力部を、さらに備えている、
    請求項13または14に記載の測距装置。
  16. 対象物が置かれる床面の状態を検出する床面状態検出方法であって、
    照明装置から前記対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
    前記距離情報取得ステップにおいて取得された前記距離情報に基づいて、前記対象物が置かれる前記床面の状態を検出する状態検出ステップと、
    を備えている床面状態検出方法。
  17. 対象物が置かれる床面の状態を検出する床面状態検出プログラムであって、
    照明装置から前記対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
    前記距離情報取得ステップにおいて取得された前記距離情報に基づいて、前記対象物が置かれる前記床面の状態を検出する状態検出ステップと、
    を備えている床面状態検出方法をコンピュータに実行させる床面状態検出プログラム。
JP2021064637A 2021-04-06 2021-04-06 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム Pending JP2022160106A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021064637A JP2022160106A (ja) 2021-04-06 2021-04-06 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
US17/700,586 US20220316866A1 (en) 2021-04-06 2022-03-22 Floor surface condition detection device, distance measuring device equipped with same, floor surface condition detection method, and floor surface condition detection program
DE102022107223.1A DE102022107223A1 (de) 2021-04-06 2022-03-28 Bodenoberflächenzustandsdetektionsvorrichtung, entfernungsmessvorrichtung, mit dieser ausgestattet, bodenoberflächenzustandsdetektionsverfahren und bodenoberflächenzustandsdetektionsprogramm
CN202210348952.7A CN115201841A (zh) 2021-04-06 2022-04-01 地面状态检测装置以及测距装置、地面状态检测方法、地面状态检测程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021064637A JP2022160106A (ja) 2021-04-06 2021-04-06 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム

Publications (1)

Publication Number Publication Date
JP2022160106A true JP2022160106A (ja) 2022-10-19

Family

ID=83282532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064637A Pending JP2022160106A (ja) 2021-04-06 2021-04-06 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム

Country Status (4)

Country Link
US (1) US20220316866A1 (ja)
JP (1) JP2022160106A (ja)
CN (1) CN115201841A (ja)
DE (1) DE102022107223A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117032237B (zh) * 2023-08-16 2024-04-12 淮安永道智能科技有限公司 一种全向底盘通用运动控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017122690A (ja) 2016-01-08 2017-07-13 花王株式会社 ヒト計測システムの座標校正方法
JP7498445B2 (ja) 2019-10-10 2024-06-12 太陽誘電株式会社 積層セラミック電子部品の製造方法

Also Published As

Publication number Publication date
CN115201841A (zh) 2022-10-18
DE102022107223A1 (de) 2022-10-06
US20220316866A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US11693115B2 (en) Determining positional information of an object in space
US9470548B2 (en) Device, system and method for calibration of camera and laser sensor
CN111742241B (zh) 光测距装置
US11320536B2 (en) Imaging device and monitoring device
JP6863342B2 (ja) 光測距装置
JP4691701B2 (ja) 人数検出装置及び方法
JP2016060610A (ja) エレベータ昇降路内寸法測定装置、エレベータ昇降路内寸法測定制御装置、およびエレベータ昇降路内寸法測定方法
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
US20180106599A1 (en) Distance-measuring apparatus, surveillance camera, three-dimensional measuring device, mobile object, robot, and distance-measuring method
KR102643295B1 (ko) 제조 또는 다른 동작 동안 물체의 라이브 계측
JP4069456B2 (ja) 人数検出装置及び方法
JP2022160106A (ja) 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
CN102401901B (zh) 测距***及测距方法
Moller et al. An automatic evaluation procedure for 3-D scanners in robotics applications
US10782409B2 (en) Technologies for LIDAR based moving object detection
US20200175706A1 (en) Three-dimensional position detecting device, three-dimensional position detecting system and method for detecting three-dimensional positions
JP2022160108A (ja) 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム
JP2010190793A (ja) 距離計測装置及び距離計測方法
CN105929819B (zh) 一种控制电子设备的方法及电子设备
JP5802917B2 (ja) 距離画像カメラおよびこれを用いた距離測定方法
JP2004309318A (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
KR101255194B1 (ko) 거리측정방법 및 장치
JP3511474B2 (ja) 2次元走査型レンジセンサ投光器走査方法及びシステム装置並びに2次元走査型レンジセンサ投光器走査プログラムを記録したコンピュータで読取り可能な記録媒体
US11131543B2 (en) Three-dimensional measuring apparatus and robot system
JP5743635B2 (ja) 異物検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240207