JPWO2020194650A1 - 異物検出装置、異物検出方法、およびプログラム - Google Patents

Abstract

本発明の目的は、少ない計算量で異物の判定を実現することができる異物検出装置を提供することである。
計測情報取得部（９１）は、検出範囲における深度を計測する深度計測装置（ＬｉＤＡＲ１１０）が計測した深度を示す深度情報を取得する。画像取得部（９２）は、検出範囲を撮像する撮像装置（カメラ１３０）が撮像した画像を取得する。深度抽出部（９３）は、取得された画像に基づいて、深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出する。異物判定部（９４）は、部分深度情報に基づいて検出範囲における異物の有無を判定する。

Description

本発明は、異物検出装置、異物検出方法、およびプログラムに関する。

特許文献１には、ステレオカメラとＬｉＤＡＲ（Light Detection and Ranging）を用いて、検出範囲に存在する物の複数の特徴量を取得し、検出範囲内に存在する物の判別を行う技術が開示されている。

また特許文献２には、監視領域内において距離測定装置により測定された物体の距離特徴量に基づいて障害物の有無を判定する技術が開示されている。

特開２００７−２５５９７８号公報 国際公開第２０１８／１９０２５２号

ステレオカメラやＬｉＤＡＲの技術によれば、検出範囲内の情報を点群データとして得ることができる。しかしながら、点群を構成する各点について異物の判定処理を行う場合、計算量が膨大となる。

本発明は、上記課題に鑑みてなされたものであり、その目的の一つは、少ない計算量で異物の判定を実現することができる異物検出装置、異物検出方法、およびプログラムを提供することである。

本発明の第１の態様によれば、異物検出装置は、検出範囲における深度を検出する深度検出装置が検出した前記深度を示す深度情報を取得する検出情報取得部と、前記検出範囲を撮像する撮像装置が撮像した画像を取得する画像取得部と、取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出する深度抽出部と、前記部分深度情報に基づいて前記検出範囲における異物の有無を判定する異物判定部とを備える。

本発明の第２の態様によれば、異物検出方法は、コンピュータが、検出範囲における深度を検出する深度検出装置が検出した前記深度を示す深度情報を取得し、前記コンピュータが、前記検出範囲を撮像する撮像装置が撮像した画像を取得し、前記コンピュータが、取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出し、前記コンピュータが、前記部分深度情報に基づいて前記検出範囲における異物の有無を判定する。

本発明の第３の態様によれば、プログラムは、コンピュータに、検出範囲における深度を検出する深度検出装置が検出した前記深度を示す深度情報を取得するステップと、前記検出範囲を撮像する撮像装置が撮像した画像を取得するステップと、取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出するステップと、前記部分深度情報に基づいて前記検出範囲における異物の有無を判定するステップとを実行させる。

上記態様のうち少なくとも１つの態様によれば、異物検出装置は、少ない計算量で異物の判定を実現することができる。

第１の実施形態に係る異物検出装置の構成を示す概略図である。 第１の実施形態に係る異物検出装置の処理装置の機能構成を例示するブロック図である。 第１の実施形態に係る異物検出装置による異物検出方法を示すフローチャートである。 ある時点における異物検出装置と周辺環境との位置関係の例を表す図である。 ある時点において異物検出装置の検出範囲に写る画像の例を示す図である。 既知マップデータの一例を示す図である。 既知マップデータから異物検出装置の検出範囲を切り出したマップデータの例を示す図である。 顕著性マップの一例を示す図である。 ボクセルデータの一例を示す図である。 少なくとも１つの実施形態に係る処理装置を実現するための計算機のハードウェア構成を示す図である。 異物検出装置の基本構成を示す概略ブロック図である。

〈第１の実施形態〉
《異物検出装置の構成》
図１は、第１の実施形態に係る異物検出装置の構成を示す概略図である。
異物検出装置１００は、ＬｉＤＡＲ１１０、カメラ１３０、処理装置１５０およびロボット１７０を備える。
ＬｉＤＡＲ１１０、カメラ１３０、および処理装置１５０は、ロボット１７０に搭載される。ロボット１７０は、車輪等の移動装置を備える。
ＬｉＤＡＲ１１０は、外界の深度を計測し、複数の検出点における深度を示す点群データを生成する。ＬｉＤＡＲ１１０は深度計測装置の一例であり、点群データは深度情報の一例である。ＬｉＤＡＲ１１０は、ロボット１７０の進行方向前方の深度を計測する。
カメラ１３０は、ロボット１７０の進行方向前方を撮像し、画像データを生成する。カメラ１３０は撮像装置の一例である。ＬｉＤＡＲ１１０による深度の計測範囲Ｒ１と、カメラ１３０の撮像範囲Ｒ２とは少なくとも重複する部分を有する。
処理装置１５０は、ＬｉＤＡＲ１１０およびカメラ１３０の計測情報に基づいて、ＬｉＤＡＲ１１０の検出範囲Ｒ３とカメラ１３０の撮像範囲Ｒ２とが重複する範囲に存在する異物を検出する。つまり、ＬｉＤＡＲ１１０による深度の計測範囲Ｒ１と、カメラ１３０の撮像範囲Ｒ２とが重複する部分は、異物検出装置１００による異物の検出範囲Ｒ３である。

《処理装置の機能構成》
図２は、第１の実施形態に係る異物検出装置の処理装置の機能構成を例示するブロック図である。
処理装置１５０は、計測情報取得部１５１、画像取得部１５２、顕著度算出部１５３、前処理部１５４、点群抽出部１５５、点群変換部１５６、既知マップデータ記憶部１５７、差分抽出部１５８、異物判定部１５９および出力部１６０を備える。

計測情報取得部１５１は、ＬｉＤＡＲ１１０から点群データを取得する。
画像取得部１５２は、カメラ１３０から画像データを取得する。

顕著度算出部１５３は、画像取得部１５２が取得した画像データから顕著性マップを求める。顕著性マップは、画像における注視されやすい部分をヒートマップとして表した画像である。すなわち、顕著性マップは、画像データの各画素における顕著度を示す画像である。例えば、顕著度算出部１５３は、画像データの周波数スペクトルの特徴を求め、事前に求めた自然画像の周波数スペクトルモデルとの差の大きさから顕著度を算出することができる。また、例えば、顕著度算出部１５３は、画像の勾配エッジ、色、時系列による画素値の変化量、ディープラーニングによる推論によって、顕著度を算出してもよい。

前処理部１５４は、計測情報取得部１５１が取得した点群データに対し、アウトライヤ処理およびフィルタリングなどの前処理を行う。前処理部１５４は、前処理としてさらにノイズの除去、境界線判定、平面判定による地面や壁の除去などを実行してもよい。

点群抽出部１５５は、顕著度算出部１５３が生成した顕著性マップに基づいて、前処理部１５４によって前処理された点群データから、顕著度が所定の閾値より高い画素に相当する部分（部分点群データ）を抽出する。点群抽出部１５５によって抽出された部分点群データは、部分深度情報の一例である。
すなわち、第１の実施形態において、顕著度が所定の閾値以下の部分は、異物であるか否かの判定対象とならない。

点群変換部１５６は、点群抽出部１５５が抽出した部分点群データを、ボクセルデータに変換する。点群変換部１５６は、部分点群データをボクセルデータに変換することで、計算量およびメモリの使用容量を削減することができる。部分点群データから変換されたボクセルデータは、部分深度情報の一例である。

既知マップデータ記憶部１５７は、異物の検出処理の開始前に求めた既知マップデータを記憶する。既知マップデータは、例えば、ＬｉＤＡＲ１１０を用いたＳＬＡＭ（Simultaneous Localization and Mapping）技術によって生成された三次元環境地図であってよい。既知マップデータは、検出範囲に異物が存在しないときの深度を示す参照深度情報の一例である。

差分抽出部１５８は、点群変換部１５６が生成したボクセルデータと、既知マップデータ記憶部１５７が記憶する既知マップデータとを比較し、ボクセルデータの各ボクセルのうち、既知マップデータに存在しないボクセルを抽出する。このとき、差分抽出部１５８は、所定の誤差範囲をもって既知マップデータとボクセルのマッチングを行う。

異物判定部１５９は、検出領域に異物が存在するか否かを判定する。また異物判定部１５９は、検出領域に異物が存在する場合、異物の個数、ならびに各異物の大きさおよび重心座標を求める。具体的には、異物判定部１５９は、差分抽出部１５８が抽出したボクセルをクラスタリングし、当該クラスタに基づいて、異物の個数、ならびに各異物の大きさおよび重心座標を求める。

出力部１６０は、異物判定部１５９の結果を出力する。例えば、出力部１６０は、図示しないディスプレイに結果を表示してもよいし、外部のサーバ装置に結果を出力してもよいし、内部の記憶媒体に結果を記録してもよい。

《異物検出方法》
図３は、第１の実施形態に係る異物検出装置による異物検出方法を示すフローチャートである。
計測情報取得部１５１は、ＬｉＤＡＲ１１０から点群データを取得する（ステップＳ１）。画像取得部１５２は、カメラ１３０から画像データを取得する（ステップＳ２）。

顕著度算出部１５３は、ステップＳ２で取得した画像データから、顕著性マップを生成する（ステップＳ３）。前処理部１５４は、ステップＳ１で取得した点群データの前処理を行う（ステップＳ４）。点群抽出部１５５は、ＬｉＤＡＲ１１０とカメラ１３０の相対的な位置および姿勢に基づいて、ステップＳ３で生成した顕著性マップとステップＳ４で前処理された点群データとの対応関係を特定する（ステップＳ５）。

点群抽出部１５５は、ステップＳ５で特定した対応関係に基づいて、ステップＳ４で前処理された点群データから、ステップＳ３で生成した顕著性マップにおいて顕著度が所定の閾値を超える画素に対応する部分点群データを抽出する（ステップＳ６）。点群変換部１５６は、ステップＳ６で抽出した部分点群データを、ボクセルデータに変換する（ステップＳ７）。

差分抽出部１５８は、ステップＳ７で生成したボクセルデータと既知マップデータ記憶部１５７が記憶する既知マップデータとを比較し、ボクセルデータの各ボクセルのうち、既知マップデータに存在しないボクセルを抽出し、異物マップに登録する（ステップＳ８）。異物判定部１５９は、異物マップの各ボクセルについてクラスタリング処理を行う（ステップＳ９）。異物判定部１５９は、ステップＳ９で検出されたクラスタの数を異物の数として特定する（ステップＳ１０）。異物判定部１５９は、ステップＳ９で検出された各クラスタにおけるボクセルの範囲に基づいて異物の大きさを特定する（ステップＳ１１）。ステップＳ９で検出された各クラスタにおけるボクセルの重心位置に基づいて異物の位置を特定する（ステップＳ１２）。出力部１６０は、特定した異物の数、ならびに各異物の大きさおよび重心位置を出力する（ステップＳ１３）。

《異物検出方法の具体例》
図４は、ある時点における異物検出装置と周辺環境との位置関係の例を表す図である。図５は、ある時点において異物検出装置の検出範囲に写る画像の例を示す図である。
図６は、既知マップデータの一例を示す図である。図７は、既知マップデータから異物検出装置の検出範囲を切り出したマップデータの例を示す図である。図８は、顕著性マップの一例を示す図である。図９は、ボクセルデータの一例を示す図である。

例えば、図４に示すように、２つの異物Ｍおよびが存在する環境において異物検出装置１００を使用したとする。この場合、異物検出装置１００は、ステップＳ２において、図５に示すような画像データを得る。また異物検出装置１００は、ステップＳ３において、取得した画像データに基づいて画像処理を行うことで、図８に示すような顕著性マップを生成する。図８に示す顕著性マップでは、異物Ｍに係る画素とドアに係る画素の顕著度が高く検出されている。

異物検出装置１００は、ステップＳ６において、顕著度が閾値より高い画素に対応する部分点群データを抽出し、ステップＳ７で図９に示すボクセルデータに変換する。次に、異物検出装置１００は、図６に示す既知マップデータから、現在の異物検出装置の位置および姿勢に基づいて検出範囲を切り出すことで、図７に示すマップデータを得ることができる。異物検出装置１００の位置および姿勢は、例えばＳＬＡＭにより推定される。異物検出装置１００は、ステップＳ８において、図９に示すボクセルデータと図７に示すマップデータとをマッチングさせ、既知マップデータに存在するボクセルＢ（図７および図９の例においては、ドアの部分に位置する複数のボクセルＢ）を除いたボクセルを、異物マップに登録する。
そして、異物検出装置１００は、異物マップに登録された複数のボクセルについてクラスタリングを行うことにより、２つの異物の位置および大きさを特定することができる。

《作用・効果》
このように、第１の実施形態に係る異物検出装置１００は、検出範囲が写った画像データに基づいて、点群データから異物であるか否かの判定対象としない部分を除去した部分点群データを抽出し、部分点群データに基づいて検出範囲における異物の有無を判定する。これにより、異物検出装置１００は、全点群データを用いる場合と比較して、少ない計算量で異物の有無を判定することができる。なお、第１の実施形態に係る異物検出装置１００は、深度情報として点群データを用いるが、これに限られない。例えば、他の実施形態に係る異物検出装置１００は、深度情報としてポリゴンデータなどの他の三次元データを用いてもよい。

第１の実施形態に係る異物検出装置１００は、点群データのうち、画像データから生成された顕著性マップにおいて顕著度が閾値より高い画素に対応する部分を、部分点群データとして抽出する。これにより、異物である可能性がある部分を適切に抽出することができる。なお、他の実施形態においてはこれに限られず、顕著性マップに代えて一般的な物体識別技術により、異物である可能性がある物体を認識してもよい。

〈他の実施形態〉
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
例えば、上述の実施形態においては、異物検出装置１００が移動手段であるロボット１７０を備えるが、これに限られない。例えば、他の実施形態に係る異物検出装置１００は、ドローンなどの飛翔体を備えてもよい。また他の実施形態に係る異物検出装置１００は、移動手段を備えず、人間が手動で異物検出装置１００を移動させるものであってもよい。また、他の実施形態に係る異物検出装置１００は、固定位置において異物の検出を行うものであってもよい。

上述の実施形態に係る異物検出装置１００は、ＬｉＤＡＲ１１０によって深度情報である点群データを得るが、これに限られない。例えば、他の実施形態に係る異物検出装置１００は、ＬｉＤＡＲ１１０に代えてステレオカメラやＩＲカメラなどの他の深度計測装置を用いて深度情報を得てもよい。

上述の実施形態に係る異物検出装置１００は、内部に処理装置１５０を備えるが、これに限られない。例えば、他の実施形態に係る異物検出装置１００は、ロボット１７０の外部に処理装置１５０を備えるものであってもよい。

〈処理装置のハードウェア構成〉
処理装置１５０の各機能構成部は、それぞれ単体のハードウェア（例えばハードワイヤードされた電子回路など）で実現されてもよいし、ハードウェアとソフトウェアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）によって実現されてもよい。以下、異物検出装置１００の各機能構成部がハードウェアとソフトウェアとの組み合わせで実現される場合について、さらに説明する。

図１０は、少なくとも１つの実施形態に係る処理装置を実現するための計算機のハードウェア構成を示す図である。計算機１０００は、任意の種類の計算機である。例えば計算機１０００は、ロボット１７０に内蔵されるＳｏＣ（System on a Chip）などの処理チップとして実現される。計算機１０００は、異物検出装置１００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０を備える。
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、およびネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０４０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field−Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ＲＡＭやＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、少なくともＬｉＤＡＲ１１０およびカメラ１３０が接続される。また入出力インタフェース１１００には、他の入力装置および出力装置が接続されてよい。

また、計算機１０００がロボット１７０に内蔵される処理チップである場合、入出力インタフェース１１００には、ロボット１７０のアクチュエータが接続される。計算機１０００は、入出力インタフェース１１００を介してアクチュエータへ制御信号を送信することにより、ロボット１７０の走行を制御する。また、入出力インタフェース１１００には、ロボット１７０の状態を把握するための種々のセンサ（ＬｉＤＡＲ１１０、カメラ１３０、エンコーダ、加速度センサなど）が接続される。計算機１０００は、入出力インタフェース１１００を介してセンサから検出値を得ることにより、ロボット１７０に関する観測値を得る。

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

ストレージデバイス１０８０は、異物検出装置１００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

なお、他の実施形態に係る異物検出装置１００がロボット１７０の外部に処理装置を備える場合、計算機１０００のネットワークインタフェース１１２０は、ロボット１７０に内蔵されている制御チップと接続される。また、この場合、異物検出装置１００は、ＰＣ（Personal Computer）などの据え置き型のコンピュータや、スマートフォンなどの可搬型のコンピュータとして実現されてもよい。
計算機１０００は、ネットワークを介して、ロボット１７０の制御チップに対し、ロボット１７０の走行を制御する指示を送信する。制御チップは、計算機１０００から受信した指示に従ってアクチュエータに制御信号を送信することにより、ロボット１７０の走行を制御する。また、計算機１０００は、ネットワークを介して、ロボット１７０に設けられている種々のセンサから、ロボット１７０の状態を把握するための検出値を取得する。これらの検出値は、例えば、制御チップを介して送信される。

《基本構成》
図１１は、異物検出装置の基本構成を示す概略ブロック図である。
上述した実施形態では、異物検出装置１００の一実施形態として図２に示す構成について説明したが、異物検出装置９０の基本構成は、図１１に示すとおりである。
すなわち、異物検出装置９０、計測情報取得部９１、画像取得部９２、深度抽出部９３、および異物判定部９４を基本構成とする。

計測情報取得部９１は、検出範囲における深度を計測する深度計測装置が計測した前記深度を示す深度情報を取得する。計測情報取得部９１は、計測情報取得部１５１に相当する。
画像取得部９２は、検出範囲を撮像する撮像装置が撮像した画像を取得する。画像取得部９２は、画像取得部１５２に相当する。
深度抽出部９３は、取得された画像に基づいて、深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出する。深度抽出部９３は、点群抽出部１５５に相当する。
異物判定部９４は、部分深度情報に基づいて検出範囲における異物の有無を判定する。異物判定部９４は、異物判定部１５９に相当する。
これにより、異物検出装置は、少ない計算量で異物の判定を実現することができる。

異物検出装置は、少ない計算量で異物の判定を実現することができる。

１００ 異物検出装置
１１０ ＬｉＤＡＲ
１３０ カメラ
１５０ 処理装置
１５１ 計測情報取得部
１５２ 画像取得部
１５３ 顕著度算出部
１５４ 前処理部
１５５ 点群抽出部
１５６ 点群変換部
１５７ 既知マップデータ記憶部
１５８ 差分抽出部
１５９ 異物判定部
１６０ 出力部
１７０ ロボット

Claims (6)

1. 検出範囲における深度を計測する深度計測装置が計測した前記深度を示す深度情報を取得する計測情報取得部と、
   前記検出範囲を撮像する撮像装置が撮像した画像を取得する画像取得部と、
   取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出する深度抽出部と、
   前記部分深度情報に基づいて前記検出範囲における異物の有無を判定する異物判定部と
   を備える異物検出装置。
2. 前記画像に基づいて顕著性マップを生成する顕著度算出部を備え、
   前記深度抽出部は、前記深度情報のうち、前記顕著性マップにおいて顕著度が閾値より高い画素に対応する部分を、前記部分深度情報として抽出する
   請求項１に記載の異物検出装置。
3. 前記検出範囲に異物が存在しないときの深度を示す参照深度情報と、前記部分深度情報との差分を抽出する差分抽出部を備え、
   前記異物判定部は、抽出された前記差分に基づいて前記異物の有無を判定する
   請求項１または請求項２に記載の異物検出装置。
4. 前記異物判定部は、前記差分の分類処理によって１つ以上のクラスタを抽出し、抽出したクラスタに基づいて、前記異物の数および位置を特定する
   請求項３に記載の異物検出装置。
5. コンピュータが、検出範囲における深度を計測する深度計測装置が計測した前記深度を示す深度情報を取得し、
   前記コンピュータが、前記検出範囲を撮像する撮像装置が撮像した画像を取得し、
   前記コンピュータが、取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出し、
   前記コンピュータが、前記部分深度情報に基づいて前記検出範囲における異物の有無を判定する
   異物検出方法。
6. コンピュータに、
   検出範囲における深度を計測する深度計測装置が計測した前記深度を示す深度情報を取得するステップと、
   前記検出範囲を撮像する撮像装置が撮像した画像を取得するステップと、
   取得された前記画像に基づいて、前記深度情報のうち異物であるか否かの判定対象としない部分が除去された部分深度情報を抽出するステップと、
   前記部分深度情報に基づいて前記検出範囲における異物の有無を判定するステップと
   を実行させるためのプログラム。

Images