JP2022130307A - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP2022130307A JP2022130307A JP2022011323A JP2022011323A JP2022130307A JP 2022130307 A JP2022130307 A JP 2022130307A JP 2022011323 A JP2022011323 A JP 2022011323A JP 2022011323 A JP2022011323 A JP 2022011323A JP 2022130307 A JP2022130307 A JP 2022130307A
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- points
- interest
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims 2
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 230000002093 peripheral effect Effects 0.000 claims abstract 4
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 abstract description 26
- 238000000034 method Methods 0.000 description 33
- 238000001514 detection method Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000001174 ascending effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 処理負荷を抑えつつ精度良く、撮像手段の視野内の空間内から物体の特徴を示す特徴点が得られたかを判定する。【解決手段】 ステレオ画像を取得し、第1の画像の画素数よりも少ない第1の数の特徴点をマッチングし、ステレオカメラから特徴点が示す位置までの実空間における距離を含む特徴点の3次元位置を推定し、第1の数の特徴点のうち、撮像手段の視野内に設定した空間内から得られたと判断する特徴点を注目点として設定し、第1の画像における注目点から所定の距離範囲内の画像領域に存在する周囲点であって、画像領域内において推定した特徴点の数よりも多い数の第2の数の周囲点を設定し、周囲点をマッチングすることにより得た、ステレオカメラの所定位置から周囲点が示す位置までの距離と、ステレオカメラの所定位置から注目点が示す位置までの距離と、の差に基づいて、注目点が空間内に存在する物体の特徴を示す特徴点かを判定する。【選択図】 図2
Description
本発明は、距離画像から物体の特徴を得る技術に関する。
ステレオカメラで撮影した画像を入力として、ステレオマッチングに基づいて距離画像を算出し、カメラの前方に物体があるかどうかを検知する技術がある(非特許文献1)。この技術は、例えばロボットや自動車の周囲にある物体(人や障害物など)を検知するために利用されている。
ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。このノイズを判定し除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ判定と除去の方法は、距離画像の局所画像領域内で複数の距離値を参照して、統計的に少数派となる距離値を見つけることで、これをノイズとして除去する。
N.B.Naveen Appiah,"Obstacle detection using stereo vision for self-driving cars".IEEE Intelligent Vehicles Symposium,2011
複数の距離値を参照する統計的な計算に基づくノイズ判定方法を使うためには、元となる距離画像は局所画像領域ごとに密な距離値を持つことを前提としている。しかし、ステレオマッチングに基づいて密な距離画像を生成して、その密な距離画像からノイズ判定をするには、大きな処理負荷がかかる。移動体に配置されたカメラを用いて物体を検知するときのノイズ判定においては、処理負荷を軽く抑えつつノイズ判定の精度は担保されることが望ましい。
本発明は、以上の課題を鑑みたものであり、処理負荷を抑えつつ精度良く、移動体の進行方向の3次元空間内から物体の特徴を示す特徴点が得られたかを判定することを目的とする。
本発明に係る情報処理装置は以下の構成を有する。即ち、撮像視野の少なくとも一部が重複するように移動体に配置された第1の光学系と第2の光学系を含む撮像手段から得られる画像であって、前記第1の光学系から第1の画像を、前記第2の光学系から第2の画像を取得する画像取得手段と、前記第1の画像における画素数よりも少ない第1の数の特徴点を前記第1の画像と前記第2の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の3次元位置を推定する推定手段と、前記第1の数の特徴点のうち、前記移動体の進行方向に設定した3次元空間内から得られたと前記3次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、前記第1の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で3次元位置を推定した特徴点の数よりも多い数の第2の数の周囲点を設定する周囲点設定手段と、前記第1の画像と前記第2の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の3次元位置と、前記撮像手段に対する前記注目点の3次元位置と、の差に基づいて、前記注目点が前記3次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有する。
本発明によれば、処理負荷を抑えつつ精度良く、撮像手段の視野内の3次元空間内から物体の特徴を示す特徴点が得られたかを判定することができる。
[第1の実施形態]
第1の実施形態では、ステレオカメラの前方視野内(ステレオカメラを配置した移動体の進行方向)にある物体の有無を検知する方法を考える。ステレオカメラは、例えば、AMR(autonomous mobile robot)やAGV(automatic guided vehicle)、自律移動車などに搭載される。ステレオカメラは、移動する装置(vehicle)の他、監視カメラなどの静止した装置に搭載することができる。図1は本実施形態におけるステレオカメラと物体の配置条件の例を示す。図1の100はステレオカメラ、110は物体の有無を判定するための3次元の検知空間、200は物体を表す。ステレオカメラ100では図2の300、310に示すような2枚の画像(第1の撮像装置(光学系)から得た第1の画像と第2の撮像装置(光学系)から得た第2の画像)のステレオマッチングに基づいて距離計測を行う。そこで算出した点が検知空間110の内部にあるかどうかに基づいて、物体の有無を判定する。計測した距離は、例えば、ステレオカメラの左側カメラの撮像面から物体の特徴(画像上では特徴点)までの距離である。もちろん、ステレオカメラの右側カメラの撮像面から物体の特徴までの距離を使うこともできるし、それぞれのカメラの所定位置の中間の位置から物体の特徴までの距離を使うこともできる。検知空間110は、空間内で一番低い部分の高さが移動面より高く設定されている。移動面を撮像した画像から得られる特徴点を、以降の判定処理で用いないようにするためである。検知空間110の高さは、例えば、移動体の高さに所定の係数を用いて得られた高さに設定する。また検知空間110の幅と奥行きは、移動体の走行速度に基づいて、例えばハンドルを切ったりブレーキをかけたりしても、障害物を回避することが難しい可能性が高い長さに設定する。
第1の実施形態では、ステレオカメラの前方視野内(ステレオカメラを配置した移動体の進行方向)にある物体の有無を検知する方法を考える。ステレオカメラは、例えば、AMR(autonomous mobile robot)やAGV(automatic guided vehicle)、自律移動車などに搭載される。ステレオカメラは、移動する装置(vehicle)の他、監視カメラなどの静止した装置に搭載することができる。図1は本実施形態におけるステレオカメラと物体の配置条件の例を示す。図1の100はステレオカメラ、110は物体の有無を判定するための3次元の検知空間、200は物体を表す。ステレオカメラ100では図2の300、310に示すような2枚の画像(第1の撮像装置(光学系)から得た第1の画像と第2の撮像装置(光学系)から得た第2の画像)のステレオマッチングに基づいて距離計測を行う。そこで算出した点が検知空間110の内部にあるかどうかに基づいて、物体の有無を判定する。計測した距離は、例えば、ステレオカメラの左側カメラの撮像面から物体の特徴(画像上では特徴点)までの距離である。もちろん、ステレオカメラの右側カメラの撮像面から物体の特徴までの距離を使うこともできるし、それぞれのカメラの所定位置の中間の位置から物体の特徴までの距離を使うこともできる。検知空間110は、空間内で一番低い部分の高さが移動面より高く設定されている。移動面を撮像した画像から得られる特徴点を、以降の判定処理で用いないようにするためである。検知空間110の高さは、例えば、移動体の高さに所定の係数を用いて得られた高さに設定する。また検知空間110の幅と奥行きは、移動体の走行速度に基づいて、例えばハンドルを切ったりブレーキをかけたりしても、障害物を回避することが難しい可能性が高い長さに設定する。
ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。本実施形態においてノイズとは、距離画像上の各画素が持つ距離値のうち、各画素が示す画像上の部位の実際の距離値(真値)からずれた値を持つデータである。このノイズを除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ除去方法は、距離画像の局所画像領域内にある距離値を参照し、その中の平均値(或は中央値)から大きく外れる値を持つ距離値を見つけることで、これをノイズとして除去する。このような統計的な計算を行うには、元となる距離画像は局所画像領域ごとに複数の距離値を持つことが前提となる。以降、そのような条件を密な距離画像と表現する。例えば、撮影したステレオ画像の全ての画素について距離値を推定した距離画像は密な距離画像である。逆に、距離値を推定した画素が少なく、疎らにしか距離値を持たない距離画像は、疎な距離画像と表現する。
本実施形態では、計算コストを抑えるために、図2の301に示すように疎に設定した点のみについてステレオマッチングを行う。ここで設定した点を候補点と呼ぶ。次に、候補点301の中に、検知空間110内に存在する点がある場合、これを注目点302としてノイズかどうかを判定する。ノイズの判定を行うときには、注目点から所定の範囲内にある複数の点303を設定し、ステレオマッチングに基づいて、それら複数の点の距離値を算出する。そして、算出した距離値の分布に基づいて、注目点の距離値がノイズかどうかを判定し、ノイズでない場合は検知空間110内に物体が存在すると判定する。ノイズ判定を行うときに、例えば301で示す限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行うため、密な距離画像においてノイズを判定してから物体を検知する方法に比べ、計算コストを削減して物体を検知することができる。
以降、本実施形態の詳しい説明に移る。まず、本実施形態のモジュール構成について説明する。図3の100はステレオカメラ、400は情報処理装置、410は候補点設定部、420は候補点距離推定部である。情報処理装置400は、画像取得部401、注目点設定部402、周囲点設定部403、周囲点距離取得部404、判定部405からなる。なお、情報処理装置400、候補点設定部410、候補点距離推定部420は不図示の記憶部や計算部を含み、例えば情報処理装置400は、汎用計算機で実現できる。
図7に情報処理装置400のハードウェア構成を示す。CPU、ROM,RAM,HDDやSSD等の記憶部、USB等の汎用I/F、通信I/F、およびシステムバスで構成される。CPUは、RAMをワークメモリとして、ROM、記憶部等に格納されたオペレーティングシステム(OS)や各種コンピュータープログラムを実行し、システムバスを介して各部を制御する。例えば、CPUが実行するプログラムには、後述する処理を実行するためのプログラムが含まれる。
ステレオカメラ100は、2次元の画像を撮影する2台のカメラ(第1の撮像装置(光学系)と第2の撮像装置(光学系))である。そのカメラパラメータは既知とする。第1の撮像装置と第2の撮像装置の撮像視野の少なくとも一部が重複するように配置されている。候補点設定部410は、ステレオカメラが撮像した画像上に候補点を設定する。候補点距離推定部420は、ステレオカメラ100が撮影した2枚(第1の撮像装置から得た第1の画像と第2の撮像装置から得た第2の画像)の画像に基づいて、ステレオマッチングを行うことで、候補点の実空間での距離値を算出する。図3では、候補点設定部410が情報処理装置400の外部にある場合を説明している。候補点の距離値を、ステレオカメラとは別に外部に設置した距離センサー(距離カメラなど)の出力データから得て、情報処理装置に入力することができる。情報処理装置の内部に備えるセンサーの出力データから、候補点の距離値を得る場合には、候補点設定部410は、情報処理装置400の内部に備えることができる。画像取得部401は、ステレオカメラ100で撮影した2枚の画像を取得する。注目点設定部402は、候補点のうち検知空間110内(3次元空間内)に存在する点を注目点として設定する。周囲点設定部403は、注目点の周囲に、複数の点を設定する。注目点の周囲に設定した領域においては、候補点の密度より周囲点の密度が高くなるように周囲点を設定する。周囲点距離取得部404は、ステレオカメラ100が撮影した2枚の画像に基づいて、ステレオマッチングを行うことで、周囲点の距離値を算出する。判定部405は、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間110内(3次元空間内)に物体が存在するかを判定する。
次に、本実施形態の具体的な処理手順について説明する。図4は、処理手順を示すフローチャートである。以下、フローチャートは、CPUが制御プログラムを実行することにより実現されるものとする。図4で説明する処理は、移動体が走行を開始すると開始する。
(ステップS500)
画像の取得や計算を行うための初期化を行う。具体的には、プログラムやステレオカメラの起動、処理に必要なパラメータの取得を情報処理400に含まれる不図示の記憶部からロードする等の処理を行う。ここで、パラメータは、ステレオカメラのカメラパラメータを含む。カメラパラメータは、後述する候補点距離推定部420でや周囲点距離取得部404でステレオマッチングを行う際に必要になる。
画像の取得や計算を行うための初期化を行う。具体的には、プログラムやステレオカメラの起動、処理に必要なパラメータの取得を情報処理400に含まれる不図示の記憶部からロードする等の処理を行う。ここで、パラメータは、ステレオカメラのカメラパラメータを含む。カメラパラメータは、後述する候補点距離推定部420でや周囲点距離取得部404でステレオマッチングを行う際に必要になる。
(ステップS510)
画像取得部401で、ステレオカメラ100で撮影した2枚の画像を取得する。
画像取得部401で、ステレオカメラ100で撮影した2枚の画像を取得する。
(ステップS520)
候補点設定部410で、画像上に候補点を設定する。本実施形態では、図2の301に示すように画像上に所定の間隔をあけてグリッド状にM点設定するものとする。設定した候補点をAi(i=1~M)とする。Mは、画素数よりも小さい第1の数である。候補点の密度が低くなるように密度mとなるように候補点を設定することと同義である。
候補点設定部410で、画像上に候補点を設定する。本実施形態では、図2の301に示すように画像上に所定の間隔をあけてグリッド状にM点設定するものとする。設定した候補点をAi(i=1~M)とする。Mは、画素数よりも小さい第1の数である。候補点の密度が低くなるように密度mとなるように候補点を設定することと同義である。
(ステップS530)
候補点距離推定部420で、ステレオカメラ100が撮影した2枚の画像に基づいて、ステレオマッチングを行うことで、各候補点Aiの距離値を算出する。本実施形態において、ステレオマッチングとは、ステレオカメラのカメラパラメータに基づいて、エピポーラ線上でブロックマッチング等を行う処理であり、対応した画素の位置に基づいて三角測量を行うことで距離値を算出する。各候補点の3次元位置も求まる。ここで、各候補点について算出した距離値をD(Ai)とする。
候補点距離推定部420で、ステレオカメラ100が撮影した2枚の画像に基づいて、ステレオマッチングを行うことで、各候補点Aiの距離値を算出する。本実施形態において、ステレオマッチングとは、ステレオカメラのカメラパラメータに基づいて、エピポーラ線上でブロックマッチング等を行う処理であり、対応した画素の位置に基づいて三角測量を行うことで距離値を算出する。各候補点の3次元位置も求まる。ここで、各候補点について算出した距離値をD(Ai)とする。
(ステップS540)
注目点設定部403で、候補点のうち検知空間110(3次元空間内)に存在する点を注目点として設定する。設定した注目点をAs、注目点の距離値をD(As)とする。図2の302は注目点Asの例を示す。なお、本実施形態では、検知空間110はステレオカメラ前方に所定のサイズで設定した直方体である。ステレオカメラの前方は、ステレオカメラを配置した移動体の進行方向のことである。移動体がバックするときには、移動体の進行方向は移動体の後方である。
注目点設定部403で、候補点のうち検知空間110(3次元空間内)に存在する点を注目点として設定する。設定した注目点をAs、注目点の距離値をD(As)とする。図2の302は注目点Asの例を示す。なお、本実施形態では、検知空間110はステレオカメラ前方に所定のサイズで設定した直方体である。ステレオカメラの前方は、ステレオカメラを配置した移動体の進行方向のことである。移動体がバックするときには、移動体の進行方向は移動体の後方である。
(ステップS550)
周囲点設定部403で、注目点Asの周囲に複数の点303を設定する。本実施形態では、ステップS510で取得した画像において、注目点Asを中心とする半径Rの距離範囲内に存在する画素の中から、ランダムでN点を選択して、周囲点として設定するものとする。設定した周囲点をBj(j=1~N)とする。(半径Rの円状の距離範囲内の点を周囲点に設定するのは一例であり、画像の一部領域の点を周囲点として設定する。)注目点Asを中心とする半径Rの範囲内における点の密度はmよりも高く設定する。設定するN点は、注目点Asを中心とする半径Rの範囲内に存在する候補点の数よりも多い第2の数である。
周囲点設定部403で、注目点Asの周囲に複数の点303を設定する。本実施形態では、ステップS510で取得した画像において、注目点Asを中心とする半径Rの距離範囲内に存在する画素の中から、ランダムでN点を選択して、周囲点として設定するものとする。設定した周囲点をBj(j=1~N)とする。(半径Rの円状の距離範囲内の点を周囲点に設定するのは一例であり、画像の一部領域の点を周囲点として設定する。)注目点Asを中心とする半径Rの範囲内における点の密度はmよりも高く設定する。設定するN点は、注目点Asを中心とする半径Rの範囲内に存在する候補点の数よりも多い第2の数である。
(ステップS560)
周囲点距離取得部404で、ステレオカメラ100が撮影した2枚の画像に基づいて、ステレオマッチングを行うことで、各周囲点Bjの距離値を算出する。ここで、周囲点について算出した距離値をD(Bj)とする。
周囲点距離取得部404で、ステレオカメラ100が撮影した2枚の画像に基づいて、ステレオマッチングを行うことで、各周囲点Bjの距離値を算出する。ここで、周囲点について算出した距離値をD(Bj)とする。
(ステップS570)
判定部405で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間110内に物体が存在するかを判定する。
判定部405で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間110内に物体が存在するかを判定する。
まず、各周囲点の距離値D(Bj)について、注目点の距離値D(As)と類似する点数の比率pを計算する。具体的には、設定した周囲点の点数Nに対する、D(As)から一定の差の範囲内に存在する距離値を持つ周囲点の比率を計算する。そして、pが閾値T以下であれば注目点をノイズと判定し、pが閾値Tより大きい場合はノイズではなく、検知空間110内に存在する物体の距離値を示す画素の点であると判定する。なお、その場合は物体が検知されたことになる。物体が検知されたときには、物体を避けて移動体の走行を継続させるために、物体全体の3次元形状の計測を開始する。そして、物体を避けた経路で移動体の走行を継続させる。若しくは、物体が検知されたときには、移動体を停止させる。
(ステップS580)
以上のS540~570の操作を、注目点を変えてすべての候補点について実行する。これにより、画像上に設定した各候補点が検知空間110内に含まれる物体上の点かどうかを判定する。単に障害物の「有無」を判定したい場合には、1つの候補点についてS570で障害物を見つけた時点で、他の候補点についての繰り返し処理は不要となる。
以上のS540~570の操作を、注目点を変えてすべての候補点について実行する。これにより、画像上に設定した各候補点が検知空間110内に含まれる物体上の点かどうかを判定する。単に障害物の「有無」を判定したい場合には、1つの候補点についてS570で障害物を見つけた時点で、他の候補点についての繰り返し処理は不要となる。
以上述べたように、画像上の全ての画素を対象とするのではなく、限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行う。候補点の周囲の画像領域においては、周囲点の密度は候補点よりも高い。これにより、密な距離画像を生成する方法に比べ、計算コストを抑えても精度良く物体の有無を検知することができる。
なお、S520では、候補点設定部410は、画像上に等間隔に候補点を設定した。ただし、候補点の設定は、画像上に1点以上の点を空間的に疎に設定できる方法であれば、計算コストを抑えることができる。画像上に等間隔に設定しても良いし、ランダムな位置を設定しても良い。また、動画像として撮影を行う場合、設定する候補点の位置は時刻に応じて変更しても良い。その場合、ある時刻で設定された候補点の隙間を補うように画像上での位置をずらして、後の時刻で候補点を設定することで、候補点の隙間で検出漏れが起こることを避けることができる。また、候補点の距離値は、ステレオカメラとは別に設置した距離センサー(距離カメラなど)の出力データに基づいて算出しても良い。
また、S550では、周囲点設定部403は、注目点を中心としてランダムな位置に画素を設定した。ただし、周囲点の設定は、注目点の周囲について、1点以上の点を設定できれば、注目点のノイズの判定ができる。ランダムな位置に設定しても良いし等間隔な位置に設定しても良い。なお、物体判定部405において周囲点の分布を計算する上で、設定する周囲点の位置の分布には偏りがない方が望ましい。偏りのあるとは、例えば注目点の周囲の領域の右半分のみ利用する等である。設定する周囲点の分布に偏りがあると、その偏った一部分に依存した統計量となるため、正確なノイズの判定が難しくなる場合がある。そのため、偏りを避けるために、例えば周囲点の設定は、周囲点同士を所定値と同じまたは所定値を超える確率で予め定められた間隔以上空くように設定することが望ましい。
また、周囲点設定部403は、注目点の距離値と類似する距離値を持つ周囲点の比率pを計算し、ノイズかどうかを判定した。ノイズの判定方法は、注目点と類似する距離値を持つ周囲点の多さを評価できる方法であれば、ノイズの判定ができる。前述の比率pでも良いし、注目点と類似する距離値を持つ周囲点の個数でも良い。
[変形例1]
ステップS550では、周囲点設定部403において設定する点数は固定数のN点とした。一般的に、比率pに予想される誤差eは、計算に用いる周囲点の点数Nに応じて増減する。具体的には、Nが大きいと誤差eは小さくなり、Nが小さいと誤差eは大きくなる。
ステップS550では、周囲点設定部403において設定する点数は固定数のN点とした。一般的に、比率pに予想される誤差eは、計算に用いる周囲点の点数Nに応じて増減する。具体的には、Nが大きいと誤差eは小さくなり、Nが小さいと誤差eは大きくなる。
判定部405における判定を正確に行うためには、誤差eは所定値以下になるように計算できることが望ましい。一方、誤差eを小さくするために、設定する周囲点の点数を増やすほど、周囲点距離取得部404における距離値を求める計算にかかる時間が増加する。
周囲点設定部403において、誤差eを所定値以下になることを担保した上で、設定する周囲点の点数を抑える方法について説明する。
具体的には、判定部405で、各周囲点の距離値D(Bj)について、注目点の距離値D(As)と類似する点数の比率pを計算するとともに、比率pの誤差eを計算する。そして、その誤差eが所定値以下の場合は設定した周囲点が十分と判定し、比率pに基づいて物体が存在するかどうかを判定する。一方、誤差eが所定値を超える場合は設定した周囲点の点数が不足しているとし、周囲点設定部402における処理に戻って周囲点の点数Nを増やす。以上の処理を、所定値以下の誤差eに収まるまで繰り返す。これにより、比率pの誤差eが所定値以下になることを担保した上で、計算時間の増加を抑えることができる。
次に、本実施形態の具体的な処理手順について説明する。図5は処理手順を示すフローチャートである。周囲点設定部403に関するS650と、判定部405に関するS670、S671については、図4と処理が異なる。以下にその具体的な処理内容を述べる。
(ステップS650)
周囲点設定部403で、注目点Asの周囲に複数の点を設定する。本実施形態では、注目点Asを中心とする半径Rの範囲内に存在する画素の中から、ランダムでN点を選択して、周囲点として設定するものとする。設定した周囲点をBj(j=1~N)とする。
周囲点設定部403で、注目点Asの周囲に複数の点を設定する。本実施形態では、注目点Asを中心とする半径Rの範囲内に存在する画素の中から、ランダムでN点を選択して、周囲点として設定するものとする。設定した周囲点をBj(j=1~N)とする。
なお、判定部405で、誤差eが所定値より大きいと判断された場合は、Nの数をx点増やす。本実施形態ではx=1とし、1点ずつ点を増やす。
(ステップS670)
判定部405で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを計算することで、検知空間110内に物体が存在するかどうかを判定する。
判定部405で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを計算することで、検知空間110内に物体が存在するかどうかを判定する。
まず、各周囲点の距離値D(Bj)について、注目点の距離値D(As)と類似する点数の比率pを計算する。具体的には、設定した周囲点の点数Nに対する、D(As)から一定範囲内に存在する距離値を持つ周囲点の割合(比率)を計算する。また、これに加えて比率pについての誤差eを計算する。比率pの誤差は、式(1)に基づいて計算する。
ここで、kは誤差の程度を調整する係数で、本実施形態ではk=1とする。式(1)に示す、サンプリングしたデータに対する誤差eの計算方法は公知であり、例えば、H.Taherdoost,“Determining Sample Size;How to Calculate Survey Sample Size”.Mathematics Leadership & Organizational Behavior eJournal,2017で解説されている。
(ステップS671)
判定部405で、誤差eが閾値U以下の条件の場合は、図4のフローチャートの手順と同じく、比率pに基づいて物体の存在を判定する。また、誤差eが閾値Uより大きい場合は、周囲点設定部403で設定した周囲点の点数Nが十分ではないと判断し、S650の周囲点設定部403による処理に戻る。そして、周囲点設定部403では点数をN+xと増やすことで、再度比率を計算するときに、誤差eを小さくできるようにする。
判定部405で、誤差eが閾値U以下の条件の場合は、図4のフローチャートの手順と同じく、比率pに基づいて物体の存在を判定する。また、誤差eが閾値Uより大きい場合は、周囲点設定部403で設定した周囲点の点数Nが十分ではないと判断し、S650の周囲点設定部403による処理に戻る。そして、周囲点設定部403では点数をN+xと増やすことで、再度比率を計算するときに、誤差eを小さくできるようにする。
以上述べたように、周囲点設定部403で設定される周囲点の点数を、周囲点の距離値の分布に基づいて適正化する。誤差を小さくするために周囲点の数を増やし過ぎることがなくなるため、計算コストを抑えることができる。
なお、本実施形態における物体判定部405は、式(1)に基づいて、誤差eを計算する。比率pに想定される誤差は、これ以外の方法でも良い、例えば、比率pと点数Nに対する誤差eの値を予めテーブル化しておき、それを参照することで計算しても良い。テーブルは、例えば、様々な条件のステレオ画像を入力として距離画像を生成し、様々な部位に注目点を置いて周囲点の距離値の分布から比率pを計算し、その誤差を記録することで作成する。なお、その場合、各注目点についての比率pの真値は注目点の周囲の全点を利用して算出する。
また、本実施形態における周囲点設定部は、x=1として、1点ずつ周囲点の点数Nを増加させた。ただし、xは1点でも良いし1点以上の点数でも良い。例えば、誤差eが大きい場合は、1点ずつ周囲点を増やすよりも、一度に複数点増やす方が効率的である。そのため、eが大きくなるほどxが大きくなるように、xを決定しても良い。
また、周囲点設定部403で点数を増やす場合についても、周囲点の位置の分布には偏りがない方が望ましい。そのため、既に設定された周囲点の分布において密度の低い位置に優先的に増加させても良い。
[変形例2]
ステップS580では、注目点を選択する処理を繰り返すことで、複数の個所について物体の有無を検知していた。一方、本変形例では、検知空間内の点を1点検知した段階で物体が存在すると判定する。
ステップS580では、注目点を選択する処理を繰り返すことで、複数の個所について物体の有無を検知していた。一方、本変形例では、検知空間内の点を1点検知した段階で物体が存在すると判定する。
本変形例では、物体判定部405で、検知空間110内に物体が存在することが判定した場合、以降の順番に注目点として設定される候補点についての計算をスキップする。これにより、不要な計算コストを抑えることができる。
次に、本変形例の具体的な処理手順について説明する。図6は処理手順を示すフローチャートである。物体判定部405に関するS772については、図4、図5と処理が異なる。以下にその具体的な処理内容を述べる。
(ステップS772)
物体判定部405で、物体が存在しないと判定した場合は、注目点設定部402の処理に戻って、以降の順番の注目点を設定する。物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。
物体判定部405で、物体が存在しないと判定した場合は、注目点設定部402の処理に戻って、以降の順番の注目点を設定する。物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。
以上述べたように、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、計算コストを抑えることができる。
[変形例3]
本変形例では、注目点設定部402で、候補点の距離値の小さい順に注目点を設定する。これにより、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。
本変形例では、注目点設定部402で、候補点の距離値の小さい順に注目点を設定する。これにより、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。
次に、具体的な処理手順について説明する。図6は処理手順を示すフローチャートである。注目点設定部402に関するS740については、上述のフローチャートの説明で述べた処理と処理が異なる。以下にその具体的な処理内容を述べる。
(ステップS740)
注目点設定部402で、候補点のうち検知空間110に存在する点を注目点として設定する。この時、候補点は予めその距離値に基づいてソートし、ステレオカメラからの距離値が小さい順に設定を行う。距離値に基づくソートにより、完全に距離値順に沿って注目点を設定する必要はない。距離値が短い注目点を優先して設定すれば、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。
注目点設定部402で、候補点のうち検知空間110に存在する点を注目点として設定する。この時、候補点は予めその距離値に基づいてソートし、ステレオカメラからの距離値が小さい順に設定を行う。距離値に基づくソートにより、完全に距離値順に沿って注目点を設定する必要はない。距離値が短い注目点を優先して設定すれば、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。
これにより、判定部405では、距離値が小さい順に、注目点が物体上の点かどうかを判定され、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。
以上述べたように、注目点をステレオカメラからの距離値の小さい順に設定することで、距離が近い物体が優先的に検知されることを担保した上で、他の候補点についての処理をスキップできるので計算コストを抑えることができる。
なお、本実施形態における注目点設定部402は、距離値に応じて注目点を設定する。これ以外に、例えば、画像上の中心部に存在する物体に注目し、画像中心部から各候補点までの間隔に基づいて、注目点を設定することにより、画像の中心部に物体が存在すると判定されれば、以降の判定はスキップすることもできる。
[変形例4]
画像取得部は、異なる視点で撮影した2枚の画像を取得できる方法を適用可能である。例えば、第1の実施形態に示すように、ステレオカメラに基づいて撮影した画像を取得する方法、1台のカメラを移動させて2つの視点で撮影した画像を取得する方法などがある。また、2つの光学系を有し、光路を2つ有する撮像装置の例として、図8の800に示す撮像装置のように、1つの撮像素子(801、CMOSセンサやCCDセンサなど)を使って、複数の撮像光学系(802a、802b)からの光を結像させる撮像装置がある。800に示す撮像装置は、2眼レンズそれぞれから入港する光を単一のCMOSセンサを通じて記録している。画像取得部は、この撮像装置を利用して、撮影した画像を取得することもできる。
画像取得部は、異なる視点で撮影した2枚の画像を取得できる方法を適用可能である。例えば、第1の実施形態に示すように、ステレオカメラに基づいて撮影した画像を取得する方法、1台のカメラを移動させて2つの視点で撮影した画像を取得する方法などがある。また、2つの光学系を有し、光路を2つ有する撮像装置の例として、図8の800に示す撮像装置のように、1つの撮像素子(801、CMOSセンサやCCDセンサなど)を使って、複数の撮像光学系(802a、802b)からの光を結像させる撮像装置がある。800に示す撮像装置は、2眼レンズそれぞれから入港する光を単一のCMOSセンサを通じて記録している。画像取得部は、この撮像装置を利用して、撮影した画像を取得することもできる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。
Claims (8)
- 撮像視野の少なくとも一部が重複するように装置に配置された第1の光学系と第2の光学系を含む撮像手段から得られる画像であって、前記第1の光学系から第1の画像を、前記第2の光学系から第2の画像を取得する画像取得手段と、
前記第1の画像における画素数よりも少ない第1の数の特徴点を前記第1の画像と前記第2の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の3次元位置を推定する推定手段と、
前記第1の数の特徴点のうち、前記撮像手段の視野内に設定した3次元空間内から得られたと前記3次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、
前記第1の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で3次元位置を推定した特徴点の数よりも多い数の第2の数の周囲点を設定する周囲点設定手段と、
前記第1の画像と前記第2の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の3次元位置と、前記撮像手段に対する前記注目点の3次元位置と、の差に基づいて、前記注目点が前記3次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有することを特徴とする情報処理装置。 - 前記判定手段は、前記撮像手段から前記注目点が示す位置までの距離の値と、前記撮像手段から前記周囲点が示す位置までの距離の値とが類似する数または比率に基づいて前記注目点が前記3次元空間内に存在する物体の特徴を示す特徴点かを判定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記撮像手段から前記注目点が示す位置までの距離の値と、前記撮像手段から前記周囲点が示す位置までの距離の値とが類似する数または比率の誤差が所定値を超える場合、前記周囲点設定手段は、周囲点の数を増やすことを特徴とする請求項1または2に記載の情報処理装置。
- 前記周囲点設定手段は、前記第1の画像において、前記注目点を中心として、所定値を超える確率で周囲点同士の間隔が予め定められた間隔以上空くように周囲点を設定することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記注目点設定手段は、前記撮像手段から前記特徴点が示す位置までの距離が短い特徴点を優先して注目点を設定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- 前記注目点設定手段は、前記第1の画像の中心からの奥行き情報を省く2次元の距離が短い特徴点を優先して注目点を設定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。
- 撮像視野の少なくとも一部が重複するように装置に配置された第1の光学系と第2の光学系を含む撮像手段から得られる第1の画像と第2の画像とのステレオマッチングを、前記第1の画像における画素数よりも少ない第1の数の特徴点で行った結果を用いて、前記撮像手段の所定位置から該特徴点が示す位置までの実空間における距離を含む該特徴点の3次元位置を推定する推定工程と、
前記第1の数の特徴点のうち、前記撮像手段の視野内に設定した3次元空間内から得られたと前記3次元位置に基づいて判断する特徴点を注目点として設定する注目点設定工程と、
前記第1の画像における前記注目点から所定の距離範囲内の画像領域に存在する周囲点であって、前記画像領域内において前記推定工程で推定した特徴点の数よりも多い数の第2の数の周囲点を設定する周囲点設定工程と、
前記第1の画像と前記第2の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段の所定位置から前記周囲点が示す位置までの距離と、前記撮像手段の所定位置から前記注目点が示す位置までの距離と、の差に基づいて、前記注目点が前記3次元空間内に存在する物体の特徴を示す特徴点かを判定する判定工程と、を有することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の情報処理装置の各手段として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/677,809 US20220270349A1 (en) | 2021-02-25 | 2022-02-22 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028714 | 2021-02-25 | ||
JP2021028714 | 2021-02-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022130307A true JP2022130307A (ja) | 2022-09-06 |
Family
ID=83150847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022011323A Pending JP2022130307A (ja) | 2021-02-25 | 2022-01-27 | 情報処理装置、情報処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022130307A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563356A (zh) * | 2023-05-12 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | 全局3d配准方法、装置及电子设备 |
-
2022
- 2022-01-27 JP JP2022011323A patent/JP2022130307A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563356A (zh) * | 2023-05-12 | 2023-08-08 | 北京长木谷医疗科技股份有限公司 | 全局3d配准方法、装置及电子设备 |
CN116563356B (zh) * | 2023-05-12 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 全局3d配准方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108242062B (zh) | 基于深度特征流的目标跟踪方法、***、终端及介质 | |
US7660436B2 (en) | Stereo-vision based imminent collision detection | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
WO2018058356A1 (zh) | 基于双目立体视觉的汽车防碰撞预警方法和*** | |
CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
CN108692719B (zh) | 物体检测装置 | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP6328327B2 (ja) | 画像処理装置及び画像処理方法 | |
KR102507248B1 (ko) | 에고모션 추정 시스템 및 방법 | |
WO2017138245A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2006234492A (ja) | 物体認識装置 | |
EP1391845A2 (en) | Image based object detection apparatus and method | |
JP6712775B2 (ja) | 路面推定装置、車両制御装置、路面推定方法、およびプログラム | |
EP3324359B1 (en) | Image processing device and image processing method | |
JP2001216519A (ja) | 交通監視装置 | |
WO2018058355A1 (zh) | 汽车可行驶区域实时检测方法和*** | |
JP2022130307A (ja) | 情報処理装置、情報処理方法、プログラム | |
CN110781730A (zh) | 智能驾驶感知方法及感知装置 | |
RU2650857C1 (ru) | Система определения геометрических параметров трехмерных объектов | |
JP4462533B2 (ja) | 路面走行レーン検出装置 | |
JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
US20220270349A1 (en) | Information processing apparatus, information processing method, and program | |
WO2024142571A1 (ja) | 画像処理装置 | |
JP2019160251A (ja) | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |