JP2022130307A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】 処理負荷を抑えつつ精度良く、撮像手段の視野内の空間内から物体の特徴を示す特徴点が得られたかを判定する。【解決手段】 ステレオ画像を取得し、第１の画像の画素数よりも少ない第１の数の特徴点をマッチングし、ステレオカメラから特徴点が示す位置までの実空間における距離を含む特徴点の３次元位置を推定し、第１の数の特徴点のうち、撮像手段の視野内に設定した空間内から得られたと判断する特徴点を注目点として設定し、第１の画像における注目点から所定の距離範囲内の画像領域に存在する周囲点であって、画像領域内において推定した特徴点の数よりも多い数の第２の数の周囲点を設定し、周囲点をマッチングすることにより得た、ステレオカメラの所定位置から周囲点が示す位置までの距離と、ステレオカメラの所定位置から注目点が示す位置までの距離と、の差に基づいて、注目点が空間内に存在する物体の特徴を示す特徴点かを判定する。【選択図】 図２

Description

本発明は、距離画像から物体の特徴を得る技術に関する。

ステレオカメラで撮影した画像を入力として、ステレオマッチングに基づいて距離画像を算出し、カメラの前方に物体があるかどうかを検知する技術がある（非特許文献１）。この技術は、例えばロボットや自動車の周囲にある物体（人や障害物など）を検知するために利用されている。

ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。このノイズを判定し除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ判定と除去の方法は、距離画像の局所画像領域内で複数の距離値を参照して、統計的に少数派となる距離値を見つけることで、これをノイズとして除去する。

Ｎ．Ｂ．Ｎａｖｅｅｎ Ａｐｐｉａｈ，"Ｏｂｓｔａｃｌｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｆｏｒ ｓｅｌｆ－ｄｒｉｖｉｎｇ ｃａｒｓ"．ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｖｅｈｉｃｌｅｓ Ｓｙｍｐｏｓｉｕｍ，２０１１

複数の距離値を参照する統計的な計算に基づくノイズ判定方法を使うためには、元となる距離画像は局所画像領域ごとに密な距離値を持つことを前提としている。しかし、ステレオマッチングに基づいて密な距離画像を生成して、その密な距離画像からノイズ判定をするには、大きな処理負荷がかかる。移動体に配置されたカメラを用いて物体を検知するときのノイズ判定においては、処理負荷を軽く抑えつつノイズ判定の精度は担保されることが望ましい。

本発明は、以上の課題を鑑みたものであり、処理負荷を抑えつつ精度良く、移動体の進行方向の３次元空間内から物体の特徴を示す特徴点が得られたかを判定することを目的とする。

本発明に係る情報処理装置は以下の構成を有する。即ち、撮像視野の少なくとも一部が重複するように移動体に配置された第１の光学系と第２の光学系を含む撮像手段から得られる画像であって、前記第１の光学系から第１の画像を、前記第２の光学系から第２の画像を取得する画像取得手段と、前記第１の画像における画素数よりも少ない第１の数の特徴点を前記第１の画像と前記第２の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の３次元位置を推定する推定手段と、前記第１の数の特徴点のうち、前記移動体の進行方向に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、前記第１の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で３次元位置を推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定手段と、前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の３次元位置と、前記撮像手段に対する前記注目点の３次元位置と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有する。

本発明によれば、処理負荷を抑えつつ精度良く、撮像手段の視野内の３次元空間内から物体の特徴を示す特徴点が得られたかを判定することができる。

ステレオカメラと物体の配置条件を示す図。 ステレオカメラで撮影した画像の例を示す図。 情報処理装置の機能構成例を示す図。 情報処理の流れを示すフローチャート図。 情報処理の流れを示すフローチャート図。 情報処理の流れを示すフローチャート図。 情報処理装置のハードウェア構成例。 ステレオカメラのバリエーションを示す図。

［第１の実施形態］
第１の実施形態では、ステレオカメラの前方視野内（ステレオカメラを配置した移動体の進行方向）にある物体の有無を検知する方法を考える。ステレオカメラは、例えば、ＡＭＲ（ａｕｔｏｎｏｍｏｕｓ ｍｏｂｉｌｅ ｒｏｂｏｔ）やＡＧＶ（ａｕｔｏｍａｔｉｃ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）、自律移動車などに搭載される。ステレオカメラは、移動する装置（ｖｅｈｉｃｌｅ）の他、監視カメラなどの静止した装置に搭載することができる。図１は本実施形態におけるステレオカメラと物体の配置条件の例を示す。図１の１００はステレオカメラ、１１０は物体の有無を判定するための３次元の検知空間、２００は物体を表す。ステレオカメラ１００では図２の３００、３１０に示すような２枚の画像（第１の撮像装置（光学系）から得た第１の画像と第２の撮像装置（光学系）から得た第２の画像）のステレオマッチングに基づいて距離計測を行う。そこで算出した点が検知空間１１０の内部にあるかどうかに基づいて、物体の有無を判定する。計測した距離は、例えば、ステレオカメラの左側カメラの撮像面から物体の特徴（画像上では特徴点）までの距離である。もちろん、ステレオカメラの右側カメラの撮像面から物体の特徴までの距離を使うこともできるし、それぞれのカメラの所定位置の中間の位置から物体の特徴までの距離を使うこともできる。検知空間１１０は、空間内で一番低い部分の高さが移動面より高く設定されている。移動面を撮像した画像から得られる特徴点を、以降の判定処理で用いないようにするためである。検知空間１１０の高さは、例えば、移動体の高さに所定の係数を用いて得られた高さに設定する。また検知空間１１０の幅と奥行きは、移動体の走行速度に基づいて、例えばハンドルを切ったりブレーキをかけたりしても、障害物を回避することが難しい可能性が高い長さに設定する。

ステレオマッチングにより得られる距離画像は、マッチングの失敗によるノイズが含まれる可能性がある。本実施形態においてノイズとは、距離画像上の各画素が持つ距離値のうち、各画素が示す画像上の部位の実際の距離値（真値）からずれた値を持つデータである。このノイズを除去する方法として、メディアンフィルタやスペックルフィルタ等のノイズ除去フィルタなどがある。これらのノイズ除去方法は、距離画像の局所画像領域内にある距離値を参照し、その中の平均値（或は中央値）から大きく外れる値を持つ距離値を見つけることで、これをノイズとして除去する。このような統計的な計算を行うには、元となる距離画像は局所画像領域ごとに複数の距離値を持つことが前提となる。以降、そのような条件を密な距離画像と表現する。例えば、撮影したステレオ画像の全ての画素について距離値を推定した距離画像は密な距離画像である。逆に、距離値を推定した画素が少なく、疎らにしか距離値を持たない距離画像は、疎な距離画像と表現する。

本実施形態では、計算コストを抑えるために、図２の３０１に示すように疎に設定した点のみについてステレオマッチングを行う。ここで設定した点を候補点と呼ぶ。次に、候補点３０１の中に、検知空間１１０内に存在する点がある場合、これを注目点３０２としてノイズかどうかを判定する。ノイズの判定を行うときには、注目点から所定の範囲内にある複数の点３０３を設定し、ステレオマッチングに基づいて、それら複数の点の距離値を算出する。そして、算出した距離値の分布に基づいて、注目点の距離値がノイズかどうかを判定し、ノイズでない場合は検知空間１１０内に物体が存在すると判定する。ノイズ判定を行うときに、例えば３０１で示す限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行うため、密な距離画像においてノイズを判定してから物体を検知する方法に比べ、計算コストを削減して物体を検知することができる。

以降、本実施形態の詳しい説明に移る。まず、本実施形態のモジュール構成について説明する。図３の１００はステレオカメラ、４００は情報処理装置、４１０は候補点設定部、４２０は候補点距離推定部である。情報処理装置４００は、画像取得部４０１、注目点設定部４０２、周囲点設定部４０３、周囲点距離取得部４０４、判定部４０５からなる。なお、情報処理装置４００、候補点設定部４１０、候補点距離推定部４２０は不図示の記憶部や計算部を含み、例えば情報処理装置４００は、汎用計算機で実現できる。

図７に情報処理装置４００のハードウェア構成を示す。ＣＰＵ、ＲＯＭ，ＲＡＭ，ＨＤＤやＳＳＤ等の記憶部、ＵＳＢ等の汎用Ｉ／Ｆ、通信Ｉ／Ｆ、およびシステムバスで構成される。ＣＰＵは、ＲＡＭをワークメモリとして、ＲＯＭ、記憶部等に格納されたオペレーティングシステム（ＯＳ）や各種コンピュータープログラムを実行し、システムバスを介して各部を制御する。例えば、ＣＰＵが実行するプログラムには、後述する処理を実行するためのプログラムが含まれる。

ステレオカメラ１００は、２次元の画像を撮影する２台のカメラ（第１の撮像装置（光学系）と第２の撮像装置（光学系））である。そのカメラパラメータは既知とする。第１の撮像装置と第２の撮像装置の撮像視野の少なくとも一部が重複するように配置されている。候補点設定部４１０は、ステレオカメラが撮像した画像上に候補点を設定する。候補点距離推定部４２０は、ステレオカメラ１００が撮影した２枚（第１の撮像装置から得た第１の画像と第２の撮像装置から得た第２の画像）の画像に基づいて、ステレオマッチングを行うことで、候補点の実空間での距離値を算出する。図３では、候補点設定部４１０が情報処理装置４００の外部にある場合を説明している。候補点の距離値を、ステレオカメラとは別に外部に設置した距離センサー（距離カメラなど）の出力データから得て、情報処理装置に入力することができる。情報処理装置の内部に備えるセンサーの出力データから、候補点の距離値を得る場合には、候補点設定部４１０は、情報処理装置４００の内部に備えることができる。画像取得部４０１は、ステレオカメラ１００で撮影した２枚の画像を取得する。注目点設定部４０２は、候補点のうち検知空間１１０内（３次元空間内）に存在する点を注目点として設定する。周囲点設定部４０３は、注目点の周囲に、複数の点を設定する。注目点の周囲に設定した領域においては、候補点の密度より周囲点の密度が高くなるように周囲点を設定する。周囲点距離取得部４０４は、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、周囲点の距離値を算出する。判定部４０５は、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間１１０内（３次元空間内）に物体が存在するかを判定する。

次に、本実施形態の具体的な処理手順について説明する。図４は、処理手順を示すフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。図４で説明する処理は、移動体が走行を開始すると開始する。

（ステップＳ５００）
画像の取得や計算を行うための初期化を行う。具体的には、プログラムやステレオカメラの起動、処理に必要なパラメータの取得を情報処理４００に含まれる不図示の記憶部からロードする等の処理を行う。ここで、パラメータは、ステレオカメラのカメラパラメータを含む。カメラパラメータは、後述する候補点距離推定部４２０でや周囲点距離取得部４０４でステレオマッチングを行う際に必要になる。

（ステップＳ５１０）
画像取得部４０１で、ステレオカメラ１００で撮影した２枚の画像を取得する。

（ステップＳ５２０）
候補点設定部４１０で、画像上に候補点を設定する。本実施形態では、図２の３０１に示すように画像上に所定の間隔をあけてグリッド状にＭ点設定するものとする。設定した候補点をＡｉ（ｉ＝１～Ｍ）とする。Ｍは、画素数よりも小さい第１の数である。候補点の密度が低くなるように密度ｍとなるように候補点を設定することと同義である。

（ステップＳ５３０）
候補点距離推定部４２０で、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、各候補点Ａｉの距離値を算出する。本実施形態において、ステレオマッチングとは、ステレオカメラのカメラパラメータに基づいて、エピポーラ線上でブロックマッチング等を行う処理であり、対応した画素の位置に基づいて三角測量を行うことで距離値を算出する。各候補点の３次元位置も求まる。ここで、各候補点について算出した距離値をＤ（Ａｉ）とする。

（ステップＳ５４０）
注目点設定部４０３で、候補点のうち検知空間１１０（３次元空間内）に存在する点を注目点として設定する。設定した注目点をＡｓ、注目点の距離値をＤ（Ａｓ）とする。図２の３０２は注目点Ａｓの例を示す。なお、本実施形態では、検知空間１１０はステレオカメラ前方に所定のサイズで設定した直方体である。ステレオカメラの前方は、ステレオカメラを配置した移動体の進行方向のことである。移動体がバックするときには、移動体の進行方向は移動体の後方である。

（ステップＳ５５０）
周囲点設定部４０３で、注目点Ａｓの周囲に複数の点３０３を設定する。本実施形態では、ステップＳ５１０で取得した画像において、注目点Ａｓを中心とする半径Ｒの距離範囲内に存在する画素の中から、ランダムでＮ点を選択して、周囲点として設定するものとする。設定した周囲点をＢｊ（ｊ＝１～Ｎ）とする。（半径Ｒの円状の距離範囲内の点を周囲点に設定するのは一例であり、画像の一部領域の点を周囲点として設定する。）注目点Ａｓを中心とする半径Ｒの範囲内における点の密度はｍよりも高く設定する。設定するＮ点は、注目点Ａｓを中心とする半径Ｒの範囲内に存在する候補点の数よりも多い第２の数である。

（ステップＳ５６０）
周囲点距離取得部４０４で、ステレオカメラ１００が撮影した２枚の画像に基づいて、ステレオマッチングを行うことで、各周囲点Ｂｊの距離値を算出する。ここで、周囲点について算出した距離値をＤ（Ｂｊ）とする。

（ステップＳ５７０）
判定部４０５で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを判定し、その判定結果に基づいて検知空間１１０内に物体が存在するかを判定する。

まず、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算する。具体的には、設定した周囲点の点数Ｎに対する、Ｄ（Ａｓ）から一定の差の範囲内に存在する距離値を持つ周囲点の比率を計算する。そして、ｐが閾値Ｔ以下であれば注目点をノイズと判定し、ｐが閾値Ｔより大きい場合はノイズではなく、検知空間１１０内に存在する物体の距離値を示す画素の点であると判定する。なお、その場合は物体が検知されたことになる。物体が検知されたときには、物体を避けて移動体の走行を継続させるために、物体全体の３次元形状の計測を開始する。そして、物体を避けた経路で移動体の走行を継続させる。若しくは、物体が検知されたときには、移動体を停止させる。

（ステップＳ５８０）
以上のＳ５４０～５７０の操作を、注目点を変えてすべての候補点について実行する。これにより、画像上に設定した各候補点が検知空間１１０内に含まれる物体上の点かどうかを判定する。単に障害物の「有無」を判定したい場合には、１つの候補点についてＳ５７０で障害物を見つけた時点で、他の候補点についての繰り返し処理は不要となる。

以上述べたように、画像上の全ての画素を対象とするのではなく、限られた点数の候補点と、その周囲に設定する周囲点でステレオマッチングを行う。候補点の周囲の画像領域においては、周囲点の密度は候補点よりも高い。これにより、密な距離画像を生成する方法に比べ、計算コストを抑えても精度良く物体の有無を検知することができる。

なお、Ｓ５２０では、候補点設定部４１０は、画像上に等間隔に候補点を設定した。ただし、候補点の設定は、画像上に１点以上の点を空間的に疎に設定できる方法であれば、計算コストを抑えることができる。画像上に等間隔に設定しても良いし、ランダムな位置を設定しても良い。また、動画像として撮影を行う場合、設定する候補点の位置は時刻に応じて変更しても良い。その場合、ある時刻で設定された候補点の隙間を補うように画像上での位置をずらして、後の時刻で候補点を設定することで、候補点の隙間で検出漏れが起こることを避けることができる。また、候補点の距離値は、ステレオカメラとは別に設置した距離センサー（距離カメラなど）の出力データに基づいて算出しても良い。

また、Ｓ５５０では、周囲点設定部４０３は、注目点を中心としてランダムな位置に画素を設定した。ただし、周囲点の設定は、注目点の周囲について、１点以上の点を設定できれば、注目点のノイズの判定ができる。ランダムな位置に設定しても良いし等間隔な位置に設定しても良い。なお、物体判定部４０５において周囲点の分布を計算する上で、設定する周囲点の位置の分布には偏りがない方が望ましい。偏りのあるとは、例えば注目点の周囲の領域の右半分のみ利用する等である。設定する周囲点の分布に偏りがあると、その偏った一部分に依存した統計量となるため、正確なノイズの判定が難しくなる場合がある。そのため、偏りを避けるために、例えば周囲点の設定は、周囲点同士を所定値と同じまたは所定値を超える確率で予め定められた間隔以上空くように設定することが望ましい。

また、周囲点設定部４０３は、注目点の距離値と類似する距離値を持つ周囲点の比率ｐを計算し、ノイズかどうかを判定した。ノイズの判定方法は、注目点と類似する距離値を持つ周囲点の多さを評価できる方法であれば、ノイズの判定ができる。前述の比率ｐでも良いし、注目点と類似する距離値を持つ周囲点の個数でも良い。

［変形例１］
ステップＳ５５０では、周囲点設定部４０３において設定する点数は固定数のＮ点とした。一般的に、比率ｐに予想される誤差ｅは、計算に用いる周囲点の点数Ｎに応じて増減する。具体的には、Ｎが大きいと誤差ｅは小さくなり、Ｎが小さいと誤差ｅは大きくなる。

判定部４０５における判定を正確に行うためには、誤差ｅは所定値以下になるように計算できることが望ましい。一方、誤差ｅを小さくするために、設定する周囲点の点数を増やすほど、周囲点距離取得部４０４における距離値を求める計算にかかる時間が増加する。

周囲点設定部４０３において、誤差ｅを所定値以下になることを担保した上で、設定する周囲点の点数を抑える方法について説明する。

具体的には、判定部４０５で、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算するとともに、比率ｐの誤差ｅを計算する。そして、その誤差ｅが所定値以下の場合は設定した周囲点が十分と判定し、比率ｐに基づいて物体が存在するかどうかを判定する。一方、誤差ｅが所定値を超える場合は設定した周囲点の点数が不足しているとし、周囲点設定部４０２における処理に戻って周囲点の点数Ｎを増やす。以上の処理を、所定値以下の誤差ｅに収まるまで繰り返す。これにより、比率ｐの誤差ｅが所定値以下になることを担保した上で、計算時間の増加を抑えることができる。

次に、本実施形態の具体的な処理手順について説明する。図５は処理手順を示すフローチャートである。周囲点設定部４０３に関するＳ６５０と、判定部４０５に関するＳ６７０、Ｓ６７１については、図４と処理が異なる。以下にその具体的な処理内容を述べる。

（ステップＳ６５０）
周囲点設定部４０３で、注目点Ａｓの周囲に複数の点を設定する。本実施形態では、注目点Ａｓを中心とする半径Ｒの範囲内に存在する画素の中から、ランダムでＮ点を選択して、周囲点として設定するものとする。設定した周囲点をＢｊ（ｊ＝１～Ｎ）とする。

なお、判定部４０５で、誤差ｅが所定値より大きいと判断された場合は、Ｎの数をｘ点増やす。本実施形態ではｘ＝１とし、１点ずつ点を増やす。

（ステップＳ６７０）
判定部４０５で、注目点と周囲点の距離値に基づいて、注目点がノイズかどうかを計算することで、検知空間１１０内に物体が存在するかどうかを判定する。

まず、各周囲点の距離値Ｄ（Ｂｊ）について、注目点の距離値Ｄ（Ａｓ）と類似する点数の比率ｐを計算する。具体的には、設定した周囲点の点数Ｎに対する、Ｄ（Ａｓ）から一定範囲内に存在する距離値を持つ周囲点の割合（比率）を計算する。また、これに加えて比率ｐについての誤差ｅを計算する。比率ｐの誤差は、式（１）に基づいて計算する。

ここで、ｋは誤差の程度を調整する係数で、本実施形態ではｋ＝１とする。式（１）に示す、サンプリングしたデータに対する誤差ｅの計算方法は公知であり、例えば、Ｈ．Ｔａｈｅｒｄｏｏｓｔ，“Ｄｅｔｅｒｍｉｎｉｎｇ Ｓａｍｐｌｅ Ｓｉｚｅ；Ｈｏｗ ｔｏ Ｃａｌｃｕｌａｔｅ Ｓｕｒｖｅｙ Ｓａｍｐｌｅ Ｓｉｚｅ”．Ｍａｔｈｅｍａｔｉｃｓ Ｌｅａｄｅｒｓｈｉｐ ＆ Ｏｒｇａｎｉｚａｔｉｏｎａｌ Ｂｅｈａｖｉｏｒ ｅＪｏｕｒｎａｌ，２０１７で解説されている。

（ステップＳ６７１）
判定部４０５で、誤差ｅが閾値Ｕ以下の条件の場合は、図４のフローチャートの手順と同じく、比率ｐに基づいて物体の存在を判定する。また、誤差ｅが閾値Ｕより大きい場合は、周囲点設定部４０３で設定した周囲点の点数Ｎが十分ではないと判断し、Ｓ６５０の周囲点設定部４０３による処理に戻る。そして、周囲点設定部４０３では点数をＮ＋ｘと増やすことで、再度比率を計算するときに、誤差ｅを小さくできるようにする。

以上述べたように、周囲点設定部４０３で設定される周囲点の点数を、周囲点の距離値の分布に基づいて適正化する。誤差を小さくするために周囲点の数を増やし過ぎることがなくなるため、計算コストを抑えることができる。

なお、本実施形態における物体判定部４０５は、式（１）に基づいて、誤差ｅを計算する。比率ｐに想定される誤差は、これ以外の方法でも良い、例えば、比率ｐと点数Ｎに対する誤差ｅの値を予めテーブル化しておき、それを参照することで計算しても良い。テーブルは、例えば、様々な条件のステレオ画像を入力として距離画像を生成し、様々な部位に注目点を置いて周囲点の距離値の分布から比率ｐを計算し、その誤差を記録することで作成する。なお、その場合、各注目点についての比率ｐの真値は注目点の周囲の全点を利用して算出する。

また、本実施形態における周囲点設定部は、ｘ＝１として、１点ずつ周囲点の点数Ｎを増加させた。ただし、ｘは１点でも良いし１点以上の点数でも良い。例えば、誤差ｅが大きい場合は、１点ずつ周囲点を増やすよりも、一度に複数点増やす方が効率的である。そのため、ｅが大きくなるほどｘが大きくなるように、ｘを決定しても良い。

また、周囲点設定部４０３で点数を増やす場合についても、周囲点の位置の分布には偏りがない方が望ましい。そのため、既に設定された周囲点の分布において密度の低い位置に優先的に増加させても良い。

［変形例２］
ステップＳ５８０では、注目点を選択する処理を繰り返すことで、複数の個所について物体の有無を検知していた。一方、本変形例では、検知空間内の点を１点検知した段階で物体が存在すると判定する。

本変形例では、物体判定部４０５で、検知空間１１０内に物体が存在することが判定した場合、以降の順番に注目点として設定される候補点についての計算をスキップする。これにより、不要な計算コストを抑えることができる。

次に、本変形例の具体的な処理手順について説明する。図６は処理手順を示すフローチャートである。物体判定部４０５に関するＳ７７２については、図４、図５と処理が異なる。以下にその具体的な処理内容を述べる。

（ステップＳ７７２）
物体判定部４０５で、物体が存在しないと判定した場合は、注目点設定部４０２の処理に戻って、以降の順番の注目点を設定する。物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。

以上述べたように、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、計算コストを抑えることができる。

［変形例３］
本変形例では、注目点設定部４０２で、候補点の距離値の小さい順に注目点を設定する。これにより、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。

次に、具体的な処理手順について説明する。図６は処理手順を示すフローチャートである。注目点設定部４０２に関するＳ７４０については、上述のフローチャートの説明で述べた処理と処理が異なる。以下にその具体的な処理内容を述べる。

（ステップＳ７４０）
注目点設定部４０２で、候補点のうち検知空間１１０に存在する点を注目点として設定する。この時、候補点は予めその距離値に基づいてソートし、ステレオカメラからの距離値が小さい順に設定を行う。距離値に基づくソートにより、完全に距離値順に沿って注目点を設定する必要はない。距離値が短い注目点を優先して設定すれば、計算コストを抑えながら、ステレオカメラから距離が近い物体が優先的に検知されるようにすることができる。

これにより、判定部４０５では、距離値が小さい順に、注目点が物体上の点かどうかを判定され、物体が存在すると判定した場合は、以降の順番の候補点についての判定はスキップし、処理を打ち切る。

以上述べたように、注目点をステレオカメラからの距離値の小さい順に設定することで、距離が近い物体が優先的に検知されることを担保した上で、他の候補点についての処理をスキップできるので計算コストを抑えることができる。

なお、本実施形態における注目点設定部４０２は、距離値に応じて注目点を設定する。これ以外に、例えば、画像上の中心部に存在する物体に注目し、画像中心部から各候補点までの間隔に基づいて、注目点を設定することにより、画像の中心部に物体が存在すると判定されれば、以降の判定はスキップすることもできる。

［変形例４］
画像取得部は、異なる視点で撮影した２枚の画像を取得できる方法を適用可能である。例えば、第１の実施形態に示すように、ステレオカメラに基づいて撮影した画像を取得する方法、１台のカメラを移動させて２つの視点で撮影した画像を取得する方法などがある。また、２つの光学系を有し、光路を２つ有する撮像装置の例として、図８の８００に示す撮像装置のように、１つの撮像素子（８０１、ＣＭＯＳセンサやＣＣＤセンサなど）を使って、複数の撮像光学系（８０２ａ、８０２ｂ）からの光を結像させる撮像装置がある。８００に示す撮像装置は、２眼レンズそれぞれから入港する光を単一のＣＭＯＳセンサを通じて記録している。画像取得部は、この撮像装置を利用して、撮影した画像を取得することもできる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供してもよい。

Claims (8)

1. 撮像視野の少なくとも一部が重複するように装置に配置された第１の光学系と第２の光学系を含む撮像手段から得られる画像であって、前記第１の光学系から第１の画像を、前記第２の光学系から第２の画像を取得する画像取得手段と、
   前記第１の画像における画素数よりも少ない第１の数の特徴点を前記第１の画像と前記第２の画像においてステレオマッチングし、前記撮像手段に対する該特徴点の３次元位置を推定する推定手段と、
   前記第１の数の特徴点のうち、前記撮像手段の視野内に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定手段と、
   前記第１の画像における前記注目点から所定の距離範囲内の画像領域内において前記推定手段で３次元位置を推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定手段と、
   前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段に対する前記周囲点の３次元位置と、前記撮像手段に対する前記注目点の３次元位置と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定手段と、を有することを特徴とする情報処理装置。
2. 前記判定手段は、前記撮像手段から前記注目点が示す位置までの距離の値と、前記撮像手段から前記周囲点が示す位置までの距離の値とが類似する数または比率に基づいて前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記撮像手段から前記注目点が示す位置までの距離の値と、前記撮像手段から前記周囲点が示す位置までの距離の値とが類似する数または比率の誤差が所定値を超える場合、前記周囲点設定手段は、周囲点の数を増やすことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記周囲点設定手段は、前記第１の画像において、前記注目点を中心として、所定値を超える確率で周囲点同士の間隔が予め定められた間隔以上空くように周囲点を設定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記注目点設定手段は、前記撮像手段から前記特徴点が示す位置までの距離が短い特徴点を優先して注目点を設定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記注目点設定手段は、前記第１の画像の中心からの奥行き情報を省く２次元の距離が短い特徴点を優先して注目点を設定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
7. 撮像視野の少なくとも一部が重複するように装置に配置された第１の光学系と第２の光学系を含む撮像手段から得られる第１の画像と第２の画像とのステレオマッチングを、前記第１の画像における画素数よりも少ない第１の数の特徴点で行った結果を用いて、前記撮像手段の所定位置から該特徴点が示す位置までの実空間における距離を含む該特徴点の３次元位置を推定する推定工程と、
   前記第１の数の特徴点のうち、前記撮像手段の視野内に設定した３次元空間内から得られたと前記３次元位置に基づいて判断する特徴点を注目点として設定する注目点設定工程と、
   前記第１の画像における前記注目点から所定の距離範囲内の画像領域に存在する周囲点であって、前記画像領域内において前記推定工程で推定した特徴点の数よりも多い数の第２の数の周囲点を設定する周囲点設定工程と、
   前記第１の画像と前記第２の画像とを用いて前記周囲点をステレオマッチングすることにより得た、前記撮像手段の所定位置から前記周囲点が示す位置までの距離と、前記撮像手段の所定位置から前記注目点が示す位置までの距離と、の差に基づいて、前記注目点が前記３次元空間内に存在する物体の特徴を示す特徴点かを判定する判定工程と、を有することを特徴とする情報処理方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の情報処理装置の各手段として機能させるプログラム。

Images