JP4584405B2 - ３次元物体検出装置と３次元物体検出方法及び記録媒体 - Google Patents
３次元物体検出装置と３次元物体検出方法及び記録媒体 Download PDFInfo
- Publication number
- JP4584405B2 JP4584405B2 JP2000134407A JP2000134407A JP4584405B2 JP 4584405 B2 JP4584405 B2 JP 4584405B2 JP 2000134407 A JP2000134407 A JP 2000134407A JP 2000134407 A JP2000134407 A JP 2000134407A JP 4584405 B2 JP4584405 B2 JP 4584405B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- area
- region
- information
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、侵入者検出、車両（自動車等）位置・速度検出、移動ロボット用ナビゲーションなど、距離情報に基づく３次元物体の位置・速度の検出を行う装置（或いはシステム）に利用され、特に、何らかの距離計測方法によって３次元位置情報（距離情報）が与えられた時に、３次元空間の広範囲に存在し得る３次元物体の位置、形状、移動速度を検出する３次元物体検出装置と３次元物体検出方法及び記録媒体に関する。
【０００２】
【従来の技術】
以下、従来例について説明する。
【０００３】
§１：従来例１
従来より、距離情報を利用して物体の位置を検出する方法が幾つか提案されている。それらを大別すると、（Ａ１）：距離情報のみを利用してその距離分布の集合を検出することで物体を得る方法と、（Ａ２）：距離情報と画像情報の両者を必ず用いる方法とがある。以下、これらの方法について説明する。
【０００４】
(1) ：（Ａ１）の説明
前記（Ａ１）の代表として、実吉ら「ステレオ画像を用いた運転支援のための前方状況認識システム」、電子情報通信学会、技術研究報告、ＰＲＭＵ９７−２５〜３６、ｐｐ．３９−４６の方法を説明する。
【０００５】
この方法では、先ず、車両の前方の路上情景を２つのカメラで観測して、２つの画像より両眼立体視により距離情報（距離画像）を取得する。得られた距離画像を、次に定めるように短冊状の領域群に分割する。領域は、予め定めた小さな幅で、高さは事前に取得したカメラの配置情報と路面位置情報の関係から、路面の上部だけを含むような高さを持つように設定する。
【０００６】
そして、それぞの領域毎に、含まれる距離情報を用いて奥行きを横軸にとり頻度を縦軸にとる奥行きのヒストグラムを作成し、ヒストグラムのピーク位置より短冊領域を代表する距離を定める。次に、隣接する領域群で距離の近いものをまとめて領域グループを作成する。
【０００７】
そして、得られたグループの３次元空間での傾きを調べて、観測方向に対して垂直に近ければ車両の後方面とし、観測方向に平行に近ければ車両側面と分類する。更に、この前面と側面の位置関係による組み合わせにより車両位置、形状を検出する。
【０００８】
(2) ：（Ａ２）の説明
前記（Ａ２）の距離情報と画像情報を必ず用いて物体を検出する方法を、下村倫子ら「ステレオ視差と先行車の高さ変化を用いた車間距離計測のばらつき低減に関する考察」、電子情報通信学会技術研究報告、ＰＲＭＵ９８−９２〜１０５、ｐｐ．２１−２８を例に説明する。
【０００９】
この方法では、先ず、車両の前方の路上情景を左右２つのカメラで観測して２つの画像を得る。一方の画像より白線を検出して自車両の走行領域を得て、その中に含まれる明確で長い水平線で最も下方に位置するものを車両下端として得る。そして、下端線の上部に下端線の幅を持つテンプレートと呼ぶ一定の大きさを持つ領域を定めて、他方画像を探索してテンプレート領域と輝度パターンが最も類似している領域を得る。これにより両眼立体視により車両（物体）までの距離が得られる。
【００１０】
更に、車両は上端、下端部に安定した水平線があると仮定して、上記テンプレート位置を参考に設けた別の領域内について、エッジ点の水平方向への投影ヒストグラムを作成して、そのピーク位置より車両の上端、下端を定める。この上端と下端の幅より画像での車両の高さ（ｈ）を定める。これにより、車両の位置、車両形状（大きさ）を検出する。
【００１１】
§２：従来例２
従来例２として、移動速度計測について説明する。物体の位置を検出しながら移動速度を算出する方法は、大きく次の（Ｂ１）：２時刻間の物***置の差を移動速度とする方法、（Ｂ２）：過去の幾つかの物***置を用いて現在の移動速度を算出する方法、に大別される。
【００１２】
(1) ：（Ｂ１）の説明
前記（Ｂ１）の方法では、各時刻で物***置を検出しておき、現時刻の物***置と前時刻の物***置の単純な差の移動速度とする。
【００１３】
(2) ：（Ｂ２）の説明
前記（Ｂ２）の代表的な方法として、今川和幸、呂山、猪木誠二、松尾英明、「顔によるオクルージョンを考慮した手話動画像からの実時間掌追跡」、電子情報通信学会技術研究報告、ＰＲＭＵ９７−１０４〜１１０、ｐｐ．１５−２２を例に説明する。
【００１４】
この例は、対象として２次元的な手領域を追跡する方法であるが、対象を追跡するという観点からは３次元であっても同様なので、本方法を例に説明する。先ず、画像より色情報を用いて手領域を抽出し、その領域の重心点位置を領域位置ｐとする。
【００１５】
そして、領域の運動モデルとして等速運動を仮定し、観測ベクトルを領域位置ｐ、推定すべきパラメータベクトルｘとして領域位置と領域速度として、カルマンフィルタを構成してパラメータベクトルｘを推定して、パラメータベクトルで示される領域位置と領域速度を所要量として求めている。
【００１６】
このように、カルマンフィルタを用いると、各時刻で観測される領域位置に誤差を含んでいても、線形推定の意味で最も安定した位置と速度が推定できるため、速度のばらつきを抑えて安定した速度計測が可能となる。
【００１７】
【発明が解決しようとする課題】
前記のような従来のものにおいては、次のような課題があった。
【００１８】
(1) ：前記（Ａ１）の場合、一般的に３次元情報は、遠方になる程その奥行き、及び空間情報の解像度が低くなり、距離情報や位置情報のもつ信頼性が低下する。つまり、複数物体が存在するときに近傍では距離の違いで分離できる場合も、物体間の距離差は同じであっても、遠方にあるときは、距離の違いが検出できず、物体を分離するのが困難になることを意味する。従って、ある程度遠方にある物体については、距離情報だけを用いて、その距離差から物体領域を分離することは困難である。
【００１９】
更に、得られる距離情報の性質として、物体がセンサの近傍で観測される場合には、その物体は大きく観測され、得られる３次元情報の量（数）は多いが、同一物体であっても遠方に位置すると、観測される物体領域そのものも小さくなり得られる３次元情報の数（量）も少なくなるというように、対象までの距離により距離情報が増減するという性質がある。
【００２０】
これにより、例えば、実吉らの方法のように、距離画像を固定サイズの領域（以下「抽出領域」と呼ぶ）に区切って、その領域毎に物***置を算出する方法であると、例えば、遠方の物体を区別するためには、抽出領域の大きさを小さくする必要があり、この結果として、物体が近傍に存在する場合には、十分な数の距離情報が存在しているにもかかわらず、領域幅が小さいため、領域毎に集められる３次元情報の数が減少し、物***置の精度が低下する。
【００２１】
逆に、近傍での位置の精度を高めるために抽出領域の大きさを大きくすると、遠方物体を分離できなくなるという問題がある。更に、遠方では得られる距離情報が距離画像上で２次元的にも粗くなり、１つの物体面が、必ずしも連続した３次元位置を確定できる抽出領域として得られるとは限らない、という問題がある。
【００２２】
(2) ：前記（Ａ２）の場合、距離情報と画像情報を用いて物体を検出するのに、物体が遠方にあるときは、物体内部の模様は殆ど観測されず物体輪郭が支配的となる。従って、このような場合は、前記下村の方法のように、エッジ点の投影によって物体輪郭を抽出して物体領域を定めることは有効である。
【００２３】
ところが、物体が観測者の近傍にあるときは、物体輪郭よりも物体内部の模様が支配的となるので、その結果として、エッジ点の投影ヒストグラムでは、それら物体内部の模様エッジが輪郭部分のピークの形成を阻害して、安定に輪郭線を検出するのは困難となる。従って、常に、画像特徴と距離情報を利用すると、画像特徴が障害となって物***置を検出できないことがある。
【００２４】
(3) ：前記（Ｂ１）の場合、各時刻の物***置を求めて、現時刻の物***置と前時刻の物***置の単純な差で移動速度を求めると、各時刻における物***置の計測精度の影響を大きく受け、計測速度のばらつきが大きく、計測精度が悪い、という問題がある。
【００２５】
(4) ：前記（Ｂ２）の場合、（Ｂ２）の方法により検出された過去の幾つかの物***置を用いて現在の移動速度を算出する方法が考えられるが、この方法では、或る物体が存在している間に、その物体の時刻間での対応をいかに安定に求めるかが課題となる。
【００２６】
ここで、例えば、屋外での情景について物体を検出する場合などを考えると、日照変化や影の有無など周囲の証明条件の影響や、物体の移動により見え方の変化の影響があり、物体が検出できない場合が考えられる。この時には、物体の対応付けが不可能なため、物体の移動速度を計測できなくなり、しかも、フィルタを利用すると、その未検出の影響が数時刻に渡って影響し、その間の速度情報は誤ったものとなる。
【００２７】
更に、未検出であった物体を再び検出した時には、新たに運動パラメータの推定を開始する必要があるため、再び物体を検出してから数時刻は、運動パラメータの推定値は誤差を多く含み、誤った速度情報となる。このように、安定した速度検出に対して物体の未検出の影響が大きく現れるという問題がある。
【００２８】
本発明は、このような従来の課題を解決し、物体の距離に影響されることなく、安定した物体の位置や速度の検出を可能にすることを目的とする。
【００２９】
【課題を解決するための手段】
図１は本発明の原理説明図であり、図１中、４は物体検出器、４−１は基本領域検出部、４−２は物体面当てはめ／物***置決定部、５は物体速度計測器を示す。本発明は前記目的を達成するため、次のように構成した。
【００３０】
(1) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式、または３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段（基本領域検出部４−１）と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段（物体面当てはめ／物***置決定部４−２）と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段（物体面当てはめ／物***置決定部４−２の一部）を備え、前記基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する機能を備えている。
【００３１】
(2) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式や、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段を備え、前記物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える機能を備えている。
【００３２】
(3) ：前記(1) の３次元物体検出装置において、前記物体領域判定手段は、前記物体当てはめ手段による当てはめ結果の良否により物***置を検出し、検出された物***置を時系列的に求めていき、その得られた物***置の時系列的な対応を求めることで、各物体の速度情報を算出する機能を有し、前記物体領域判定手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記物体領域判定手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、速度計測を再開できるようにした速度検出手段を備えている。
【００３３】
(4) ：３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式、または３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出方法において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定するようにした。
【００３４】
(5) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式、または３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置に、３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する第１の手順と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる第２の手順と、前記第２の手順による当てはめ結果の良否より物体の有無を判定する第３の手順と、前記第１の手順を行う場合、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する第４の手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００３５】
（作用）
前記構成に基づく本発明の作用を、図１に基づいて説明する。
【００３６】
(a) ：前記(1) の作用
基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【００３７】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【００３８】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００３９】
(b) ：前記(2) の作用
物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える。
【００４０】
この場合、物体検出処理に関して、対象物体が遠方にあると物体の観測大きさが小さくなり、得られる距離情報の数が不足して、距離情報への物体面モデルの当てはめではモデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。
【００４１】
そのため、物体が閾値以上に遠い場合は、３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）等で撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得ることができる。
【００４２】
(c) ：前記(3) の作用
前記３次元物体検出装置では、物体領域判定手段は、物体当てはめ手段による当てはめ結果の良否により物***置を検出し、検出された物***置を時系列的に求めていき、その得られた物***置の時系列的な対応を求めることで、各物体の速度情報を算出する。
そして、速度検出手段では、物体領域判定手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記物体領域判定手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、速度計測を再開する。
【００４３】
この場合、物体速度計測処理に関して、物体領域が検出できず、対応が求まらない時は、一定の回数だけその物体を未対応状態で位置の情報を残しておき、再び物体が検出された場合には、未対応の間の平均移動距離を初期速度として与えて再び物体の追跡を行うことで、再検出の直後から速度を安定に計測することを可能とする。
【００４４】
また、再検出物体を新規物体として追跡し始める従来方式では、速度情報を安定に得るには、更に、数フレームの物体追跡が必要で、速度情報の出力までに時間遅れを要していたが、本発明では、物体の検出ができない場合があっても、時間遅れなく、速度情報を得ることができる。
【００４５】
(d) ：前記(4) の作用
３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出するようにした。
【００４６】
このようにすれば、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００４７】
(e) ：前記(5) の作用
前記３次元物体検出装置が、記録媒体のプログラムを読み出して実行することにより、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とする際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【００４８】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【００４９】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００５１】
§１：３次元物体検出装置の概要
本発明の３次元物体検出装置では、何らかの距離計測方法によって３次元位置情報（距離情報）が与えられた時に、３次元空間の広範囲に存在し得る３次元物体の位置、形状、移動速度を検出するものである。ここで、３次元位置情報とは、空間上の各位置或いは特定の３次元位置（Ｘ，Ｙ，Ｚ）を表す情報の集合で、与えられる形式は、２次元（Ｘ，Ｙ）の配列の各場所に奥行き情報を持つ画像形式であっても良いし、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形をとっても良い（Ｘ、Ｙ、Ｚ：３次元空間を表す座標）。
【００５２】
先ず、３次元位置情報から任意の３次元物体の位置、形状を検出する方法について説明する。予め、検出したい３次元物体の概略大きさ、形状を表す３次元形状モデルを用意する。そして、３次元位置情報から、３次元的に位置が近く、しかも平面を構成する部分をまとめて、いくつかの面素（以下、「基本領域」と呼ぶ）を抽出する。
【００５３】
基本領域について、先の３次元モデルを構成する各面を当てはめていき、３次元モデルで観測できる全てについて問題なく当てはまるなら、その位置に３次元物体が存在するとする。ここで、一般に３次元上の物体は、遠方にあるほど観測される大きさは小さく、逆に近くにあるほど大きく観測されることを考えると、物体面を当てはめるべき基本領域の大きさは、対象の物体の位置（距離）によって変わってくるという問題が生じる。
【００５４】
そこで、基本領域を形成する際に、物体の３次元距離に応じて領域形成に利用する３次元位置情報の範囲を変化させて、遠方では小さい領域となり、逆に近傍では大きな領域となるようにする。観測される物体の大きさに合わせることで、できるだけ他の物体を含まず安定した基本領域を得る。
【００５５】
また、３次元情報は、遠方になるほど奥行き情報の解像度が低くなり、距離情報の持つ信頼性が低下する。更に、物体そのものも遠方になると小さくなり得られる３次元情報の数（量）も少なくなる。これにより、物体が遠方にあると先の３次元モデルの当てはめが困難になる。
【００５６】
そこで、３次元物体が遠方にあり、モデルの当てはめが困難になった時には、ビデオカメラ（或いはテレビカメラ）などで得られる情景の濃淡画像（或いはカラー画像）から得られる物体輪郭線を用いて物***置を正確に検出する。逆に、物体が近傍にある時には、３次元情報が多く得られることと、濃淡画像で物体内部の模様が支配的になり輪郭線と区別するのが困難になるので、物体輪郭情報は利用しない。このように、距離に応じて適応的に画像情報を利用することで、物体の距離に影響することなく、安定して物***置を検出する。
【００５７】
次に、物体の速度計測の方法を説明する。基本的には、先で得られた物体の３次元位置の時間変化から物体の移動速度を検出するが、検出速度の安定化のために、一般的に良く行われる物体の運動モデルを用いて過去の位置情報も利用して現在の移動速度を定める。
【００５８】
このような運動モデルを用いた方法では、速度情報が安定するまでにある程度の時刻間で同一物体を正しく対応付けることが必要である。ところが、例えば、屋外での物体検出では周囲の証明条件の影響や物体の移動による見え方の変化により物体が検出ではない場合は、物体の時間的対応付けが不可能なので、速度が計測できなくなる。
【００５９】
また、同一物体が再び観測された時には、速度情報が安定して得られるまで、再度、ある程度の時刻間の対応付けを要し、即座に速度情報を確定することは困難である。このように、対応の消失は、安定した速度検出への影響が大きく現れる。
【００６０】
そこで、物体が検出できず対応が求まらない時は、一定の回数だけその物体を未対応状態で位置、大きさの情報を残しておき、再び物体が検出された時には、未対応であった期間での平均移動速度を初期速度として与えて、再び物体の追跡を続行する。これにより、例え物***置がある期間検出できなかったとしても、物***置を再検出してから速度を安定させるための一定期間の物体対応が不要なので、速度情報を速やかに安定させることができる。
【００６１】
§２：３次元物体検出／速度検出処理の説明
以下、３次元物体検出／速度検出処理について説明する。
【００６２】
(1) ：本発明では物体面位置を検出するための核となる領域（基本領域）を３次元位置情報から抽出しておき、その基本領域に予め、定めた物体のモデルを当てはめて、当てはまり度合いが良いときに物体が存在するという処理を行う。
【００６３】
この基本領域として、距離画像の３次元位置情報を持つ画素について、画像上での２次元距離と３次元奥行きがそれぞれ近傍しており、しかも平面を構成する３次元位置情報をまとめた領域とするが、この画像上での２次元距離の大きさを、対象の３次元奥行きに応じて可変する。すなわち、物体が近傍にあるときは、対象物体は大きく観測できているので、画像上での近接度合いを測る距離差を大きくとり、広い領域から十分な数の３次元位置情報を抽出して安定した基本領域を得る。
【００６４】
一方、物体が遠方にある時は、対象物体は小さいので、画像上での近接度合いを測る距離差を小さくし、近傍にある他物体と融合した誤った基本領域とならないようにする。このように、物体の位置（距離）に応じて変化する観測物体の大きさに合わせた適切な大きさで特徴量をまとめることで、固定サイズでの基本領域抽出で生じる物***置の違いによる基本領域の検出精度の問題に影響されることなく、物体面の核となる基本領域を物体の位置によらず安定して求めることができる。
【００６５】
更に、３次元物体が遠方にあると、距離情報の解像度が不足して、モデルの当てはめが困難になるので、物体が遠方にあるときには、３次元位置情報の他にビデオカメラ（或いはテレビカメラ）などで撮像される情景の濃淡画像、或いはカラー画像から得られる物体輪郭線を用いて物***置を正確に検出する。
【００６６】
逆に、物体が近傍にある時は、３次元情報が多く得られることと、濃淡画像或いはカラー画像で物体内部の模様が主体になり、輪郭線と区別するのが困難になるので、物体輪郭情報は利用しない。このように、必要に応じて画像情報を利用することで、物体の距離に影響することなく、物***置を検出できる。
【００６７】
(2) ：物体の移動速度検出に関して、本発明では、基本的には、物体の運動モデルを用いて過去の幾つかの位置情報を元に、現在の移動速度を定めることで安定した速度を得るが、物体が検出できず対応が求まらない時は、一定の回数だけその物体を未対応状態で位置、大きさの情報を残しておき、再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べる。
【００６８】
そして、もし、矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして平均移動速度を初期速度として再び物体の追跡を行う。これにより、例え物***置が或る期間検出できなかったとしても、物***置を再検出してから速度を安定させるための一定期間物体対応が不要なので、速度情報をいつでも安定させることができる。
【００６９】
§３：具体例による説明
以下、具体例に基づいて、前記処理を詳細に説明する。
【００７０】
(1) ：システム全体の説明
図２のＡにシステム概略図を示す。このシステムは距離計測器１と、視差画像の変換処理を行う視差画像変換器２と、物体の位置、大きさ（形状）を検出する物体検出器４と、物体の移動速度を計測する物体速度計測器５と、カメラ３等を備えている。
【００７１】
前記距離計測器１とカメラ３は既存のものを使用する。そして、距離計測器１としては、対象物体を含む情景の３次元情報を取得できるもの、例えば、２台のビデオカメラ（或いはテレビカメラ）を所定距離だけ離して配置したステレオカメラと呼ばれるものを使用する。
【００７２】
また、カメラ３は対象物体を含む情景を撮像して濃淡画像（モノクロ）、或いはカラー画像が出力できるものを使用するが、前記距離計測器１が２台のカメラで構成されている場合には、その１台をカメラ３として使用しても良い。
【００７３】
このシステムの機能は次の通りである。先ず、距離計測器１により距離情報（３次元位置情報）を取得し、必要があれば、視差画像変換器２において、２次元配列（ｘ，ｙ）に視差値を持つ視差画像の形式に変換し、視差画像を出力する。続いて、物体検出器４により、視差画像と、カメラ３で撮像された濃淡（或いは、カラー）画像を用いて物***置を検出する。
【００７４】
そして、物体速度計測器５により、各時刻で得られた物***置の時間変化より物体の移動速度を計測する。このようにして、システム出力として、物体の位置、大きさ（形状）、移動速度情報を出力する。
【００７５】
以下、前記各部の機能や処理内容について説明する。距離計測器１は情景の３次元情報を取得できる手段であれば、その方式については言及しない。出力として、２次元配列（ｘ，ｙ）の各位置において、３次元距離或いは視差を有する画像の形式の他、３次元位置（Ｘ，Ｙ，Ｚ）の情報の集合であっても構わない。
【００７６】
視差画像変換器２は、必要に応じて設ける機構であり、距離計測器１の出力が３次元位置（Ｘ，Ｙ，Ｚ）情報の集合として与えられた時は、位置（Ｘ，Ｙ）と距離（Ｚ）と仮想的なカメラパラメータ（ｆ：カメラ焦点距離、ｂ：カメラ間距離）を用いて、ｘ＝ｆ×Ｘ／Ｚ、ｙ＝ｆ×Ｙ／Ｚ、ｄ＝ｆ×ｂ／Ｚの式で視差画像｛位置（ｘ，ｙ）で視差値ｄ｝へと変換する機能を有する。なお、距離計測器１が視差画像を出力する場合は、視差画像変換器２は不要である。
【００７７】
(2) ：物体検出器の説明
図２のＢに物体検出器の構成図を示す。物体検出器４は、視差画像とカメラ３で撮像した情景の濃淡画像（或いはカラー画像）を入力して、複数の物***置を検出するものであり、基本領域を検出する基本領域検出部４−１と、物体面の当てはめ処理及び物***置を決定する処理を行う物体面当てはめ／物***置決定部４−２とを備えている。
【００７８】
この物体検出器４の機能は次の通りである。先ず、基本領域検出部４−１で、入力した視差画像から物体面を当てはめるのに十分な情報を持つ核となる領域（基本領域Ｒi ）を求める。次に、予め、物体の形状モデルを用意しておき、物体面当てはめ／物***置決定部４−２で、得られた基本領域Ｒi についてモデル物体面を当てはめていき、そこに物体が存在するか否かを決定する。結果として、検出された物体（位置、大きさ情報を有する）のリスト（物体情報配列）ＯＬとして、
【００７９】
【数１】
【００８０】
が得られる。
【００８１】
(3) ：基本領域検出部の説明
図３のＡに基本領域検出部の構成図を示す。基本領域検出部４−１は、視差画像の間引き処理を行う視差画像間引き部１１と、単位領域を検出する単位領域検出部１２と、基本領域を生成する基本領域生成部１３を備えている。
【００８２】
基本領域検出部４−１の処理は次の通りである。先ず、視差画像間引き部１１により、入力した視差画像をｎ×ｍ画像の領域にまとめることで、局所的に安定した視差情報を持つ部分を得るとともに、画像数を間引くことで全体の処理量を削減する。但し、処理時間等に問題がない場合には、視差画像間引き部１１を省いてもよい。ここで、視差画像の内、視差画像を持つ画像を「視差点」と呼ぶことにする。
【００８３】
次に、単位領域検出部１２により、間引かれた視差画像の視差点位置において、３次元上で単位大きさを持つ平面（単位平面モデルＭＳで示される）が、その視差点の位置（距離）で観測された場合の視差画像上での大きさ（領域）を求めて、その領域内にある間引き前の視差点の分布より、安定して平面を構成するもの（「単位領域Ｅi 」と呼ぶ）を抽出して、単位領域リストＥＬi を得る。
【００８４】
そして、基本領域生成部１３において、単位領域群の中から同一平面を構成できるものをまとめて基本領域Ｒi を生成し、基本領域リストＲＬi を得る。
【００８５】
(4) ：基本領域検出部の詳細な処理の説明
以下、基本領域検出部の詳細な処理を説明する。
【００８６】
(4) −１：視差画像間引き部１１の処理の説明
間引き視差画像と元の視差画像の位置関係を図４に示す。図４において、Ａは元の視差画像、Ｂは間引き視差画像を示す。
【００８７】
視差画像間引き部１１では、元の視差画像の幅をＮ画素、高さをＭ画素とする時、視差画像を横ｎ画素、縦ｍ画素の小領域ｗi に区切り（図４のＡ参照）、それぞれの小領域ｗi 毎に、以下の条件を満足するか否かを調べ、満足する小領域ｗi についてはその平均視差を画素値とする（集約する）、幅Ｎ／ｎ、高さＭ／ｍの新たな間引き視差画像（図４のＢ参照）を得る。
【００８８】
条件：以下の▲１▼又は▲２▼の条件を満たすとき、小領域ｗi は条件を満たしたとする。
【００８９】
▲１▼：（小領域ｗi の視差点の数）＞閾値１、かつ、（小領域ｗi の視差点の視差の分散値）＜閾値２
▲２▼：（小領域ｗi の視差点の数／ｎ×ｍ）＞閾値３
なお、前記閾値１、２、３は、予め定めておく。
【００９０】
(4) −２：単位領域検出部１２の処理の説明
単位領域検出部１２では、先ず、３次元空間で、縦ＭＳx 、横ＭＳy のサイズを持つ平面を単位平面モデルＭＳとして定義する。そして、間引き視差画像の各視差点（ｘi ，ｙi ，ｄi ）について、その距離（視差）に単位平面モデルＭＳを置いた時の元の視差画像での観測位置（ｐｘi ，ｐｙi ）、サイズ（ｎｘi ，ｎｙi ）を、式｛ｐｘi ＝ｘi ×ｎ、ｐｙi ＝ｙi ×ｍ、ｎｘi ＝ＭＳx ×ｄi ／ｂ、ｎｙi ＝ＭＳy ×ｄi ／ｂ｝により求める。
【００９１】
但し、ｘi はＸ座標上の位置、ｙi はＹ座標上の位置、ｄi は視差値、ｂは２つのカメラのカメラ間距離とする。そして、元の視差画像での位置（ｐｘi ，ｐｙi ）を中心として、サイズ（ｎｘi ，ｎｙi ）の領域を設けて、それに含まれる元の視差画像での視差点を用いて、以下の評価値を計算する。そして、評価値が閾値以上のものを単位領域Ｅi とする。
【００９２】
【数２】
【００９３】
但し、Ｎj は先の領域に含まれる視差点の個数、ｆはカメラの焦点距離、ＤＩＦＦは３次元的に区別した距離（閾値）を表す。単位領域検出部１２の操作の結果として、単位領域リストＥＬが、
【００９４】
【数３】
【００９５】
（ＮE は、ＥＬの要素の数）の式で得られる。
【００９６】
(4) −３：基本領域生成部１３の処理の説明
図５は基本領域生成部の処理フローチャートである。以下、図５に基づいて、基本領域生成部１３の処理を説明する。なお、図５において、Ｓ１〜Ｓ１２は各処理ステップを示す。
【００９７】
前記基本領域とは、同一平面をなす幾つかの単位領域を集めたもので、その奥行きは基本領域に属す単位領域群の平均距離とし、基本領域の大きさは、属す単位領域群を含む最大矩形領域とする。この基本領域を図５の処理で求める。
【００９８】
先ず、基本領域生成部１３は、視差画像、単位領域リストＥＬを入力し（Ｓ１）、前記単位領域リストＥＬから、基本領域に属していない単位領域Ｅi を得る処理を行ない、単位領域リストＥＬに、基本領域に属さない単位領域Ｅi が有るか否かを判断する（Ｓ２）。その結果、単位領域リストＥＬに属さない単位領域Ｅi が無ければ処理を終了する。
【００９９】
しかし、基本領域に属さない単位領域Ｅi が有れば、その単位領域Ｅi を１つ取り出し、基本領域Ｒk を生成する（Ｓ３）。次に、結合有りフラグを下ろし（リセット）し（Ｓ４）、前記単位領域Ｅi とは異なり、かつ、前記基本領域Ｒk に属していない他の単位領域Ｅj を取得する（Ｓ５）。この場合、この単位領域Ｅj が存在すれば（Ｓ６）、単位領域Ｅj が基本領域Ｒk に属するか否かを調べる（Ｓ７）。
【０１００】
その結果、もし、単位領域Ｅj が基本領域Ｒk に属するならば、基本領域Ｒk に単位領域Ｅj を統合する（Ｓ８）と共に、「統合フラグ」を立ててから（Ｓ９）、パラメータｊを更新（ｊ＝ｊ＋１）し（Ｓ１０）、Ｓ５の処理へ移行することで、次の単位領域Ｅj を取得し、処理を繰り返す。この繰り返し処理により、調査すべき単位領域Ｅj が無くなったら（Ｓ６）、「統合有りフラグ」の状態を調べる（Ｓ１１）。
【０１０１】
その結果、もし、「統合有りフラグ」が立っているならば、当該繰り返し処理において、新たに統合操作が行われたので、その結果として統合できる単位領域が生じた可能性がある。そこで、フラグが立っているならば、再び、Ｓ４の処理へ移行し、単位領域リストＥＬ中より、統合可能な単位領域Ｅj がないか、再び調べる。
【０１０２】
もし、フラグが立っていないならば、処理すべき単位領域Ｅj が無いので、新たに基本領域ＲK+1 を生成して、同様の処理を繰り返す。この場合、Ｓ１１の処理で、結合フラグが立っていなければ、パラメータｉを更新（ｉ＝ｉ＋１）し（Ｓ１２）、Ｓ２へ移行する。
【０１０３】
この結果として、
【０１０４】
【数４】
【０１０５】
が得られる。
【０１０６】
ここで、単位領域Ｅj が基本領域ＲK に属するか否かの判断条件について述べる。基本領域Ｒk を構成する単位領域の中で、画像上最も単位領域Ｅj に近い単位領域をＥk とする時、Ｅj からＥk までの画像上距離をＬ１、視差の差をＬ２として、それらが予め決めた閾値内のときに、Ｅj がＲk に属するとする。
【０１０７】
(4) −４：前記処理の補足説明
図６は処理説明図（その１）であり、Ａは画像例、Ｂは視差の説明図、Ｃは画像を示す。図７は処理説明図（その２）であり、Ａはメモリ上の視差画像、Ｂは視差画像の一部詳細説明図、Ｃは間引き視差画像を示す。図８は処理説明図（その３）であり、Ａは視差画像の説明図、Ｂは視差画像生成時の説明図である。
【０１０８】
前記視差画像は、物体検出器４に入力すると、一旦、メモリに格納され、図６のＡに示す状態となる。この場合、図６のＡのＸ、Ｙは座標軸を示し、図の斜線部分は視差（距離）である。すなわち、視差画像は、視差（距離）を含んだ情報となっている。
【０１０９】
例えば、図６のＢに示したように、左側のカメラで撮像した画像（実線の丸）をＬ、右側のカメラで撮像した時の画像（点線の丸）をＲとした場合、前記ＬとＲを重ねると、視差のある画像となる。すなわち、実線の丸と点線の丸を重ねた時の２つの画像のずれをｘＲとすれば、このずれｘＲが視差（距離）となる。このように視差のある視差画像を元に、図６のＣに示すように、ｍ×ｎ画像を取り出して前記間引き処理を行う。
【０１１０】
この場合、図７のＡに示すように、視差画像をメモリに格納する。そして、前記視差画像を横ｎ画素、縦ｍ画素の小領域ｗi に区切り（図７のＢ参照）、それぞれの小領域ｗi 毎に、前記条件を満足するか否かを調べ、満足する小領域ｗi についてはその平均視差を画素値とする（集約する）、間引き視差画像（図７のＣ参照）を得る。
【０１１１】
また、元の視差画像上に単位平面（ｍ×ｎ画像）を写し込むと、図８のＡの状態になる。この場合、近い物体は大きくなり、遠い物体は小さくなる。例えば、近い物体の一部の単位平面（ｍ×ｎ画像）が、視差＝１０（例えば、距離＝１ｍ）であり、遠い物体の一部の単位平面（ｍ×ｎ画像）が、視差＝１（例えば、距離＝１０ｍ）のようになる。
【０１１２】
なお、この場合、目安となる単位平面である、縦ＭＳx 、横ＭＳy のサイズを持つ単位平面モデルの大きさを、ＭＳx ×ＭＳy ＝（４０ｃｍ×５０ｃｍ）とすれば、１０ｍ離れた所に、４０ｃｍ×５０ｃｍの板（物体）がどれいらいの大きさで見えるかを計算する。
【０１１３】
このように、近い物体であれば、視差は大きくなり、遠い物体では視差が小さくなる。このように、視差が大きければ距離が小さく、視差が小さければ距離が大きい、という関係になっている。従って、視差は距離情報と同じである。
【０１１４】
更に、前記視差画像は、２つのカメラで構成したステレオカメラを使用して得ることができる。例えば、図８のＢに示すように、第１のカメラＬと第２のカメラＲを所定距離（例えば、距離ｂ）だけ離して設置し、これら２つのカメラで撮像した濃淡画像（白黒）から、エッジ画像（物体の輪郭画像）を得て、Ｌ、Ｒの各エッジ画像を合成して視差画像が生成できる。
【０１１５】
(5) ：物体面当てはめ／物***置決定部の説明
(5) −１：定義
説明に先立ち、物体モデルについて説明する。物体モデルは、物体の形状、大きさに合わせて複数用意し、その１つの物体モデルをモデルクラスＣi とし、それらモデルクラスＣi に合わせて、
【０１１６】
【数５】
【０１１７】
但し、Ｎc はモデルクラスＣi の数を表す。各モデルクラスＣi は、１つ或いは複数の幾何形状（ここでは直方体）よりなり、対象に合わせて大きさが調整されている。本例では、直方体を用いるので、直方体を構成する面の内、観測者から見える面は３面あるが、本例では、簡単化のために、直方体の面のうち、垂直面として位置する２面について取り上げて考える。
【０１１８】
但し、これは３面以上となっても、それぞれの方向へ投影面を考えれば話は同様である。これら２面を次のように分類しておく。観測者の視線方向に直交する面に近い方を「前面領域Ｓf,k 」と呼び、視線方向に並行する面に近い方を「側面領域Ｓs,k 」と呼ぶ。
【０１１９】
(5) −２：物体面当てはめ／物***置決定部の構成の説明
物体面当てはめ／物***置決定部の構成図を図３のＢに示す。物体面当てはめ／物***置決定部４−２には、前面領域の当てはめ処理を行う前面領域当てはめ部１４と、側面領域の当てはめ処理を行う側面領域当てはめ部１５を備えている。
【０１２０】
物体面当てはめ／物***置決定部４−２には、視差画像と基本領域リストＲＬi 、ｉ∈｛１，２，・・・，ＮR ｝を入力として、先ず、前面領域当てはめ部１４により、各基本領域Ｒi を物体の前面領域と考えたときに、矛盾のない３次元位置分布が得られる物体領域Ｏf,i を得る。
【０１２１】
次に、側面領域領域当てはめ部１５により、今度は基本領域Ｒi を物体の側面領域と考えた時の物体領域Ｏs,i を得る。このように、全ての組み合わせで、物体領域を検出することで、物体の位置によらず、漏れなく物体を検出することができる。以下、詳細に説明する。
【０１２２】
(5) −３：前面領域当てはめ処理（全体処理）
図９は、前面領域当てはめ部の処理フローチャート（その１）である。以下、図９に基づいて、前面領域当てはめ部の処理を説明する。なお、Ｓ３１〜Ｓ３６は各処理ステップを示す。
【０１２３】
前面領域当てはめ部１４では、基本領域リストに属す基本領域Ｒi 、ｉ∈｛１，２，・・・，ＮR ｝各々について、全てのモデルクラスＣk 、ｋ∈｛１，２，・・・，ＮC ｝に対して、図９に示す処理でモデル当てはめを行い、モデルと合致する物体領域を検出する。
【０１２４】
その内容として、先ず、基本領域Ｒi が示す３次元位置にモデルクラスＣk を構成する前面領域Ｓf,k を置いた時に、その面を支持する視差点があるか調べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ１（ＳＣ：スコア）として与えられている。
【０１２５】
もし、当てはめ度合いが良ければ、その前面領域Ｓf,k を元に、位置関係より生成できる側面領域Ｓs,k を生成し、側面領域を支持する視差点があるか調べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ２（ＳＣ：スコア）として与えられている。当てはめ度合いが良ければ、モデルクラスＣk が与える位置に物体領域Ｏf,i が存在するとする。また、この物体領域の評価値ＳＣ＝ＳＣ１＋ＳＣ２とする。もし、いずれかの当てはめ度合いが悪い場合は、物体領域は無いとする。
【０１２６】
すなわち、前面領域当てはめ部１４は、視差画像、基本領域Ｒi 、モデルクラスリストＣＬを入力し（Ｓ３１）、基本領域Ｒi をモデルクラスＣk の前面領域Ｓf,k として、モデル面の当てはめを行う（Ｓ３２）。この当てはめ処理では、先ず、基本領域Ｒi をモデルクラスＣk の前面領域Ｓf,k として、モデル面の当てはめを行う。この時、当てはめ得点ＳＣ１,i,kを取得する（Ｓ３２）。
【０１２７】
そして、前面領域当てはめ部１４は、前面領域が存在したか否かを判断し（Ｓ３３）、前面が存在しなければ、物体領域無し、物体得点ＳＣ＝０として処理を終了する。しかし、前面領域Ｓf,k が存在した場合には、モデルクラスＣk に、側面領域Ｓs,k を生成して、側面領域Ｓs,k が有るか否かを調べる。この時、当てはめ得点ＳＣ２,i,kを取得する（Ｓ３４）。
【０１２８】
そして、前面領域当てはめ部１４は、側面領域が存在したか否かを判断し（Ｓ３５）、側面領域Ｓs,k が存在しなければ、物体領域無し、物体得点ＳＣ＝０として処理を終了する。しかし、側面領域Ｓs,k が存在したら、モデルクラスＣk の位置を物体領域Ｏi,k の位置とし、物体領域Ｏi,k の当てはめ得点ＳＣ＝ＳＣ１,i,k＋ＳＣ２,i,kとする（Ｓ３６）。このようにして、物体領域Ｏi,k 有り、当てはめ得点ＳＣ＝ＳＣ１,i,k＋ＳＣ２,i,kを得る。
【０１２９】
(5) −４：前面領域当てはめ処理（一部詳細処理１）
図１０は、前面領域当てはめ部の処理フローチャート（その２）であり、前面領域当てはめ部の一部詳細処理（図９のＳ３２の詳細な処理）を示したものである。以下、図１０に基づいて、前面領域当てはめ部の一部詳細処理を説明する。なお、Ｓ４１〜Ｓ４８は各処理ステップを示す。
【０１３０】
前面領域当てはめ部１４は、基本領域Ｒi 、モデルの前面領域Ｓf,k 、視差画像を入力し（Ｓ４１）、前面領域Ｓf,k を基本領域Ｒi が示す３次元位置に置いた時の視差画像での投影領域ｈf を得る（Ｓ４２）。
【０１３１】
この場合、対象物体が遠方にあると、物体の観測大きさが小さくなり得られる距離情報の数が不足して、距離情報へ物体面モデルの当てはめでは、モデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。このため、物体が閾値以上に遠い場合は３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）などで撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて、画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得る。
【０１３２】
すなわち、前面領域当てはめ部１４は、基本領域Ｒi の３次元距離を調べ（Ｓ４３）、その距離が閾値以上に遠い場合は距離情報の信頼性が低下しており距離情報だけで物***置を定めるのは困難であるため、カメラ３から出力された濃淡画像を取り込み、投影領域ｈf を基準に物体輪郭の有無を求める（Ｓ４４）。
【０１３３】
そして、輪郭線があったか否か（輪郭線の有無）を調べ（Ｓ４５）、もし、輪郭線が無ければ、物体はないものとする（前面領域無し）。また、輪郭線があった場合は、前面領域Ｓf,k を距離情報が支持するか否かを調べる（Ｓ４６）。また、Ｓ４３の処理で、基本領域Ｒi の距離が閾値以下であれば、距離情報の信頼性があるので、輪郭線の検査は行わず、前面領域Ｓf,k を距離情報が支持するか否かを調べる（Ｓ４６）。
【０１３４】
そして、前面領域Ｓf,k を距離情報が支持するか否かを調べる処理では、投影領域ｈf 内の視差点を用いて前面領域Ｓf,k に当てはめを行い、その絶対当てはめ得点Ｓa と、平均当てはめ得点Ｓr を計算する（Ｓ４６）。このようにして、Ｓ４６の処理では、前面領域を距離情報が支持するか否かを調べる処理を行うことによって、絶対的当てはめ得点Ｓa が得られる。
【０１３５】
そして、平均当てはめ得点Ｓr が閾値以下であれば（Ｓ４７）、前面領域Ｓf,k 無しとするが、前面領域Ｓf,k への距離情報の当てはめの平均当てはめ得点Ｓr が閾値より大きければ、安定して物体面を支持する３次元情報があると見なせるので、前面領域Ｓf,k が存在するとする。更に、その時の当てはめ得点ＳＣ１として、絶対得点Ｓa を用いる（Ｓ４８）。このような処理により、前面領域Ｓf,k が存在するか否かの情報が得られる。
【０１３６】
(5) −５：前面領域当てはめ処理（一部詳細処理２）
図１１は、輪郭検出処理の説明図であり、図１０のＳ４３、Ｓ４４の処理を詳細に説明したものである。ここでは、先ず、物体輪郭検出領域としての輪郭探索領域Ｈf を、先に求めた物体面の投影領域ｈf と中心を同じくして、大きさを投影領域ｈf と一定倍大きくした領域として定める。
【０１３７】
次に、輪郭探索領域Ｈf に含まれる濃淡画像でのエッジについて縦方向に投影を取る。投影像は、横軸を位置（ｘ）とし、縦軸に輝度をとるヒストグラムとなる。このヒストグラムから、閾値以上の輝度を持つピーク位置を検出することで、輪郭線の位置を決定する。
【０１３８】
複数位置が得られたならば、全ての組み合わせで、モデル領域（投影領域ｈf をモデル領域とする）の幅と近い幅を持つピーク組があるか否かを調べる。もし、類似した幅のピーク組があれば、該当モデルが支持する物体の輪郭線があったとする。もし、明示した幅のピーク組がなければ、物体を支持する輪郭はないとする。
【０１３９】
(5) −６：前面領域当てはめ処理（一部詳細処理３）
以下、図１０のＳ４６の処理を詳細に説明する。この処理は、前面領域を距離情報が支持するか否かを定める処理であり、以下、その内容を詳細に説明する。
【０１４０】
先ず、モデル領域ｈf 内の視差点をｐ（ｘi ，ｙi ，ｄi ）とする。この時、位置（ｘi ，ｙi ）でのモデル面Ｓf,k の視差値ｄS として、以下の操作を行う。
【０１４１】
【数６】
【０１４２】
但し、Ｓa は、絶対当てはめ得点（視差情報の当てはめの絶対得点）を表し、初期値はＳa ＝０とする。この操作をモデル領域ｈf 内の全ての視差点について行う。そして、平均当てはめ得点Ｓr を、Ｓr ＝Ｓa ／ＭＡＸ（ｈf の幅，ｈf の高さ）の式により求める。この処理で、物体面を当てはめた時の、当てはめの良否（Ｓr ，Ｓa ）が得られる。
【０１４３】
(5) −７：側面領域当てはめ処理（確認用）の説明
図１２は、側面領域当てはめ処理（確認用）フローチャートであり、図９のＳ３４の詳細な処理を示したものである。以下、図１２に基づいて、図９のＳ３４の処理を詳細に説明する。なお、Ｓ５１〜Ｓ５７は各処理ステップを示す。
【０１４４】
この処理は、物体の存在を確認するための側面領域の当てはめ処理である。先ず、前面領域Ｓf,k 、モデルクラスＣk 、視差画像を入力し（Ｓ５１）、側面領域位置の決定を行う（Ｓ５２）。この場合、先に求まった前面領域Ｓf,k の位置を元に、側面領域Ｓs,k の３次元位置を計算する。側面領域としては両横の２つが考えられるが、現在の視点から見えている方に限定する。そして、側面領域Ｓs,k の視差画像への投影である投影領域ｈs を得る（Ｓ５３）。
【０１４５】
次に、側面領域Ｓs,k の視差画像での側面領域Ｓs,k の最前方位置と最後方位置の差（奥行き変化量）を調べて、その差が距離情報の解像度に比べて十分大きいならば（Ｓ５４）、距離情報による当てはめが行えるので、以降の処理を行なう。また、もし、解像度が不足しているなら、側面領域の存在を問うこと自体が意味を持たないので、側面領域検査不要として処理を終える。
【０１４６】
また、Ｓ５４の処理で、奥行き解像度が十分な時（Ｓ５４）には、前記Ｓ３４の処理により側面領域Ｓs,k を支持する視差点が十分あるかを調べ、物体面当てはめ処理を行う。この場合、物体面当てはめ度合いの良否判断の結果は、平均当てはめ得点Ｓr 、絶対当てはめ得点Ｓa として返される（Ｓ５５）。
【０１４７】
次に、前面領域と同様に、平均当てはめ得点Ｓr が閾値以上なら（Ｓ５６）、側面領域Ｓs,k が存在していると見なし、当てはめ得点の評価値ＳＣ２として、絶対当てはめ得点Ｓa を返す（Ｓ５７）。また、平均当てはめ得点Ｓr が閾値以下なら、当該側面領域Ｓs,k は無いとする。
【０１４８】
(5) −８：側面領域当てはめ部の説明
以下、図３のＢに示した「側面領域当てはめ部１５」の処理について説明する。この処理では、各基本領域Ｒi について、最初に側面領域Ｓs,k を求めて、該側面領域Ｓs,k が有れば、それを支持する前面領域Ｓf,k を求めて、その双方があれば物体領域Ｏs,k があるとする。
【０１４９】
この意味において、前面領域当てはめ部１４との違いは前面領域と側面領域の探索順序の違いだけで、その内容は実質的に同じである。従って、これまで説明した処理を、前面を側面領域に、側面領域を前面にそれぞれ入れ換えたものと同値であるから、詳細な説明は省略する。
【０１５０】
(6) ：物体速度計測器の説明
以下、図２に示した物体速度計測器５について説明する。物体の速度は、各時刻で得られる物***置を時刻間で対応づけることで、物体の位置変化を取得して求める。すなわち、物体の速度計測は、時刻間の物体の移動量より求める。この対応付けを行う主体として、追跡器ＴＡi （ｉは他の追跡器と区別するための添え字）を定義する。
【０１５１】
更に、
【０１５２】
【数７】
【０１５３】
そのために、更に、
【０１５４】
【数８】
【０１５５】
カルマンフィルタのシステム式及び推定式は以下の通りである。
【０１５６】
【数９】
【０１５７】
【数１０】
【０１５８】
【数１１】
【０１５９】
更に、時刻間の対応付けにおいて対応する物体領域Ｏi が無くなった時には、追跡器ＴＡi はロスト追跡器ＴＬi に遷移するとする。このロスト追跡器ＴＬi を集めた集合、ロスト追跡器リストＴＬＬ＝｛ＴＬi ｝、ｉ∈｛１，２，・・・，Ｎn ｝を定義する。
【０１６０】
(7) ：物体追跡処理（追跡器の時刻間で対応付ける方法）の説明
図１３は物体追跡処理フローチャートである。以下、図１３に基づいて物体追跡処理を説明する。なお、Ｓ６１〜Ｓ６９は各処理ステップを示す。
【０１６１】
先ず、物体領域リストＯＬ、追跡器リストＴＡＬ、ロスト追跡器リストＴＬＬを入力し（Ｓ６１）、追跡器リストＴＡＬから、物体領域と対応付けられていない未対応の追跡器ＴＡi を得る（Ｓ６２）。もし、そのような追跡器ＴＡi がなければ（Ｓ６３）、Ｓ６８の処理（後述する）へ移行する。
【０１６２】
次に、追跡器ＴＡi があった場合、追跡器ＴＡi について、対応可能な物体領域Ｏj を物体領域リストＯＬから選択する（Ｓ６４）。もし、対応する物体領域Ｏj があれば（Ｓ６５）、追跡器ＴＡi を物体領域Ｏj を用いて更新処理する（Ｓ６６）。そして、処理をＳ６２に戻す。
【０１６３】
もし、対応する物体領域Ｏj が無ければ、追跡器ＴＡi に対して対応ロスト処理を行い（Ｓ６７）、処理をＳ６２に戻す。このように全ての対応追跡器ＴＡi について物体領域との対応付けが終了すると、処理はＳ６８へ以降する。ここの段階の物体領域リストには、追跡器と対応付けがかなった新規の物体領域が残っている。
【０１６４】
その中には、実際に新たに加わった物体領域もあれば、以前の対応追跡器中に何らかの理由で対応をロストして、その同一物体領域がこの時点で再び観測されたものもある。そこで、先ず、後者の場合を想定して、ロスト追跡器ＴＬi と矛盾なく対応する物体領域Ｏj を探索する（Ｓ６８）。
【０１６５】
もし、そのような物体領域Ｏj があれば、対応するロスト追跡器ＴＬi の情報を用いて初期速度を定め、対応追跡器ＴＡi に戻す。初期速度が定まっているので、カルマンフィルタで推定するパラメータの収束が早まり、短時間で位置、速度情報が安定する。
【０１６６】
次に、前者の新規物体領域について、追跡器ＴＡを設定して、以降の追跡処理を開始する。そして、最後に、ロスト追跡器ＴＬi のロスト回数をインクリメントし、一定回数以上ロスト状態が続くロスト追跡器ＴＬi を除去する更新処理を行う（Ｓ６９）。
【０１６７】
なお、前記Ｓ６８の処理について詳細に説明する。この処理では、ロスト追跡器ＴＬi の見失った時刻での位置から、現時刻の位置を喪失した時に、その位置と物体領域Ｏj からの位置が十分近いなら、矛盾無しとする。そして、矛盾がないなら、ロスト追跡器ＴＬi の速度を初期値として追跡を再開する。この時、ロスト追跡器ＴＬi を追跡器ＴＡi として、追跡器リストＴＡＬに戻す。このようにすることで、再追跡時には、物体の移動速度が分かっているから、追跡が安定して行える。
【０１６８】
更に、各処理について詳細に説明する。先ず、Ｓ６４の対応可能物体領域の選択では、追跡器ＴＡi の予測位置Ｐp （ＸＰi ，ＺＰi ）を基準に、最も３次元距離が近い物体領域を対応候補とし、その対応候補との距離が閾値以下の場合は対応可能とする。それ以外は対応不可能とする。
【０１６９】
次に、Ｓ６６の追跡器の更新では、対応可能物体領域Ｏj の３次元位置（ＸＯj ，ＺＯj ）を観測位置として、前記式(2) 、式(4) で追跡器の位置、速度の推定値を更新し、その速度を追跡物体の移動速度（出力）とする。更に、前記式(1) 、式(3) を用いて、次回の位置、速度の予測値を求めておき、次時刻の対応付けに利用する。
【０１７０】
また、Ｓ６７の追跡器のロスト処理では、その追跡器ＴＡi が物体をロストした時点での位置と速度を、それぞれロスト位置Ｐｌi （ＸＬi ，ＺＬi ）、ロスト速度Ｖｌi （ＶＸＬi ，ＶＺＬi ）に記録しておき、再対応時に備える。更に、ロスト回数カウンタｌciを１に設定する（ｌci＝１）。そして、追跡器ＴＡi を追跡器リストＴＡＬから除去し、それをロスト追跡器リストＴＬＬに追加する。
【０１７１】
Ｓ６８の処理では、新規物体領域Ｏj の位置（ＸＯj ，ＺＯj ）と、各ロスト追跡器ＴＬi のロスト位置ｐｌi 、ロスト速度ｖｌi を用いて以下に示す式で、予測位置と観測位置の差１を計算し、矛盾なく対応できるかを調べる。
【０１７２】
【数１２】
【０１７３】
もし、前記ｌ（エル）が閾値以内ならば（ｌ≦閾値）、物体領域Ｏj とロスト追跡器ＴＬi は矛盾なく対応できるとして、物体領域Ｏj の位置を用いてロスト追跡器ＴＬi の３次元位置と速度をカルマンフィルタで推定すると共に、その追跡器をロスト追跡器リストＴＬＬから除き、ロスト回数を０に設定してから、再度（対応）追跡器リストＴＡＬに加えて、以降の対応付けを開始する。
【０１７４】
§４：具体的な装置例と記録媒体の説明
図１４は具体的な装置例である。前記３次元物体検出／速度計測装置は、パーソナルコンピュータ、ワークステーション等の任意のコンピュータを利用して実現することができる。この３次元物体検出／速度計測装置は、コンピュータ本体２０と、該コンピュータ本体２０に接続されたディスプレイ装置３１、入力装置（キーボード／マウス等）３２、リムーバブルディスクドライブ（「ＲＤＤ」という）３３、磁気ディスク装置（「ＭＤＤ」という）３４、距離計測器１、カメラ３等で構成されている。
【０１７５】
そして、コンピュータ本体２０には、内部の各種制御や処理を行うＣＰＵ２１と、プログラムや各種データを格納しておくためのＲＯＭ２２（不揮発性メモリ）と、メモリ２３と、インタフェース制御部（「Ｉ／Ｆ制御部」という）２４と、通信制御部２５と、入出力制御部（Ｉ／Ｏ制御部）２６等が設けてある。なお、前記ＲＤＤ３３には、フレキシブルディスクドライブ（フロッピィディスクドライブ）や光ディスクドライブ等が含まれる。
【０１７６】
前記構成の装置において、例えば、ＲＯＭ２２、或いはＭＤＤ３４の磁気ディスク（記録媒体）に、３次元物体検出／速度計測装置の前記処理を実現するためのプログラムを格納しておき、このプログラムをＣＰＵ２１が読み出して実行することにより、前記３次元物体検出／速度計測処理を実行する。
【０１７７】
しかし、本発明は、このような例に限らず、例えば、ＭＤＤ３４の磁気ディスクに、次のようにしてプログラムを格納し、このプログラムをＣＰＵ２１が実行することで前記連結領域抽出処理を行うことも可能である。
【０１７８】
▲１▼：他の装置で作成されたリムーバブルディスクに格納されているプログラム（他の装置で作成したプログラムデータ）を、ＲＤＤ３３により読み取り、ＭＤＤ３４の記録媒体に格納する。
【０１７９】
▲２▼：ＬＡＮ等の通信回線を介して他の装置から伝送されたプログラム等のデータを、通信制御部２５を介して受信し、そのデータをＭＤＤ３４の記録媒体（磁気ディスク）に格納する。
【０１８０】
【発明の効果】
本発明によれば次のような効果がある。
【０１８１】
(1) ：請求項１では、基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【０１８２】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【０１８３】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【０１８４】
(2) ：請求項２では、物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える。
【０１８５】
この場合、物体検出処理に関して、対象物体が遠方にあると物体の観測大きさが小さくなり、得られる距離情報の数が不足して、距離情報への物体面モデルの当てはめではモデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。
【０１８６】
そのため、物体が閾値以上に遠い場合は、３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）等で撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得ることができる。
【０１８７】
(3) ：請求項３では、速度検出手段は、位置検出手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記位置検出手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、余分な追跡を必要とせず、速やかに速度計測を再開する。
【０１８８】
この場合、物体速度計測処理に関して、物体領域が検出できず、対応が求まらない時は、一定の回数だけその物体を未対応状態で位置の情報を残しておき、再び物体が検出された場合には、未対応の間の平均移動距離を初期速度として与えて再び物体の追跡を行うことで、再検出の直後から速度を安定に計測することを可能とする。
【０１８９】
また、再検出物体を新規物体として追跡し始める従来方式では、速度情報を安定に得るには、更に、数フレームの物体追跡が必要で、速度情報の出力までに時間遅れを要していたが、本発明では、物体の検出ができない場合があっても、時間遅れなく、速度情報を得ることができる。
【０１９０】
(4) ：請求項４では、３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出するようにした。
【０１９１】
このようにすれば、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【０１９２】
(5) ：請求項５では、３次元物体検出装置が、記録媒体のプログラムを読み出して実行することにより、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とする際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【０１９３】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【０１９４】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明の実施の形態におけるシステム説明図である。
【図３】本発明の実施の形態における基本領域検出部、及び物体面当てはめ／物***置決定部の構成図である。
【図４】本発明の実施の形態における間引き視差画像と元の視差画像の位置関係を示した図である。
【図５】本発明の実施の形態における基本領域生成部の処理フローチャートである。
【図６】本発明の実施の形態における処理説明図（その１）である。
【図７】本発明の実施の形態における処理説明図（その２）である。
【図８】本発明の実施の形態における処理説明図（その３）である。
【図９】本発明の実施の形態における前面領域当てはめ部の処理フローチャート（その１）である。
【図１０】本発明の実施の形態における前面領域当てはめ部の処理フローチャート（その２）である。
【図１１】本発明の実施の形態における輪郭検出処理の説明図である。
【図１２】本発明の実施の形態における側面領域当てはめ処理（確認用）フローチャートである。
【図１３】本発明の実施の形態における物体追跡処理フローチャートである。
【図１４】本発明の実施の形態における具体的な装置例である。
【符号の説明】
１ 距離計測器
２ 視差画像変換器
３ カメラ（ビデオカメラ）
４ 物体検出器
４−１ 基本領域検出部
４−２ 物体面当てはめ／物***置決定部
５ 物体速度計測器
１１ 視差画像間引き部
１２ 単位領域検出部
１３ 基本領域生成部
１４ 前面領域当てはめ部
１５ 側面領域領域当てはめ部
２０ コンピュータ本体
２１ ＣＰＵ
２２ ＲＯＭ
２３ メモリ
２４ Ｉ／Ｆ制御部（インターフェイス制御部）
２５ 通信制御部
２６ Ｉ／Ｏ制御部（入出力制御部）
３１ ディスプレイ装置
３２ 入力装置
３３ リムーバブルディスクドライブ（ＲＤＤ）
３４ 磁気ディスク装置（ＭＤＤ）
【発明の属する技術分野】
本発明は、侵入者検出、車両（自動車等）位置・速度検出、移動ロボット用ナビゲーションなど、距離情報に基づく３次元物体の位置・速度の検出を行う装置（或いはシステム）に利用され、特に、何らかの距離計測方法によって３次元位置情報（距離情報）が与えられた時に、３次元空間の広範囲に存在し得る３次元物体の位置、形状、移動速度を検出する３次元物体検出装置と３次元物体検出方法及び記録媒体に関する。
【０００２】
【従来の技術】
以下、従来例について説明する。
【０００３】
§１：従来例１
従来より、距離情報を利用して物体の位置を検出する方法が幾つか提案されている。それらを大別すると、（Ａ１）：距離情報のみを利用してその距離分布の集合を検出することで物体を得る方法と、（Ａ２）：距離情報と画像情報の両者を必ず用いる方法とがある。以下、これらの方法について説明する。
【０００４】
(1) ：（Ａ１）の説明
前記（Ａ１）の代表として、実吉ら「ステレオ画像を用いた運転支援のための前方状況認識システム」、電子情報通信学会、技術研究報告、ＰＲＭＵ９７−２５〜３６、ｐｐ．３９−４６の方法を説明する。
【０００５】
この方法では、先ず、車両の前方の路上情景を２つのカメラで観測して、２つの画像より両眼立体視により距離情報（距離画像）を取得する。得られた距離画像を、次に定めるように短冊状の領域群に分割する。領域は、予め定めた小さな幅で、高さは事前に取得したカメラの配置情報と路面位置情報の関係から、路面の上部だけを含むような高さを持つように設定する。
【０００６】
そして、それぞの領域毎に、含まれる距離情報を用いて奥行きを横軸にとり頻度を縦軸にとる奥行きのヒストグラムを作成し、ヒストグラムのピーク位置より短冊領域を代表する距離を定める。次に、隣接する領域群で距離の近いものをまとめて領域グループを作成する。
【０００７】
そして、得られたグループの３次元空間での傾きを調べて、観測方向に対して垂直に近ければ車両の後方面とし、観測方向に平行に近ければ車両側面と分類する。更に、この前面と側面の位置関係による組み合わせにより車両位置、形状を検出する。
【０００８】
(2) ：（Ａ２）の説明
前記（Ａ２）の距離情報と画像情報を必ず用いて物体を検出する方法を、下村倫子ら「ステレオ視差と先行車の高さ変化を用いた車間距離計測のばらつき低減に関する考察」、電子情報通信学会技術研究報告、ＰＲＭＵ９８−９２〜１０５、ｐｐ．２１−２８を例に説明する。
【０００９】
この方法では、先ず、車両の前方の路上情景を左右２つのカメラで観測して２つの画像を得る。一方の画像より白線を検出して自車両の走行領域を得て、その中に含まれる明確で長い水平線で最も下方に位置するものを車両下端として得る。そして、下端線の上部に下端線の幅を持つテンプレートと呼ぶ一定の大きさを持つ領域を定めて、他方画像を探索してテンプレート領域と輝度パターンが最も類似している領域を得る。これにより両眼立体視により車両（物体）までの距離が得られる。
【００１０】
更に、車両は上端、下端部に安定した水平線があると仮定して、上記テンプレート位置を参考に設けた別の領域内について、エッジ点の水平方向への投影ヒストグラムを作成して、そのピーク位置より車両の上端、下端を定める。この上端と下端の幅より画像での車両の高さ（ｈ）を定める。これにより、車両の位置、車両形状（大きさ）を検出する。
【００１１】
§２：従来例２
従来例２として、移動速度計測について説明する。物体の位置を検出しながら移動速度を算出する方法は、大きく次の（Ｂ１）：２時刻間の物***置の差を移動速度とする方法、（Ｂ２）：過去の幾つかの物***置を用いて現在の移動速度を算出する方法、に大別される。
【００１２】
(1) ：（Ｂ１）の説明
前記（Ｂ１）の方法では、各時刻で物***置を検出しておき、現時刻の物***置と前時刻の物***置の単純な差の移動速度とする。
【００１３】
(2) ：（Ｂ２）の説明
前記（Ｂ２）の代表的な方法として、今川和幸、呂山、猪木誠二、松尾英明、「顔によるオクルージョンを考慮した手話動画像からの実時間掌追跡」、電子情報通信学会技術研究報告、ＰＲＭＵ９７−１０４〜１１０、ｐｐ．１５−２２を例に説明する。
【００１４】
この例は、対象として２次元的な手領域を追跡する方法であるが、対象を追跡するという観点からは３次元であっても同様なので、本方法を例に説明する。先ず、画像より色情報を用いて手領域を抽出し、その領域の重心点位置を領域位置ｐとする。
【００１５】
そして、領域の運動モデルとして等速運動を仮定し、観測ベクトルを領域位置ｐ、推定すべきパラメータベクトルｘとして領域位置と領域速度として、カルマンフィルタを構成してパラメータベクトルｘを推定して、パラメータベクトルで示される領域位置と領域速度を所要量として求めている。
【００１６】
このように、カルマンフィルタを用いると、各時刻で観測される領域位置に誤差を含んでいても、線形推定の意味で最も安定した位置と速度が推定できるため、速度のばらつきを抑えて安定した速度計測が可能となる。
【００１７】
【発明が解決しようとする課題】
前記のような従来のものにおいては、次のような課題があった。
【００１８】
(1) ：前記（Ａ１）の場合、一般的に３次元情報は、遠方になる程その奥行き、及び空間情報の解像度が低くなり、距離情報や位置情報のもつ信頼性が低下する。つまり、複数物体が存在するときに近傍では距離の違いで分離できる場合も、物体間の距離差は同じであっても、遠方にあるときは、距離の違いが検出できず、物体を分離するのが困難になることを意味する。従って、ある程度遠方にある物体については、距離情報だけを用いて、その距離差から物体領域を分離することは困難である。
【００１９】
更に、得られる距離情報の性質として、物体がセンサの近傍で観測される場合には、その物体は大きく観測され、得られる３次元情報の量（数）は多いが、同一物体であっても遠方に位置すると、観測される物体領域そのものも小さくなり得られる３次元情報の数（量）も少なくなるというように、対象までの距離により距離情報が増減するという性質がある。
【００２０】
これにより、例えば、実吉らの方法のように、距離画像を固定サイズの領域（以下「抽出領域」と呼ぶ）に区切って、その領域毎に物***置を算出する方法であると、例えば、遠方の物体を区別するためには、抽出領域の大きさを小さくする必要があり、この結果として、物体が近傍に存在する場合には、十分な数の距離情報が存在しているにもかかわらず、領域幅が小さいため、領域毎に集められる３次元情報の数が減少し、物***置の精度が低下する。
【００２１】
逆に、近傍での位置の精度を高めるために抽出領域の大きさを大きくすると、遠方物体を分離できなくなるという問題がある。更に、遠方では得られる距離情報が距離画像上で２次元的にも粗くなり、１つの物体面が、必ずしも連続した３次元位置を確定できる抽出領域として得られるとは限らない、という問題がある。
【００２２】
(2) ：前記（Ａ２）の場合、距離情報と画像情報を用いて物体を検出するのに、物体が遠方にあるときは、物体内部の模様は殆ど観測されず物体輪郭が支配的となる。従って、このような場合は、前記下村の方法のように、エッジ点の投影によって物体輪郭を抽出して物体領域を定めることは有効である。
【００２３】
ところが、物体が観測者の近傍にあるときは、物体輪郭よりも物体内部の模様が支配的となるので、その結果として、エッジ点の投影ヒストグラムでは、それら物体内部の模様エッジが輪郭部分のピークの形成を阻害して、安定に輪郭線を検出するのは困難となる。従って、常に、画像特徴と距離情報を利用すると、画像特徴が障害となって物***置を検出できないことがある。
【００２４】
(3) ：前記（Ｂ１）の場合、各時刻の物***置を求めて、現時刻の物***置と前時刻の物***置の単純な差で移動速度を求めると、各時刻における物***置の計測精度の影響を大きく受け、計測速度のばらつきが大きく、計測精度が悪い、という問題がある。
【００２５】
(4) ：前記（Ｂ２）の場合、（Ｂ２）の方法により検出された過去の幾つかの物***置を用いて現在の移動速度を算出する方法が考えられるが、この方法では、或る物体が存在している間に、その物体の時刻間での対応をいかに安定に求めるかが課題となる。
【００２６】
ここで、例えば、屋外での情景について物体を検出する場合などを考えると、日照変化や影の有無など周囲の証明条件の影響や、物体の移動により見え方の変化の影響があり、物体が検出できない場合が考えられる。この時には、物体の対応付けが不可能なため、物体の移動速度を計測できなくなり、しかも、フィルタを利用すると、その未検出の影響が数時刻に渡って影響し、その間の速度情報は誤ったものとなる。
【００２７】
更に、未検出であった物体を再び検出した時には、新たに運動パラメータの推定を開始する必要があるため、再び物体を検出してから数時刻は、運動パラメータの推定値は誤差を多く含み、誤った速度情報となる。このように、安定した速度検出に対して物体の未検出の影響が大きく現れるという問題がある。
【００２８】
本発明は、このような従来の課題を解決し、物体の距離に影響されることなく、安定した物体の位置や速度の検出を可能にすることを目的とする。
【００２９】
【課題を解決するための手段】
図１は本発明の原理説明図であり、図１中、４は物体検出器、４−１は基本領域検出部、４−２は物体面当てはめ／物***置決定部、５は物体速度計測器を示す。本発明は前記目的を達成するため、次のように構成した。
【００３０】
(1) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式、または３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段（基本領域検出部４−１）と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段（物体面当てはめ／物***置決定部４−２）と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段（物体面当てはめ／物***置決定部４−２の一部）を備え、前記基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する機能を備えている。
【００３１】
(2) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式や、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段を備え、前記物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える機能を備えている。
【００３２】
(3) ：前記(1) の３次元物体検出装置において、前記物体領域判定手段は、前記物体当てはめ手段による当てはめ結果の良否により物***置を検出し、検出された物***置を時系列的に求めていき、その得られた物***置の時系列的な対応を求めることで、各物体の速度情報を算出する機能を有し、前記物体領域判定手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記物体領域判定手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、速度計測を再開できるようにした速度検出手段を備えている。
【００３３】
(4) ：３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式、または３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出方法において、前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定するようにした。
【００３４】
(5) ：３次元位置情報（距離情報）が、２次元（ｘ，ｙ）の配列の各場所に奥行き情報を持つ画像形式、または３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置に、３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する第１の手順と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる第２の手順と、前記第２の手順による当てはめ結果の良否より物体の有無を判定する第３の手順と、前記第１の手順を行う場合、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する第４の手順とを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００３５】
（作用）
前記構成に基づく本発明の作用を、図１に基づいて説明する。
【００３６】
(a) ：前記(1) の作用
基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【００３７】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【００３８】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００３９】
(b) ：前記(2) の作用
物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える。
【００４０】
この場合、物体検出処理に関して、対象物体が遠方にあると物体の観測大きさが小さくなり、得られる距離情報の数が不足して、距離情報への物体面モデルの当てはめではモデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。
【００４１】
そのため、物体が閾値以上に遠い場合は、３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）等で撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得ることができる。
【００４２】
(c) ：前記(3) の作用
前記３次元物体検出装置では、物体領域判定手段は、物体当てはめ手段による当てはめ結果の良否により物***置を検出し、検出された物***置を時系列的に求めていき、その得られた物***置の時系列的な対応を求めることで、各物体の速度情報を算出する。
そして、速度検出手段では、物体領域判定手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記物体領域判定手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、速度計測を再開する。
【００４３】
この場合、物体速度計測処理に関して、物体領域が検出できず、対応が求まらない時は、一定の回数だけその物体を未対応状態で位置の情報を残しておき、再び物体が検出された場合には、未対応の間の平均移動距離を初期速度として与えて再び物体の追跡を行うことで、再検出の直後から速度を安定に計測することを可能とする。
【００４４】
また、再検出物体を新規物体として追跡し始める従来方式では、速度情報を安定に得るには、更に、数フレームの物体追跡が必要で、速度情報の出力までに時間遅れを要していたが、本発明では、物体の検出ができない場合があっても、時間遅れなく、速度情報を得ることができる。
【００４５】
(d) ：前記(4) の作用
３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出するようにした。
【００４６】
このようにすれば、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００４７】
(e) ：前記(5) の作用
前記３次元物体検出装置が、記録媒体のプログラムを読み出して実行することにより、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とする際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【００４８】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【００４９】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【００５０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００５１】
§１：３次元物体検出装置の概要
本発明の３次元物体検出装置では、何らかの距離計測方法によって３次元位置情報（距離情報）が与えられた時に、３次元空間の広範囲に存在し得る３次元物体の位置、形状、移動速度を検出するものである。ここで、３次元位置情報とは、空間上の各位置或いは特定の３次元位置（Ｘ，Ｙ，Ｚ）を表す情報の集合で、与えられる形式は、２次元（Ｘ，Ｙ）の配列の各場所に奥行き情報を持つ画像形式であっても良いし、３次元位置（Ｘ，Ｙ，Ｚ）情報の集合の形をとっても良い（Ｘ、Ｙ、Ｚ：３次元空間を表す座標）。
【００５２】
先ず、３次元位置情報から任意の３次元物体の位置、形状を検出する方法について説明する。予め、検出したい３次元物体の概略大きさ、形状を表す３次元形状モデルを用意する。そして、３次元位置情報から、３次元的に位置が近く、しかも平面を構成する部分をまとめて、いくつかの面素（以下、「基本領域」と呼ぶ）を抽出する。
【００５３】
基本領域について、先の３次元モデルを構成する各面を当てはめていき、３次元モデルで観測できる全てについて問題なく当てはまるなら、その位置に３次元物体が存在するとする。ここで、一般に３次元上の物体は、遠方にあるほど観測される大きさは小さく、逆に近くにあるほど大きく観測されることを考えると、物体面を当てはめるべき基本領域の大きさは、対象の物体の位置（距離）によって変わってくるという問題が生じる。
【００５４】
そこで、基本領域を形成する際に、物体の３次元距離に応じて領域形成に利用する３次元位置情報の範囲を変化させて、遠方では小さい領域となり、逆に近傍では大きな領域となるようにする。観測される物体の大きさに合わせることで、できるだけ他の物体を含まず安定した基本領域を得る。
【００５５】
また、３次元情報は、遠方になるほど奥行き情報の解像度が低くなり、距離情報の持つ信頼性が低下する。更に、物体そのものも遠方になると小さくなり得られる３次元情報の数（量）も少なくなる。これにより、物体が遠方にあると先の３次元モデルの当てはめが困難になる。
【００５６】
そこで、３次元物体が遠方にあり、モデルの当てはめが困難になった時には、ビデオカメラ（或いはテレビカメラ）などで得られる情景の濃淡画像（或いはカラー画像）から得られる物体輪郭線を用いて物***置を正確に検出する。逆に、物体が近傍にある時には、３次元情報が多く得られることと、濃淡画像で物体内部の模様が支配的になり輪郭線と区別するのが困難になるので、物体輪郭情報は利用しない。このように、距離に応じて適応的に画像情報を利用することで、物体の距離に影響することなく、安定して物***置を検出する。
【００５７】
次に、物体の速度計測の方法を説明する。基本的には、先で得られた物体の３次元位置の時間変化から物体の移動速度を検出するが、検出速度の安定化のために、一般的に良く行われる物体の運動モデルを用いて過去の位置情報も利用して現在の移動速度を定める。
【００５８】
このような運動モデルを用いた方法では、速度情報が安定するまでにある程度の時刻間で同一物体を正しく対応付けることが必要である。ところが、例えば、屋外での物体検出では周囲の証明条件の影響や物体の移動による見え方の変化により物体が検出ではない場合は、物体の時間的対応付けが不可能なので、速度が計測できなくなる。
【００５９】
また、同一物体が再び観測された時には、速度情報が安定して得られるまで、再度、ある程度の時刻間の対応付けを要し、即座に速度情報を確定することは困難である。このように、対応の消失は、安定した速度検出への影響が大きく現れる。
【００６０】
そこで、物体が検出できず対応が求まらない時は、一定の回数だけその物体を未対応状態で位置、大きさの情報を残しておき、再び物体が検出された時には、未対応であった期間での平均移動速度を初期速度として与えて、再び物体の追跡を続行する。これにより、例え物***置がある期間検出できなかったとしても、物***置を再検出してから速度を安定させるための一定期間の物体対応が不要なので、速度情報を速やかに安定させることができる。
【００６１】
§２：３次元物体検出／速度検出処理の説明
以下、３次元物体検出／速度検出処理について説明する。
【００６２】
(1) ：本発明では物体面位置を検出するための核となる領域（基本領域）を３次元位置情報から抽出しておき、その基本領域に予め、定めた物体のモデルを当てはめて、当てはまり度合いが良いときに物体が存在するという処理を行う。
【００６３】
この基本領域として、距離画像の３次元位置情報を持つ画素について、画像上での２次元距離と３次元奥行きがそれぞれ近傍しており、しかも平面を構成する３次元位置情報をまとめた領域とするが、この画像上での２次元距離の大きさを、対象の３次元奥行きに応じて可変する。すなわち、物体が近傍にあるときは、対象物体は大きく観測できているので、画像上での近接度合いを測る距離差を大きくとり、広い領域から十分な数の３次元位置情報を抽出して安定した基本領域を得る。
【００６４】
一方、物体が遠方にある時は、対象物体は小さいので、画像上での近接度合いを測る距離差を小さくし、近傍にある他物体と融合した誤った基本領域とならないようにする。このように、物体の位置（距離）に応じて変化する観測物体の大きさに合わせた適切な大きさで特徴量をまとめることで、固定サイズでの基本領域抽出で生じる物***置の違いによる基本領域の検出精度の問題に影響されることなく、物体面の核となる基本領域を物体の位置によらず安定して求めることができる。
【００６５】
更に、３次元物体が遠方にあると、距離情報の解像度が不足して、モデルの当てはめが困難になるので、物体が遠方にあるときには、３次元位置情報の他にビデオカメラ（或いはテレビカメラ）などで撮像される情景の濃淡画像、或いはカラー画像から得られる物体輪郭線を用いて物***置を正確に検出する。
【００６６】
逆に、物体が近傍にある時は、３次元情報が多く得られることと、濃淡画像或いはカラー画像で物体内部の模様が主体になり、輪郭線と区別するのが困難になるので、物体輪郭情報は利用しない。このように、必要に応じて画像情報を利用することで、物体の距離に影響することなく、物***置を検出できる。
【００６７】
(2) ：物体の移動速度検出に関して、本発明では、基本的には、物体の運動モデルを用いて過去の幾つかの位置情報を元に、現在の移動速度を定めることで安定した速度を得るが、物体が検出できず対応が求まらない時は、一定の回数だけその物体を未対応状態で位置、大きさの情報を残しておき、再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べる。
【００６８】
そして、もし、矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして平均移動速度を初期速度として再び物体の追跡を行う。これにより、例え物***置が或る期間検出できなかったとしても、物***置を再検出してから速度を安定させるための一定期間物体対応が不要なので、速度情報をいつでも安定させることができる。
【００６９】
§３：具体例による説明
以下、具体例に基づいて、前記処理を詳細に説明する。
【００７０】
(1) ：システム全体の説明
図２のＡにシステム概略図を示す。このシステムは距離計測器１と、視差画像の変換処理を行う視差画像変換器２と、物体の位置、大きさ（形状）を検出する物体検出器４と、物体の移動速度を計測する物体速度計測器５と、カメラ３等を備えている。
【００７１】
前記距離計測器１とカメラ３は既存のものを使用する。そして、距離計測器１としては、対象物体を含む情景の３次元情報を取得できるもの、例えば、２台のビデオカメラ（或いはテレビカメラ）を所定距離だけ離して配置したステレオカメラと呼ばれるものを使用する。
【００７２】
また、カメラ３は対象物体を含む情景を撮像して濃淡画像（モノクロ）、或いはカラー画像が出力できるものを使用するが、前記距離計測器１が２台のカメラで構成されている場合には、その１台をカメラ３として使用しても良い。
【００７３】
このシステムの機能は次の通りである。先ず、距離計測器１により距離情報（３次元位置情報）を取得し、必要があれば、視差画像変換器２において、２次元配列（ｘ，ｙ）に視差値を持つ視差画像の形式に変換し、視差画像を出力する。続いて、物体検出器４により、視差画像と、カメラ３で撮像された濃淡（或いは、カラー）画像を用いて物***置を検出する。
【００７４】
そして、物体速度計測器５により、各時刻で得られた物***置の時間変化より物体の移動速度を計測する。このようにして、システム出力として、物体の位置、大きさ（形状）、移動速度情報を出力する。
【００７５】
以下、前記各部の機能や処理内容について説明する。距離計測器１は情景の３次元情報を取得できる手段であれば、その方式については言及しない。出力として、２次元配列（ｘ，ｙ）の各位置において、３次元距離或いは視差を有する画像の形式の他、３次元位置（Ｘ，Ｙ，Ｚ）の情報の集合であっても構わない。
【００７６】
視差画像変換器２は、必要に応じて設ける機構であり、距離計測器１の出力が３次元位置（Ｘ，Ｙ，Ｚ）情報の集合として与えられた時は、位置（Ｘ，Ｙ）と距離（Ｚ）と仮想的なカメラパラメータ（ｆ：カメラ焦点距離、ｂ：カメラ間距離）を用いて、ｘ＝ｆ×Ｘ／Ｚ、ｙ＝ｆ×Ｙ／Ｚ、ｄ＝ｆ×ｂ／Ｚの式で視差画像｛位置（ｘ，ｙ）で視差値ｄ｝へと変換する機能を有する。なお、距離計測器１が視差画像を出力する場合は、視差画像変換器２は不要である。
【００７７】
(2) ：物体検出器の説明
図２のＢに物体検出器の構成図を示す。物体検出器４は、視差画像とカメラ３で撮像した情景の濃淡画像（或いはカラー画像）を入力して、複数の物***置を検出するものであり、基本領域を検出する基本領域検出部４−１と、物体面の当てはめ処理及び物***置を決定する処理を行う物体面当てはめ／物***置決定部４−２とを備えている。
【００７８】
この物体検出器４の機能は次の通りである。先ず、基本領域検出部４−１で、入力した視差画像から物体面を当てはめるのに十分な情報を持つ核となる領域（基本領域Ｒi ）を求める。次に、予め、物体の形状モデルを用意しておき、物体面当てはめ／物***置決定部４−２で、得られた基本領域Ｒi についてモデル物体面を当てはめていき、そこに物体が存在するか否かを決定する。結果として、検出された物体（位置、大きさ情報を有する）のリスト（物体情報配列）ＯＬとして、
【００７９】
【数１】
が得られる。
【００８１】
(3) ：基本領域検出部の説明
図３のＡに基本領域検出部の構成図を示す。基本領域検出部４−１は、視差画像の間引き処理を行う視差画像間引き部１１と、単位領域を検出する単位領域検出部１２と、基本領域を生成する基本領域生成部１３を備えている。
【００８２】
基本領域検出部４−１の処理は次の通りである。先ず、視差画像間引き部１１により、入力した視差画像をｎ×ｍ画像の領域にまとめることで、局所的に安定した視差情報を持つ部分を得るとともに、画像数を間引くことで全体の処理量を削減する。但し、処理時間等に問題がない場合には、視差画像間引き部１１を省いてもよい。ここで、視差画像の内、視差画像を持つ画像を「視差点」と呼ぶことにする。
【００８３】
次に、単位領域検出部１２により、間引かれた視差画像の視差点位置において、３次元上で単位大きさを持つ平面（単位平面モデルＭＳで示される）が、その視差点の位置（距離）で観測された場合の視差画像上での大きさ（領域）を求めて、その領域内にある間引き前の視差点の分布より、安定して平面を構成するもの（「単位領域Ｅi 」と呼ぶ）を抽出して、単位領域リストＥＬi を得る。
【００８４】
そして、基本領域生成部１３において、単位領域群の中から同一平面を構成できるものをまとめて基本領域Ｒi を生成し、基本領域リストＲＬi を得る。
【００８５】
(4) ：基本領域検出部の詳細な処理の説明
以下、基本領域検出部の詳細な処理を説明する。
【００８６】
(4) −１：視差画像間引き部１１の処理の説明
間引き視差画像と元の視差画像の位置関係を図４に示す。図４において、Ａは元の視差画像、Ｂは間引き視差画像を示す。
【００８７】
視差画像間引き部１１では、元の視差画像の幅をＮ画素、高さをＭ画素とする時、視差画像を横ｎ画素、縦ｍ画素の小領域ｗi に区切り（図４のＡ参照）、それぞれの小領域ｗi 毎に、以下の条件を満足するか否かを調べ、満足する小領域ｗi についてはその平均視差を画素値とする（集約する）、幅Ｎ／ｎ、高さＭ／ｍの新たな間引き視差画像（図４のＢ参照）を得る。
【００８８】
条件：以下の▲１▼又は▲２▼の条件を満たすとき、小領域ｗi は条件を満たしたとする。
【００８９】
▲１▼：（小領域ｗi の視差点の数）＞閾値１、かつ、（小領域ｗi の視差点の視差の分散値）＜閾値２
▲２▼：（小領域ｗi の視差点の数／ｎ×ｍ）＞閾値３
なお、前記閾値１、２、３は、予め定めておく。
【００９０】
(4) −２：単位領域検出部１２の処理の説明
単位領域検出部１２では、先ず、３次元空間で、縦ＭＳx 、横ＭＳy のサイズを持つ平面を単位平面モデルＭＳとして定義する。そして、間引き視差画像の各視差点（ｘi ，ｙi ，ｄi ）について、その距離（視差）に単位平面モデルＭＳを置いた時の元の視差画像での観測位置（ｐｘi ，ｐｙi ）、サイズ（ｎｘi ，ｎｙi ）を、式｛ｐｘi ＝ｘi ×ｎ、ｐｙi ＝ｙi ×ｍ、ｎｘi ＝ＭＳx ×ｄi ／ｂ、ｎｙi ＝ＭＳy ×ｄi ／ｂ｝により求める。
【００９１】
但し、ｘi はＸ座標上の位置、ｙi はＹ座標上の位置、ｄi は視差値、ｂは２つのカメラのカメラ間距離とする。そして、元の視差画像での位置（ｐｘi ，ｐｙi ）を中心として、サイズ（ｎｘi ，ｎｙi ）の領域を設けて、それに含まれる元の視差画像での視差点を用いて、以下の評価値を計算する。そして、評価値が閾値以上のものを単位領域Ｅi とする。
【００９２】
【数２】
但し、Ｎj は先の領域に含まれる視差点の個数、ｆはカメラの焦点距離、ＤＩＦＦは３次元的に区別した距離（閾値）を表す。単位領域検出部１２の操作の結果として、単位領域リストＥＬが、
【００９４】
【数３】
（ＮE は、ＥＬの要素の数）の式で得られる。
【００９６】
(4) −３：基本領域生成部１３の処理の説明
図５は基本領域生成部の処理フローチャートである。以下、図５に基づいて、基本領域生成部１３の処理を説明する。なお、図５において、Ｓ１〜Ｓ１２は各処理ステップを示す。
【００９７】
前記基本領域とは、同一平面をなす幾つかの単位領域を集めたもので、その奥行きは基本領域に属す単位領域群の平均距離とし、基本領域の大きさは、属す単位領域群を含む最大矩形領域とする。この基本領域を図５の処理で求める。
【００９８】
先ず、基本領域生成部１３は、視差画像、単位領域リストＥＬを入力し（Ｓ１）、前記単位領域リストＥＬから、基本領域に属していない単位領域Ｅi を得る処理を行ない、単位領域リストＥＬに、基本領域に属さない単位領域Ｅi が有るか否かを判断する（Ｓ２）。その結果、単位領域リストＥＬに属さない単位領域Ｅi が無ければ処理を終了する。
【００９９】
しかし、基本領域に属さない単位領域Ｅi が有れば、その単位領域Ｅi を１つ取り出し、基本領域Ｒk を生成する（Ｓ３）。次に、結合有りフラグを下ろし（リセット）し（Ｓ４）、前記単位領域Ｅi とは異なり、かつ、前記基本領域Ｒk に属していない他の単位領域Ｅj を取得する（Ｓ５）。この場合、この単位領域Ｅj が存在すれば（Ｓ６）、単位領域Ｅj が基本領域Ｒk に属するか否かを調べる（Ｓ７）。
【０１００】
その結果、もし、単位領域Ｅj が基本領域Ｒk に属するならば、基本領域Ｒk に単位領域Ｅj を統合する（Ｓ８）と共に、「統合フラグ」を立ててから（Ｓ９）、パラメータｊを更新（ｊ＝ｊ＋１）し（Ｓ１０）、Ｓ５の処理へ移行することで、次の単位領域Ｅj を取得し、処理を繰り返す。この繰り返し処理により、調査すべき単位領域Ｅj が無くなったら（Ｓ６）、「統合有りフラグ」の状態を調べる（Ｓ１１）。
【０１０１】
その結果、もし、「統合有りフラグ」が立っているならば、当該繰り返し処理において、新たに統合操作が行われたので、その結果として統合できる単位領域が生じた可能性がある。そこで、フラグが立っているならば、再び、Ｓ４の処理へ移行し、単位領域リストＥＬ中より、統合可能な単位領域Ｅj がないか、再び調べる。
【０１０２】
もし、フラグが立っていないならば、処理すべき単位領域Ｅj が無いので、新たに基本領域ＲK+1 を生成して、同様の処理を繰り返す。この場合、Ｓ１１の処理で、結合フラグが立っていなければ、パラメータｉを更新（ｉ＝ｉ＋１）し（Ｓ１２）、Ｓ２へ移行する。
【０１０３】
この結果として、
【０１０４】
【数４】
が得られる。
【０１０６】
ここで、単位領域Ｅj が基本領域ＲK に属するか否かの判断条件について述べる。基本領域Ｒk を構成する単位領域の中で、画像上最も単位領域Ｅj に近い単位領域をＥk とする時、Ｅj からＥk までの画像上距離をＬ１、視差の差をＬ２として、それらが予め決めた閾値内のときに、Ｅj がＲk に属するとする。
【０１０７】
(4) −４：前記処理の補足説明
図６は処理説明図（その１）であり、Ａは画像例、Ｂは視差の説明図、Ｃは画像を示す。図７は処理説明図（その２）であり、Ａはメモリ上の視差画像、Ｂは視差画像の一部詳細説明図、Ｃは間引き視差画像を示す。図８は処理説明図（その３）であり、Ａは視差画像の説明図、Ｂは視差画像生成時の説明図である。
【０１０８】
前記視差画像は、物体検出器４に入力すると、一旦、メモリに格納され、図６のＡに示す状態となる。この場合、図６のＡのＸ、Ｙは座標軸を示し、図の斜線部分は視差（距離）である。すなわち、視差画像は、視差（距離）を含んだ情報となっている。
【０１０９】
例えば、図６のＢに示したように、左側のカメラで撮像した画像（実線の丸）をＬ、右側のカメラで撮像した時の画像（点線の丸）をＲとした場合、前記ＬとＲを重ねると、視差のある画像となる。すなわち、実線の丸と点線の丸を重ねた時の２つの画像のずれをｘＲとすれば、このずれｘＲが視差（距離）となる。このように視差のある視差画像を元に、図６のＣに示すように、ｍ×ｎ画像を取り出して前記間引き処理を行う。
【０１１０】
この場合、図７のＡに示すように、視差画像をメモリに格納する。そして、前記視差画像を横ｎ画素、縦ｍ画素の小領域ｗi に区切り（図７のＢ参照）、それぞれの小領域ｗi 毎に、前記条件を満足するか否かを調べ、満足する小領域ｗi についてはその平均視差を画素値とする（集約する）、間引き視差画像（図７のＣ参照）を得る。
【０１１１】
また、元の視差画像上に単位平面（ｍ×ｎ画像）を写し込むと、図８のＡの状態になる。この場合、近い物体は大きくなり、遠い物体は小さくなる。例えば、近い物体の一部の単位平面（ｍ×ｎ画像）が、視差＝１０（例えば、距離＝１ｍ）であり、遠い物体の一部の単位平面（ｍ×ｎ画像）が、視差＝１（例えば、距離＝１０ｍ）のようになる。
【０１１２】
なお、この場合、目安となる単位平面である、縦ＭＳx 、横ＭＳy のサイズを持つ単位平面モデルの大きさを、ＭＳx ×ＭＳy ＝（４０ｃｍ×５０ｃｍ）とすれば、１０ｍ離れた所に、４０ｃｍ×５０ｃｍの板（物体）がどれいらいの大きさで見えるかを計算する。
【０１１３】
このように、近い物体であれば、視差は大きくなり、遠い物体では視差が小さくなる。このように、視差が大きければ距離が小さく、視差が小さければ距離が大きい、という関係になっている。従って、視差は距離情報と同じである。
【０１１４】
更に、前記視差画像は、２つのカメラで構成したステレオカメラを使用して得ることができる。例えば、図８のＢに示すように、第１のカメラＬと第２のカメラＲを所定距離（例えば、距離ｂ）だけ離して設置し、これら２つのカメラで撮像した濃淡画像（白黒）から、エッジ画像（物体の輪郭画像）を得て、Ｌ、Ｒの各エッジ画像を合成して視差画像が生成できる。
【０１１５】
(5) ：物体面当てはめ／物***置決定部の説明
(5) −１：定義
説明に先立ち、物体モデルについて説明する。物体モデルは、物体の形状、大きさに合わせて複数用意し、その１つの物体モデルをモデルクラスＣi とし、それらモデルクラスＣi に合わせて、
【０１１６】
【数５】
但し、Ｎc はモデルクラスＣi の数を表す。各モデルクラスＣi は、１つ或いは複数の幾何形状（ここでは直方体）よりなり、対象に合わせて大きさが調整されている。本例では、直方体を用いるので、直方体を構成する面の内、観測者から見える面は３面あるが、本例では、簡単化のために、直方体の面のうち、垂直面として位置する２面について取り上げて考える。
【０１１８】
但し、これは３面以上となっても、それぞれの方向へ投影面を考えれば話は同様である。これら２面を次のように分類しておく。観測者の視線方向に直交する面に近い方を「前面領域Ｓf,k 」と呼び、視線方向に並行する面に近い方を「側面領域Ｓs,k 」と呼ぶ。
【０１１９】
(5) −２：物体面当てはめ／物***置決定部の構成の説明
物体面当てはめ／物***置決定部の構成図を図３のＢに示す。物体面当てはめ／物***置決定部４−２には、前面領域の当てはめ処理を行う前面領域当てはめ部１４と、側面領域の当てはめ処理を行う側面領域当てはめ部１５を備えている。
【０１２０】
物体面当てはめ／物***置決定部４−２には、視差画像と基本領域リストＲＬi 、ｉ∈｛１，２，・・・，ＮR ｝を入力として、先ず、前面領域当てはめ部１４により、各基本領域Ｒi を物体の前面領域と考えたときに、矛盾のない３次元位置分布が得られる物体領域Ｏf,i を得る。
【０１２１】
次に、側面領域領域当てはめ部１５により、今度は基本領域Ｒi を物体の側面領域と考えた時の物体領域Ｏs,i を得る。このように、全ての組み合わせで、物体領域を検出することで、物体の位置によらず、漏れなく物体を検出することができる。以下、詳細に説明する。
【０１２２】
(5) −３：前面領域当てはめ処理（全体処理）
図９は、前面領域当てはめ部の処理フローチャート（その１）である。以下、図９に基づいて、前面領域当てはめ部の処理を説明する。なお、Ｓ３１〜Ｓ３６は各処理ステップを示す。
【０１２３】
前面領域当てはめ部１４では、基本領域リストに属す基本領域Ｒi 、ｉ∈｛１，２，・・・，ＮR ｝各々について、全てのモデルクラスＣk 、ｋ∈｛１，２，・・・，ＮC ｝に対して、図９に示す処理でモデル当てはめを行い、モデルと合致する物体領域を検出する。
【０１２４】
その内容として、先ず、基本領域Ｒi が示す３次元位置にモデルクラスＣk を構成する前面領域Ｓf,k を置いた時に、その面を支持する視差点があるか調べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ１（ＳＣ：スコア）として与えられている。
【０１２５】
もし、当てはめ度合いが良ければ、その前面領域Ｓf,k を元に、位置関係より生成できる側面領域Ｓs,k を生成し、側面領域を支持する視差点があるか調べる。この場合、当てはめ度合いは、当てはめ得点ＳＣ２（ＳＣ：スコア）として与えられている。当てはめ度合いが良ければ、モデルクラスＣk が与える位置に物体領域Ｏf,i が存在するとする。また、この物体領域の評価値ＳＣ＝ＳＣ１＋ＳＣ２とする。もし、いずれかの当てはめ度合いが悪い場合は、物体領域は無いとする。
【０１２６】
すなわち、前面領域当てはめ部１４は、視差画像、基本領域Ｒi 、モデルクラスリストＣＬを入力し（Ｓ３１）、基本領域Ｒi をモデルクラスＣk の前面領域Ｓf,k として、モデル面の当てはめを行う（Ｓ３２）。この当てはめ処理では、先ず、基本領域Ｒi をモデルクラスＣk の前面領域Ｓf,k として、モデル面の当てはめを行う。この時、当てはめ得点ＳＣ１,i,kを取得する（Ｓ３２）。
【０１２７】
そして、前面領域当てはめ部１４は、前面領域が存在したか否かを判断し（Ｓ３３）、前面が存在しなければ、物体領域無し、物体得点ＳＣ＝０として処理を終了する。しかし、前面領域Ｓf,k が存在した場合には、モデルクラスＣk に、側面領域Ｓs,k を生成して、側面領域Ｓs,k が有るか否かを調べる。この時、当てはめ得点ＳＣ２,i,kを取得する（Ｓ３４）。
【０１２８】
そして、前面領域当てはめ部１４は、側面領域が存在したか否かを判断し（Ｓ３５）、側面領域Ｓs,k が存在しなければ、物体領域無し、物体得点ＳＣ＝０として処理を終了する。しかし、側面領域Ｓs,k が存在したら、モデルクラスＣk の位置を物体領域Ｏi,k の位置とし、物体領域Ｏi,k の当てはめ得点ＳＣ＝ＳＣ１,i,k＋ＳＣ２,i,kとする（Ｓ３６）。このようにして、物体領域Ｏi,k 有り、当てはめ得点ＳＣ＝ＳＣ１,i,k＋ＳＣ２,i,kを得る。
【０１２９】
(5) −４：前面領域当てはめ処理（一部詳細処理１）
図１０は、前面領域当てはめ部の処理フローチャート（その２）であり、前面領域当てはめ部の一部詳細処理（図９のＳ３２の詳細な処理）を示したものである。以下、図１０に基づいて、前面領域当てはめ部の一部詳細処理を説明する。なお、Ｓ４１〜Ｓ４８は各処理ステップを示す。
【０１３０】
前面領域当てはめ部１４は、基本領域Ｒi 、モデルの前面領域Ｓf,k 、視差画像を入力し（Ｓ４１）、前面領域Ｓf,k を基本領域Ｒi が示す３次元位置に置いた時の視差画像での投影領域ｈf を得る（Ｓ４２）。
【０１３１】
この場合、対象物体が遠方にあると、物体の観測大きさが小さくなり得られる距離情報の数が不足して、距離情報へ物体面モデルの当てはめでは、モデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。このため、物体が閾値以上に遠い場合は３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）などで撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて、画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得る。
【０１３２】
すなわち、前面領域当てはめ部１４は、基本領域Ｒi の３次元距離を調べ（Ｓ４３）、その距離が閾値以上に遠い場合は距離情報の信頼性が低下しており距離情報だけで物***置を定めるのは困難であるため、カメラ３から出力された濃淡画像を取り込み、投影領域ｈf を基準に物体輪郭の有無を求める（Ｓ４４）。
【０１３３】
そして、輪郭線があったか否か（輪郭線の有無）を調べ（Ｓ４５）、もし、輪郭線が無ければ、物体はないものとする（前面領域無し）。また、輪郭線があった場合は、前面領域Ｓf,k を距離情報が支持するか否かを調べる（Ｓ４６）。また、Ｓ４３の処理で、基本領域Ｒi の距離が閾値以下であれば、距離情報の信頼性があるので、輪郭線の検査は行わず、前面領域Ｓf,k を距離情報が支持するか否かを調べる（Ｓ４６）。
【０１３４】
そして、前面領域Ｓf,k を距離情報が支持するか否かを調べる処理では、投影領域ｈf 内の視差点を用いて前面領域Ｓf,k に当てはめを行い、その絶対当てはめ得点Ｓa と、平均当てはめ得点Ｓr を計算する（Ｓ４６）。このようにして、Ｓ４６の処理では、前面領域を距離情報が支持するか否かを調べる処理を行うことによって、絶対的当てはめ得点Ｓa が得られる。
【０１３５】
そして、平均当てはめ得点Ｓr が閾値以下であれば（Ｓ４７）、前面領域Ｓf,k 無しとするが、前面領域Ｓf,k への距離情報の当てはめの平均当てはめ得点Ｓr が閾値より大きければ、安定して物体面を支持する３次元情報があると見なせるので、前面領域Ｓf,k が存在するとする。更に、その時の当てはめ得点ＳＣ１として、絶対得点Ｓa を用いる（Ｓ４８）。このような処理により、前面領域Ｓf,k が存在するか否かの情報が得られる。
【０１３６】
(5) −５：前面領域当てはめ処理（一部詳細処理２）
図１１は、輪郭検出処理の説明図であり、図１０のＳ４３、Ｓ４４の処理を詳細に説明したものである。ここでは、先ず、物体輪郭検出領域としての輪郭探索領域Ｈf を、先に求めた物体面の投影領域ｈf と中心を同じくして、大きさを投影領域ｈf と一定倍大きくした領域として定める。
【０１３７】
次に、輪郭探索領域Ｈf に含まれる濃淡画像でのエッジについて縦方向に投影を取る。投影像は、横軸を位置（ｘ）とし、縦軸に輝度をとるヒストグラムとなる。このヒストグラムから、閾値以上の輝度を持つピーク位置を検出することで、輪郭線の位置を決定する。
【０１３８】
複数位置が得られたならば、全ての組み合わせで、モデル領域（投影領域ｈf をモデル領域とする）の幅と近い幅を持つピーク組があるか否かを調べる。もし、類似した幅のピーク組があれば、該当モデルが支持する物体の輪郭線があったとする。もし、明示した幅のピーク組がなければ、物体を支持する輪郭はないとする。
【０１３９】
(5) −６：前面領域当てはめ処理（一部詳細処理３）
以下、図１０のＳ４６の処理を詳細に説明する。この処理は、前面領域を距離情報が支持するか否かを定める処理であり、以下、その内容を詳細に説明する。
【０１４０】
先ず、モデル領域ｈf 内の視差点をｐ（ｘi ，ｙi ，ｄi ）とする。この時、位置（ｘi ，ｙi ）でのモデル面Ｓf,k の視差値ｄS として、以下の操作を行う。
【０１４１】
【数６】
但し、Ｓa は、絶対当てはめ得点（視差情報の当てはめの絶対得点）を表し、初期値はＳa ＝０とする。この操作をモデル領域ｈf 内の全ての視差点について行う。そして、平均当てはめ得点Ｓr を、Ｓr ＝Ｓa ／ＭＡＸ（ｈf の幅，ｈf の高さ）の式により求める。この処理で、物体面を当てはめた時の、当てはめの良否（Ｓr ，Ｓa ）が得られる。
【０１４３】
(5) −７：側面領域当てはめ処理（確認用）の説明
図１２は、側面領域当てはめ処理（確認用）フローチャートであり、図９のＳ３４の詳細な処理を示したものである。以下、図１２に基づいて、図９のＳ３４の処理を詳細に説明する。なお、Ｓ５１〜Ｓ５７は各処理ステップを示す。
【０１４４】
この処理は、物体の存在を確認するための側面領域の当てはめ処理である。先ず、前面領域Ｓf,k 、モデルクラスＣk 、視差画像を入力し（Ｓ５１）、側面領域位置の決定を行う（Ｓ５２）。この場合、先に求まった前面領域Ｓf,k の位置を元に、側面領域Ｓs,k の３次元位置を計算する。側面領域としては両横の２つが考えられるが、現在の視点から見えている方に限定する。そして、側面領域Ｓs,k の視差画像への投影である投影領域ｈs を得る（Ｓ５３）。
【０１４５】
次に、側面領域Ｓs,k の視差画像での側面領域Ｓs,k の最前方位置と最後方位置の差（奥行き変化量）を調べて、その差が距離情報の解像度に比べて十分大きいならば（Ｓ５４）、距離情報による当てはめが行えるので、以降の処理を行なう。また、もし、解像度が不足しているなら、側面領域の存在を問うこと自体が意味を持たないので、側面領域検査不要として処理を終える。
【０１４６】
また、Ｓ５４の処理で、奥行き解像度が十分な時（Ｓ５４）には、前記Ｓ３４の処理により側面領域Ｓs,k を支持する視差点が十分あるかを調べ、物体面当てはめ処理を行う。この場合、物体面当てはめ度合いの良否判断の結果は、平均当てはめ得点Ｓr 、絶対当てはめ得点Ｓa として返される（Ｓ５５）。
【０１４７】
次に、前面領域と同様に、平均当てはめ得点Ｓr が閾値以上なら（Ｓ５６）、側面領域Ｓs,k が存在していると見なし、当てはめ得点の評価値ＳＣ２として、絶対当てはめ得点Ｓa を返す（Ｓ５７）。また、平均当てはめ得点Ｓr が閾値以下なら、当該側面領域Ｓs,k は無いとする。
【０１４８】
(5) −８：側面領域当てはめ部の説明
以下、図３のＢに示した「側面領域当てはめ部１５」の処理について説明する。この処理では、各基本領域Ｒi について、最初に側面領域Ｓs,k を求めて、該側面領域Ｓs,k が有れば、それを支持する前面領域Ｓf,k を求めて、その双方があれば物体領域Ｏs,k があるとする。
【０１４９】
この意味において、前面領域当てはめ部１４との違いは前面領域と側面領域の探索順序の違いだけで、その内容は実質的に同じである。従って、これまで説明した処理を、前面を側面領域に、側面領域を前面にそれぞれ入れ換えたものと同値であるから、詳細な説明は省略する。
【０１５０】
(6) ：物体速度計測器の説明
以下、図２に示した物体速度計測器５について説明する。物体の速度は、各時刻で得られる物***置を時刻間で対応づけることで、物体の位置変化を取得して求める。すなわち、物体の速度計測は、時刻間の物体の移動量より求める。この対応付けを行う主体として、追跡器ＴＡi （ｉは他の追跡器と区別するための添え字）を定義する。
【０１５１】
更に、
【０１５２】
【数７】
そのために、更に、
【０１５４】
【数８】
カルマンフィルタのシステム式及び推定式は以下の通りである。
【０１５６】
【数９】
【数１０】
【数１１】
更に、時刻間の対応付けにおいて対応する物体領域Ｏi が無くなった時には、追跡器ＴＡi はロスト追跡器ＴＬi に遷移するとする。このロスト追跡器ＴＬi を集めた集合、ロスト追跡器リストＴＬＬ＝｛ＴＬi ｝、ｉ∈｛１，２，・・・，Ｎn ｝を定義する。
【０１６０】
(7) ：物体追跡処理（追跡器の時刻間で対応付ける方法）の説明
図１３は物体追跡処理フローチャートである。以下、図１３に基づいて物体追跡処理を説明する。なお、Ｓ６１〜Ｓ６９は各処理ステップを示す。
【０１６１】
先ず、物体領域リストＯＬ、追跡器リストＴＡＬ、ロスト追跡器リストＴＬＬを入力し（Ｓ６１）、追跡器リストＴＡＬから、物体領域と対応付けられていない未対応の追跡器ＴＡi を得る（Ｓ６２）。もし、そのような追跡器ＴＡi がなければ（Ｓ６３）、Ｓ６８の処理（後述する）へ移行する。
【０１６２】
次に、追跡器ＴＡi があった場合、追跡器ＴＡi について、対応可能な物体領域Ｏj を物体領域リストＯＬから選択する（Ｓ６４）。もし、対応する物体領域Ｏj があれば（Ｓ６５）、追跡器ＴＡi を物体領域Ｏj を用いて更新処理する（Ｓ６６）。そして、処理をＳ６２に戻す。
【０１６３】
もし、対応する物体領域Ｏj が無ければ、追跡器ＴＡi に対して対応ロスト処理を行い（Ｓ６７）、処理をＳ６２に戻す。このように全ての対応追跡器ＴＡi について物体領域との対応付けが終了すると、処理はＳ６８へ以降する。ここの段階の物体領域リストには、追跡器と対応付けがかなった新規の物体領域が残っている。
【０１６４】
その中には、実際に新たに加わった物体領域もあれば、以前の対応追跡器中に何らかの理由で対応をロストして、その同一物体領域がこの時点で再び観測されたものもある。そこで、先ず、後者の場合を想定して、ロスト追跡器ＴＬi と矛盾なく対応する物体領域Ｏj を探索する（Ｓ６８）。
【０１６５】
もし、そのような物体領域Ｏj があれば、対応するロスト追跡器ＴＬi の情報を用いて初期速度を定め、対応追跡器ＴＡi に戻す。初期速度が定まっているので、カルマンフィルタで推定するパラメータの収束が早まり、短時間で位置、速度情報が安定する。
【０１６６】
次に、前者の新規物体領域について、追跡器ＴＡを設定して、以降の追跡処理を開始する。そして、最後に、ロスト追跡器ＴＬi のロスト回数をインクリメントし、一定回数以上ロスト状態が続くロスト追跡器ＴＬi を除去する更新処理を行う（Ｓ６９）。
【０１６７】
なお、前記Ｓ６８の処理について詳細に説明する。この処理では、ロスト追跡器ＴＬi の見失った時刻での位置から、現時刻の位置を喪失した時に、その位置と物体領域Ｏj からの位置が十分近いなら、矛盾無しとする。そして、矛盾がないなら、ロスト追跡器ＴＬi の速度を初期値として追跡を再開する。この時、ロスト追跡器ＴＬi を追跡器ＴＡi として、追跡器リストＴＡＬに戻す。このようにすることで、再追跡時には、物体の移動速度が分かっているから、追跡が安定して行える。
【０１６８】
更に、各処理について詳細に説明する。先ず、Ｓ６４の対応可能物体領域の選択では、追跡器ＴＡi の予測位置Ｐp （ＸＰi ，ＺＰi ）を基準に、最も３次元距離が近い物体領域を対応候補とし、その対応候補との距離が閾値以下の場合は対応可能とする。それ以外は対応不可能とする。
【０１６９】
次に、Ｓ６６の追跡器の更新では、対応可能物体領域Ｏj の３次元位置（ＸＯj ，ＺＯj ）を観測位置として、前記式(2) 、式(4) で追跡器の位置、速度の推定値を更新し、その速度を追跡物体の移動速度（出力）とする。更に、前記式(1) 、式(3) を用いて、次回の位置、速度の予測値を求めておき、次時刻の対応付けに利用する。
【０１７０】
また、Ｓ６７の追跡器のロスト処理では、その追跡器ＴＡi が物体をロストした時点での位置と速度を、それぞれロスト位置Ｐｌi （ＸＬi ，ＺＬi ）、ロスト速度Ｖｌi （ＶＸＬi ，ＶＺＬi ）に記録しておき、再対応時に備える。更に、ロスト回数カウンタｌciを１に設定する（ｌci＝１）。そして、追跡器ＴＡi を追跡器リストＴＡＬから除去し、それをロスト追跡器リストＴＬＬに追加する。
【０１７１】
Ｓ６８の処理では、新規物体領域Ｏj の位置（ＸＯj ，ＺＯj ）と、各ロスト追跡器ＴＬi のロスト位置ｐｌi 、ロスト速度ｖｌi を用いて以下に示す式で、予測位置と観測位置の差１を計算し、矛盾なく対応できるかを調べる。
【０１７２】
【数１２】
もし、前記ｌ（エル）が閾値以内ならば（ｌ≦閾値）、物体領域Ｏj とロスト追跡器ＴＬi は矛盾なく対応できるとして、物体領域Ｏj の位置を用いてロスト追跡器ＴＬi の３次元位置と速度をカルマンフィルタで推定すると共に、その追跡器をロスト追跡器リストＴＬＬから除き、ロスト回数を０に設定してから、再度（対応）追跡器リストＴＡＬに加えて、以降の対応付けを開始する。
【０１７４】
§４：具体的な装置例と記録媒体の説明
図１４は具体的な装置例である。前記３次元物体検出／速度計測装置は、パーソナルコンピュータ、ワークステーション等の任意のコンピュータを利用して実現することができる。この３次元物体検出／速度計測装置は、コンピュータ本体２０と、該コンピュータ本体２０に接続されたディスプレイ装置３１、入力装置（キーボード／マウス等）３２、リムーバブルディスクドライブ（「ＲＤＤ」という）３３、磁気ディスク装置（「ＭＤＤ」という）３４、距離計測器１、カメラ３等で構成されている。
【０１７５】
そして、コンピュータ本体２０には、内部の各種制御や処理を行うＣＰＵ２１と、プログラムや各種データを格納しておくためのＲＯＭ２２（不揮発性メモリ）と、メモリ２３と、インタフェース制御部（「Ｉ／Ｆ制御部」という）２４と、通信制御部２５と、入出力制御部（Ｉ／Ｏ制御部）２６等が設けてある。なお、前記ＲＤＤ３３には、フレキシブルディスクドライブ（フロッピィディスクドライブ）や光ディスクドライブ等が含まれる。
【０１７６】
前記構成の装置において、例えば、ＲＯＭ２２、或いはＭＤＤ３４の磁気ディスク（記録媒体）に、３次元物体検出／速度計測装置の前記処理を実現するためのプログラムを格納しておき、このプログラムをＣＰＵ２１が読み出して実行することにより、前記３次元物体検出／速度計測処理を実行する。
【０１７７】
しかし、本発明は、このような例に限らず、例えば、ＭＤＤ３４の磁気ディスクに、次のようにしてプログラムを格納し、このプログラムをＣＰＵ２１が実行することで前記連結領域抽出処理を行うことも可能である。
【０１７８】
▲１▼：他の装置で作成されたリムーバブルディスクに格納されているプログラム（他の装置で作成したプログラムデータ）を、ＲＤＤ３３により読み取り、ＭＤＤ３４の記録媒体に格納する。
【０１７９】
▲２▼：ＬＡＮ等の通信回線を介して他の装置から伝送されたプログラム等のデータを、通信制御部２５を介して受信し、そのデータをＭＤＤ３４の記録媒体（磁気ディスク）に格納する。
【０１８０】
【発明の効果】
本発明によれば次のような効果がある。
【０１８１】
(1) ：請求項１では、基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【０１８２】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【０１８３】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【０１８４】
(2) ：請求項２では、物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える。
【０１８５】
この場合、物体検出処理に関して、対象物体が遠方にあると物体の観測大きさが小さくなり、得られる距離情報の数が不足して、距離情報への物体面モデルの当てはめではモデル位置を変化させても当てはめ度合いが殆ど変化せず、物***置の特定が困難となる。
【０１８６】
そのため、物体が閾値以上に遠い場合は、３次元距離情報の他に、ビデオカメラ（或いはテレビカメラ）等で撮像された情景の濃淡画像から得られる物体輪郭線情報を用いて画像中での物***置を補正することで、物体の３次元位置（奥行き）によらず、常に安定して物***置を得ることができる。
【０１８７】
(3) ：請求項３では、速度検出手段は、位置検出手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記位置検出手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、余分な追跡を必要とせず、速やかに速度計測を再開する。
【０１８８】
この場合、物体速度計測処理に関して、物体領域が検出できず、対応が求まらない時は、一定の回数だけその物体を未対応状態で位置の情報を残しておき、再び物体が検出された場合には、未対応の間の平均移動距離を初期速度として与えて再び物体の追跡を行うことで、再検出の直後から速度を安定に計測することを可能とする。
【０１８９】
また、再検出物体を新規物体として追跡し始める従来方式では、速度情報を安定に得るには、更に、数フレームの物体追跡が必要で、速度情報の出力までに時間遅れを要していたが、本発明では、物体の検出ができない場合があっても、時間遅れなく、速度情報を得ることができる。
【０１９０】
(4) ：請求項４では、３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出するようにした。
【０１９１】
このようにすれば、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【０１９２】
(5) ：請求項５では、３次元物体検出装置が、記録媒体のプログラムを読み出して実行することにより、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とする際、このまとめる近隣範囲の大きさを、３次元位置により変化する物体の見かけの大きさに合わせた適切な大きさに設定することで、距離情報を過不足なくまとめることを可能にし、その結果として物***置を検出する。
【０１９３】
この場合、距離情報（視差情報）に物体面モデルを当てはめてその良否から物体の有無を決定する「物体検出処理」で必要となる、距離（視差）画像から近隣の距離情報をまとめて平面部分を物体面候補として抽出する。この処理において、３次元位置（奥行き）により変化する物体の観測大きさに合わせた適切な領域を「近隣」として近隣領域内の距離情報をまとめることで過不足ない距離情報を用いることを可能にする。
【０１９４】
その結果、従来の固定大きさを「近隣」とする方法で生じる、遠方で近隣する他物体を誤って一つの物体としてしまう過併合の問題や、近傍で一つの物体面が多くの小平面に分割されて検出され、本来の物体面に統合するのが困難になる過分割の問題を生じることなく、物体の３次元位置（奥行き）によらず、常に安定して一つの物体面を一つの平面として抽出することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明の実施の形態におけるシステム説明図である。
【図３】本発明の実施の形態における基本領域検出部、及び物体面当てはめ／物***置決定部の構成図である。
【図４】本発明の実施の形態における間引き視差画像と元の視差画像の位置関係を示した図である。
【図５】本発明の実施の形態における基本領域生成部の処理フローチャートである。
【図６】本発明の実施の形態における処理説明図（その１）である。
【図７】本発明の実施の形態における処理説明図（その２）である。
【図８】本発明の実施の形態における処理説明図（その３）である。
【図９】本発明の実施の形態における前面領域当てはめ部の処理フローチャート（その１）である。
【図１０】本発明の実施の形態における前面領域当てはめ部の処理フローチャート（その２）である。
【図１１】本発明の実施の形態における輪郭検出処理の説明図である。
【図１２】本発明の実施の形態における側面領域当てはめ処理（確認用）フローチャートである。
【図１３】本発明の実施の形態における物体追跡処理フローチャートである。
【図１４】本発明の実施の形態における具体的な装置例である。
【符号の説明】
１ 距離計測器
２ 視差画像変換器
３ カメラ（ビデオカメラ）
４ 物体検出器
４−１ 基本領域検出部
４−２ 物体面当てはめ／物***置決定部
５ 物体速度計測器
１１ 視差画像間引き部
１２ 単位領域検出部
１３ 基本領域生成部
１４ 前面領域当てはめ部
１５ 側面領域領域当てはめ部
２０ コンピュータ本体
２１ ＣＰＵ
２２ ＲＯＭ
２３ メモリ
２４ Ｉ／Ｆ制御部（インターフェイス制御部）
２５ 通信制御部
２６ Ｉ／Ｏ制御部（入出力制御部）
３１ ディスプレイ装置
３２ 入力装置
３３ リムーバブルディスクドライブ（ＲＤＤ）
３４ 磁気ディスク装置（ＭＤＤ）
Claims (5)
- ３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式、または３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、
前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段と、
前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段と、
前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段を備え、
前記基本領域検出手段は、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する機能を備えている、
ことを特徴とする３次元物体検出装置。 - ３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式や、３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置において、
前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出手段と、
前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ手段と、
前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定手段を備え、
前記物体面当てはめ手段は、当てはめ対象である基本領域の３次元距離によって、距離情報の他に、対象情景を撮像する濃淡或いはカラー画像から得られる情報を使用するか不使用とするかを切り換える機能を備えている、
ことを特徴とする３次元物体検出装置。 - 前記物体領域判定手段は、前記物体当てはめ手段による当てはめ結果の良否により物***置を検出し、検出された物***置を時系列的に求めていき、その得られた物***置の時系列的な対応を求めることで、各物体の速度情報を算出する機能を有し、
前記物体領域判定手段で物体が検出できず、その結果として時系列での対応が求まらない時、一定回数だけその物体を未対応状態で位置を残しておき、前記物体領域判定手段で再び物体が検出された時には、未対応であった期間での平均移動速度を参考に未対応状態の物体と矛盾なく対応できるかを調べ、もし矛盾なく対応できるならば、先の検出された物体を未対応物体が再び検出されたとして、未対応間の平均移動速度を再追跡の初期速度として与えて再び物体の追跡を行うことで、速度計測を再開できるようにした速度検出手段を備えている、
ことを特徴とする請求項１記載の３次元物体検出装置。 - ３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式、または３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出方法において、
前記３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する基本領域検出処理と、
前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる物体面当てはめ処理と、
前記物体面当てはめ手段による当てはめ結果の良否より物体の有無を判定する物体領域判定処理を有し、
前記基本領域検出処理では、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する、
ことを特徴とする３次元物体検出方法。 - ３次元位置情報が、２次元の配列の各場所に奥行き情報を持つ画像形式、または３次元位置情報の集合の形で与えられた時に、３次元空間に存在し得る３次元物体の位置、形状を検出する３次元物体検出装置に、
３次元位置情報から物体面を構成する面の全部或いは一部を、部分特徴である基本領域として検出する第１の手順と、
前記検出された物体面の基本領域について、予め用意した物体形状モデルの構成面を当てはめる第２の手順と、
前記第２の手順による当てはめ結果の良否より物体の有無を判定する第３の手順と、
前記第１の手順を行う場合、或る近隣範囲に存在する３次元位置情報をまとめて基本領域とするが、その際、このまとめる近隣範囲の大きさを、３次元物体の３次元位置により変化する距離に合わせて設定する第４の手順と、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000134407A JP4584405B2 (ja) | 2000-05-08 | 2000-05-08 | ３次元物体検出装置と３次元物体検出方法及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000134407A JP4584405B2 (ja) | 2000-05-08 | 2000-05-08 | ３次元物体検出装置と３次元物体検出方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001319224A JP2001319224A (ja) | 2001-11-16 |
| JP4584405B2 true JP4584405B2 (ja) | 2010-11-24 |
Family
ID=18642692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000134407A Expired - Fee Related JP4584405B2 (ja) | 2000-05-08 | 2000-05-08 | ３次元物体検出装置と３次元物体検出方法及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4584405B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7372977B2 (en) * | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| US8705792B2 (en) * | 2008-08-06 | 2014-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Object tracking using linear features |
| JP2013537661A (ja) * | 2010-06-30 | 2013-10-03 | タタ コンサルタンシー サービシズ リミテッド | ステレオビジョン技術を使用することによる移動物体の自動検出 |
| WO2014192061A1 (ja) * | 2013-05-27 | 2014-12-04 | パイオニア株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP5999127B2 (ja) * | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
| WO2017145600A1 (ja) * | 2016-02-23 | 2017-08-31 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
-
2000
- 2000-05-08 JP JP2000134407A patent/JP4584405B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001319224A (ja) | 2001-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110221603B (zh) | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 | |
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| JP4876080B2 (ja) | 環境認識装置 | |
| EP2426642B1 (en) | Method, device and system for motion detection | |
| CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| KR100799990B1 (ko) | 2차원 영상의 3차원 영상 변환 장치 및 방법 | |
| JPH1166319A (ja) | 移動体検出方法及び装置並びに移動体認識方法及び装置並びに人間検出方法及び装置 | |
| CN105335955A (zh) | 对象检测方法和对象检测装置 | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| JP2006134035A (ja) | 移動物体検出装置および移動物体検出方法 | |
| KR20150074544A (ko) | 차량 검출 방법 | |
| JP3729025B2 (ja) | 歩行者検知装置 | |
| CN111723778A (zh) | 基于MobileNet-SSD的车辆测距***及方法 | |
| JP3786618B2 (ja) | 画像処理装置及びその方法 | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP5073700B2 (ja) | 物体検出装置 | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP4584405B2 (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 | |
| JP4696925B2 (ja) | 画像処理装置 | |
| JP2001116513A (ja) | 距離画像算出装置 | |
| JPH033080A (ja) | 画像の構造化による対応付け前処理方式 | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100405 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100902 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |