JPH11252587A - 物体追跡装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像中に撮像されている物体の追跡を、広範
囲にわたり精度良く高速に実現すること。 【解決手段】 距離計測部１０３でステレオ画像処理に
より撮像されている物体までの距離を計測し、物体検出
部１０６で距離情報を用いて物体を検出する。移動位置
算出部１０７では、距離情報により検出した物体の位置
から距離情報以外の例えば、濃淡画像や３値化エッジ画
像の情報をテンプレートとして抽出し、マッチングを行
って物体の追跡をする。距離情報により物体を検出する
のでテンプレートを正確に抽出でき、また、距離情報以
外の情報を用いて追跡するので広範囲の追跡が実現でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体追跡装置に係
り、特に撮像した画像をステレオ画像処理することによ
って物体の追跡を行なう物体追跡装置に関する。

【０００２】

【従来の技術】従来の物体追跡方法として、第１７回画
像工学コンファレンス１６―１７（１９８６）記載の
「車両動態計測の試み」にあるような方法が一般的に用
いられる。この従来技術では、各画像毎に物体の候補を
抽出し、抽出された複数画像の物体の候補を対応づけて
いくことで物体の追跡を実現している。

【０００３】また、物体の候補の対応付け方法として、
特開平６−３０４１７号に記載されたものがある。これ
は、予め記憶してある数種類の濃淡テンプレートを用い
て画像中の物体を抽出し、その後濃淡テンプレートマッ
チングにより物体を追跡していき、追跡の度にテンプレ
ートを更新していくものである。

【０００４】この従来技術は、テンプレートマッチング
により追跡を行ない、追跡の度にテンプレートを更新し
ていくので、明るさの変化の影響を受けにくく、精度の
良い物体の追跡が実現できる。

【０００５】その他の物体追跡方法として、物流計測装
置として特願平８―３４０２５４号や特願平８―３４０
２５５号に記載されたものがある。これは、複数の画像
からステレオ画像処理によって撮像空間の距離情報を獲
得し、前記距離情報を用いて複数の物体をそれぞれ個別
に検出し、前記各物体をそれぞれ時間的に追跡すること
によって例えば交通量等の物流を計測するものである。

【０００６】この従来技術は、距離情報を用いているた
めに、画像中に発生した影や照明の反射などの環境変動
に起因する輝度レベルの変動の影響を受けることがな
く、正確に物体を検出／追跡ができる。さらに、撮像さ
れた画像内で重なって見える複数の物体を前記距離情報
を用いて個別に分離して検出／追跡することができる。

【０００７】

【発明が解決しようとする課題】しかしながら、特願平
８―３４０２５４号や特願平８―３４０２５５号に記載
の物体追跡方法では、ステレオ画像処理により計測した
距離情報を用いて物体を追跡しているが、ステレオ画像
処理による距離情報計測は撮像装置からの距離が遠くな
ればなるほど計測される距離精度は低下するため、広範
囲の物体の追跡を実現することが困難であるという問題
がある。

【０００８】そこで本発明は、広範囲にわたる物体の追
跡を実現できる物体追跡装置を提供することを第１の課
題とする。

【０００９】また、特願平８―３４０２５４号や特願平
８―３４０２５５号に記載の物体追跡方法においては、
ステレオ画像処理により計測した距離情報から物体の投
影像を作成して物体を検出しているが、空間内の特定領
域毎に物体の投影像を作成しているため、例えば、画像
中の車両を追跡する場合、隣接する２つの車線にまたが
って車両が走行すると、各々の車線でその車両が検出さ
れるという問題がある。

【００１０】そこで本発明は、隣接する２つの特定領域
にまたがって存在する物体を正確に検出／追跡できるよ
うにすることを第２の課題とする。

【００１１】また、従来技術特開平６−３０４１７号に
記載の物体追跡方法においては、濃淡テンプレートマッ
チングにより物体の追跡を行なうが、テンプレートは近
距離範囲ではみかけの移動量が多いためにテンプレート
マッチングの演算領域を広くとる必要があり演算量が膨
大となるだけでなく、テンプレート自体が短時間の間に
大きく変化するためにマッチング精度がよくないという
問題がある。そこで、本発明は、近距離範囲でも高速か
つ精度良い物体の検出／追跡が実現できる物体追跡装置
を提供することを第３の課題とする。

【００１２】また、従来技術特開平６−３０４１７号に
記載の物体追跡方法においては、予め記憶してある数種
類の濃淡テンプレートを用いて画像中の物体を検出し、
テンプレートを抽出しているが、テンプレートサイズを
物体の大きさより大きく設定するためマッチング時の演
算量が大きくなるという問題がある。さらに、物体をテ
ンプレートの中心にして切り出せないことがあり、この
場合、物体の追跡ができなくなるという問題がある。

【００１３】そこで、本発明は、追跡に必要なテンプレ
ートを正確に過不足なく抽出し、マッチング時の演算量
削減と精度の良い物体追跡が実現できる物体追跡装置を
提供することを第４の課題とする。

【００１４】また、一般的な従来技術の物体追跡方法に
おいては、画像上で複数の物体が重なり物体の一部が見
えなくなることがあり、このような場合は、物体を分離
することが難しく、物体の追跡を継続できなくなるとい
う問題がある。

【００１５】そこで、本発明は、重なりが生じても物体
の追跡を継続できる物体追跡装置を提供することを第５
の課題とする。

【００１６】また、従来技術特開平６−３０４１７号に
記載の物体追跡方法においては、濃淡テンプレートマッ
チングを用いて画像中の物体を追跡しているが、濃淡テ
ンプレートはマッチングの演算量が大きいという問題が
ある。そこで、本発明は、マッチング時の演算量削減が
図れ、精度の良い物体の追跡が実現できる物体追跡装置
を提供することを第６の課題とする。

【００１７】さらに、従来技術特開平６−３０４１７号
に記載の物体追跡方法においては、濃淡画像からテンプ
レートを切り出しているため、マッチング時の演算量が
多くなるという問題がある。そして、演算量削減のため
２値化エッジ画像からテンプレートを切り出す方法があ
るが、この場合マッチング精度が低下する。

【００１８】そこで、本発明は、マッチング精度を低下
させずに、マッチング時の演算量を削減できる物体追跡
装置を提供することを第７の課題とする。

【００１９】そして、一般的な従来技術の物体追跡方法
においては、二次元の画像面上での物体の占有率を撮像
空間中の物体の空間占有率として求めているが、基準平
面を俯瞰で撮影する場合は誤差が大きくなるという問題
がある。この問題の対策として、従来技術特願平８―３
４０２５５号では、ステレオ画像処理により検出した物
体を物体の進行方向と観察平面の垂線方向とが成す平面
に投影し、投影像より空間占有率を算出している。しか
し、この方法では、近距離範囲では正確に算出できるが
遠距離範囲では精度が低下するという問題がある。

【００２０】そこで、本発明は、俯瞰撮影する場合で
も、また、遠距離範囲を撮影する場合でも、正確に空間
占有率を算出できる物体追跡装置を提供することを第８
の課題とする。

【００２１】

【課題を解決するための手段】上記第１の課題を解決す
るために、本発明の物体追跡装置は、以下のような構成
を備える。

【００２２】即ち、撮像部は、所定の間隔で複数配置さ
れていて撮像空間を撮像する。距離計測部は、撮像され
た複数の画像からステレオ画像処理によって撮像空間の
距離情報を計測する。距離情報記憶部は、基準時刻にお
ける距離情報を記憶する。物体投影部は、距離計測部よ
り得られた距離情報と距離情報記憶部に記憶された基準
時刻における距離情報から物体の進行方向と観察平面の
垂線方向とが成す平面に空間内の特定領域毎に観察面上
の物体像の投影を行う。物体検出部は、物体投影部によ
り得られた物体投影像から複数の物体の領域を個別に検
出する。移動位置算出部は、物体検出部により検出され
た物体毎に距離情報以外の特徴量を用いてある時刻と次
の時刻でマッチングを行って物体の移動位置を算出す
る。物体情報算出部は、前記移動位置算出部で得られた
結果から所定の位置を通過する物体の数、物体の移動速
度、物体の大きさと物体の異常な動きを算出する。

【００２３】また、第２の課題を解決するために、本発
明の物体追跡装置は、請求項１記載の物体検出部におい
て、横幅算出部が検出された各物体の横幅を個別に算出
する。同一物体判定部が横幅算出部により算出された物
体の横幅から隣接する２つの特定領域で検出した物体が
同一の物体か判定する。

【００２４】また、第３の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項１記載の移動位置算出部において、距離判定
部が、物体検出部により検出された物体の位置が撮像部
から近距離か遠距離かを判定する。近距離範囲移動位置
算出部は、撮像部から近距離の範囲で距離情報を特徴量
として用いてある時刻と次の時刻でマッチングを行い物
体の移動位置を算出する。遠距離範囲移動位置算出部
は、撮像部から遠距離の範囲で距離情報以外の特徴量を
用いてある時刻と次の時刻でマッチングを行い物体の移
動位置を算出する。

【００２５】また、第４の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項１記載の移動位置算出部または請求項３記載
の遠距離範囲移動位置算出部において、物体特徴部分抽
出部は、物体投影部により作成された物体投影像から物
体の特徴的な部分を抽出する。特徴部分撮像位置算出部
は、物体特徴部分抽出部により抽出された物体特徴部分
が画像に撮像されている位置を算出する。テンプレート
抽出部は、特徴部分撮像位置算出部により算出された位
置から距離情報以外の情報をテンプレートとして抽出す
る。テンプレート記憶部は、テンプレート抽出部により
抽出されたテンプレートを記憶する。テンプレートマッ
チング部は、前記テンプレート記憶部に記憶されたテン
プレートを用いてある時刻と次の時刻でマッチングを行
い物体の移動位置を算出する。

【００２６】また、第５の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項４記載のテンプレートマッチング部におい
て、重なり判定部は、物体検出部により検出された複数
の物体の位置から画像上での物体の重なりを判定する。
テンプレート分割部は、前記重なり判定部で複数の物体
が重なっていると判定された場合にテンプレートを複数
の領域に分割する。領域マッチング部は、テンプレート
分割部により分割された領域毎にマッチングを行う。類
似度算出部は、領域マッチング部により得られた結果に
重み付けをしてテンプレート全体の類似度を算出する。
移動位置決定部は、類似度算出部により算出された結果
から物体の移動位置を決定する。

【００２７】また、第６の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項１記載の移動位置算出部または請求項３記載
の遠距離範囲移動位置算出部において、物体撮像位置算
出部は、物体検出部により検出された物体の位置から物
体の画像上の位置を算出する。エッジヒストグラム作成
部は、物体撮像位置算出部により算出された撮像位置に
ついてエッジ画像を作成し物体の進行方向に対し垂直な
方向に走査してエッジヒストグラムを作成する。エッジ
ヒストグラム記憶部は、エッジヒストグラム作成部によ
り作成されたエッジヒストグラムを記憶する。エッジヒ
ストグラムマッチング部は、エッジヒストグラム記憶部
に記憶されたエッジヒストグラムを用いてある時刻と次
の時刻でマッチングを行い物体の移動位置を算出する。

【００２８】また、第７の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項１記載の距離計測部において、エッジ画像作
成部は、撮像部から撮像された画像から３値化エッジ画
像を作成する。対応付け部は、３値化エッジ画像作成部
により作成された複数の３値化エッジ画像を対応付けて
撮像空間の距離情報を計測する。請求項４記載のテンプ
レート抽出部または請求項６記載のエッジヒストグラム
作成部において、エッジ画像作成部で作成された３値化
エッジ画像を用いてテンプレートの抽出またはエッジヒ
ストグラムの作成を行う。

【００２９】また、第８の課題を解決するために、本発
明の物体追跡装置は、以下のような構成を備える。即
ち、請求項１記載の物体検出部において、物体長算出部
が物体投影部で作成された物体投影像から物体の長さを
算出し、物体長記憶部が物体長算出部により物体毎に算
出された物体長を個別に記憶する。さらに、請求項１記
載の物体情報算出部において、物体長記憶部に記憶され
た物体の長さ情報と、請求項１記載の移動位置算出部ま
たは請求項３記載の遠距離範囲移動位置算出部により算
出した物体の位置情報を用いて物体の空間占有率を算出
する。

【００３０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、所定の間隔で配置された複数の撮像部と、前記撮像
部より撮像された複数の画像からステレオ画像処理によ
って撮像空間の距離情報を計測する距離計測部と、基準
時刻における距離情報を記憶する距離情報記憶部と、前
記距離計測部より得られた距離情報と前記距離情報記憶
部に記憶された基準時刻における距離情報から物体の進
行方向と観察平面の垂線方向とが成す平面に空間内の特
定領域毎に観察面上の物体像の投影を行う物体投影部
と、前記物体投影部により得られた物体投影像から複数
の物体の領域を個別に検出する物体検出部と、前記物体
検出部により検出された物体毎に距離情報以外の特徴量
を用いてある時刻と次の時刻でマッチングを行って物体
の移動位置を算出する移動位置算出部と、前記移動位置
算出部で選られた結果から所定の位置を通過する物体の
数、物体の移動速度、物体の大きさと物体の異常な動き
を算出する物体情報算出部とを備えたものであり、ステ
レオ画像処理により計測した距離情報を用いて物体を検
出し、かつ、距離情報以外の特徴量を用いて物体を追跡
するので、広範囲にわたって精度良く物体を検出／追跡
できるという作用を有する。

【００３１】本発明の請求項２に記載の発明は、請求項
１記載の物体追跡装置において、移動位置算出部が、検
出された各物体の横幅を個別に算出する横幅算出部と、
前記横幅算出部により算出された物体の横幅から隣接す
る２つの特定領域で検出した物体が同一の物体か判定す
る同一物体判定部とを兼ね備えたものであり、物体の横
幅から隣接する２つの特定領域で検出した物体が同一の
物体か判定するので、隣接する２つの特定領域にまたが
って存在する物体を正確に検出／追跡できるという作用
を有する。

【００３２】本発明の請求項３に記載の発明は、請求項
１または２記載の物体追跡装置において、移動位置算出
部が、物体検出部により検出された物体の位置が撮像部
から近距離か遠距離かを判定する距離判定部と、撮像部
から近距離の範囲で距離情報を特徴量として用いてある
時刻と次の時刻でマッチングを行い物体の移動位置を算
出する近距離範囲移動位置算出部と、撮像部から遠距離
の範囲で距離情報以外の特徴量を用いてある時刻と次の
時刻でマッチングを行い物体の移動位置を算出する遠距
離範囲移動位置算出部とからなるものであり、近距離範
囲においてはステレオ画素処理によって計測した距離情
報を用いて物体の検出／追跡を行なうので、近距離範囲
でも高速かつ精度良く物体を検出／追跡できるという作
用を有する。

【００３３】本発明の請求項４に記載の発明は、請求項
１乃至３のいずれかに記載の物体追跡装置において、移
動位置算出部または遠距離範囲移動位置算出部が、物体
投影部により作成された物体投影像から物体の特徴的な
部分を抽出する物体特徴部分抽出部と、前記物体特徴部
分抽出部により抽出された物体特徴部分が画像に撮像さ
れている位置を算出する特徴部分撮像位置算出部と、前
記特徴部分撮像位置算出部により算出された位置から距
離情報以外の情報をテンプレートとして抽出するテンプ
レート抽出部と、前記テンプレート抽出部により抽出さ
れたテンプレートを記憶するテンプレート記憶部と、前
記テンプレート記憶部に記憶されたテンプレートを用い
てある時刻と次の時刻でマッチングを行い物体の移動位
置を算出するテンプレートマッチング部とからなるもの
であり、ステレオ画像処理により計測した距離情報によ
り物体を検出しテンプレートを抽出するので、テンプレ
ートを正確に過不足なく抽出し、マッチング時の演算量
を削減でき、精度良く物体を追跡できるという作用を有
する。

【００３４】本発明の請求項５に記載の発明は、請求項
４記載の物体追跡装置において、テンプレートマッチン
グ部が、物体検出部により検出された複数の物体の位置
から画像上での物体の重なりを判定する重なり判定部
と、前記重なり判定部で複数の物体が重なっていると判
定された場合にテンプレートを複数の領域に分割するテ
ンプレート分割部と、前記テンプレート分割部により分
割された領域毎にマッチングを行う領域マッチング部
と、前記領域マッチング部により得られた結果に重み付
けをしてテンプレート全体の類似度を算出する類似度算
出部と、前記類似度算出部により算出された結果から物
体の移動位置を決定する移動位置決定部とからなるもの
であり、周辺に存在する他の物体の位置から追跡してい
る物体中で重なって見えなくなる部分を予測し、この部
分のテンプレートの類似度の重みを低くするので、重な
りが生じても継続して物体を追跡できるという作用を有
する。

【００３５】請求項６に記載の発明は、請求項１乃至５
のいずれかに記載の物体追跡装置において、移動位置算
出部または遠距離範囲移動位置算出部が、物体検出部に
より検出された物体の位置から物体の画像上の位置を算
出する物体撮像位置算出部と、前記物体撮像位置算出部
により算出された撮像位置についてエッジ画像を作成し
物体の進行方向に対し垂直な方向に走査してエッジヒス
トグラムを作成するエッジヒストグラム作成部と、前記
エッジヒストグラム作成部により作成されたエッジヒス
トグラムを記憶するエッジヒストグラム記憶部と、前記
エッジヒストグラム記憶部に記憶されたエッジヒストグ
ラムを用いてある時刻と次の時刻でマッチングを行い物
体の移動位置を算出するエッジヒストグラムマッチング
部とからなるものであり、物体領域についてのエッジヒ
ストグラムを過不足なく正確に作成して追跡に用いるこ
とができるので、マッチング時の演算量の削減と精度の
良い物体追跡ができる。

【００３６】請求項７に記載の発明は、請求項１乃至６
のいずれかに記載の物体追跡装置において、距離情報計
測部が、撮像部から撮像された画像から３値化エッジ画
像を作成する３値化エッジ画像作成部と、３値化エッジ
画像作成部により作成された複数の３値化エッジ画像を
対応付けて撮像空間の距離情報を計測する対応付け部と
から成り、前記３値化エッジ画像作成部で作成された３
値化エッジ画像をテンプレート抽出部またはエッジヒス
トグラム作成部で用いるようにしたものであり、ステレ
オ画像処理によって距離情報を計測する時に作成した３
値化から抽出したテンプレートを用いてマッチングを行
なうので、マッチング時の演算量を削減できるという作
用を有する。

【００３７】請求項８に記載の発明は、請求項１乃至７
のいずれかに記載の物体追跡装置において、物体検出部
が、前記物体投影部で作成された物体投影像から物体の
長さを算出する物体長算出部と、前記物体長算出部によ
り物体毎に算出された物体長を個別に記憶する物体長記
憶部を併せ備え、物体情報算出部において、前記物体長
記憶部に記憶された物体の長さ情報と、移動位置算出部
または遠距離範囲移動位置算出部により算出した物体の
位置情報を用いて物体の空間占有率を算出するようにし
たものであり、ステレオ画像処理により計測した物体の
長さ情報を用いて空間占有率を算出するので、俯瞰撮影
する場合でも、また、遠方まで撮影する場合でも正確に
空間占有率を算出できるという作用を有する。

【００３８】以下、本発明に係る物体追跡装置の実施の
形態について、図面を参照して説明する。なお、下記の
（第１の実施の形態）〜（第８の実施の形態）において
は、説明を分かり易くするために、具体的応用例として
交通流計測装置を想定して説明を行なう。

【００３９】（第１の実施の形態）図１は、本発明の第
１の実施の形態の物体追跡装置のブロック図を示したも
のである。図１において、１０１と１０２は所定の間隔
で配置された撮像部、１０３は撮像部１０１と１０２に
より入力された画像から撮像されている物体までの距離
を計測する距離計測部、１０４は基準時刻ｔ０で得られ
る距離情報を記憶しておく距離情報記憶部、１０５は基
準時刻ｔ０以降の時刻で得られる距離情報を、撮像面と
撮像面から車両までの距離を表す三次元座標系から道路
面と道路面からの車両の高さを表す三次元座標系に変換
し、物体を進行方向と観察平面の垂線方向とが成す平面
に投影する物体投影部、１０６は物体投影手段１０５に
より作成された投影像から物体の領域を検出する物体検
出部、１０７は物体検出部１０６により検出された物体
毎に距離情報以外の特徴量を用いてある時刻と次の時刻
でマッチングを行って物体の移動位置を算出する移動位
置算出部、１０８は移動位置算出部１０７で得られた結
果から所定の位置を通過する物体の数、物体の移動速
度、物体の大きさ、物体の空間占有率と物体の異常な動
きを算出する物体情報算出部である。

【００４０】次に上記実施の形態の動作について説明す
る。所定の間隔で配置された撮像部１０１と撮像部１０
２によって撮像された画像は距離計測部１０３に送ら
れ、図２に示すように画像２０１を水平方向及び垂直方
向に複数に分割してなる矩形領域２０３毎に、撮像され
ている物体までの距離が計測される。ステレオ画像処理
による距離計測方法としては、実吉他著「三次元画像認
識技術を用いた運転支援システム」、自動車技術会学術
講演会前刷９２４、ｐｐ．１６９―１７２（１９９２―
１０）や、特開平８−２９４１４３号記載のものなどが
知られている。距離計測部１０３では上述に紹介したよ
うな方法によって、矩形領域毎の距離情報Ｋ（Ｘ、Ｙ）
［ただし、０＜Ｘ≦Ｍ、０＜Ｙ≦Ｎ］が算出される。計
測基準時刻ｔ０に撮像部１０１および１０２により撮像
された画像から計測した距離情報に対し、計測できた矩
形領域の情報を用いて最小二乗法などの方法で撮像され
た平面の位置を推定し、距離計測できなかった矩形領域
の距離を補完した後、距離情報記憶部１０４へ基準時刻
ｔ０における距離情報として出力する。

【００４１】計測基準時刻ｔ０以降の計測時刻ｔ（ｔ＞
ｔ０）に撮像部１０１および１０２により撮像された画
像から計測された距離情報は、そのまま物体投影部１０
５へ出力される。

【００４２】物体投影部１０５では、距離計測部１０３
により計測された距離情報と距離情報記憶部１０４に記
憶されている基準時刻ｔ０における距離情報を用いて、
撮像面と撮像面から物体までの距離という三次元情報
を、道路面と道路面からの物体の高さという三次元情報
に変換する。

【００４３】座標変換の動作の一例を図３を用いて説明
する。図３は、撮像面３０１と撮像面３０１から車両ま
での距離を表す座標系（Ｘ、Ｙ、Ｋ）と道路面３０２と
道路面３０２から車両の高さを表す座標系（Ｕ、Ｖ、
Ｈ）との位置関係を示したものである。

【００４４】矩形領域（Ｘ、Ｙ）に撮像されている車両
の高さＨの算出は、距離計測部１０３により計測された
矩形領域毎の距離をＫ（Ｘ，Ｙ）、基準時刻ｔ０におけ
る矩形領域毎の距離をＫ０（Ｘ，Ｙ）とすると、式１に
より求めることができる。但し、Ｈc はカメラの設置高
を表す。

【００４５】

【数１】 …（式１）

【００４６】また、この矩形領域に撮像されている車両
の進行方向の位置Ｖは、式２により求めることができ
る。但し、θはカメラの俯角を表す。

【００４７】

【数２】 …（式２）

【００４８】車両のＵ軸方向の位置は、Ｕ軸とＸ軸を平
行に設置すれば、式３により求めることができる。但
し、ａおよびｂは使用するカメラと設置する位置によっ
て決定される。 Ｕ＝ａＸ＋ｂ …（式３）

【００４９】以上のように、（式１）〜（式３）を用い
ることにより、撮像面３０１と撮像面３０１から車両ま
での距離を表す座標系（Ｘ、Ｙ、Ｋ）を、道路面３０２
と道路面３０２からの車両の高さを表す座標系（Ｕ、
Ｖ、Ｈ）に変換することができる。

【００５０】さらに、物体投影部１０５では、図２に示
す画像２０１中の各矩形領域２０３に撮像されている車
両が空間内のどの特定領域（交通流計測装置において
は、車線）を走行しているかを判定し、座標変換により
算出された実空間座標系における車両情報を車両の進行
方向と道路面に対して垂直方向とがなす平面（Ｖ―Ｈ平
面）に車線毎に投影し、車両の投影像を作成する。この
ようにして作成された車両の投影像の例を図４に示す。

【００５１】物体検出部１０６では、物体投影部１０５
から出力される車線毎の車両の投影像４０１から車両領
域４０２を決定する。車両領域４０２の決定方法の例と
しては、車両投影像がＶ軸方向に一定以上の大きさがあ
れば車両と判定し、この領域を車両領域とする方法があ
る。さらに、車両投影像４０１から車両の先頭位置また
は後端位置Ｖｒを検出する。ここで、撮像部１０１、１
０２が車両の前方から撮像している場合には先頭位置
を、後方から撮影している場合には後端位置を検出す
る。以降の実施の形態では車両の後端位置を検出する場
合について説明するが、先頭位置を検出する場合も同様
の方法により実現できる。

【００５２】次に、移動位置算出部１０７では、物体検
出部１０６によって決定された車両領域４０２から、撮
像部１０１で撮像された画像上で車両が撮像されている
領域を決定し、車両領域全体または一部から距離情報以
外の特徴量を抽出する。

【００５３】車両領域４０２が画像上で撮像されている
領域を算出する方法の一例を図５を用いて説明する。図
５において、車両の後端部がＶ＝Ｖｒで検出できたとす
ると、撮像部１０１からＶ＝Ｖｒの位置での道路面５０
１までの光軸方向の距離Ｋ＝Ｋｒは、式４により算出で
きる。

【００５４】

【数３】 …（式４）

【００５５】そして、当該車両が走行している車線５０
２が画像上で撮像されている範囲において、道路面まで
の光軸方向の距離がＫ＝Ｋｒとなる画像上の領域Ｙ＝Ｙ
ｒを算出する。光軸方向の距離Ｋと画像上のＹとの関係
は、距離情報記憶部１０４に記憶されている基準時刻ｔ
０における距離情報を参照して知ることができる。図３
において、Ｘ軸とＵ軸を平行にとれば、ＫとＹの関係は
式５で表せる。ここで、Ａ、Ｂ、Ｃはカメラパラメータ
により決定される定数である。

【００５６】 Ｋ＝Ａ／（Ｂ＋ＣＹ） …（式５） したがって、Ｋｒから式５を用いてＹｒを算出すること
ができる。

【００５７】さらに、画像中のＹ＜Ｙｒの範囲において
エッジ画像を作成し、当該車両が走行している車線５０
２が撮像されている範囲内で、Ｘ軸５０３、Ｙ軸５０５
上でエッジヒストグラム５０４、５０６を作成し、この
エッジヒストグラム５０４、５０６が予め定めたしきい
値ＴＨｘ、ＴＨｙを超える範囲Ｘｌ＜Ｘ＜Ｘｒ、Ｙｓ＜
Ｙ＜Ｙｒを車両が撮像されている領域の一部と決定す
る。

【００５８】そして、この領域から追跡に使用する距離
情報以外の特徴量をテンプレートを抽出する。なお、テ
ンプレートとして抽出する特徴量は、画像の輝度情報、
あるいは、微分情報、あるいは、色情報、あるいはそれ
らを組み合わせて使用しても良い。

【００５９】このようにして抽出したテンプレートを用
いてマッチングを行って物体の移動位置を算出する。テ
ンプレートマッチングは、ある時刻ｔの画像から抽出し
たテンプレートと、次の時刻ｔ＋Δｔの画像上の近傍の
領域との類似度を計算し、類似度が最も大きい領域に物
体のテンプレートに対応する部分が移動したとするもの
である。類似度の算出方法は、例えば、テンプレートと
して画像の輝度情報を用いた場合、差分和Ｓとして式６
のように求めることができる。ただし、時刻ｔ＋Δｔの
画像の輝度情報をＧ、テンプレートの輝度情報をＧＴ、
テンプレートのサイズをｍ×ｎとする。

【００６０】

【数４】 …（式６）

【００６１】差分和Ｓが最も小さい領域で類似度が最も
大きいと判定できる。また、テンプレートは２次元の画
像情報であり、時々刻々変化するため、テンプレートマ
ッチング終了後、テンプレートマッチングで最終的に決
定された最も一致する領域でのテンプレートと過去のテ
ンプレートを入れ替えるとよい。

【００６２】最後に、物体情報算出部１０８では、移動
位置算出部１０７により得られた結果から所定の位置を
通過する物体の数を算出し、物体の移動量と移動時間か
ら移動速度を算出し、物体の投影像から物体の大きさを
算出し、物体の移動方向や移動量から物体の異常な動き
を検出する。

【００６３】以上のように本発明の第１の実施の形態に
よれば、従来技術のように比較的近距離範囲のみだけで
なく遠距離範囲においても物体の追跡が精度良く実現可
能となる。

【００６４】（第２の実施の形態）本発明の第２の実施
の形態は、図６に示す構成をしたものである。図６にお
いて、１０１〜１０８は第１の実施の形態および第２の
実施の形態で説明したものと同じである。また、６０１
は物体検出部１０６により検出された各々の物体の移動
位置において個別に物体の横幅を算出する横幅算出部、
６０２は物体検出部１０６により算出された各々の物体
の移動位置と横幅算出部６０１により算出された各々の
物体の横幅から隣接する２つの車線に存在する物体が同
一の物体であるかを判定する同一物体判定部である。

【００６５】次に上記実施の形態の動作について説明す
る。１０１〜１０６は第１の実施の形態で説明したもの
と同様の動作を行う。横幅算出部６０１では、物体検出
部１０６で検出した物体の横幅を算出する。横幅算出部
６０１の動作について図７を用いて説明する。

【００６６】ある時刻で車両が隣接する２つの車線７０
１、７０２にまたがって走行しているとする。このと
き、物体検出部１０６において、車線７０１、７０２上
でそれぞれＹ＝Ｙｒの位置に車両が検出される。そし
て、第１の実施の形態の移動位置算出部１０７で説明し
たものと同じ動作でＸ軸７０３上にエッジヒストグラム
７０４を作成し、画像上での車幅を算出する。図７で
は、車線７０１上で検出した車両の画像上での車幅は
（Ｘ２−Ｘ１）、車線７０２上で検出した車両の車幅は
（Ｘ３−Ｘ２）となる。ここで、Ｙ＝Ｙｒに対応する道
路面の光軸方向の距離をＫ＝Ｋｒとし、画像上での車幅
をＸＷ、画像上でのＸ軸方向の撮像範囲の幅をＸＮとす
ると、実際の車幅Ｗは式７により算出できる。ただし、
Ｃはカメラパラメータにより決定される定数である。

【００６７】

【数５】 …（式７）

【００６８】物体検出部１０６により検出された複数の
車両の実際の車幅を式７を用いて個別に算出しておく。
さらに、同一物体判定部６０２では、横幅算出部６０１
で算出した実際の車幅から、隣接する２つの車線で検出
された車両が同一のものかを判定する。隣接する２つの
車線の同じＹ座標位置または近くのＹ座標位置で車両が
検出された場合、２車線で検出された車両の実際の車幅
の合計を算出する。一般的な車両の車幅は２ｍ程度であ
るから、２車線で検出された車両の車幅の合計が２ｍ程
度であればそれらの車両は同一の車両であると判定で
き、４ｍ程度であれば２台の別々の車両が併走している
ものと判定できる。

【００６９】隣接する２つの車線で検出された車両が同
一のものであると判定された場合、移動位置算出部１０
７では、どちらかの一方の車線で検出された車両の移動
位置を算出し、もう一方の車線で検出された車両は検出
されなかったものとして扱う。

【００７０】以上のように本発明の第２の実施の形態に
よれば、物体の横幅から隣接する２つの車線で検出した
物体が同一の車両か判定するので、２つの車線にまたが
って走行する車両を正確に検出／追跡できる。

【００７１】（第３の実施の形態）図８は、本発明の第
２の実施の形態の物体追跡装置を用いた交通流計測のブ
ロック図を示したものである。図８において、１０１〜
１０６、１０８は第１の実施の形態で説明したものと同
じである。８０１は物体検出部１０６で検出された物体
が撮像部から近い範囲にあるか遠い範囲にあるかを判定
する距離判定部、８０２は物体が撮像部に近い範囲にあ
る場合に物体の移動位置を判定する近距離範囲移動位置
算出部、８０３は物体が撮像部から遠い範囲にある場合
に物体の移動位置を判定する遠距離範囲移動位置算出部
である。

【００７２】次に上記実施の形態の動作について説明す
る。１０１〜１０６は第１の実施の形態で説明したもの
と同じ動作を行う。距離判定部８０１において、車両が
図９における撮像範囲９０１内の近距離範囲９０２に存
在するか遠距離範囲９０３に存在するかを判定し、近距
離範囲９０２に存在する場合は近距離範囲移動位置算出
部８０２の動作を行い、遠距離範囲９０３に存在する場
合は近距離範囲移動位置算出部８０３の動作を行う。

【００７３】図１０を参照しながら近距離範囲移動位置
算出部８０２の動作を説明する。ある時刻に作成された
車両の投影像１００１をＨ０（Ｖ）、車両後端位置１０
０２をＶ０とし、次の時刻で作成された車両の投影像１
００３をＨ１（Ｖ）、車両後端位置１００４をＶ１とす
る。

【００７４】ある時刻の投影像Ｈ０（Ｖ）からＶ＝Ｖ０
近傍の投影像Ｈｐ（Ｖ）を部分投影像１００５として切
り出し、次の時刻の車両の投影像１００３のＶ＝Ｖ１の
近傍の投影像と比較し、相関を計算する。

【００７５】相関の演算方法の一例として差分和を用い
る方法を説明する。ただし、本発明は以下に説明する演
算方法に限定されるものではない。まず、部分投影像１
００５中の後端位置１００６の位置と次の時刻の投影像
１００３の後端位置１００４を合わせて、差分和Ｓ
（Ｖ）を算出する。差分和Ｓ（Ｖ）は式８により算出で
きる。ただし、Ｖｓは部分投影像のＶ軸方向の大きさで
ある。

【００７６】

【数６】 …（式８）

【００７７】次に、部分投影像１００５中の後端位置１
００６の位置をＶ＜Ｖ１の方向に△Ｖずつずらしながら
差分和Ｓ（Ｖ）を順次算出していく。この操作は、後端
位置のずれ量が予め定められた量Ｖｅを超えるまで行わ
れる。さらに、Ｖ＞Ｖ１の方向へも同様の動作が行われ
る。そして、求めた差分和Ｓ（Ｖ）が最も小さくなる位
置を相関が最も高い位置として、この位置を真の車両の
移動位置として決定する。

【００７８】以上のような動作により車両を追跡してい
き、車両が近距離範囲９０２から遠距離範囲９０３に移
動した場合、近距離範囲移動位置算出部８０２の動作は
終了し遠距離範囲移動位置算出部８０３の動作を始め
る。８０３の動作は第１の実施の形態で説明したものと
同じである。

【００７９】以上のように本発明の第３の実施の形態に
よれば、近距離範囲においてステレオ画像処理により計
測した距離情報を用いて物体の追跡を行うので、追跡時
の特徴量マッチングのための演算量が削減でき、広範囲
にわたる物体の追跡を高速かつ精度良く実現できる。

【００８０】（第４の実施の形態）本発明の第４の実施
の形態は、第１の実施の形態で説明した移動位置算出部
１０７または第３の実施の形態で説明した遠距離範囲移
動位置算出部８０３が、図１１に示す構成をしたもので
ある。図１１において、１１０１は物体検出部１０６に
より検出された物体領域の情報をもとに物体の特徴的な
部分を判定する物体特徴部分抽出部、１１０２は物体特
徴部分抽出部１１０１により判定された特徴部分が撮像
部１０１により得られた画像中のどの位置に撮像されて
いるかを算出する特徴部分撮像位置算出部、１１０３は
特徴部分撮像位置算出部１１０２により算出された位置
に基づいてテンプレートを抽出するテンプレート抽出
部、１１０４はテンプレート抽出部１１０３により抽出
されたテンプレートを記憶するテンプレート記憶部、１
１０５はテンプレート記憶部１１０４に記憶されたテン
プレートを用いてテンプレートマッチングを行うテンプ
レートマッチング部である。

【００８１】次に上記実施の形態の動作について説明す
る。まず、物体特徴部分抽出部１１０１では、物体検出
部１０６により決定された車両領域４０２中の車両投影
像４０１から抽出した物体の特徴的な部分を判定する。
物体が車両の場合、例えば、ナンバプレートやテールラ
ンプなどがある車両背面部が特徴的な部分であると判定
することができるので、図１２において車両背面部を車
両特徴部１２０１として車両背面部の高さＨｒとＶ軸方
向の位置Ｖｒを算出する。

【００８２】次に、特徴部分撮像位置算出部１１０２で
は、撮像部１０１により撮像された画像内で車両特徴部
１２０１が撮像されている位置を算出する。図１３にお
いて、車両特徴部１２０１は道路面１３０１のＶｒ＜Ｖ
＜Ｖｔの範囲に対応する画面上の位置に撮像される。こ
のとき、Ｖｔは式９により算出できる。

【００８３】

【数７】 …（式９）

【００８４】ここで、道路面１３０１のＶｒ＜Ｖ＜Ｖｔ
の範囲の撮像部１０１から光軸方向の距離の範囲Ｋｂ＜
Ｋ＜Ｋｔは、第１の実施の形態で説明した式４により算
出できる。また、式５により車両特徴部１００１が画像
上で撮像されているＹ軸方向の範囲Ｙｔ＜Ｙ＜Ｙｂを算
出できる。

【００８５】そして、画像中のＹｔ＜Ｙ＜Ｙｂの範囲に
おいてエッジ画像を作成し、当該車両が走行している車
線１３０２が撮像されている範囲内で、Ｘ軸１３０３上
でエッジヒストグラムを作成し、車両特徴部１２０１が
撮像されている範囲Ｘｌ＜Ｘ＜Ｘｒを決定する。テンプ
レート抽出部１１０３では、特徴部分撮像位置算出部１
１０２により算出された車両特徴部１２０１の位置（Ｘ
ｌ＜Ｘ＜Ｘｒ、Ｙｔ＜Ｙ＜Ｙｂ）から追跡に使用するテ
ンプレートを抽出し、テンプレート記憶部１１０４に出
力する。

【００８６】最後に、テンプレートマッチング部１１０
５では、テンプレートを抽出した時刻以降の時刻で、テ
ンプレート記憶部１１０４に記憶されているテンプレー
トを用いてマッチングを行い物体の移動位置を算出す
る。

【００８７】以上のように本発明の第４の実施の形態に
よれば、追跡に必要なテンプレートを可不足なく正確に
抽出できるので、マッチング時の演算量の削減と精度の
良い物体追跡が実現できる。

【００８８】（第５の実施の形態）本発明の第５の実施
の形態は、第４の実施の形態で説明したテンプレートマ
ッチング部１１０５が、図１４に示す構成をしたもので
ある。図１４において、１４０１は物体検出部１０６に
より検出された複数の物体の位置から画像上での物体の
重なりを判定する重なり判定部、１４０２は重なり判定
部１４０１で複数の物体が重なっていると判定された場
合にテンプレートを複数の領域に分割するテンプレート
分割部、１４０３はテンプレート分割部１４０２により
分割された領域毎にマッチングを行う領域マッチング
部、１４０４は領域マッチング部１４０３により得られ
た結果に重み付けをしてテンプレート全体の類似度を算
出する類似度算出部、１４０５は類似度算出部１４０４
により算出された結果から物体の移動位置を決定する移
動位置決定部である。

【００８９】次に上記実施の形態の動作について説明す
る。まず、重なり判定部１４０１では、１つの車線に車
両が複数台走行している場合に、追跡中の車両のテンプ
レートに対応する部分の一部が、後ろを走行する車両に
隠されて画像上では見えなくなるかを判定する。図１５
において、ある時刻ｔに、ある車線を２台の車両１５０
１、１５０２が走行しており、車両１５０１の後端位置
がＶ１、車高がＨ１、車両１５０２の後端位置がＶ２、
車高がＨ２、車両長がＬ２であったとする。このとき、
式１０を満たす時、車両１５０１の車両特徴部１２０１
が隠れて見えなくなる。

【００９０】

【数８】 …（式１０）

【００９１】また、隠れる領域１５０３の高さＨ１Ｂ
は、式１１より算出することができる。

【００９２】

【数９】 …（式１１）

【００９３】さらに、第３の実施の形態に記載した方法
と同様にして、画像上で見える領域１５０４と隠れる領
域１５０３の境界部が撮像されている位置のＹ座標を算
出することができる。

【００９４】次の時刻ｔ＋Δｔの画像上で類似する領域
を探索する時には、図１６のように時刻ｔで抽出したテ
ンプレート１６０１を画像上で隠れる領域１５０３と見
える領域１５０４の２つに分割し、分割領域毎に探索す
る周辺領域との類似度を算出する。そして、画像上で見
える領域１５０４での類似度をＳ１、画像上で隠れる領
域１５０３の類似度をＳ２として、Ｓ１とＳ２に対して
重み付けをして、式１２のようにテンプレート全体の類
似度を算出する。 Ｓ＝α１×Ｓ１＋α２×Ｓ２ …（式１２） 画像上で隠れる領域１５０３部分のテンプレートには追
跡中の物体とは異なる物体が撮像されているため、テン
プレートマッチングに用いるのは適当でない。従って、
α２＝０または０に近い値にする。

【００９５】なお、本実施の形態では、テンプレートを
２つの領域に分割する方法について説明したが、３つ以
上の領域に分割してもよい。その場合、テンプレートの
上部にある領域の重みを大きくし、下部にある領域の重
みを小さく設定するとよい。

【００９６】以上のように、本発明の第５の実施の形態
によれば、テンプレートの隠れた部分から得られる類似
度の重みを小さくするので、画像上で複数の物体が重な
り物体の一部が見えなくなっても、継続して精度良く物
体が追跡が行える。

【００９７】（第６の実施の形態）本発明の第６の実施
の形態は、第１の実施の形態で説明した移動位置算出部
１０７または第３の実施の形態で説明した遠距離範囲移
動位置算出部８０３が、図１７に示す構成をしたもので
ある。図１７において、１７０１は物体検出部１０６に
より検出された物体の領域が画像上で撮像されている位
置を算出する物体撮像位置算出部、１７０２は物体撮像
位置算出部１７０１により算出された撮像位置について
エッジ画像を作成し物体の進行方向に対し垂直な方向に
走査してエッジヒストグラムを作成するエッジヒストグ
ラム作成部、１７０３はエッジヒストグラム作成部１７
０２により作成されたエッジヒストグラムを記憶するエ
ッジヒストグラム記憶部、１７０４はエッジヒストグラ
ム記憶部１７０３に記憶されたエッジヒストグラムを用
いてある時刻と次の時刻でマッチングを行い物体の移動
位置を算出するエッジヒストグラムマッチング部であ
る。

【００９８】次に上記実施の形態の動作について説明す
る。まず、物体撮像位置算出部１７０１では、第１の実
施の形態で説明した方法で、車両の後端位置が画像上で
撮像されているＹ軸方向の位置Ｙｒを算出する。さら
に、エッジヒストグラム作成部１７０２では、Ｙ＜Ｙｒ
でエッジ画像を作成しＸ軸方向に走査して図５のＹ軸上
５０５のエッジヒストグラム５０６を作成する。そし
て、エッジヒストグラム記憶部１７０３ではエッジヒス
トグラム作成部１７０２で作成したエッジヒストグラム
５０６を記憶する。

【００９９】次に、エッジヒストグラムマッチング部１
７０４において、エッジヒストグラム記憶部１７０３に
記憶されたエッジヒストグラムを用いてマッチングを行
い車両の移動位置を算出する。マッチング方法は、第３
の実施の形態で説明した近距離範囲移動位置算出部８０
２の動作における投影像から移動位置を算出する方法と
同様の方法で実現できる。ただし、エッジヒストグラム
のマッチングでは、投影像のＶ軸がＹ軸になり、投影像
の高さＨがエッジ画素数になる。

【０１００】以上のように、本発明の第６の実施の形態
によれば、距離情報により検出した物体領域からエッジ
ヒストグラムを作成して物体の追跡を行うので、物体領
域のみのエッジヒストグラムを正確に作成でき、マッチ
ング時の演算量削減と精度の良い物体の追跡が実現でき
る。

【０１０１】（第７の実施の形態）本発明の第７の実施
の形態は、図１８に示す構成をしたものである。図１８
において、１０１、１０２、１０４〜１０８は第１の実
施の形態で説明したものと同じであり、１１０１〜１１
０５は、第４の実施の形態で説明したものと同じであ
る。また、１８０１は撮像部から撮像された画像から３
値化エッジ画像を作成する３値化エッジ画像作成部、１
８０２は３値化エッジ画像作成部により作成された複数
の３値化エッジ画像を対応付けて撮像空間の距離情報を
計測する対応付け部である。

【０１０２】次に上記の実施の形態の動作について説明
する。まず、撮像部１０１、１０２により撮像された画
像から３値化エッジ画像作成部１８０１でエッジ画像を
作成する。対応付け部１８０２では３値化エッジ画像作
成部１８０１で作成されたエッジ画像を対応付けること
により距離情報を計測する。３値化エッジ画像を対応付
けて距離情報を計測する方法の一例としては、特開平８
−２９４１４３に記載されたものがある。本技術では、
撮像された画像を複数の周波数成分画像に展開するとと
もに各周波数成分画像に対して２次微分処理を施し、こ
の２次微分処理を施された各画像それぞれに画素毎に３
値化処理をすることによって３値化画像を作成する。そ
して、基準とする一方の３値化周波数成分画像上にサイ
ズＮの１次元ウィンドウを設定し、前記一次元ウィンド
ウ内Ｎ画素の３値パターンと類似する領域をもう一方の
画像の３値化周波数成分画像中より探索し、対応領域を
決定する。さらに、画像全体をＭ×Ｎ画素の大きさのブ
ロックに分割し、各ブロックに含まれる１次元ウィンド
ウの対応領域を参照して、ブロックの対応領域を決定し
ている。

【０１０３】距離情報記憶部１０４、物体投影部１０
５、物体検出部１０６、物体特徴部分検出部１１０１
は、第１の実施の形態または第４の実施の形態で説明し
たものと同様の動作を行う。 特徴部分撮像位置検出部
１１０２では車両の特徴部が画像上で撮像されている領
域を算出し、テンプレート１１０３では３値化エッジ画
像作成部１８０１で作成したエッジ画像上の車両特徴部
が撮像されている領域をテンプレートとして抽出する。
その後、テンプレート記憶部１１０４、テンプレートマ
ッチング部１１０５、物体情報算出部１０８は第１の実
施の形態および第４の実施の形態で説明したものと同様
の動作を行う。なお、本実施の形態では、３値化エッジ
画像作成部で作成された３値化エッジ画像を請求項４記
載のテンプレート抽出部で用いる場合について説明した
が、請求項６記載のエッジヒストグラム作成部で用いる
場合も同様の動作で実現できる。

【０１０４】以上のように、本発明の第７の実施の形態
によれば、ステレオ画像処理によって距離情報を計測す
る時に作成した３値化エッジ画像から抽出したテンプレ
ートを用いてマッチングを行なうので、マッチング時の
演算量の削減とマッチング精度の向上が実現できる。

【０１０５】（第８の実施の形態）本発明の第８の実施
の形態は、図１９に示す構成をしたものである。図１９
において、１０１〜１０８は第１の実施の形態で説明し
たものと同じであり、１９０１は物体検出部１０６によ
り検出された物体の領域の長さを算出する物体長算出
部、１９０２は物体長算出部１９０１により検出された
物体長を記憶する物体長記憶部である。

【０１０６】次に上記実施の形態の動作について説明す
る。まず、１０１〜１０６は第１の実施の形態で説明し
たものと同様の動作を行い、物体の存在する領域を検出
する。物体長算出部１９０１では、検出された物体の投
影像から物体の長さを算出する。ここで、物体の長さは
物体投影像のＶ軸方向の長さとして算出できる。物体長
記憶部１９０２では、検出した各車両について個別に物
体長を記憶しておく。そして、移動位置算出部１０７で
は、検出した各車両を個別に追跡し移動位置を算出す
る。

【０１０７】次に、物体情報算出部１０８の動作につい
て、図２０を参照しながら説明する。ある時刻に、移動
位置算出部１０７において３台の車両（車両Ａ２００
１、車両Ｂ２００２、車両Ｃ２００３）の移動位置が算
出できたとする。そして、車両Ａ、Ｂ、Ｃの位置がそれ
ぞれＶ＝Ｖ１、Ｖ２、Ｖ３で検出でき、物体長記憶部１
９０２に記憶されている車両Ａ、Ｂ、Ｃの車両長がそれ
ぞれＬ＝Ｌ１、Ｌ２、Ｌ３とする。

【０１０８】画像に撮像されている範囲のうち、Ｖｓ＞
Ｖ＞Ｖｅの範囲を空間占有率の計測範囲２００４とす
る。ここで、計測範囲２００４は撮像範囲全域でもよい
し、撮像範囲の一部でもよい。このとき、Ｖｓ＞Ｖ１、
Ｖ２、Ｖ３＞Ｖｅであれば、空間占有率は式１３により
算出できる。 空間占有率＝（Ｌ１＋Ｌ２＋Ｌ３）／（Ｖｓ−Ｖｅ） …（式１３）

【０１０９】また、Ｖｓ＞Ｖ＞Ｖｅの範囲内に車両がＮ
台存在する場合、同様にして、空間占有率は（数１４）
で算出できる。 空間占有率＝（Ｌ１＋Ｌ２＋・・・＋ＬＮ）／（Ｖｓ−Ｖｅ） …（式１４）

【０１１０】なお、本実施の形態では、物体情報算出部
において、物体長記憶部に記憶された物体の長さ情報
と、請求項１記載の移動位置算出部により算出した物体
の位置情報を用いて物体の空間占有率を算出したが、請
求項３記載の遠距離範囲移動位置算出部により算出した
物体の位置情報を用いて空間占有率を算出する場合も同
様の動作で実現できる。

【０１１１】以上のように、本発明の第８の実施の形態
によれば、ステレオ画像処理により計測した物体の長さ
情報を用いて空間占有率を算出するので、俯瞰撮影する
場合でも、また、遠方まで撮影する場合でも精度良く空
間占有率を算出できる。

【０１１２】

【発明の効果】以上説明したように本発明に係る物体追
跡装置によれば、以下の効果を有する。ステレオ画像処
理により計測した距離情報を用いて物体を検出し、距離
情報以外の特徴量を用いて物体を追跡することで、広範
囲にわたる物体の追跡を精度良く実現できる。

【０１１３】物体の実際の横幅を算出して隣接する２つ
の特定領域で検出した物体が同一の車両か判定すること
で、２つの特定領域にまたがって存在している物体を正
確に検出／追跡できる。

【０１１４】近距離範囲においてはステレオ画像処理に
よって計測した距離情報を用いて物体の追跡を行い、遠
距離範囲においては距離情報以外の特徴量を用いて物体
を追跡することで、広範囲にわたる物体の追跡を高速か
つ精度良く実現できる。

【０１１５】物体投影像から物体の特徴的な部分を判定
し、画像上で特徴的な部分が撮像されている領域を算出
して、テンプレートを抽出することで、追跡に必要なテ
ンプレートを過不足なく正確にでき、テンプレートマッ
チング時の演算量削減と精度の良い物体追跡が実現でき
る。

【０１１６】追跡中の物体の周辺に存在する他の物体の
位置から追跡している物体のテンプレート上で重なって
見えなくなる部分を予測し、テンプレートマッチング時
にこの部分のテンプレートの類似度の重みを低くするこ
とで、重なりが生じても物体の追跡を継続できる。

【０１１７】ステレオ画像処理により検出した物体の領
域からエッジヒストグラムを作成して物体追跡を行うの
で、追跡に必要なエッジヒストグラムを正確に過不足な
く作成でき、エッジヒストグラムマッチング時の演算量
削減と精度の良い物体の追跡が実現できる。

【０１１８】ステレオ画像処理により距離情報を計測す
る時に作成した３値化エッジ画像から抽出したテンプレ
ートまたはエッジヒストグラムを用いてマッチングを行
うので、新たなエッジ画像を作成する必要がなく追跡時
の演算量が削減でき、さらに、３値化エッジ画像からテ
ンプレートを抽出するので精度良く追跡できる。

【０１１９】ステレオ画像処理により計測した物体の長
さ情報を用いて空間占有率を算出することで、俯瞰撮影
する場合でも、遠距離範囲を撮影する場合でも、精度良
く空間占有率を算出できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における物体追跡装
置の構成を示すブロック図

【図２】本発明の第１の実施の形態における画像中の矩
形領域と画素の関係を表す模式図

【図３】本発明の第１の実施の形態における（Ｘ、Ｙ、
Ｋ）座標系と（Ｕ、Ｖ、Ｈ）座標系の関係を示す模式図

【図４】本発明の第１の実施の形態における車両投影像
と車両領域を示す模式図

【図５】本発明の第１の実施の形態における物体撮像位
置の算出方法を示す説明図

【図６】本発明の第２の実施の形態における物体追跡装
置の構成を示すブロック図

【図７】本発明の第２の実施の形態における２つの車線
をまたがって走行する車両を説明する模式図

【図８】本発明の第３の実施の形態における物体追跡装
置の構成を示すブロック図

【図９】本発明の第３の実施の形態における近距離範囲
と遠距離範囲の関係を示す模式図

【図１０】本発明の第３の実施の形態における投影像の
追跡装置の説明図

【図１１】本発明の第４の実施の形態における物体追跡
装置の構成を示すブロック図

【図１２】本発明の第４の実施の形態における車両投影
像と車両特徴部の関係を示す模式図

【図１３】本発明の第４の実施の形態における物体特徴
部の撮像位置算出方法の説明図

【図１４】本発明の第５の実施の形態における物体追跡
装置の構成を示すブロック図

【図１５】本発明の第５の実施の形態における車両の重
なりを説明する模式図

【図１６】本発明の第５の実施の形態におけるテンプレ
ートの分割を説明する模式図

【図１７】本発明の第６の実施の形態における物体追跡
装置の構成を示すブロック図

【図１８】本発明の第７の実施の形態における物体追跡
装置の構成を示すブロック図

【図１９】本発明の第８の実施の形態における物体追跡
装置の構成を示すブロック図

【図２０】本発明の第８の実施の形態における車両の空
間占有率の算出方法の説明図

【符号の説明】

１０１，１０２ 撮像部 １０３ 距離計測部 １０４ 距離情報記憶部 １０５ 物体投影部 １０６ 物体検出部 １０７ 移動位置算出部 １０８ 物体情報算出部 ２０１ 左画像 ２０２ 画素 ２０３ 矩形領域 ３０１ 撮像面 ３０２ 道路面 ４０１ 投影像 ４０２ 車両領域 ５０１ 道路面 ５０２ 車線 ５０３ Ｘ軸 ５０４，５０６ エッジヒストグラム ５０５ Ｙ軸 ６０１ 横幅算出部 ６０２ 同一物体判定部 ７０１，７０２ 車線 ７０３ Ｘ軸 ７０４ エッジヒストグラム ８０１ 距離判定部 ８０２ 近距離範囲移動位置算出部 ８０３ 遠距離範囲移動位置算出部 ９０１ 撮像範囲 ９０２ 近距離範囲 ９０３ 遠距離範囲 １００１ 投影像 １００２ 後端位置 １００３ 次の時刻の投影像 １００４ 次の時刻の後端位置 １００５ 部分投影像 １００６ 部分投影像の後端位置 １１０１ 物体特徴部分抽出部 １２０２ 特徴部分撮像位置算出部 １２０３ テンプレート抽出部 １２０４ テンプレート記憶部 １２０５ テンプレートマッチング部 １２０１ 車両特徴部 １３０１ 道路面 １３０２ 車線 １３０３ Ｘ軸 １３０４ エッジヒストグラム １４０１ 重なり判定部 １４０２ テンプレートマッチング部 １４０３ 領域マッチング部 １４０４ 類似度算出部 １４０５ 移動位置決定部 １５０１，１５０２ 車両 １５０３ 隠れる領域 １５０４ 見える領域 １６０１ テンプレート １７０１ 物体撮像位置算出部 １７０２ エッジヒストグラム作成部 １７０３ エッジヒストグラム記憶部 １７０４ エッジヒストグラムマッチング部 １８０１ ３値化エッジ画像作成部 １８０２ 対応付け部 １９０１ 物体長算出部 １９０２ 物体長記憶部 ２００１ 車両Ａ ２００２ 車両Ｂ ２００３ 車両Ｃ ２００４ 計測範囲

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０１Ｐ 3/36 Ｇ０１Ｐ 3/36 Ｃ Ｇ０１Ｓ 3/786 Ｇ０１Ｓ 3/786 Ｇ０６Ｔ 7/00 Ｈ０４Ｎ 5/232 Ｃ 7/20 Ｇ０６Ｆ 15/62 ４１５ Ｈ０４Ｎ 5/232 15/70 ４１０

Claims (8)

【特許請求の範囲】
1. 【請求項１】 所定の間隔で配置された複数の撮像部
   と、前記撮像部で撮像された複数の画像からステレオ画
   像処理によって撮像空間の距離情報を計測する距離計測
   部と、基準時刻における距離情報を記憶する距離情報記
   憶部と、前記距離計測部より得られた距離情報と前記距
   離情報記憶部に記憶された基準時刻における距離情報か
   ら物体の進行方向と観察平面の垂線方向とが成す平面に
   空間内の特定領域毎に観察面上の物体像の投影を行う物
   体投影部と、前記物体投影部により得られた物体投影像
   から複数の物体の領域を個別に検出する物体検出部と、
   前記物体検出部により検出された物体毎に距離情報以外
   の特徴量を用いてある時刻と次の時刻でマッチングを行
   って物体の移動位置を算出する移動位置算出部と、前記
   移動位置算出部で得られた結果から所定の位置を通過す
   る物体の数、物体の移動速度、物体の大きさと物体の異
   常な動きを算出する物体情報算出部とを備えた物体追跡
   装置。
2. 【請求項２】 物体検出部が、物体検出部により検出さ
   れた複数の物体の横幅を個別に算出する横幅算出部と、
   前記横幅算出部により算出された物体の横幅から隣接す
   る２つの特定領域で検出した物体が同一の物体か判定す
   る同一物体判定部とを備えた請求項１記載の物体追跡装
   置。
3. 【請求項３】 移動位置算出部が、物体検出部により検
   出された物体の位置が撮像部から近距離か遠距離かを判
   定する距離判定部と、撮像部から近距離の範囲で距離情
   報を特徴量として用いてある時刻と次の時刻でマッチン
   グを行い物体の移動位置を算出する近距離範囲移動位置
   算出部と、撮像部から遠距離の範囲で距離情報以外の特
   徴量を用いてある時刻と次の時刻でマッチングを行い物
   体の移動位置を算出する遠距離範囲移動位置算出部とか
   らなる請求項１または請求項２記載の物体追跡装置。
4. 【請求項４】 移動位置算出部、または遠距離範囲移動
   位置算出部が、物体投影部により作成された物体投影像
   から物体の特徴的な部分を抽出する物体特徴部分抽出部
   と、前記物体特徴部分抽出部により抽出された物体特徴
   部分が画像に撮像されている位置を算出する特徴部分撮
   像位置算出部と、前記特徴部分撮像位置算出部により算
   出された位置から距離情報以外の情報をテンプレートと
   して抽出するテンプレート抽出部と、前記テンプレート
   抽出部により抽出されたテンプレートを記憶するテンプ
   レート記憶部と、前記テンプレート記憶部に記憶された
   テンプレートを用いてある時刻と次の時刻でマッチング
   を行い物体の移動位置を算出するテンプレートマッチン
   グ部とからなる請求項１、請求項２または請求項３のい
   ずれかに記載の物体追跡装置。
5. 【請求項５】 テンプレートマッチング部が、物体検出
   部により検出された複数の物体の位置から画像上での物
   体の重なりを判定する重なり判定部と、前記重なり判定
   部で複数の物体が重なっていると判定された場合にテン
   プレートを複数の領域に分割するテンプレート分割部
   と、前記テンプレート分割部により分割された領域毎に
   マッチングを行う領域マッチング部と、前記領域マッチ
   ング部により得られた結果に重み付けをしてテンプレー
   ト全体の類似度を算出する類似度算出部と、前記類似度
   算出部により算出された結果から物体の移動位置を決定
   する移動位置決定部とからなる請求項４記載の物体追跡
   装置。
6. 【請求項６】 移動位置算出部または遠距離範囲移動位
   置算出部が、物体検出部により検出された物体の位置か
   ら物体の画像上の位置を算出する物体撮像位置算出部
   と、前記物体撮像位置算出部により算出された撮像位置
   についてエッジ画像を作成し物体の進行方向に対し垂直
   な方向に走査してエッジヒストグラムを作成するエッジ
   ヒストグラム作成部と、前記エッジヒストグラム作成部
   により作成されたエッジヒストグラムを記憶するエッジ
   ヒストグラム記憶部と、前記エッジヒストグラム記憶部
   に記憶されたエッジヒストグラムを用いてある時刻と次
   の時刻でマッチングを行い物体の移動位置を算出するエ
   ッジヒストグラムマッチング部とからなる請求項１、請
   求項２または請求項３のいずれかに記載の物体追跡装
   置。
7. 【請求項７】 距離情報計測部が、撮像部から撮像され
   た画像から３値化エッジ画像を作成する３値化エッジ画
   像作成部と、３値化エッジ画像作成部により作成された
   複数の３値化エッジ画像を対応付けて撮像空間の距離情
   報を計測する対応付け部とからなり、前記３値化エッジ
   画像作成部で作成された３値化エッジ画像をテンプレー
   ト抽出部またはエッジヒストグラム作成部で用いる請求
   項１、請求項２、請求項３、請求項４、請求項５または
   請求項６のいずれかに記載の物体追跡装置。
8. 【請求項８】 物体検出部が、物体投影部で作成された
   物体投影像から物体の長さを算出する物体長算出部と、
   前記物体長算出部により物体毎に算出された物体長を個
   別に記憶する物体長記憶部を併せ備え、物体情報算出部
   において、前記物体長記憶部に記憶された物体の長さ情
   報と、移動位置算出部または遠距離範囲移動位置算出部
   により算出した物体の位置情報を用いて物体の空間占有
   率を算出する請求項１、請求項２、請求項３、請求項
   ４、請求項５、請求項６または請求項７のいずれかに記
   載の物体追跡装置。