JP2004171189A - 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム - Google Patents
移動物体検出装置、移動物体検出方法及び移動物体検出プログラム Download PDFInfo
- Publication number
- JP2004171189A JP2004171189A JP2002334970A JP2002334970A JP2004171189A JP 2004171189 A JP2004171189 A JP 2004171189A JP 2002334970 A JP2002334970 A JP 2002334970A JP 2002334970 A JP2002334970 A JP 2002334970A JP 2004171189 A JP2004171189 A JP 2004171189A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- target
- distance
- image
- target distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】移動カメラで撮像した画像において、撮像した画像上に複数の物体が隣接した場合でも、個別に物体を検出することを可能にした移動物体検出装置、移動物体検出方法及び移動物体検出プログラムを提供する。
【解決手段】移動物体検出装置１は、撮像対象までの距離情報を埋め込んだ距離画像と、移動物体の動きを動き情報として埋め込んだ差分画像とから、対象距離設定部２１が、最も多く動いた移動物体までの距離を求め、対象距離画像生成部２２が、その距離に対応する対象距離画像を生成し、輪郭抽出部２４が、対象距離画像の中で輪郭を抽出することにより、移動物体を検出することを特徴とする。
【選択図】 図１
【解決手段】移動物体検出装置１は、撮像対象までの距離情報を埋め込んだ距離画像と、移動物体の動きを動き情報として埋め込んだ差分画像とから、対象距離設定部２１が、最も多く動いた移動物体までの距離を求め、対象距離画像生成部２２が、その距離に対応する対象距離画像を生成し、輪郭抽出部２４が、対象距離画像の中で輪郭を抽出することにより、移動物体を検出することを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラによって撮像された画像から、その画像上に存在する移動物体を検出する移動物体検出装置、移動物体検出方法及び移動物体検出プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する物体を検出する技術としては、例えば、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が存在する。なお、この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジを検出し、輪郭モデルをそのエッジに連結させることで移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照。）。
【０００３】
また、移動カメラで撮像した画像から移動物体を検出する技術としては、時間的に連続する画像の輝度情報から移動カメラの動きを解析し、その動きを背景の動きであると仮定し、連続する画像の差分と背景の動きとに基づいて、移動物体の領域を検出し、輪郭として抽出する技術が存在する（例えば、非特許文献１参照。）。
【０００４】
【特許文献１】
特開平８−３２９２５４号公報（第７頁、第９−１０図）
【非特許文献１】
松岡，荒木，山澤，竹村，横矢，「移動カメラ画像からの移動物体輪郭の抽出・追跡とＤＳＰによる実時間処理」、社団法人 電子情報通信学会、信学技報、ＰＲＭＵ９７−２３５、１９９８
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、第１の例である、輪郭モデルを連続する画像から検出されるエッジに連結することで移動物体の輪郭を抽出して物体を検出する技術では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００６】
また、前記従来の技術において、第２の例である、移動カメラによって移動物体を検出する技術では、移動カメラで撮像された画像全体を輪郭抽出の対象領域として処理を行うため、計算量が多くなり、実時間で移動物体の輪郭を逐次抽出するためには高速の演算装置が必要になるという問題がある。さらに、前記第１の例と同様に、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動カメラで撮像した画像であっても、移動物体の輪郭抽出を行う演算処理を軽減し、また、撮像した画像上に複数の物体が隣接した場合でも、個別に物体を検出することを可能にした移動物体検出装置、移動物体検出方法及び移動物体検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の移動物体検出装置は、同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、を備える構成とした。
【０００９】
かかる構成によれば、移動物体検出装置は、距離情報生成手段によって、複数の撮像画像の視差に基づいて、撮像対象までの距離を距離情報として生成する。例えば、複数の撮像画像から視差が検出された画素において、その視差の大きさ（視差量）を、撮像対象までの視差（距離）として各画素毎に埋め込んだ距離画像（距離情報）を生成する。
【００１０】
また、移動物体検出装置は、動き情報生成手段によって、複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、移動物体の動きを動き情報として生成する。例えば、時系列に入力される２枚の撮像画像の差分をとって、値が“０”でない画素値をすべて“１”にした差分画像を移動物体の動き情報として生成する。
【００１１】
そして、移動物体検出装置は、対象距離設定手段によって、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００１２】
また、移動物体検出装置は、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定手段によって、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。例えば、対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域とする。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００１３】
また、請求項２に記載の移動物体検出装置は、請求項１に記載の移動物体検出装置において、前記対象距離設定手段が、距離毎に動きがあった画素の累積値を求め、その累積値に基づいて、前記移動物体が存在する対象距離を設定することを特徴とする
【００１４】
かかる構成によれば、移動物体検出装置は、対象距離設定手段によって、距離情報に含まれる視差（距離）毎に、動き情報に含まれる動きのあった画素値を累計（ヒストグラム化）し、その累計値が最も多くなる視差（距離）に、最も動き量の多い移動物体が存在していると判定し、その視差（距離）を対象距離として設定する。このように、画素を累計するという簡単な動作で対象と距離を設定することができ、処理を高速化することができる。
【００１５】
さらに、請求項３に記載の移動物体検出装置は、請求項１又は請求項２に記載の移動物体検出装置において、前記対象距離画像生成手段が、少なくとも前記対象距離を基準として奥行き方向の所定範囲内に存在する画素からなる対象距離画像を生成することを特徴とする。
【００１６】
かかる構成によれば、移動物体検出装置は、対象距離画像生成手段によって、例えば、対象距離を基準とした奥行き方向（前後方向）で、予め定めた範囲（所定範囲）内に存在する画素のみを抽出することで対象距離画像を生成する。これによって、同一方向に複数移動物体が存在していても、その中から対象距離に存在する移動物体を特定した対象距離画像を生成することができる。
【００１７】
また、請求項４に記載の移動物体検出装置は、請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置において、前記対象領域設定手段が、前記対象距離画像内における垂直方向の画素量に基づいて、その画素量のピークから水平方向の所定範囲内に対象領域を設定することを特徴とする。
【００１８】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、対象距離画像内における移動物体の垂直方向の画素量に基づいて、移動物体の水平方向の位置を特定する。例えば、移動物体の垂直方向の画素量が最も多い箇所（ピーク）を、水平方向における移動物体の中心として、その中心から所定範囲を移動物体の存在領域として設定する。これによって、同一距離に複数の移動物体が存在している場合でも、その中の一つを検出することができる。
【００１９】
さらに、請求項５に記載の移動物体検出装置は、請求項１乃至請求項４のいずれか１項に記載の移動物体検出装置において、前記対象領域設定手段が、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする。
【００２０】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、撮像手段であるカメラのチルト角や、そのカメラの基準となる設置面からの高さ等のカメラパラメータに基づいて、移動物体の垂直方向の存在領域の範囲を設定する。例えば、移動物体の高さを特定の大きさ（人間であれば２ｍ等）に定めることで、その大きさとカメラパラメータとに基づいて、移動物体が対象距離画像内のどの範囲に位置するかを特定することができる。
【００２１】
また、請求項６に記載の移動物体検出装置は、請求項１乃至請求項５のいずれか１項に記載の移動物体検出装置において、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする。
【００２２】
かかる構成によれば、移動物体検出装置は、エッジ画像生成手段によって、撮像画像の色情報又は濃淡情報から、撮像画像のエッジを抽出したエッジ画像を生成する。例えば、撮像画像の明るさ（輝度）に基づいて、その明るさが大きく変化する部分をエッジとして検出することで、エッジのみからなるエッジ画像を生成する。なお、撮像画像がカラー画像で、移動物体を人物として特定する場合は、例えば、人物の顔の色（肌色）等を色情報として検出することで、エッジを検出することも可能である。
【００２３】
そして、移動物体検出装置は、対象距離画像生成手段によって、エッジ画像から対象距離の範囲内に存在する対象距離画像を生成する。これによって、輪郭抽出手段が対象距離画像から輪郭を抽出する際に、エッジを検出する動作を省くことができる。
【００２４】
さらに、請求項７に記載の移動物体検出装置は、請求項１乃至請求項６のいずれか１項に記載の移動物体検出装置において、前記輪郭抽出手段で抽出された輪郭の内部領域を、前記移動物体の抽出済領域として、前記距離情報を更新する距離情報更新手段を備えたことを特徴とする。
【００２５】
かかる構成によれば、移動物体検出装置は、距離情報更新手段によって、輪郭抽出手段で抽出された輪郭の内部領域を、すでに移動物体の輪郭を抽出した抽出済領域とすることで、距離情報を更新する。これにより、すでに抽出された移動物体の情報が距離情報から削除されることになるので、別の移動物体を順次検出することが可能になる。
【００２６】
さらに、請求項８に記載の移動物体検出方法は、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、この対象領域設定ステップで設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、を含んでいることを特徴とする。
【００２７】
この方法によれば、移動物体検出方法は、対象距離設定ステップにおいて、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、複数の撮像手段の中の少なくとも一つの撮像手段で時系列に入力される撮像画像に基づいて生成された動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２８】
そして、対象距離画像生成ステップにおいて、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定ステップにおいて、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出ステップにおいて、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００２９】
また、請求項９に記載の移動物体検出プログラムは、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、以下の手段によって機能させる構成とした。
【００３０】
すなわち、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、とした。
【００３１】
かかる構成によれば、移動物体検出プログラムは、対象距離設定手段によって、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００３２】
そして、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成し、対象領域設定手段によって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込んだ対象領域を設定する。
そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態］
（移動物体検出装置の構成）
図１は、本発明における第一の実施の形態である移動物体検出装置１の構成を示したブロック図である。図１に示すように移動物体検出装置１は、２台のカメラ（撮像手段）２で撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力されたカメラ画像を解析する入力画像解析手段１０と、解析されたカメラ画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。
【００３４】
入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２（撮像手段：２ａ、２ｂ）から同期して入力されるカメラ画像（撮像画像）を解析して、距離情報を含んだ距離画像と動き情報を含んだ差分画像とを生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２とで構成した。
【００３５】
距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚のカメラ画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。
【００３６】
この距離情報生成部１１では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（基準撮像画像）と、左カメラ２ｂで撮像されたカメラ画像（同時刻撮像画像）とで、特定の大きさのブロック（例えば１６×１６画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
【００３７】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｄ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３８】
Ｄ＝Ｂ×ｆ／Ｚ …（１）
【００３９】
動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚のカメラ画像の差分に基づいて、カメラ画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
【００４０】
この動き情報生成部１２では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で時系列（時刻ｔ及び時刻ｔ＋１）に撮像された２枚のカメラ画像の差分をとる。そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００４１】
なお、カメラ２を移動カメラとし、撮像されたカメラ画像内の背景が変化する場合は、カメラ２からカメラ画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋１のカメラ画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋１において、動きのあった画素のみを検出する。
【００４２】
ここで、図４を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、及び動き情報生成部１２で生成される差分画像の内容について説明する。図４は、距離画像ＤＥ及び差分画像ＤＩの画像内容と、各画像の画素値（距離画像画素値ＤＥＢ及び差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００４３】
図４に示したように、距離画像ＤＥは、時刻ｔの右カメラ画像と左カメラ画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。例えば、距離画像画素値ＤＥＢに示したように、距離画像ＤＥの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像ＤＥの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像ＤＥは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４４】
また、差分画像ＤＩは、時刻ｔの右カメラ画像と時刻ｔ＋１の右カメラ画像との差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。
【００４５】
物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像及び差分画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４と、距離情報更新部２５とで構成した。
【００４６】
対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する視差（対象距離）を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。
【００４７】
この対象距離設定部２１では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し、その累計が最も多くなる視差（最多視差）に、最も動き量の多い移動物体が存在していると判定する。なお、対象距離設定部２１は、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００４８】
対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像から、対象距離設定部２１で設定された対象距離に対応する画素を抽出した対象距離画像を生成するものである。
【００４９】
なお、ここでは人物を検出することと仮定して、対象距離（最多視差）±α（数十ｃｍ）分の視差の幅（奥行き）を、最も動き量の多い移動物体が存在する視差の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲（所定範囲）であって、検出する対象となる物体の奥行き方向の大きさによって予め定めた値である。
【００５０】
例えば、最多視差におけるカメラ２から移動物体までの距離Ｄを前記（１）式で算出したとすると、その視差の範囲Ｚｒは（１）式を変形することで、（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢとする。
【００５１】
Ｂ×ｆ／（Ｄ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｄ−α） …（２）
【００５２】
この対象距離画像生成部２２では、前記（２）式の範囲の視差に対応する画素を抽出した対象距離画像を生成するものとする。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（原画像）から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００５３】
ここで、図５を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図５（ａ）は、距離画像ＤＥ及び差分画像ＤＩ（図４）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図５（ｂ）は、距離画像ＤＥ（図４）から対象距離の画像のみを抽出した対象距離画像ＴＤＥを示している。
【００５４】
図５（ａ）に示したように、距離画像ＤＥ（図４）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとして、２．２ｍを対象距離に設定する。なお、移動物体を人物と仮定すると、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することができる。
【００５５】
そこで、対象距離画像生成部２２は、図５（ｂ）に示したように、距離情報生成部１１で生成された距離画像から、対象距離設定部２１で設定された対象距離±αｍ（２．２±０．５ｍ）に存在する画素を抽出した対象距離画像ＴＤＥを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±０．５ｍ離れた位置に存在している人物のみを抽出した対象距離画像ＴＤＥを生成することができる。
図１に戻って、説明を続ける。
【００５６】
対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置（ピーク）を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。
【００５７】
より詳しくは、この対象領域設定部２３では、対象距離画像生成部２２で生成された対象距離画像の垂直方向の画素数をカウントすることでヒストグラム化し、そのヒストグラムが最大（ピーク）となる位置を移動物体の中心の水平位置であると特定する。ここでは人物を検出することと仮定して、ヒストグラムが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の存在領域（範囲）として設定する。また、縦方向は特定の大きさ（例えば２（ｍ））を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。
【００５８】
なお、このようにヒストグラムが最大となる位置を移動物体の中心と判定することで、同一距離に複数の移動物体（人物等）が存在していても、その中の一つ（一人）を検出することができる。
【００５９】
ここで、図６を参照（適宜図１参照）して、対象領域設定部２３が、対象距離画像ＴＤＥの中から一つ（一人）の移動物体の領域（対象領域）を設定する手順について説明する。図６（ａ）は、対象距離画像生成部２２で生成された対象距離画像ＴＤＥにおける垂直方向の画素数の累計をヒストグラムＨＩで表したものである。図６（ｂ）は、対象距離画像ＴＤＥの中で移動物体を人物として対象領域Ｔを設定した状態を示したものである。なお、図６（ａ）（ｂ）では、ヒストグラムＨＩを対象距離画像ＴＤＥに重畳させているが、これは、説明の都合上重畳させているだけである。
【００６０】
対象領域設定部２３は、図６（ａ）に示したように、対象距離画像ＴＤＥの垂直方向の画素数を累計したヒストグラムＨＩを生成する。このように対象距離画像ＴＤＥをヒストグラム化することで、そのヒストグラムＨＩが最大となる位置に移動物体の中心の水平位置が存在すると判定することが可能になる。例えば、ヒストグラムＨＩを使用せずに対象距離画像ＴＤＥの中で最も高位置に存在する０でない画素位置を、移動物体の中心の水平位置と判定すると、人物が手を上げた場合、その手の先を人物（移動物体）の中心であると判定してしまうことになる。そこで、ここでは、ヒストグラムＨＩを使用することとする。
【００６１】
そして、対象領域設定部２３は、図６（ｂ）に示したように、ヒストグラムＨＩが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔの水平方向の範囲とする。また、縦方向は特定の大きさ（例えば２ｍ）を対象領域Ｔの垂直方向の範囲とする。
【００６２】
この対象領域Ｔの大きさについては、図７を参照（適宜図１参照）してさらに説明を行う。図７は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ´、ｂ´）上のどの高さに位置するかを説明するための説明図である。なお、図７（ａ）は、カメラ２のチルト角が０（°）の場合、図７（ｂ）はカメラ２のチルト角がθＴ（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。
【００６３】
まず、図７（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθｖ、カメラ２から移動物体Ｍまでの距離をＤ、対象距離画像（ａ´）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨは（３）式で表すことができる。
【００６４】
θＨ＝ｔａｎ−１（（２−Ｈ）／Ｄ） …（３）
【００６５】
これにより、移動物体Ｍの対象距離画像（ａ´）上での上端ｙＴは（４）式で求めることができる。
【００６６】
【００６７】
また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θＬは（５）式で表すことができる。
【００６８】
θＬ＝ｔａｎ−１（Ｈ／Ｄ） …（５）
【００６９】
これにより、移動物体Ｍの対象距離画像（ａ´）上での下端ｙＢは（６）式で求めることができる。
【００７０】
【００７１】
次に、図７（ｂ）を参照して、チルト角がθＴ（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθｖ、チルト角をθＴ、移動物体Ｍまでの距離をＤ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨと、チルト角θＴとの差分角度（θＨ−θＴ）は（７）式で表すことができる。
【００７２】
θＨ−θＴ＝ｔａｎ−１（（２−Ｈ）／Ｄ） …（７）
【００７３】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での上端ｙＴは（８）式で求めることができる。
【００７４】
【００７５】
また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θＬと、チルト角θＴとの加算角度（θＬ＋θＴ）は（９）式で表すことができる。
【００７６】
θＬ＋θＴ＝ｔａｎ−１（Ｈ／Ｄ） …（９）
【００７７】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での下端ｙＢは（１０）式で求めることができる。
【００７８】
【００７９】
このように求めた対象距離画像（ａ´又はｂ´）の上端ｙＴ及び下端ｙＢによって、対象領域Ｔ（図６（ｂ））の垂直方向の範囲が決定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ´又はｂ´）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
【００８０】
また、対象領域Ｔ（図６（ｂ））の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθｈ、カメラ２から対象とする移動物体Ｍまでの距離をＤ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αＨは、（１１）式で求めることができる。
【００８１】
αＨ＝（Ｘ／θｈ）ｔａｎ−１（０．５／Ｄ） …（１１）
図１に戻って、説明を続ける。
【００８２】
輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて輪郭の抽出を行うものである。ここで抽出された輪郭（輪郭情報）は、移動物体検出装置１の出力として、外部に出力されるとともに、距離情報更新部２５へ通知される。なお、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。
【００８３】
ここで、既知の技術である輪郭抽出の手順の概要を説明する。
まず、対象領域内の画素値の変化に基づいてエッジを検出する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。そして、この検出されたエッジに対して、適当な閾値によって２値化を行い、メディアンフィルタ等によって孤立点の除去を行う。このように２値化されたエッジを連結することで、対象領域内から移動物体の輪郭を抽出することができる。なお、エッジから輪郭を抽出する手法として、動的輪郭モデル（ＳＮＡＫＥＳ）を適用することとしてもよい。これによって、例えば、図８に示したように、対象領域画像ＴＤＥの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。
【００８４】
距離情報更新部（距離情報更新手段）２５は、輪郭抽出部２４で抽出された輪郭（輪郭情報）に基づいて、対象距離設定部２１で記憶手段（図示せず）に記憶した距離画像を更新するものである。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、輪郭抽出を完了した移動物体の領域が距離画像から削除されたことになる。なお、距離情報更新部２５は、この距離画像の更新が完了したことを、更新情報として、対象距離設定部２１へ通知する。
【００８５】
例えば、図９に示したように、図８で抽出した輪郭Ｏ内（輪郭Ｏを含んだ内部領域）に対応する距離画像ＤＥの内容（距離画像画素値ＤＥＢ）を更新する。すなわち、輪郭Ｏの領域内における全ての画素値、例えば輪郭Ｏ内の画素位置（３０，５０）等、の視差を０に変更する。このように輪郭Ｏの領域内の視差を０に変更することで、輪郭Ｏとして抽出された移動物体は、カメラ２からの距離が無限大になり、距離画像ＤＥ上には存在しなくなる。
【００８６】
以上、第一の実施の形態である移動物体検出装置１の構成について説明したが、移動物体検出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して移動物体検出プログラムとして動作させることも可能である。
【００８７】
また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像したカメラ画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。
【００８８】
また、この移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込んで、人物等の物体を検出するために用いることも可能である。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。
【００８９】
（移動物体検出装置１の動作）
次に、図１乃至図３を参照して、移動物体検出装置１の動作について説明する。図２及び図３は、移動物体検出装置１の動作を示すフローチャートである。
【００９０】
＜カメラ画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ１）。なお、ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像と、次の時刻ｔ＋１（例えば、１フレーム後）に右カメラ２ａ（基準カメラ）から入力されたカメラ画像とに基づいて、移動物体の輪郭を抽出するものとする。
【００９１】
＜距離画像生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像を生成する（ステップＳ２）。
【００９２】
＜差分画像生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋１に撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像を生成する（ステップＳ３）。
【００９３】
＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像及び差分画像から、距離画像で表された視差（距離）毎に、動きのあった画素数を累計する（ステップＳ４）。例えば、距離画像から、ある視差（距離）の画素のみを抽出し、この抽出された画素と対応する差分画像の画素の画素値を累計する。そして、この動き（差分）のある画素数の累計が最大となる距離を、検出する移動物体の対象距離として設定する（ステップＳ５）。
【００９４】
＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、距離画像から対象距離±αに対応する画素を抽出した対象距離画像を生成する（ステップＳ６）。なお、ここでは人物を検出することと仮定して、αを数十ｃｍとする。
【００９５】
＜対象領域設定ステップ＞
そして、移動物体検出装置１は、対象領域設定部２３によって、ステップＳ６で生成した対象距離画像の垂直方向（縦方向）の画素数をヒストグラム化することで計測する（ステップＳ７）。そして、このヒストグラムが最大（ピーク）となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の範囲として設定する（ステップＳ８）。
さらに、対象領域設定部２３では、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直（上下）方向の範囲を設定する（ステップＳ９）。
【００９６】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【００９７】
＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ６で生成した対象距離画像において、ステップＳ８及びステップＳ９で設定した対象領域内で輪郭の抽出を行う（ステップＳ１０）。例えば、対象領域内でエッジを検出し、そのエッジに対して動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
【００９８】
そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１１）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１０において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合、さらには、すべての物体の輪郭抽出を完了した等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。
このステップＳ１１で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１２へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【００９９】
＜距離情報更新ステップ＞
そして、移動物体検出装置１は、距離情報更新部２５によって、ステップＳ１０で抽出した輪郭内（輪郭を含んだ内部領域）に対応する距離画像を更新する（ステップＳ１２）。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、すでに抽出を終わった移動物体の領域が距離画像から削除されることになる。そして、ステップＳ４へ戻って、処理を継続する。
【０１００】
以上の各ステップによって、本実施の形態の移動物体検出装置１によれば、カメラ２から入力されたカメラ画像から、そのカメラ画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔ（ｔ＋１）において移動物体の輪郭を抽出したが、時々刻々と入力されるカメラ画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１２）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。
【０１０１】
［第二の実施の形態］
（移動物体検出装置の構成）
次に、図１０を参照して、本発明における第二の実施の形態である移動物体検出装置１Ｂの構成について説明する。図１０は、移動物体検出装置１Ｂの構成を示したブロック図である。図１０に示すように移動物体検出装置１Ｂは、２台のカメラ（撮像手段）２から撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。
【０１０２】
ここでは、移動物体検出装置１Ｂを、距離情報生成部１１、動き情報生成部１２及びエッジ画像生成部１３からなる入力画像解析手段１０Ｂと、対象距離設定部２１、対象距離画像生成部２２Ｂ、対象領域設定部２３、輪郭抽出部２４Ｂ及び距離情報更新部２５からなる物体検出手段２０Ｂとで構成した。なお、エッジ画像生成部１３、対象距離画像生成部２２Ｂ及び輪郭抽出部２４Ｂ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
【０１０３】
エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）から距離情報生成部１１と動き情報生成部１２とに入力される同時刻のカメラ画像（基準撮像画像）を入力し、そのカメラ画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力されたカメラ画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【０１０４】
すなわち、入力画像解析手段１０Ｂでは、図１３に示すように、時刻ｔの右カメラ画像と左カメラ画像との視差を画素値で表現した距離画像ＤＥと、時刻ｔの右カメラ画像からエッジを抽出したエッジ画像ＥＤと、時刻ｔの右カメラ画像と時刻ｔ＋１の右カメラ画像との差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現した差分画像ＤＩとが生成されることになる。
なお、エッジ画像生成部１３では、カメラ画像がカラー画像で、移動物体を人物として特定する場合は、例えば、人物の顔の色（肌色）等を色情報として検出することで、エッジを検出することも可能である。
【０１０５】
対象距離画像生成部（対象距離画像生成手段）２２Ｂは、対象距離設定部２１で設定された対象距離に対応する画素からなる対象距離画像を生成するものである。この対象距離画像生成部２２Ｂでは、まず、距離情報生成部１１で生成された視差量を埋め込んだ距離画像から、対象距離設定部２１から通知される対象距離±α（このαは、人物を検出することと仮定した場合、数十ｃｍ）に対応する画素位置を求める。そして、その画素位置に対応する画素のみをエッジ画像生成部１３で生成されたエッジ画像から抽出し、対象距離画像を生成する。すなわち、この対象距離画像は、対象距離に存在する移動物体をエッジで表現した画像になる。
【０１０６】
輪郭抽出部（輪郭抽出手段）２４Ｂは、対象距離画像生成部２２Ｂで生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で輪郭の抽出を行うものである。ここで抽出された輪郭（輪郭情報）は、移動物体検出装置１Ｂの出力として、外部に出力されるとともに、距離情報更新部２５へ通知される。この輪郭抽出部２４Ｂで輪郭が抽出されることで、移動物体が検出されたことになる。
【０１０７】
なお、この輪郭抽出部２４Ｂでは、対象距離画像生成部２２Ｂで生成された対象距離画像が、すでにエッジで表現されているため、そのエッジから動的輪郭モデル（ＳＮＡＫＥＳ）等によって輪郭を抽出する。すなわち、輪郭抽出部２４Ｂでは、輪郭抽出部２４（図１）で行ったエッジ検出を省略することができる。
【０１０８】
以上、第二の実施の形態である移動物体検出装置１Ｂの構成について説明したが、移動物体検出装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して移動物体検出プログラムとして動作させることも可能である。
【０１０９】
また、移動物体検出装置１Ｂは、距離情報生成部１１において、３台以上のカメラを用いて距離画像を生成することとしてもよい。この場合、動き情報生成部１２及びエッジ画像生成部１３は、基準となるカメラから入力されるカメラ画像に基づいて、差分画像及びエッジ画像を生成することとする。
さらに、移動物体検出装置１Ｂは、移動ロボット、自動車等の移動体に組み込んで、人物等の物体を検出するために用いることも可能である。
【０１１０】
（移動物体検出装置１Ｂの動作）
次に、図１０、図１１及び図１２を参照して、移動物体検出装置１Ｂの動作について簡単に説明する。図１１及び図１２は、移動物体検出装置１Ｂの動作を示すフローチャートである。
【０１１１】
まず、移動物体検出装置１Ｂは、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ２１）。そして、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像を生成する（ステップＳ２２）。さらに、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋１に撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像を生成する（ステップＳ２３）。そして、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）からエッジを抽出したエッジ画像を生成する（ステップＳ２４）。
【０１１２】
そして、移動物体検出装置１Ｂは、対象距離設定部２１によって、ステップＳ２２及びステップＳ２３で生成した距離画像及び差分画像から、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計する（ステップＳ２５）。そして、この動き（差分）のある画素数（画素値の累計）が最大となる距離を、検出する移動物体の対象距離として設定する（ステップＳ２６）。そして、対象距離画像生成部２２Ｂによって、エッジ画像から対象距離±αに対応する画素を抽出した対象距離画像を生成する（ステップＳ２７）。なお、ここでは人物を検出することと仮定して、αを数十ｃｍとする。
【０１１３】
そして、移動物体検出装置１Ｂは、対象領域設定部２３によって、ステップＳ２７で生成した対象距離画像の垂直方向（縦方向）の画素値をヒストグラム化することで計測する（ステップＳ２８）。そして、このヒストグラムが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の範囲として設定する（ステップＳ２９）。さらに、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の範囲を設定する（ステップＳ３０）。
【０１１４】
また、移動物体検出装置１Ｂは、輪郭抽出部２４Ｂによって、ステップＳ２７で生成した対象距離画像において、ステップＳ２９及びステップＳ３０で設定した対象領域内で輪郭の抽出を行い（ステップＳ３１）、輪郭の抽出に成功したかどうかを判定する（ステップＳ３２）。このステップＳ３２で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ３３へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【０１１５】
そして、移動物体検出装置１Ｂは、距離情報更新部２５によって、ステップＳ３１で抽出した輪郭内（輪郭を含んだ内部領域）に対応する画素位置を更新情報として生成し、対象距離設定部２１が、その更新情報に基づいて、距離画像の情報を削除する（ステップＳ３３）。これによって、すでに抽出を終わった移動物体の領域が距離画像から削除されることになる。そして、ステップＳ２５へ戻って、処理を継続する。
【０１１６】
以上の各ステップによって、本実施の形態の移動物体検出装置１Ｂによれば、カメラ２から入力されたカメラ画像から、そのカメラ画像に存在する移動物体を検出することができる。なお、移動物体検出装置１Ｂでは、ステップＳ２４でエッジ画像を生成し、ステップＳ３１における輪郭の抽出には、すでにエッジを検出した対象距離画像を用いるため、同じ距離に複数の移動物体（人物等）が並んで存在している場合でも高速に輪郭の抽出を行うことが可能になる。
【０１１７】
【発明の効果】
以上説明したとおり、本発明に係る移動物体検出装置、移動物体検出方法及び移動物体検出プログラムでは、以下に示す優れた効果を奏する。
【０１１８】
本発明によれば、複数のカメラで撮像されたカメラ画像から生成される距離画像（距離情報）と、時系列に入力されるカメラ画像から生成される差分画像（動き情報）とに基づいて、動きのある移動物体のカメラからの距離を特定し、その距離のみに着目した画像（対象距離画像）を生成することができる。これによって、カメラ画像上では繋がっている移動物体（例えば、人物等）を、距離によって識別し分離することで、別の移動物体として検出することが可能になる。
【０１１９】
また、本発明によれば、対象距離画像における移動物体の垂直方向の画素量に基づいて、移動物体の水平方向の範囲を絞り込むことができるため、同じ距離に横並びに存在する複数の移動物体を分離して、別の移動物体として検出することが可能になる。
【０１２０】
さらに、本発明によれば、カメラのチルト角や、床からの高さに基づいて、対象距離画像における移動物体の垂直方向の範囲を絞り込むことができるため、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２１】
また、本発明によれば、予めカメラ画像からエッジを抽出したエッジ画像を生成しておくため、個々の移動物体の領域（対象領域）に対する輪郭抽出時にエッジを検出する必要がない。このため、移動物体がカメラ画像上に複数繋がって存在する場合であっても、重複した領域でエッジの抽出を行わないため、高速に移動物体を検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態である移動物体検出装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態である移動物体検出装置の動作を示すフローチャート（１／２）である。
【図３】本発明の第一の実施の形態である移動物体検出装置の動作を示すフローチャート（２／２）である。
【図４】距離画像及び差分画像の内容の一例を示す図である。
【図５】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図６】ヒストグラムに基づいて、対象領域を設定する手順を説明するための説明図である。
【図７】カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図８】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【図９】輪郭を抽出した移動物体の領域に基づいて、距離画像の内容を更新した例を示す図である。
【図１０】本発明の第二の実施の形態である移動物体検出装置の全体構成を示すブロック図である。
【図１１】本発明の第二の実施の形態である移動物体検出装置の動作を示すフローチャート（１／２）である。
【図１２】本発明の第二の実施の形態である移動物体検出装置の動作を示すフローチャート（２／２）である。
【図１３】距離画像、差分画像及びエッジ画像の内容の一例を示す図である。
【符号の説明】
１、１Ｂ …… 移動物体検出装置
１０、１０Ｂ…… 入力画像解析手段
１１ …… 距離情報生成部（距離情報生成手段）
１２ …… 動き情報生成部（動き情報生成手段）
１３ …… エッジ画像生成部（エッジ画像生成手段）
２０、２０Ｂ…… 物体検出手段
２１ …… 対象距離設定部（対象距離設定手段）
２２、２２Ｂ…… 対象距離画像生成部（対象距離画像生成手段）
２３ …… 対象領域設定部（対象領域設定手段）
２４、２４Ｂ…… 輪郭抽出部（輪郭抽出手段）
２５ …… 距離情報更新部（距離情報更新手段）
【発明の属する技術分野】
本発明は、カメラによって撮像された画像から、その画像上に存在する移動物体を検出する移動物体検出装置、移動物体検出方法及び移動物体検出プログラムに関する。
【０００２】
【従来の技術】
従来、ＣＣＤ等のカメラによって撮像された画像から、その画像上に存在する物体を検出する技術としては、例えば、画像内で物体の初期の曖昧な輪郭を輪郭モデルとして設定し、その輪郭モデルを所定の規則に従って収縮変形することで物体の輪郭を抽出して物体を検出する技術（動的輪郭モデル：ＳＮＡＫＥＳ）が存在する。なお、この輪郭抽出に基づいた物体検出技術においては、時間的に連続した画像により、動きのある物体（移動物体）のエッジを検出し、輪郭モデルをそのエッジに連結させることで移動物体の輪郭を抽出して移動物体を検出している（例えば、特許文献１参照。）。
【０００３】
また、移動カメラで撮像した画像から移動物体を検出する技術としては、時間的に連続する画像の輝度情報から移動カメラの動きを解析し、その動きを背景の動きであると仮定し、連続する画像の差分と背景の動きとに基づいて、移動物体の領域を検出し、輪郭として抽出する技術が存在する（例えば、非特許文献１参照。）。
【０００４】
【特許文献１】
特開平８−３２９２５４号公報（第７頁、第９−１０図）
【非特許文献１】
松岡，荒木，山澤，竹村，横矢，「移動カメラ画像からの移動物体輪郭の抽出・追跡とＤＳＰによる実時間処理」、社団法人 電子情報通信学会、信学技報、ＰＲＭＵ９７−２３５、１９９８
【０００５】
【発明が解決しようとする課題】
しかし、前記従来の技術において、第１の例である、輪郭モデルを連続する画像から検出されるエッジに連結することで移動物体の輪郭を抽出して物体を検出する技術では、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００６】
また、前記従来の技術において、第２の例である、移動カメラによって移動物体を検出する技術では、移動カメラで撮像された画像全体を輪郭抽出の対象領域として処理を行うため、計算量が多くなり、実時間で移動物体の輪郭を逐次抽出するためには高速の演算装置が必要になるという問題がある。さらに、前記第１の例と同様に、撮像した画像上で、複数の物体が隣接して存在する場合、その複数の物体を一つの物体として認識してしまうという問題がある。
【０００７】
本発明は、以上のような問題点に鑑みてなされたものであり、移動カメラで撮像した画像であっても、移動物体の輪郭抽出を行う演算処理を軽減し、また、撮像した画像上に複数の物体が隣接した場合でも、個別に物体を検出することを可能にした移動物体検出装置、移動物体検出方法及び移動物体検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の移動物体検出装置は、同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段と、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、を備える構成とした。
【０００９】
かかる構成によれば、移動物体検出装置は、距離情報生成手段によって、複数の撮像画像の視差に基づいて、撮像対象までの距離を距離情報として生成する。例えば、複数の撮像画像から視差が検出された画素において、その視差の大きさ（視差量）を、撮像対象までの視差（距離）として各画素毎に埋め込んだ距離画像（距離情報）を生成する。
【００１０】
また、移動物体検出装置は、動き情報生成手段によって、複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、移動物体の動きを動き情報として生成する。例えば、時系列に入力される２枚の撮像画像の差分をとって、値が“０”でない画素値をすべて“１”にした差分画像を移動物体の動き情報として生成する。
【００１１】
そして、移動物体検出装置は、対象距離設定手段によって、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００１２】
また、移動物体検出装置は、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定手段によって、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。例えば、対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域とする。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００１３】
また、請求項２に記載の移動物体検出装置は、請求項１に記載の移動物体検出装置において、前記対象距離設定手段が、距離毎に動きがあった画素の累積値を求め、その累積値に基づいて、前記移動物体が存在する対象距離を設定することを特徴とする
【００１４】
かかる構成によれば、移動物体検出装置は、対象距離設定手段によって、距離情報に含まれる視差（距離）毎に、動き情報に含まれる動きのあった画素値を累計（ヒストグラム化）し、その累計値が最も多くなる視差（距離）に、最も動き量の多い移動物体が存在していると判定し、その視差（距離）を対象距離として設定する。このように、画素を累計するという簡単な動作で対象と距離を設定することができ、処理を高速化することができる。
【００１５】
さらに、請求項３に記載の移動物体検出装置は、請求項１又は請求項２に記載の移動物体検出装置において、前記対象距離画像生成手段が、少なくとも前記対象距離を基準として奥行き方向の所定範囲内に存在する画素からなる対象距離画像を生成することを特徴とする。
【００１６】
かかる構成によれば、移動物体検出装置は、対象距離画像生成手段によって、例えば、対象距離を基準とした奥行き方向（前後方向）で、予め定めた範囲（所定範囲）内に存在する画素のみを抽出することで対象距離画像を生成する。これによって、同一方向に複数移動物体が存在していても、その中から対象距離に存在する移動物体を特定した対象距離画像を生成することができる。
【００１７】
また、請求項４に記載の移動物体検出装置は、請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置において、前記対象領域設定手段が、前記対象距離画像内における垂直方向の画素量に基づいて、その画素量のピークから水平方向の所定範囲内に対象領域を設定することを特徴とする。
【００１８】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、対象距離画像内における移動物体の垂直方向の画素量に基づいて、移動物体の水平方向の位置を特定する。例えば、移動物体の垂直方向の画素量が最も多い箇所（ピーク）を、水平方向における移動物体の中心として、その中心から所定範囲を移動物体の存在領域として設定する。これによって、同一距離に複数の移動物体が存在している場合でも、その中の一つを検出することができる。
【００１９】
さらに、請求項５に記載の移動物体検出装置は、請求項１乃至請求項４のいずれか１項に記載の移動物体検出装置において、前記対象領域設定手段が、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする。
【００２０】
かかる構成によれば、移動物体検出装置は、移動物体が存在する対象領域を設定する際に、対象領域設定手段によって、撮像手段であるカメラのチルト角や、そのカメラの基準となる設置面からの高さ等のカメラパラメータに基づいて、移動物体の垂直方向の存在領域の範囲を設定する。例えば、移動物体の高さを特定の大きさ（人間であれば２ｍ等）に定めることで、その大きさとカメラパラメータとに基づいて、移動物体が対象距離画像内のどの範囲に位置するかを特定することができる。
【００２１】
また、請求項６に記載の移動物体検出装置は、請求項１乃至請求項５のいずれか１項に記載の移動物体検出装置において、前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする。
【００２２】
かかる構成によれば、移動物体検出装置は、エッジ画像生成手段によって、撮像画像の色情報又は濃淡情報から、撮像画像のエッジを抽出したエッジ画像を生成する。例えば、撮像画像の明るさ（輝度）に基づいて、その明るさが大きく変化する部分をエッジとして検出することで、エッジのみからなるエッジ画像を生成する。なお、撮像画像がカラー画像で、移動物体を人物として特定する場合は、例えば、人物の顔の色（肌色）等を色情報として検出することで、エッジを検出することも可能である。
【００２３】
そして、移動物体検出装置は、対象距離画像生成手段によって、エッジ画像から対象距離の範囲内に存在する対象距離画像を生成する。これによって、輪郭抽出手段が対象距離画像から輪郭を抽出する際に、エッジを検出する動作を省くことができる。
【００２４】
さらに、請求項７に記載の移動物体検出装置は、請求項１乃至請求項６のいずれか１項に記載の移動物体検出装置において、前記輪郭抽出手段で抽出された輪郭の内部領域を、前記移動物体の抽出済領域として、前記距離情報を更新する距離情報更新手段を備えたことを特徴とする。
【００２５】
かかる構成によれば、移動物体検出装置は、距離情報更新手段によって、輪郭抽出手段で抽出された輪郭の内部領域を、すでに移動物体の輪郭を抽出した抽出済領域とすることで、距離情報を更新する。これにより、すでに抽出された移動物体の情報が距離情報から削除されることになるので、別の移動物体を順次検出することが可能になる。
【００２６】
さらに、請求項８に記載の移動物体検出方法は、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定ステップと、前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、この対象領域設定ステップで設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、を含んでいることを特徴とする。
【００２７】
この方法によれば、移動物体検出方法は、対象距離設定ステップにおいて、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、複数の撮像手段の中の少なくとも一つの撮像手段で時系列に入力される撮像画像に基づいて生成された動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００２８】
そして、対象距離画像生成ステップにおいて、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成する。例えば、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出する。さらに、対象領域設定ステップにおいて、対象距離画像内に、少なくとも前記対象距離に対応して、移動物体を検出する対象となる対象領域を設定する。これによって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込むことができる。そして、輪郭抽出ステップにおいて、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００２９】
また、請求項９に記載の移動物体検出プログラムは、同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、以下の手段によって機能させる構成とした。
【００３０】
すなわち、前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段、前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、とした。
【００３１】
かかる構成によれば、移動物体検出プログラムは、対象距離設定手段によって、距離情報と動き情報とにより、最も動き量の多い視差（距離）を特定し、その視差（距離）を対象距離として設定する。
【００３２】
そして、対象距離画像生成手段によって、距離画像（距離情報）から対象距離に対応する画素を抽出して対象距離画像を生成し、対象領域設定手段によって、対象距離画像の中で移動物体が存在すると想定される領域を絞り込んだ対象領域を設定する。
そして、輪郭抽出手段によって、対象距離画像内の対象領域から移動物体の輪郭を抽出することで移動物体を検出する。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［第一の実施の形態］
（移動物体検出装置の構成）
図１は、本発明における第一の実施の形態である移動物体検出装置１の構成を示したブロック図である。図１に示すように移動物体検出装置１は、２台のカメラ（撮像手段）２で撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。ここでは、移動物体検出装置１を、入力されたカメラ画像を解析する入力画像解析手段１０と、解析されたカメラ画像から物体を検出する物体検出手段２０とで構成した。なお、２台のカメラ２は、左右に距離Ｂだけ離れて配置されており、それぞれを右カメラ２ａ及び左カメラ２ｂとする。
【００３４】
入力画像解析手段１０は、撮像対象を撮像した２台のカメラ２（撮像手段：２ａ、２ｂ）から同期して入力されるカメラ画像（撮像画像）を解析して、距離情報を含んだ距離画像と動き情報を含んだ差分画像とを生成するものである。ここでは、入力画像解析手段１０を、距離情報生成部１１と、動き情報生成部１２とで構成した。
【００３５】
距離情報生成部（距離情報生成手段）１１は、同時刻に右カメラ２ａと左カメラ２ｂとで撮影された２枚のカメラ画像の視差を、カメラ２からカメラ２で撮像した撮像対象までの距離情報（より正確には、カメラ２の焦点位置からの距離）として埋め込み、距離画像として生成するものである。
【００３６】
この距離情報生成部１１では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（基準撮像画像）と、左カメラ２ｂで撮像されたカメラ画像（同時刻撮像画像）とで、特定の大きさのブロック（例えば１６×１６画素）でブロックマッチングを行うことで、基準撮像画像からの視差を計測する。そして、その視差の大きさ（視差量）を基準撮像画像の各画素に対応付けた距離画像を生成する。
【００３７】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラ２から物体までの距離Ｄ（図示せず）は、カメラ２の焦点距離をｆ（図示せず）、右カメラ２ａと左カメラ２ｂとの距離をＢとすると、（１）式で求めることができる。
【００３８】
Ｄ＝Ｂ×ｆ／Ｚ …（１）
【００３９】
動き情報生成部（動き情報生成手段）１２は、基準カメラ（右カメラ２ａ）で時系列に撮像された２枚のカメラ画像の差分に基づいて、カメラ画像内の移動物体の動きを動き情報として埋め込んだ、差分画像を生成するものである。
【００４０】
この動き情報生成部１２では、右カメラ２ａを基準カメラ（基準撮像手段）として、この基準カメラ（右カメラ２ａ）で時系列（時刻ｔ及び時刻ｔ＋１）に撮像された２枚のカメラ画像の差分をとる。そして、差のあった画素には動きのあった画素として画素値“１”を与え、差のなかった画素には動きのなかった画素として画素値“０”を与えた差分画像を生成する。なお、動き情報生成部１２では、さらに差分画像に対して、メディアンフィルタ等のフィルタリング処理を行うことで、ノイズを除去しておく。
【００４１】
なお、カメラ２を移動カメラとし、撮像されたカメラ画像内の背景が変化する場合は、カメラ２からカメラ画像毎のパン、チルト等のカメラ移動量を入力し、例えば、時刻ｔ＋１のカメラ画像をそのカメラ移動量分補正することで、時刻ｔ及び時刻ｔ＋１において、動きのあった画素のみを検出する。
【００４２】
ここで、図４を参照（適宜図１参照）して、距離情報生成部１１で生成される距離画像、及び動き情報生成部１２で生成される差分画像の内容について説明する。図４は、距離画像ＤＥ及び差分画像ＤＩの画像内容と、各画像の画素値（距離画像画素値ＤＥＢ及び差分画像画素値ＤＩＢ）の一例を示したものである。ここでは、カメラ２から約１ｍ、２ｍ及び３ｍ離れた位置に人物が存在しているものとする。
【００４３】
図４に示したように、距離画像ＤＥは、時刻ｔの右カメラ画像と左カメラ画像との視差を画素値で表現することで生成される。この視差は、その値が大きいほど人物の位置がカメラ２に近いことを表し、値が小さいほど人物の位置がカメラ２から遠いことを表している。例えば、距離画像画素値ＤＥＢに示したように、距離画像ＤＥの画素位置（０，０）は視差が０であり、カメラ２からの距離が無限大（∞）であることを意味している。また、距離画像ＤＥの画素位置（３０，５０）は視差が２０であり、カメラ２からの距離が視差２０に対応する距離、例えば２．２ｍであることを意味している。このように、距離画像ＤＥは、視差を画素値として表現するため、例えば、カメラ２に近いほど明るく、遠いほど暗い画像となる。
【００４４】
また、差分画像ＤＩは、時刻ｔの右カメラ画像と時刻ｔ＋１の右カメラ画像との差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現することで生成される。この差のあった画素が、実際に人物が動いた領域を表している。例えば、差分画像画素値ＤＩＢに示したように、差分画像ＤＩの画素位置（０，０）は“０”「停止」で、動きがなかったことを意味している。また、差分画像ＤＩの画素位置（３０，５０）は“１”「動き」で、動きがあったことを意味している。
図１に戻って、説明を続ける。
【００４５】
物体検出手段２０は、入力画像解析手段１０で解析された画像（距離画像及び差分画像）に基づいて、動きのある移動物体の領域を検出し、移動物体の輪郭を抽出するものである。ここでは、物体検出手段２０を、対象距離設定部２１と、対象距離画像生成部２２と、対象領域設定部２３と、輪郭抽出部２４と、距離情報更新部２５とで構成した。
【００４６】
対象距離設定部（対象距離設定手段）２１は、入力画像解析手段１０の距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とに基づいて、最も動き量の多い移動物体を特定し、対象となる移動物体が存在する視差（対象距離）を設定するものである。この対象距離は、対象距離画像生成部２２へ通知される。
【００４７】
この対象距離設定部２１では、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計し、その累計が最も多くなる視差（最多視差）に、最も動き量の多い移動物体が存在していると判定する。なお、対象距離設定部２１は、距離情報生成部１１で生成された距離画像と、動き情報生成部１２で生成された差分画像とを、図示していないメモリ等の記憶手段に記憶することとする。
【００４８】
対象距離画像生成部（対象距離画像生成手段）２２は、距離情報生成部１１で生成された視差量を埋め込んだ距離画像から、対象距離設定部２１で設定された対象距離に対応する画素を抽出した対象距離画像を生成するものである。
【００４９】
なお、ここでは人物を検出することと仮定して、対象距離（最多視差）±α（数十ｃｍ）分の視差の幅（奥行き）を、最も動き量の多い移動物体が存在する視差の範囲とする。このαの値は、対象距離を基準とした奥行き方向の範囲（所定範囲）であって、検出する対象となる物体の奥行き方向の大きさによって予め定めた値である。
【００５０】
例えば、最多視差におけるカメラ２から移動物体までの距離Ｄを前記（１）式で算出したとすると、その視差の範囲Ｚｒは（１）式を変形することで、（２）式を得る。ただし、カメラ２の焦点距離をｆ、右カメラ２ａと左カメラ２ｂとの距離をＢとする。
【００５１】
Ｂ×ｆ／（Ｄ＋α）＜Ｚｒ＜Ｂ×ｆ／（Ｄ−α） …（２）
【００５２】
この対象距離画像生成部２２では、前記（２）式の範囲の視差に対応する画素を抽出した対象距離画像を生成するものとする。
なお、この対象距離画像の生成は、基準カメラ（右カメラ２ａ）で撮像されたカメラ画像（原画像）から、対象距離（視差の範囲）に対応する画素位置のみの画素を抽出することとしてもよい。
【００５３】
ここで、図５を参照（適宜図１参照）して、対象距離設定部２１及び対象距離画像生成部２２で、検出対象となる移動物体が存在する距離に対応する画像（対象距離画像）を生成する手順について説明する。図５（ａ）は、距離画像ＤＥ及び差分画像ＤＩ（図４）に基づいて、視差（距離）と動きのある画素を累計した動き量（画素数）との関係を示したグラフである。図５（ｂ）は、距離画像ＤＥ（図４）から対象距離の画像のみを抽出した対象距離画像ＴＤＥを示している。
【００５４】
図５（ａ）に示したように、距離画像ＤＥ（図４）の視差（距離）と動き量（画素数）との関係をグラフ化すると、視差（距離）が１ｍ、２．２ｍ、３ｍの位置で動き量がピークとなる。そこで、対象距離設定部２１は、動き量が最大となる視差（２．２ｍ）に移動物体が存在するものとして、２．２ｍを対象距離に設定する。なお、移動物体を人物と仮定すると、カメラ２から２．２±αｍ（α＝０．５ｍ）の範囲に人物が存在すると判定することができる。
【００５５】
そこで、対象距離画像生成部２２は、図５（ｂ）に示したように、距離情報生成部１１で生成された距離画像から、対象距離設定部２１で設定された対象距離±αｍ（２．２±０．５ｍ）に存在する画素を抽出した対象距離画像ＴＤＥを生成する。これによって、カメラ２から１ｍ、３ｍ離れた位置に存在している人物の画像を削除し、２．２±０．５ｍ離れた位置に存在している人物のみを抽出した対象距離画像ＴＤＥを生成することができる。
図１に戻って、説明を続ける。
【００５６】
対象領域設定部（対象領域設定手段）２３は、対象距離画像生成部２２で生成された対象距離画像の垂直方向の画素数を累計し、その垂直方向の画素数の累計が最も多くなる位置（ピーク）を移動物体の中心の水平位置であると特定して、その移動物体を含んだ領域（対象領域）を設定するものである。
【００５７】
より詳しくは、この対象領域設定部２３では、対象距離画像生成部２２で生成された対象距離画像の垂直方向の画素数をカウントすることでヒストグラム化し、そのヒストグラムが最大（ピーク）となる位置を移動物体の中心の水平位置であると特定する。ここでは人物を検出することと仮定して、ヒストグラムが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の存在領域（範囲）として設定する。また、縦方向は特定の大きさ（例えば２（ｍ））を対象領域の高さとする。このとき、対象領域設定部２３は、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の存在領域（範囲）を設定する。
【００５８】
なお、このようにヒストグラムが最大となる位置を移動物体の中心と判定することで、同一距離に複数の移動物体（人物等）が存在していても、その中の一つ（一人）を検出することができる。
【００５９】
ここで、図６を参照（適宜図１参照）して、対象領域設定部２３が、対象距離画像ＴＤＥの中から一つ（一人）の移動物体の領域（対象領域）を設定する手順について説明する。図６（ａ）は、対象距離画像生成部２２で生成された対象距離画像ＴＤＥにおける垂直方向の画素数の累計をヒストグラムＨＩで表したものである。図６（ｂ）は、対象距離画像ＴＤＥの中で移動物体を人物として対象領域Ｔを設定した状態を示したものである。なお、図６（ａ）（ｂ）では、ヒストグラムＨＩを対象距離画像ＴＤＥに重畳させているが、これは、説明の都合上重畳させているだけである。
【００６０】
対象領域設定部２３は、図６（ａ）に示したように、対象距離画像ＴＤＥの垂直方向の画素数を累計したヒストグラムＨＩを生成する。このように対象距離画像ＴＤＥをヒストグラム化することで、そのヒストグラムＨＩが最大となる位置に移動物体の中心の水平位置が存在すると判定することが可能になる。例えば、ヒストグラムＨＩを使用せずに対象距離画像ＴＤＥの中で最も高位置に存在する０でない画素位置を、移動物体の中心の水平位置と判定すると、人物が手を上げた場合、その手の先を人物（移動物体）の中心であると判定してしまうことになる。そこで、ここでは、ヒストグラムＨＩを使用することとする。
【００６１】
そして、対象領域設定部２３は、図６（ｂ）に示したように、ヒストグラムＨＩが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔの水平方向の範囲とする。また、縦方向は特定の大きさ（例えば２ｍ）を対象領域Ｔの垂直方向の範囲とする。
【００６２】
この対象領域Ｔの大きさについては、図７を参照（適宜図１参照）してさらに説明を行う。図７は、カメラ２が移動ロボット（図示せず）に組み込まれ、移動物体Ｍと同じ床からある高さ（カメラ高）Ｈに位置しているときに、移動物体Ｍが対象距離画像（ａ´、ｂ´）上のどの高さに位置するかを説明するための説明図である。なお、図７（ａ）は、カメラ２のチルト角が０（°）の場合、図７（ｂ）はカメラ２のチルト角がθＴ（≠０）の場合におけるカメラ２と移動物体Ｍとの対応関係を示している。
【００６３】
まず、図７（ａ）を参照して、チルト角が０（°）の場合において、移動物体Ｍが対象距離画像（ａ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθｖ、カメラ２から移動物体Ｍまでの距離をＤ、対象距離画像（ａ´）の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸と、カメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨは（３）式で表すことができる。
【００６４】
θＨ＝ｔａｎ−１（（２−Ｈ）／Ｄ） …（３）
【００６５】
これにより、移動物体Ｍの対象距離画像（ａ´）上での上端ｙＴは（４）式で求めることができる。
【００６６】
また、カメラ２の光軸と、カメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θＬは（５）式で表すことができる。
【００６８】
θＬ＝ｔａｎ−１（Ｈ／Ｄ） …（５）
【００６９】
これにより、移動物体Ｍの対象距離画像（ａ´）上での下端ｙＢは（６）式で求めることができる。
【００７０】
次に、図７（ｂ）を参照して、チルト角がθＴ（≠０）の場合において、移動物体Ｍが対象距離画像（ｂ´）上で縦方向のどの位置に存在するかを特定する方法について説明する。
ここで、カメラ２の垂直画角をθｖ、チルト角をθＴ、移動物体Ｍまでの距離をＤ、対象距離画像の縦方向の解像度をＹ、カメラ２の床からの高さ（カメラ高）をＨ、移動物体Ｍの床からの仮想の高さを２（ｍ）とする。このとき、カメラ２の光軸とカメラ２から移動物体Ｍの仮想の上端（床から２ｍ）までを結んだ直線との角度θＨと、チルト角θＴとの差分角度（θＨ−θＴ）は（７）式で表すことができる。
【００７２】
θＨ−θＴ＝ｔａｎ−１（（２−Ｈ）／Ｄ） …（７）
【００７３】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での上端ｙＴは（８）式で求めることができる。
【００７４】
また、カメラ２の光軸とカメラ２から移動物体Ｍの下端（床）までを結んだ直線との角度θＬと、チルト角θＴとの加算角度（θＬ＋θＴ）は（９）式で表すことができる。
【００７６】
θＬ＋θＴ＝ｔａｎ−１（Ｈ／Ｄ） …（９）
【００７７】
これにより、移動物体Ｍの対象距離画像（ｂ´）上での下端ｙＢは（１０）式で求めることができる。
【００７８】
このように求めた対象距離画像（ａ´又はｂ´）の上端ｙＴ及び下端ｙＢによって、対象領域Ｔ（図６（ｂ））の垂直方向の範囲が決定される。
なお、移動ロボット（図示せず）が階段等を昇降し、移動物体Ｍと同一の床に存在しない場合は、移動ロボット本体のエンコーダ等によって昇降量を検出し、その昇降量を移動物体Ｍの床からの高さに対して加算又は減算することで、移動物体Ｍの対象距離画像（ａ´又はｂ´）における縦方向の位置を特定することができる。あるいは、移動ロボットに地図情報を保持しておき、移動物体Ｍの方向及び距離で特定される床の高さを、その地図情報から取得することとしてもよい。
【００８０】
また、対象領域Ｔ（図６（ｂ））の水平方向の範囲は、例えば、図示していないが、カメラ２の水平画角をθｈ、カメラ２から対象とする移動物体Ｍまでの距離をＤ、対象距離画像の横方向の解像度をＸとすると、対象領域の幅の半分（移動物体の中心からの距離）を０．５（ｍ）としたときの、対象距離画像上での水平画素数αＨは、（１１）式で求めることができる。
【００８１】
αＨ＝（Ｘ／θｈ）ｔａｎ−１（０．５／Ｄ） …（１１）
図１に戻って、説明を続ける。
【００８２】
輪郭抽出部（輪郭抽出手段）２４は、対象距離画像生成部２２で生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で、既知の輪郭抽出技術を用いて輪郭の抽出を行うものである。ここで抽出された輪郭（輪郭情報）は、移動物体検出装置１の出力として、外部に出力されるとともに、距離情報更新部２５へ通知される。なお、この輪郭抽出部２４で輪郭が抽出されることで、移動物体が検出されたことになる。
【００８３】
ここで、既知の技術である輪郭抽出の手順の概要を説明する。
まず、対象領域内の画素値の変化に基づいてエッジを検出する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。そして、この検出されたエッジに対して、適当な閾値によって２値化を行い、メディアンフィルタ等によって孤立点の除去を行う。このように２値化されたエッジを連結することで、対象領域内から移動物体の輪郭を抽出することができる。なお、エッジから輪郭を抽出する手法として、動的輪郭モデル（ＳＮＡＫＥＳ）を適用することとしてもよい。これによって、例えば、図８に示したように、対象領域画像ＴＤＥの中で移動物体が一つ（一人）に限定された対象領域Ｔ内で輪郭Ｏを抽出することができる。
【００８４】
距離情報更新部（距離情報更新手段）２５は、輪郭抽出部２４で抽出された輪郭（輪郭情報）に基づいて、対象距離設定部２１で記憶手段（図示せず）に記憶した距離画像を更新するものである。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、輪郭抽出を完了した移動物体の領域が距離画像から削除されたことになる。なお、距離情報更新部２５は、この距離画像の更新が完了したことを、更新情報として、対象距離設定部２１へ通知する。
【００８５】
例えば、図９に示したように、図８で抽出した輪郭Ｏ内（輪郭Ｏを含んだ内部領域）に対応する距離画像ＤＥの内容（距離画像画素値ＤＥＢ）を更新する。すなわち、輪郭Ｏの領域内における全ての画素値、例えば輪郭Ｏ内の画素位置（３０，５０）等、の視差を０に変更する。このように輪郭Ｏの領域内の視差を０に変更することで、輪郭Ｏとして抽出された移動物体は、カメラ２からの距離が無限大になり、距離画像ＤＥ上には存在しなくなる。
【００８６】
以上、第一の実施の形態である移動物体検出装置１の構成について説明したが、移動物体検出装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して移動物体検出プログラムとして動作させることも可能である。
【００８７】
また、ここでは、移動物体検出装置１の距離情報生成部１１が、２台のカメラ２で撮像したカメラ画像に基づいて距離画像を生成したが、３台以上のカメラを用いて距離画像を生成することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて距離画像を生成することで、移動物体までの距離をより正確に測定することもできる。
【００８８】
また、この移動物体検出装置１を、移動ロボット、自動車等の移動体に組み込んで、人物等の物体を検出するために用いることも可能である。例えば、移動ロボットに本発明を適用することで、移動ロボットが、人込みにおいても人物を認識することが可能になる。さらに、人物を個別に検出することができるので、例えば、顔認識等を行うことで、その人物を追跡したり、人物毎に異なる動作を行わせる等の輪郭抽出後の処理が容易になる。
【００８９】
（移動物体検出装置１の動作）
次に、図１乃至図３を参照して、移動物体検出装置１の動作について説明する。図２及び図３は、移動物体検出装置１の動作を示すフローチャートである。
【００９０】
＜カメラ画像入力ステップ＞
まず、移動物体検出装置１は、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ１）。なお、ここでは、ある時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力されたカメラ画像と、次の時刻ｔ＋１（例えば、１フレーム後）に右カメラ２ａ（基準カメラ）から入力されたカメラ画像とに基づいて、移動物体の輪郭を抽出するものとする。
【００９１】
＜距離画像生成ステップ＞
そして、移動物体検出装置１は、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像を生成する（ステップＳ２）。
【００９２】
＜差分画像生成ステップ＞
さらに、移動物体検出装置１は、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋１に撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像を生成する（ステップＳ３）。
【００９３】
＜対象距離設定ステップ＞
また、移動物体検出装置１は、対象距離設定部２１によって、ステップＳ２及びステップＳ３で生成した距離画像及び差分画像から、距離画像で表された視差（距離）毎に、動きのあった画素数を累計する（ステップＳ４）。例えば、距離画像から、ある視差（距離）の画素のみを抽出し、この抽出された画素と対応する差分画像の画素の画素値を累計する。そして、この動き（差分）のある画素数の累計が最大となる距離を、検出する移動物体の対象距離として設定する（ステップＳ５）。
【００９４】
＜対象距離画像生成ステップ＞
そして、移動物体検出装置１は、対象距離画像生成部２２によって、距離画像から対象距離±αに対応する画素を抽出した対象距離画像を生成する（ステップＳ６）。なお、ここでは人物を検出することと仮定して、αを数十ｃｍとする。
【００９５】
＜対象領域設定ステップ＞
そして、移動物体検出装置１は、対象領域設定部２３によって、ステップＳ６で生成した対象距離画像の垂直方向（縦方向）の画素数をヒストグラム化することで計測する（ステップＳ７）。そして、このヒストグラムが最大（ピーク）となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の範囲として設定する（ステップＳ８）。
さらに、対象領域設定部２３では、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直（上下）方向の範囲を設定する（ステップＳ９）。
【００９６】
例えば、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の床の位置（対象領域の下端）を求める。そして、カメラ２の画角と移動物体までの距離とに基づいて、床から２ｍまでの範囲を、画素数に換算することにより対象領域の対象距離画像における床からの画素数を求める。これによって、対象距離画像における対象領域の上端を求めることができる。この対象領域の上端は、カメラ２のチルト角、床からの高さに基づいて、対象距離画像における画像中の２ｍの位置（高さ）を直接求めることとしてもよい。なお、この２ｍは、一例であって、他の長さ（高さ）であっても構わない。
【００９７】
＜輪郭抽出ステップ＞
また、移動物体検出装置１は、輪郭抽出部２４によって、ステップＳ６で生成した対象距離画像において、ステップＳ８及びステップＳ９で設定した対象領域内で輪郭の抽出を行う（ステップＳ１０）。例えば、対象領域内でエッジを検出し、そのエッジに対して動的輪郭モデル（ＳＮＡＫＥＳ）を適用することによって輪郭の抽出を行う。
【００９８】
そして、輪郭の抽出に成功したかどうかを判定する（ステップＳ１１）。なお、ここで輪郭抽出の成功及び失敗の判定は、ステップＳ１０において輪郭が抽出できたかどうかの判定だけではなく、例えば、対象距離が予め定めた距離よりも遠い場合や、対象領域が予め定めた大きさよりも小さい場合、さらには、すべての物体の輪郭抽出を完了した等の理由によって、物体の輪郭抽出を行わないとする判定をも含むものとする。
このステップＳ１１で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ１２へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【００９９】
＜距離情報更新ステップ＞
そして、移動物体検出装置１は、距離情報更新部２５によって、ステップＳ１０で抽出した輪郭内（輪郭を含んだ内部領域）に対応する距離画像を更新する（ステップＳ１２）。例えば、輪郭を含んだ内部領域に対応する距離画像の画素値を“０”にする。これによって、すでに抽出を終わった移動物体の領域が距離画像から削除されることになる。そして、ステップＳ４へ戻って、処理を継続する。
【０１００】
以上の各ステップによって、本実施の形態の移動物体検出装置１によれば、カメラ２から入力されたカメラ画像から、そのカメラ画像に存在する移動物体を検出することができる。なお、ここでは、ある時刻ｔ（ｔ＋１）において移動物体の輪郭を抽出したが、時々刻々と入力されるカメラ画像に基づいて、前記ステップ（ステップＳ１〜ステップＳ１２）を動作させることで、例えば、移動ロボット等の移動体が、人物を検出し続けることができる。
【０１０１】
［第二の実施の形態］
（移動物体検出装置の構成）
次に、図１０を参照して、本発明における第二の実施の形態である移動物体検出装置１Ｂの構成について説明する。図１０は、移動物体検出装置１Ｂの構成を示したブロック図である。図１０に示すように移動物体検出装置１Ｂは、２台のカメラ（撮像手段）２から撮像されたカメラ画像（撮像画像）から、動きを伴う物体（移動物体）を検出するものである。
【０１０２】
ここでは、移動物体検出装置１Ｂを、距離情報生成部１１、動き情報生成部１２及びエッジ画像生成部１３からなる入力画像解析手段１０Ｂと、対象距離設定部２１、対象距離画像生成部２２Ｂ、対象領域設定部２３、輪郭抽出部２４Ｂ及び距離情報更新部２５からなる物体検出手段２０Ｂとで構成した。なお、エッジ画像生成部１３、対象距離画像生成部２２Ｂ及び輪郭抽出部２４Ｂ以外の構成は、図１に示したものと同一であるので、同一の符号を付し、説明を省略する。
【０１０３】
エッジ画像生成部（エッジ画像生成手段）１３は、カメラ２（２ａ）から距離情報生成部１１と動き情報生成部１２とに入力される同時刻のカメラ画像（基準撮像画像）を入力し、そのカメラ画像からエッジを抽出したエッジ画像を生成するものである。このエッジ画像生成部１３では、カメラ２（２ａ）から入力されたカメラ画像の明るさ（輝度：濃淡情報）に基づいて、その明るさが大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像を生成する。例えば、ある画素の近傍領域の画素に対して重み係数を持つオペレータ（係数行例：Ｓｏｖｅｌオペレータ、Ｋｉｒｓｃｈオペレータ等）を画素毎に乗算することで、エッジの検出を行う。
【０１０４】
すなわち、入力画像解析手段１０Ｂでは、図１３に示すように、時刻ｔの右カメラ画像と左カメラ画像との視差を画素値で表現した距離画像ＤＥと、時刻ｔの右カメラ画像からエッジを抽出したエッジ画像ＥＤと、時刻ｔの右カメラ画像と時刻ｔ＋１の右カメラ画像との差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”として表現した差分画像ＤＩとが生成されることになる。
なお、エッジ画像生成部１３では、カメラ画像がカラー画像で、移動物体を人物として特定する場合は、例えば、人物の顔の色（肌色）等を色情報として検出することで、エッジを検出することも可能である。
【０１０５】
対象距離画像生成部（対象距離画像生成手段）２２Ｂは、対象距離設定部２１で設定された対象距離に対応する画素からなる対象距離画像を生成するものである。この対象距離画像生成部２２Ｂでは、まず、距離情報生成部１１で生成された視差量を埋め込んだ距離画像から、対象距離設定部２１から通知される対象距離±α（このαは、人物を検出することと仮定した場合、数十ｃｍ）に対応する画素位置を求める。そして、その画素位置に対応する画素のみをエッジ画像生成部１３で生成されたエッジ画像から抽出し、対象距離画像を生成する。すなわち、この対象距離画像は、対象距離に存在する移動物体をエッジで表現した画像になる。
【０１０６】
輪郭抽出部（輪郭抽出手段）２４Ｂは、対象距離画像生成部２２Ｂで生成された対象距離画像において、対象領域設定部２３で設定した移動物体の領域（対象領域）内で輪郭の抽出を行うものである。ここで抽出された輪郭（輪郭情報）は、移動物体検出装置１Ｂの出力として、外部に出力されるとともに、距離情報更新部２５へ通知される。この輪郭抽出部２４Ｂで輪郭が抽出されることで、移動物体が検出されたことになる。
【０１０７】
なお、この輪郭抽出部２４Ｂでは、対象距離画像生成部２２Ｂで生成された対象距離画像が、すでにエッジで表現されているため、そのエッジから動的輪郭モデル（ＳＮＡＫＥＳ）等によって輪郭を抽出する。すなわち、輪郭抽出部２４Ｂでは、輪郭抽出部２４（図１）で行ったエッジ検出を省略することができる。
【０１０８】
以上、第二の実施の形態である移動物体検出装置１Ｂの構成について説明したが、移動物体検出装置１Ｂは、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して移動物体検出プログラムとして動作させることも可能である。
【０１０９】
また、移動物体検出装置１Ｂは、距離情報生成部１１において、３台以上のカメラを用いて距離画像を生成することとしてもよい。この場合、動き情報生成部１２及びエッジ画像生成部１３は、基準となるカメラから入力されるカメラ画像に基づいて、差分画像及びエッジ画像を生成することとする。
さらに、移動物体検出装置１Ｂは、移動ロボット、自動車等の移動体に組み込んで、人物等の物体を検出するために用いることも可能である。
【０１１０】
（移動物体検出装置１Ｂの動作）
次に、図１０、図１１及び図１２を参照して、移動物体検出装置１Ｂの動作について簡単に説明する。図１１及び図１２は、移動物体検出装置１Ｂの動作を示すフローチャートである。
【０１１１】
まず、移動物体検出装置１Ｂは、同期した２台のカメラ２から時系列にカメラ画像を入力する（ステップＳ２１）。そして、距離情報生成部１１によって、時刻ｔに右カメラ２ａ（基準カメラ）と左カメラ２ｂとから入力された２枚のカメラ画像から、撮像対象までの視差（距離）を埋め込んだ距離画像を生成する（ステップＳ２２）。さらに、動き情報生成部１２によって、右カメラ２ａ（基準カメラ）で時刻ｔと時刻ｔ＋１に撮像された２枚のカメラ画像（基準カメラ画像）の差分をとり、差のあった画素を画素値“１”、差のなかった画素を画素値“０”とした差分画像を生成する（ステップＳ２３）。そして、エッジ画像生成部１３によって、右カメラ２ａ（基準カメラ）で時刻ｔに撮像されたカメラ画像（基準カメラ画像）からエッジを抽出したエッジ画像を生成する（ステップＳ２４）。
【０１１２】
そして、移動物体検出装置１Ｂは、対象距離設定部２１によって、ステップＳ２２及びステップＳ２３で生成した距離画像及び差分画像から、距離画像で表された視差（距離）毎に、その視差に対応する画素と同じ位置にある差分画像の画素値を累計する（ステップＳ２５）。そして、この動き（差分）のある画素数（画素値の累計）が最大となる距離を、検出する移動物体の対象距離として設定する（ステップＳ２６）。そして、対象距離画像生成部２２Ｂによって、エッジ画像から対象距離±αに対応する画素を抽出した対象距離画像を生成する（ステップＳ２７）。なお、ここでは人物を検出することと仮定して、αを数十ｃｍとする。
【０１１３】
そして、移動物体検出装置１Ｂは、対象領域設定部２３によって、ステップＳ２７で生成した対象距離画像の垂直方向（縦方向）の画素値をヒストグラム化することで計測する（ステップＳ２８）。そして、このヒストグラムが最大となる水平位置を中心に、左右に特定の大きさ（例えば０．５〜０．６（ｍ））の範囲を対象領域の水平方向の範囲として設定する（ステップＳ２９）。さらに、カメラ２から入力されるチルト角、床（設置面）からの高さ等のカメラパラメータに基づいて、対象領域の垂直方向の範囲を設定する（ステップＳ３０）。
【０１１４】
また、移動物体検出装置１Ｂは、輪郭抽出部２４Ｂによって、ステップＳ２７で生成した対象距離画像において、ステップＳ２９及びステップＳ３０で設定した対象領域内で輪郭の抽出を行い（ステップＳ３１）、輪郭の抽出に成功したかどうかを判定する（ステップＳ３２）。このステップＳ３２で輪郭の抽出に成功した場合（Ｙｅｓ）は、ステップＳ３３へ進む。一方、輪郭の抽出に失敗した（あるいは抽出を行わない）場合（Ｎｏ）は、本動作を終了する。
【０１１５】
そして、移動物体検出装置１Ｂは、距離情報更新部２５によって、ステップＳ３１で抽出した輪郭内（輪郭を含んだ内部領域）に対応する画素位置を更新情報として生成し、対象距離設定部２１が、その更新情報に基づいて、距離画像の情報を削除する（ステップＳ３３）。これによって、すでに抽出を終わった移動物体の領域が距離画像から削除されることになる。そして、ステップＳ２５へ戻って、処理を継続する。
【０１１６】
以上の各ステップによって、本実施の形態の移動物体検出装置１Ｂによれば、カメラ２から入力されたカメラ画像から、そのカメラ画像に存在する移動物体を検出することができる。なお、移動物体検出装置１Ｂでは、ステップＳ２４でエッジ画像を生成し、ステップＳ３１における輪郭の抽出には、すでにエッジを検出した対象距離画像を用いるため、同じ距離に複数の移動物体（人物等）が並んで存在している場合でも高速に輪郭の抽出を行うことが可能になる。
【０１１７】
【発明の効果】
以上説明したとおり、本発明に係る移動物体検出装置、移動物体検出方法及び移動物体検出プログラムでは、以下に示す優れた効果を奏する。
【０１１８】
本発明によれば、複数のカメラで撮像されたカメラ画像から生成される距離画像（距離情報）と、時系列に入力されるカメラ画像から生成される差分画像（動き情報）とに基づいて、動きのある移動物体のカメラからの距離を特定し、その距離のみに着目した画像（対象距離画像）を生成することができる。これによって、カメラ画像上では繋がっている移動物体（例えば、人物等）を、距離によって識別し分離することで、別の移動物体として検出することが可能になる。
【０１１９】
また、本発明によれば、対象距離画像における移動物体の垂直方向の画素量に基づいて、移動物体の水平方向の範囲を絞り込むことができるため、同じ距離に横並びに存在する複数の移動物体を分離して、別の移動物体として検出することが可能になる。
【０１２０】
さらに、本発明によれば、カメラのチルト角や、床からの高さに基づいて、対象距離画像における移動物体の垂直方向の範囲を絞り込むことができるため、輪郭抽出にかかる計算量を抑え、移動物体の検出にかかる処理速度を早めることができる。
【０１２１】
また、本発明によれば、予めカメラ画像からエッジを抽出したエッジ画像を生成しておくため、個々の移動物体の領域（対象領域）に対する輪郭抽出時にエッジを検出する必要がない。このため、移動物体がカメラ画像上に複数繋がって存在する場合であっても、重複した領域でエッジの抽出を行わないため、高速に移動物体を検出することが可能になる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態である移動物体検出装置の全体構成を示すブロック図である。
【図２】本発明の第一の実施の形態である移動物体検出装置の動作を示すフローチャート（１／２）である。
【図３】本発明の第一の実施の形態である移動物体検出装置の動作を示すフローチャート（２／２）である。
【図４】距離画像及び差分画像の内容の一例を示す図である。
【図５】視差（距離）毎の動き量（画素値）に基づいて、対象距離画像を生成するための手順を説明するための説明図である。
【図６】ヒストグラムに基づいて、対象領域を設定する手順を説明するための説明図である。
【図７】カメラパラメータに基づいて、移動物体が対象距離画像上のどの高さに位置するかを算出する手順を説明するための説明図である。
【図８】対象距離画像の対象領域で輪郭を抽出した例を示す図である。
【図９】輪郭を抽出した移動物体の領域に基づいて、距離画像の内容を更新した例を示す図である。
【図１０】本発明の第二の実施の形態である移動物体検出装置の全体構成を示すブロック図である。
【図１１】本発明の第二の実施の形態である移動物体検出装置の動作を示すフローチャート（１／２）である。
【図１２】本発明の第二の実施の形態である移動物体検出装置の動作を示すフローチャート（２／２）である。
【図１３】距離画像、差分画像及びエッジ画像の内容の一例を示す図である。
【符号の説明】
１、１Ｂ …… 移動物体検出装置
１０、１０Ｂ…… 入力画像解析手段
１１ …… 距離情報生成部（距離情報生成手段）
１２ …… 動き情報生成部（動き情報生成手段）
１３ …… エッジ画像生成部（エッジ画像生成手段）
２０、２０Ｂ…… 物体検出手段
２１ …… 対象距離設定部（対象距離設定手段）
２２、２２Ｂ…… 対象距離画像生成部（対象距離画像生成手段）
２３ …… 対象領域設定部（対象領域設定手段）
２４、２４Ｂ…… 輪郭抽出部（輪郭抽出手段）
２５ …… 距離情報更新部（距離情報更新手段）
Claims (9)
- 同期した複数の撮像手段で、撮像対象を撮像した複数の撮像画像から、前記撮像対象内に存在する移動物体を検出する移動物体検出装置であって、
前記複数の撮像画像の視差に基づいて、前記撮像対象までの距離を距離情報として生成する距離情報生成手段と、
前記複数の撮像手段の中の少なくとも一つの撮像手段から、時系列に入力される撮像画像の差分に基づいて、前記移動物体の動きを動き情報として生成する動き情報生成手段と、
前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段と、
前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段と、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段と、
この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段と、
を備えていることを特徴とする移動物体検出装置。 - 前記対象距離設定手段は、距離毎に動きがあった画素の累積値を求め、その累積値に基づいて、前記移動物体が存在する対象距離を設定することを特徴とする請求項１に記載の移動物体検出装置。
- 前記対象距離画像生成手段は、少なくとも前記対象距離を基準として奥行き方向の所定範囲内に存在する画素からなる対象距離画像を生成することを特徴とする請求項１又は請求項２に記載の移動物体検出装置。
- 前記対象領域設定手段は、前記対象距離画像内における垂直方向の画素量に基づいて、その画素量のピークから水平方向の所定範囲内に前記対象領域を設定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の移動物体検出装置。
- 前記対象領域設定手段は、少なくとも前記撮像手段のチルト角及び設置面からの高さに基づいて、前記対象領域の垂直方向の範囲を設定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動物体検出装置。
- 前記撮像画像の各画素の色情報又は濃淡情報に基づいて、その撮像画像のエッジを抽出したエッジ画像を生成するエッジ画像生成手段を備え、
前記対象距離画像生成手段が、前記距離情報に基づいて、前記対象距離に対応する前記エッジ画像の画素を抽出して、前記対象距離画像を生成することを特徴とする請求項１乃至請求項５のいずれか１項に記載の移動物体検出装置。 - 前記輪郭抽出手段で抽出された輪郭の内部領域を、前記移動物体の抽出済領域として、前記距離情報を更新する距離情報更新手段を備えたことを特徴とする請求項１乃至請求項６のいずれか１項に記載の移動物体検出装置。
- 同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出する移動物体検出方法であって、
前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定ステップと、
前記距離情報に基づいて、前記対象距離設定ステップで設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成ステップと、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定ステップと、
この対象領域設定ステップで設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出ステップと、
を含んでいることを特徴とする移動物体検出方法。 - 同期した複数の撮像手段で撮像された撮像画像に基づいて生成された撮像対象までの距離情報と、前記複数の撮像手段の中の少なくとも一つの撮像手段から時系列に入力される撮像画像に基づいて生成された動き情報とにより、前記撮像対象内で動きのある移動物体を検出するために、コンピュータを、
前記距離情報及び前記動き情報に基づいて、前記移動物体が存在する対象距離を設定する対象距離設定手段、
前記距離情報に基づいて、前記対象距離設定手段で設定された対象距離に対応する画素からなる対象距離画像を生成する対象距離画像生成手段、
前記対象距離画像内に、少なくとも前記対象距離に対応して、前記移動物体を検出する対象となる対象領域を設定する対象領域設定手段、
この対象領域設定手段で設定された対象領域から輪郭を抽出することで、前記移動物体を検出する輪郭抽出手段、
として機能させることを特徴とする移動物体検出プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002334970A JP3952460B2 (ja) | 2002-11-19 | 2002-11-19 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| US10/713,431 US7251346B2 (en) | 2002-11-19 | 2003-11-17 | Moving object detection device, moving object detection method, and moving object detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002334970A JP3952460B2 (ja) | 2002-11-19 | 2002-11-19 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004171189A true JP2004171189A (ja) | 2004-06-17 |
| JP3952460B2 JP3952460B2 (ja) | 2007-08-01 |
Family
ID=32699216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002334970A Expired - Fee Related JP3952460B2 (ja) | 2002-11-19 | 2002-11-19 | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3952460B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196359A (ja) * | 2004-01-05 | 2005-07-21 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| JP2005196362A (ja) * | 2004-01-05 | 2005-07-21 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム |
| JP2007156939A (ja) * | 2005-12-07 | 2007-06-21 | Honda Motor Co Ltd | 人物検出装置、人物検出方法及び人物検出プログラム |
| US7376250B2 (en) | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
| JP2009193390A (ja) * | 2008-02-15 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
| JP2009245363A (ja) * | 2008-03-31 | 2009-10-22 | Mitsubishi Heavy Ind Ltd | 行動認識システム及びその方法 |
| JP2010122078A (ja) * | 2008-11-20 | 2010-06-03 | Nippon Signal Co Ltd:The | 身長検出システムおよびこれを用いた自動改札機 |
| JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
| JP2017223587A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社エヌ・ティ・ティ・データ | 追跡物体発見装置、追跡物体発見方法、およびプログラム |
| JP2019028022A (ja) * | 2017-08-03 | 2019-02-21 | 東芝テック株式会社 | 寸法測定装置 |
| JPWO2017208437A1 (ja) * | 2016-06-03 | 2019-04-25 | マクセル株式会社 | 撮像装置および撮像システム |
| US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08210847A (ja) * | 1995-02-06 | 1996-08-20 | Ikegami Tsushinki Co Ltd | 画像処理方法 |
| JPH09185720A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | 画像抽出装置 |
| JP2001005975A (ja) * | 1999-06-21 | 2001-01-12 | Victor Co Of Japan Ltd | 機器制御装置及び方法 |
-
2002
- 2002-11-19 JP JP2002334970A patent/JP3952460B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08210847A (ja) * | 1995-02-06 | 1996-08-20 | Ikegami Tsushinki Co Ltd | 画像処理方法 |
| JPH09185720A (ja) * | 1995-12-28 | 1997-07-15 | Canon Inc | 画像抽出装置 |
| JP2001005975A (ja) * | 1999-06-21 | 2001-01-12 | Victor Co Of Japan Ltd | 機器制御装置及び方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005196362A (ja) * | 2004-01-05 | 2005-07-21 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム |
| US7376250B2 (en) | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
| JP2005196359A (ja) * | 2004-01-05 | 2005-07-21 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| US7840036B2 (en) | 2005-12-07 | 2010-11-23 | Honda Motor Co., Ltd. | Human being detection apparatus, method of detecting human being, and human being detecting program |
| JP2007156939A (ja) * | 2005-12-07 | 2007-06-21 | Honda Motor Co Ltd | 人物検出装置、人物検出方法及び人物検出プログラム |
| JP4516516B2 (ja) * | 2005-12-07 | 2010-08-04 | 本田技研工業株式会社 | 人物検出装置、人物検出方法及び人物検出プログラム |
| JP2009193390A (ja) * | 2008-02-15 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 |
| JP2009245363A (ja) * | 2008-03-31 | 2009-10-22 | Mitsubishi Heavy Ind Ltd | 行動認識システム及びその方法 |
| JP2010122078A (ja) * | 2008-11-20 | 2010-06-03 | Nippon Signal Co Ltd:The | 身長検出システムおよびこれを用いた自動改札機 |
| JP2015121524A (ja) * | 2013-11-19 | 2015-07-02 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
| US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
| JPWO2017208437A1 (ja) * | 2016-06-03 | 2019-04-25 | マクセル株式会社 | 撮像装置および撮像システム |
| JP2017223587A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社エヌ・ティ・ティ・データ | 追跡物体発見装置、追跡物体発見方法、およびプログラム |
| JP2019028022A (ja) * | 2017-08-03 | 2019-02-21 | 東芝テック株式会社 | 寸法測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3952460B2 (ja) | 2007-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| JP4328286B2 (ja) | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム | |
| JP4516516B2 (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
| US7251346B2 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
| JP6554169B2 (ja) | 物体認識装置及び物体認識システム | |
| JP6030617B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP2005228042A (ja) | 顔識別装置、顔識別方法及び顔識別プログラム | |
| JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| KR100651034B1 (ko) | 대상 물체 검출 시스템 및 그 방법 | |
| JP6579950B2 (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
| KR20130066438A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| JP4153818B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| US20220189113A1 (en) | Method for generating 3d skeleton using joint-based calibration acquired from multi-view camera | |
| JP4153819B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| JP4272538B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP4272539B2 (ja) | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム | |
| JP2016081252A (ja) | 画像処理装置および画像処理方法 | |
| JP4664805B2 (ja) | 顔端検出装置、顔端検出方法、及び、プログラム | |
| CN111563912B (zh) | 一种行人追踪***和方法 | |
| RU2189628C2 (ru) | Способ дистанционного управления |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3952460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |