JP2004362334A - Device for detecting area of traveling object - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To detect an area where the picture of a traveling object is taken in a pick-up image regardless of the type of the traveling object or the positional relation of the traveling object. <P>SOLUTION: A traceable area detecting part 30 divides a pick-up image into a plurality of areas and detects a traceable area where a traveling object is traceable, out of each of the divided areas. An image moving quantity detecting part 40 detects the moving quantity on the image of the traceable area based on at least two of images taken with predetermined time intervals. A target position calculating part 60 calculates the position on real space of the object to be traced in the traceable area, based on the moving quantity of the traceable area and vehicle moving quantity in a predetermined period measured by a vehicle moving quantity measuring part 50. An area classifying part 70 decides whether the traceable area is a still object area or a traveling object area, based on the calculated position of the object to be traced and the vehicle moving quantity. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段により撮像した画像内において、移動体が撮像されている領域を検出する移動体領域検出装置に関する。
【０００２】
【従来の技術】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている（特許文献１参照）。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【０００３】
【特許文献１】
特開平２０００−１１３２０１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件（車幅および車高に係わる基準条件）に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができないという問題があった。
【０００５】
本発明は、移動体の種類や移動体の位置関係に関わらずに、移動体が撮像されている領域を検出する移動体領域検出装置を提供する。
【０００６】
【課題を解決するための手段】
本発明による移動体領域検出装置は、まず、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。そして、所定時間の間隔で撮像された２枚の画像に基づいて検出される追跡可能領域の画像上の移動量と、所定時間における車両移動量とに基づいて、追跡可能領域内の追跡対象の実空間上の位置を算出し、算出した追跡対象の位置と車両移動量とに基づいて、追跡可能領域が静止物領域か移動体領域かを判定することを特徴とする。
【０００７】
【発明の効果】
本発明による移動体領域検出装置によれば、移動体の種類や移動体の位置関係に関わらずに、撮像画像内において移動体が写っている領域を検出することができる。
【０００８】
【発明の実施の形態】
−第１の実施の形態−
図１は、本発明による移動体領域検出装置の第１の実施の形態の構成を示す図である。第１の実施の形態における移動体領域検出装置は、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、画像移動量検出部４０と、自車両移動量計測部５０と、対象位置算出部６０と、領域分類部７０と、追跡領域情報記憶部８０とを備える。
【０００９】
撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。
【００１０】
追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【００１１】
追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【００１２】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。
【００１３】
追跡可能領域検出部３０により、追跡可能領域と判断された領域は、その領域の始点位置（右上隅）、画像サイズ、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部８０に記憶される。以下では、追跡領域情報記憶部８０に記憶された画像パターンを基準パターンと呼ぶ。
【００１４】
画像移動量検出部４０は、撮像部１０により撮像された新たな画像が画像記憶部２０に入力されると、追跡可能領域検出部３０により検出された追跡可能領域の画像上の移動量を検出する。移動量の検出方法について説明する。
【００１５】
追跡可能領域の周囲に、移動量を検出するための探索領域を設け、その探索領域内で基準パターン位置を１画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、１画素単位で移動させる（ずらす）ので、相関値も１画素単位でしか得られないが、複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向ｘ、垂直方向ｙの各方向成分として表される。図４は、各追跡可能領域の移動成分を矢印で表した図である。
【００１６】
画像移動量検出部４０により求められた移動先の位置および移動量は、追跡領域情報記憶部８０に記憶される。ただし、新規画像との相関値がしきい値ｔｈ３未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向ｘ、垂直方向ｙの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。
【００１７】
追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。新たに検出された追跡可能領域が、画像移動量検出部４０で追跡している領域と異なる領域であれば、上述したように、始点位置、画像サイズ、画像パターンを追跡領域情報記憶部８０に記憶する。新たに検出された追跡可能領域が画像移動量検出部４０で追跡している領域と異なる領域であるか否かの判定は、追跡領域情報記憶部８０に記憶されている追跡可能領域の始点位置およびサイズに基づいて行う。
【００１８】
自車移動量計測部５０は、以下の方法により、撮像間隔Δｔの間の自車両の移動量を計測する。すなわち、撮像間隔Δｔの間の車輪の回転数を計測し、この回転数とタイヤの外周長との積を演算する。なお、車輪の回転数を計測するセンサへのトリガ位置を車輪の１周に等角度に複数設定しておけば、１回転以下の分解能により回転数を計測することができる。
【００１９】
対象位置算出部６０は、追跡可能領域に写っている追跡対象の位置を算出する。具体的には、撮像間隔Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から、追跡可能領域に写っている追跡対象までの距離Ｌを算出する。図５は、追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部１０を横から見た図である。図５に示すように、撮像間隔Δｔの間に自車両はΔＬだけ移動したものとする。ここで、撮像部１０のレンズの焦点距離をｆ、自車両が移動する前の追跡対象の画像上のｙ座標をｙ１、自車両が移動した後の追跡対象のｙ座標をｙ２、追跡対象の画像上のｙ方向の移動量をΔｙ（＝ｙ２−ｙ１）とすると、距離Ｌは次式（１）にて表される。
Ｌ＝ｆ＋ΔＬ×ｙ１／Δｙ …（１）
【００２０】
図６は、追跡対象および撮像部１０を上方から見た図である。図６のように、ｘ方向（水平方向）においても、ｙ方向と同じ関係が成り立つので、距離Ｌは、追跡対象の画像上のｘ方向の移動量Δｘを用いて、次式（２）のように表すことができる。
Ｌ＝ｆ＋ΔＬ×ｘ１／Δｘ …（２）
ただし、ｘ１は自車両が移動する前の追跡対象の画像上のｘ座標であり、自車両が移動した後の追跡対象のｘ座標をｘ２とすると、Δｘ＝ｘ２−ｘ１となる。
【００２１】
ここで、追跡対象の移動量が小さい時には、上式（１）または（２）を用いて算出される距離Ｌの誤差が大きくなる。従って、対象位置算出部６０は、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｙの方が大きければ式（１）を用い、Δｘの方が大きければ式（２）を用いて、距離Ｌを算出する。
【００２２】
領域分類部７０は、追跡している領域が静止物が写っている静止物領域か、移動体が写っている移動体領域かの判定を行う。図７は、時間と共に変化する、式（１）または式（２）により算出される距離Ｌの大きさを示す図である。図７には、追跡領域が静止物領域ａ（図３参照）である場合の距離Ｌの変化と、追跡対象が移動体領域ｂ（図３参照）である場合の距離Ｌの変化をそれぞれ示している。図７に示すように、追跡対象が静止物の場合には、自車両が移動することにより、自車両と追跡対象との間の距離Ｌは短くなっていく。
【００２３】
図８は、距離Ｌの一定時間ごとの変化量と、一定時間ごとの自車両の移動量を示す図である。上述したように、追跡対象が静止物の場合には、追跡対象までの距離Ｌは、徐々に小さくなっていくので、一定時間ごとの移動量は負の値となる。この一定時間ごとの移動量は、図８に示すように、一定時間ごとの自車両の移動量の大きさと符号は反対であるが、その絶対値はほぼ等しくなる。従って、両者の和は、図９に示すように０に近い値となる。
【００２４】
一方、追跡対象が移動体の場合には、一定時間ごとの追跡対象の移動量と、自車両の移動量との関係に相関関係はなく、図９に示すように、両者の和は０に近い値とはならない。
【００２５】
図１０は、一定時間ごとの追跡対象の移動変化量（距離Ｌの変化量）と、一定時間ごとの自車両の移動量との和（図９参照）の一定時間ごとの分散値を表した図である。上述したように、追跡対象が静止物の場合の移動量の和は０に近い値となるので、分散値の大きさも０に近い値となる。一方、追跡対象が移動体の場合には、静止物の場合に比べて、分散値は大きくなる。
【００２６】
領域分類部７０は、一定時間ごとの追跡対象の移動変化量と、一定時間ごとの自車両の移動量との和の分散値が所定のしきい値ｔｈ４以下であれば、追跡対象が静止物であると判定し、しきい値ｔｈ４より大きくなることがあれば、移動体であると判定する。この判定は、追跡領域情報記憶部８０に記憶されている全ての追跡可能領域に対して行われる。各追跡可能領域に対して、移動体領域であるか、静止物領域であるかの判定が行われた結果を図１１に示す。図１１において、ハッチングされた領域が移動体領域であり、ハッチングされていない領域が静止物領域である。
【００２７】
追跡領域情報記憶部８０には、上述した始点位置、画像サイズなどの情報の他に、追跡を開始してからの情報更新回数、静止物領域か移動体領域かの判定結果などが記憶される。なお、初期状態では、識別番号以外の情報はクリア（０）の状態であり、追跡可能領域検出部３０によって追跡可能領域が検出されると、識別番号順に各種情報が記憶されていく。
【００２８】
図１２は、第１の実施の形態における移動体領域検出装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部８０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０により撮像された画像を画像記憶部２０に記憶して、ステップＳ３０に進む。
【００２９】
ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、画像移動量検出部４０によって、追跡可能領域が撮像間隔Δｔの間に移動する画像上の移動量を検出する。移動量の検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動量を検出すると、ステップＳ５０に進む。
【００３０】
ステップＳ５０では、対象位置算出部６０により、時間Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から追跡対象までの距離Ｌを算出する。距離Ｌの算出方法は上述したので、詳しい説明は省略する。ステップＳ５０に続くステップＳ６０では、領域分類部７０により、追跡対象となっている追跡可能領域が静止物領域であるか、移動体領域であるかを判定する。この判定方法についても上述したので、詳しい説明は省略する。ステップＳ７０において、追跡対象となっている追跡可能領域が静止物領域であるか、移動体領域であるかの判定を行うと、ステップＳ２０に戻る。以後、撮像間隔Δｔの周期で、ステップＳ２０以降の処理が繰り返し行われる。
【００３１】
第１の実施の形態における移動体領域検出装置による移動体領域の検出方法についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。画像移動量検出部４０は、Δｔの撮像間隔で撮像部１０により撮像された少なくとも２枚の画像に基づいて、追跡可能領域の画像上の移動量を検出する。対象位置算出部６０は、画像移動量検出部４０により検出された追跡可能領域の移動量と、自車移動量計測部５０により計測された自車移動量とに基づいて、追跡可能領域内の追跡対象までの車両移動方向における距離Ｌを算出する（式（１），（２）参照）。領域分類部７０は、追跡対象までの距離Ｌの一定時間ごとの変化量と、自車両の一定時間ごとの移動量との和を複数算出し、算出した複数の和の分散値が所定のしきい値ｔｈ４以下であれば、追跡可能領域が静止物領域であると判定する。一方、算出した分散値がしきい値ｔｈ４より大きくなることがあれば、追跡可能領域が移動体領域であると判定する。
【００３２】
第１の実施の形態における移動体領域検出装置によれば、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。画像中のエッジ成分の特徴に基づいて移動体を検出する従来の装置では、移動体を構成するエッジと類似するエッジを有する建物などが画像中に存在する場合には、その建物を移動体として誤検出する可能性がある。しかし、第１の実施の形態における移動体領域検出装置では、画像中に建物などが存在する場合でも、移動体が写っている領域を確実に移動体領域として検出することができる。
【００３３】
−第２の実施の形態−
第１の実施の形態における移動体領域検出装置では、撮像間隔Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から、自車両の移動方向における追跡対象までの距離Ｌを算出することにより、移動体領域と静止物領域とを分類した。第２の実施の形態における移動体領域検出装置では、撮像部１０の光軸から、追跡対象までの横方向距離Ｗ（図６参照）を算出することにより、移動体領域を検出する。なお、ここでの横方向とは、自車両が直進する方向と垂直な方向を意味している。
【００３４】
なお、第２の実施の形態における移動体領域検出装置の構成は、図１に示す第１の実施の形態における移動体領域検出装置の構成と同じである。ただし、対象位置算出部および領域分類部で行われる処理内容は、後述するように、第１の実施の形態における対象位置算出部６０および領域分類部７０で行われる処理内容と異なる。従って、第２の実施の形態における対象位置算出部および領域分類部を、便宜上それぞれ、対象位置算出部６０ａ、領域分類部７０ａと呼ぶことにする。
【００３５】
撮像部１０の光軸から、追跡対象までの横方向距離Ｗは、自車両が移動する前の追跡対象の画像上のｘ座標をｘ１、時間Δｔの間に自車両が移動した後の追跡対象のｘ座標をｘ２、画像上のｘ方向の移動量をΔｘ（＝ｘ２−ｘ１）とすると、次式（３）にて表される。この横方向距離Ｗは、対象位置算出部６０ａにより算出される。
Ｗ＝ΔＬ×ｘ１×ｘ２／Δｘ …（３）
【００３６】
また、上述した式（１），（２）の関係と同様に、追跡対象の画像上のｙ方向の移動量Δｙを用いると、次式（４）のように表すことができる。
Ｗ＝ΔＬ×ｙ１×ｘ２／Δｙ …（４）
この場合も、対象位置算出部６０ａは、追跡対象までの距離Ｌを算出した時と同様の理由により、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｘの方が大きければ式（３）を用い、Δｙの方が大きければ式（４）を用いて、横方向距離Ｗを算出する。
【００３７】
追跡対象が静止物の場合には、式（３）または式（４）により算出される横方向距離Ｗはほぼ一定である。しかし、追跡対象が移動体の場合には、追跡対象が移動することにより、図５または図６に示すような、撮像部１０と追跡対象との幾何学的関係が保たれないので、横方向距離Ｗは一定値にはならず変動する。従って、所定時間Δｔごとの横方向距離Ｗの分散値を算出すると、追跡対象が静止物の場合には、分散値の値は０に近い値となり、追跡対象が移動体の場合の分散値の値は、静止物の場合と比べると大きい値となる。
【００３８】
従って、第２の実施の形態における移動体領域検出装置の領域分類部７０ａは、所定時間Δｔごとの横方向距離Ｗの分散値と所定のしきい値ｔｈ５とを比較することにより、追跡領域が静止物領域か移動体領域かを判定することができる。すなわち、横方向距離Ｗの分散値がしきい値ｔｈ５以下であれば、追跡領域は静止物領域であると判定し、しきい値ｔｈ５より大きくなることがあれば、移動体領域であると判定する。
【００３９】
第２の実施の形態における移動体領域検出装置においても、第１の実施の形態における移動体領域検出装置と同様に、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。
【００４０】
−第３の実施の形態−
第１および第２の実施の形態における移動体領域検出装置は、移動体領域を検出するために、撮像部１０のレンズの中心から、自車両の移動方向における追跡対象までの距離Ｌ、および、撮像部１０の光軸から追跡対象までの横方向距離Ｗをそれぞれ算出した。第３の実施の形態における移動体領域検出装置は、路面から追跡対象までの高さＨを算出することにより、移動体領域を検出する。
【００４１】
なお、第３の実施の形態における移動体領域検出装置の構成は、図１に示す第１の実施の形態における移動体領域検出装置の構成と同じである。ただし、対象位置算出部および領域分類部で行われる処理内容は、後述するように、第１の実施の形態における対象位置算出部６０および領域分類部７０で行われる処理内容と異なる。従って、第３の実施の形態における対象位置算出部および領域分類部を、便宜上それぞれ、対象位置算出部６０ｂ、領域分類部７０ｂと呼ぶことにする。
【００４２】
図１３は、追跡対象までの高さＨを算出する方法について説明するための図であり、追跡対象および撮像部１０を横から見た図である。路面から撮像部１０の光軸までの高さをｈ１、自車両が移動する前の追跡対象の画像上のｙ座標をｙ１、時間Δｔが経過する間に自車両が移動した後の追跡対象のｙ座標をｙ２、画像上のｙ方向の移動量をΔｙ（＝ｙ２−ｙ１）とすると、高さＨは次式（５）により表される。この追跡対象までの高さＨは、対象位置算出部６０ｂにより算出される。
Ｈ＝ｈ１−ｈ２
＝ｈ１−（Ｌ／ｆ−１）×ｙ２ …（５ａ）
＝ｈ１−ΔＬ×ｙ１×ｙ２／Δｙ …（５）
【００４３】
図１４は、追跡対象および撮像部１０を上方から見た図である。図１４のように、ｘ方向においても、ｙ方向と同じ関係が成り立つので、式（５ａ）中の距離Ｌは、追跡対象の画像上のｘ方向の移動量Δｘを用いて表すことができる。従って、高さＨは、次式（６）のように表すことができる。
Ｈ＝ｈ１−ΔＬ×ｘ１×ｙ２／Δｘ …（６）
【００４４】
対象位置算出部６０ｂは、追跡対象までの距離Ｌを算出した時と同様の理由により、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｙの方が大きければ式（５）を用い、Δｘの方が大きければ式（６）を用いて、高さＨを算出する。
【００４５】
追跡対象が静止物の場合には、式（５）または式（６）により算出される高さＨはほぼ一定である。しかし、追跡対象が移動体の場合には、追跡対象が移動することにより、図１３または図１４に示すような、撮像部１０と追跡対象との幾何学的関係が保たれないので、高さＨは一定値にはならず変動する。追跡対象が静止物である領域ａの高さＨの時系列変化と、追跡対象が移動体である領域ｂの高さＨの時系列変化とを図１５に示す。
【００４６】
従って、所定時間Δｔごとの高さＨの分散値を算出すると、追跡対象が静止物の場合には、分散値の値は０に近い値となり、追跡対象が移動体の場合の分散値の値は、静止物の場合と比べると大きい値となる。追跡対象が静止物である領域ａの高さＨの分散値と、追跡対象が移動体である領域ｂの高さＨの分散値とをそれぞれ図１６に示す。
【００４７】
第３の実施の形態における移動体領域検出装置の領域分類部７０ｂは、所定時間Δｔごとの高さＨの分散値と所定のしきい値ｔｈ６とを比較することにより、追跡領域が静止物領域か移動体領域かを判定することができる。すなわち、高さＨの分散値がしきい値ｔｈ６以下であれば、追跡領域は静止物領域であると判定し、しきい値ｔｈ６より大きくなることがあれば、移動体領域であると判定する。具体的には、所定時間Δｔごとに算出した分散値としきい値ｔｈ６とを比較し、分散値がしきい値ｔｈ６を超えた時に、その追跡領域は移動体領域であると判定する。図１６に示す例では、時刻ｔ１において、追跡領域ｂが移動体領域であると判定される。
【００４８】
第３の実施の形態における移動体領域検出装置によれば、第１および第２の実施の形態における移動体領域検出装置と同様に、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。
【００４９】
本発明は、上述した各実施の形態に限定されることはない。例えば、上述した実施の形態では、撮像部１０を用いて車両の前方を撮像し、車両前方に存在する移動体を検出する例について説明した。しかし、車両後方を撮像して、車両後方に存在する移動体を検出することもできる。
【００５０】
なお、上述した各実施の形態では、撮像画像において、移動体が写っている領域と、静止物が写っている領域とを分類するものとして説明したが、換言すれば、移動体を検出していると言える。従って、第１〜第３の実施の形態における移動体領域検出装置は、撮像された画像に基づいて、移動体を検出することができる。
【００５１】
特許請求の範囲の構成要素と第１〜第３の実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮像手段を、追跡可能領域検出部３０が領域区分手段および追跡可能領域検出手段を、画像移動量検出部４０が画像移動量検出手段を、自車移動量計測部５０が車両移動量検出手段を、対象位置算出部６０が対象位置算出手段を、領域分類部７０が領域判定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明による移動体領域検出装置の第１の実施の形態の構成を示す図
【図２】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した様子を示す図
【図３】図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図４】各追跡可能領域の移動成分を矢印で表した図
【図５】追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部を横から見た図
【図６】追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部を上方から見た図
【図７】時間と共に変化する距離Ｌの大きさを示す図
【図８】追跡対象までの距離Ｌの一定時間ごとの移動量を示す図
【図９】一定時間ごとの追跡対象の移動量と、一定時間ごとの自車両の移動量との和を示す図
【図１０】一定時間ごとの追跡対象の移動量と、一定時間ごとの自車両の移動量との和の分散値を示す図
【図１１】各追跡可能領域に対して、移動体領域であるか、静止物領域であるかの判定が行われた結果を示す図
【図１２】第１の実施の形態における移動体領域検出装置によって行われる処理手順を示すフローチャート
【図１３】追跡対象までの高さＨを算出する方法について説明するための図であり、追跡対象および撮像部を横から見た図
【図１４】追跡対象および撮像部を上方から見た図
【図１５】追跡対象が静止物である領域ａの高さＨの変動と、追跡対象が移動体である領域ｂの高さＨの変動とを示す図
【図１６】追跡対象が静止物である領域ａの高さＨの分散値と、追跡対象が移動体である領域ｂの高さＨの分散値とを示す図
【符号の説明】
１０…撮像部、２０…画像記憶部、３０…追跡可能領域検出部、４０…画像移動量検出部、５０…自車移動量計測部、６０…対象位置算出部、７０…領域分類部、８０…追跡領域情報記憶部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving body region detection device that detects a region where a moving body is imaged in an image captured by an imaging unit.
[0002]
[Prior art]
2. Description of the Related Art A device that detects a moving object based on an image captured by a camera mounted on a vehicle is known (see Patent Document 1). In this conventional detection device, a horizontal edge component and a vertical edge component in a captured image are extracted, and a vertical edge component representing both ends of the vehicle is detected based on the extracted edge components.
[0003]
[Patent Document 1]
JP-A-2000-113201
[0004]
[Problems to be solved by the invention]
However, the conventional detection device detects vertical edge components representing both end portions of the vehicle from the vertical edge components in the image based on conditions representing the vehicle (reference conditions relating to the vehicle width and the vehicle height). Therefore, if the type of the vehicle or the positional relationship with the vehicle changes, the condition for representing the vehicle also changes, so that there has been a problem that the edge components representing both end portions of the vehicle cannot be detected.
[0005]
The present invention provides a moving body region detection device that detects a region where a moving body is imaged, regardless of the type of the moving body and the positional relationship of the moving body.
[0006]
[Means for Solving the Problems]
The moving object region detection device according to the present invention first divides a captured image into a plurality of regions, and detects a traceable region in which the moving object can be tracked among the divided regions. Then, based on the amount of movement of the trackable area on the image detected based on the two images captured at the predetermined time interval and the amount of vehicle movement in the predetermined time, the tracking target in the trackable area is determined. A position in a real space is calculated, and it is determined whether the trackable area is a stationary object area or a moving object area based on the calculated position of the tracking target and the vehicle movement amount.
[0007]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to the moving body area | region detection apparatus by this invention, the area | region where the moving body is shown in a picked-up image can be detected regardless of the kind of a moving body, or the positional relationship of a moving body.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
-1st Embodiment-
FIG. 1 is a diagram showing a configuration of a first embodiment of a moving object area detection device according to the present invention. The moving body region detection device according to the first embodiment includes an imaging unit 10, an image storage unit 20, a traceable region detection unit 30, an image movement amount detection unit 40, a host vehicle movement amount measurement unit 50, It includes a target position calculation unit 60, an area classification unit 70, and a tracking area information storage unit 80.
[0009]
The imaging unit 10 is, for example, a video camera, and captures an image of the front of the vehicle at regular time intervals. The camera is installed so that the horizontal optical axis of the camera coincides with the straight traveling direction of the vehicle, and the vertical optical axis is horizontal. The image captured by the imaging unit 10 is stored in the image storage unit 20.
[0010]
The trackable area detection unit 30 detects an area in which a mobile object can be tracked, based on an image captured by the imaging unit 10 and stored in the image storage unit 20. In an image, in a region having a uniform shading such as a white line on a road, even if the target (moving object) moves in a direction perpendicular to the direction of the shading, the amount of movement of the target cannot be detected. Can not. Therefore, the area where the target can be tracked is an area having a change in shading in a plurality of directions. A method for detecting such an area will be described.
[0011]
The traceable area detection unit 30 reads out the image stored in the image storage unit 20, applies a filter for detecting edges in the vertical and horizontal directions, and applies the size (dI / dx, dI / dy: I is a pixel value). Next, in order to remove a noise component included in the detected edge, a pixel whose sum of squares of the calculated vertical and horizontal edge components is equal to or larger than a threshold th1 is extracted. The direction of the density gradient is obtained by calculating the ratio of the magnitude of the vertical component to the horizontal component of the edge.
[0012]
Next, the image showing the edges after the noise has been removed is divided into grids at equal intervals in the vertical and horizontal directions. FIG. 2 is a diagram showing regions obtained by dividing an image in which edges have been detected from a captured image by the above-described method into a grid shape in the vertical direction and the horizontal direction. For each of the divided areas, a variance of the ratio of the magnitude of the vertical component to the horizontal component of the edge is obtained. In this case, if there is only one direction of the edge gradient in the divided rectangular area, the variance value is small, and if there is an edge gradient in a plurality of directions, the variance value is large. Therefore, if the obtained variance value is smaller than the predetermined threshold value th2, the edge gradient direction is likely to be in one direction, and it is determined that it is difficult to detect an object moving in a direction perpendicular to the density gradient. On the other hand, if the obtained variance is equal to or larger than the predetermined threshold th2, it has edge gradients in a plurality of directions, and it can be determined that tracking is possible even if the moving body moves in any direction. The trackable area detection unit 30 determines that the area where the obtained variance is equal to or larger than the predetermined threshold th2 is a trackable area. FIG. 3 shows a rectangular area determined to be a trackable area based on the captured image of FIG.
[0013]
The area determined to be a trackable area by the trackable area detection unit 30 is an identification in which the start position (upper right corner) of the area, the image size, and the image pattern of the original image are allocated to each rectangular area. It is stored in the tracking area information storage unit 80 in association with the number. Hereinafter, the image pattern stored in the tracking area information storage unit 80 is referred to as a reference pattern.
[0014]
When a new image captured by the imaging unit 10 is input to the image storage unit 20, the image movement amount detection unit 40 detects the movement amount of the traceable area detected by the traceable area detection unit 30 on the image. I do. A method for detecting the movement amount will be described.
[0015]
A search area for detecting a movement amount is provided around the traceable area, and a correlation value with a new image is calculated while shifting the reference pattern position by one pixel within the search area. In this case, a region where the calculated correlation value is equal to or larger than the threshold value th3 and has a maximum is detected as a destination of the traceable region. Since the reference pattern position is moved (shifted) in units of one pixel, a correlation value can be obtained only in units of one pixel. However, by performing an interpolation operation using a plurality of correlation values, the position where the correlation value becomes maximum is obtained. (Destination) can be obtained with an accuracy of one pixel or less. The movement amount of the traceable area calculated based on the obtained movement destination is expressed as a horizontal direction x and a vertical direction y. FIG. 4 is a diagram in which moving components of each traceable area are represented by arrows.
[0016]
The position and the movement amount of the movement destination obtained by the image movement amount detection unit 40 are stored in the tracking area information storage unit 80. However, if the correlation value with the new image is less than the threshold value th3, it cannot be determined that the same part in the image has moved, so that information on the target trackable area is initialized. . Further, even when the start point coordinates of the traceable area deviate from a certain range in the horizontal direction x and the vertical direction y, the information regarding the traceable area is initialized. This is because a moving object moving in a direction different from the moving direction of the stationary object or the own vehicle on the image moves in the peripheral direction from the vanishing point with the movement of the own vehicle, so that the imaging range of the imaging range with time elapses. Because they go outside. It is not determined whether or not the initialized traceable area is a moving body area.
[0017]
The trackable area detection unit 30 detects a new trackable area based on images captured by the imaging unit 10 at intervals of time Δt. If the newly detected traceable area is different from the area tracked by the image movement amount detection unit 40, the start point position, the image size, and the image pattern are stored in the tracking area information storage unit 80 as described above. Remember. The determination as to whether the newly detected traceable area is different from the area tracked by the image movement amount detection unit 40 is based on the start point position of the traceable area stored in the tracking area information storage unit 80. And based on size.
[0018]
The own-vehicle movement amount measuring unit 50 measures the amount of movement of the own vehicle during the imaging interval Δt by the following method. That is, the number of rotations of the wheel during the imaging interval Δt is measured, and the product of the number of rotations and the outer peripheral length of the tire is calculated. If a plurality of trigger positions for a sensor for measuring the number of rotations of the wheel are set at equal angles around one rotation of the wheel, the number of rotations can be measured with a resolution of one rotation or less.
[0019]
The target position calculator 60 calculates the position of the tracking target in the trackable area. Specifically, the distance L from the center of the lens of the imaging unit 10 after the vehicle has moved during the imaging interval Δt to the tracking target in the trackable area is calculated. FIG. 5 is a diagram for explaining a method of calculating the distance L to the tracking target, and is a diagram of the tracking target and the imaging unit 10 viewed from the side. As shown in FIG. 5, it is assumed that the own vehicle has moved by ΔL during the imaging interval Δt. Here, the focal length of the lens of the imaging unit 10 is f, the y coordinate on the image of the tracking target before the own vehicle moves is y1, the y coordinate of the tracking target after the own vehicle moves is y2, Assuming that the amount of movement in the y direction on the image is Δy (= y2−y1), the distance L is expressed by the following equation (1).
L = f + ΔL × y1 / Δy (1)
[0020]
FIG. 6 is a diagram of the tracking target and the imaging unit 10 as viewed from above. As shown in FIG. 6, the same relationship holds in the x direction (horizontal direction) as in the y direction. Therefore, the distance L is calculated by using the movement amount Δx in the x direction on the image of the tracking target in the following equation (2). It can be expressed as follows.
L = f + ΔL × x1 / Δx (2)
Here, x1 is the x coordinate on the image of the tracking target before the own vehicle moves, and when the x coordinate of the tracking target after the own vehicle moves is x2, Δx = x2−x1.
[0021]
Here, when the movement amount of the tracking target is small, the error of the distance L calculated using the above equation (1) or (2) becomes large. Therefore, the target position calculation unit 60 uses Expression (1) if Δy is larger than the movement amount component (Δx, Δy) of the tracking area, and uses Expression (2) if Δx is larger. The distance L is calculated.
[0022]
The area classification unit 70 determines whether the area being tracked is a still object area where a stationary object is captured or a moving object area where a moving object is captured. FIG. 7 is a diagram illustrating the magnitude of the distance L calculated with Expression (1) or Expression (2), which changes with time. FIG. 7 shows a change in the distance L when the tracking area is the stationary object area a (see FIG. 3) and a change in the distance L when the tracking target is the moving body area b (see FIG. 3). ing. As shown in FIG. 7, when the tracking target is a stationary object, the distance L between the own vehicle and the tracking target decreases as the own vehicle moves.
[0023]
FIG. 8 is a diagram illustrating a change amount of the distance L for each fixed time and a movement amount of the own vehicle for each fixed time. As described above, when the tracking target is a stationary object, the distance L to the tracking target gradually decreases, and therefore, the movement amount for each fixed time becomes a negative value. As shown in FIG. 8, the amount of movement for each fixed time is opposite in magnitude and sign to the amount of movement of the host vehicle for each fixed time, but its absolute value is substantially equal. Therefore, the sum of the two becomes a value close to 0 as shown in FIG.
[0024]
On the other hand, when the tracked object is a moving object, there is no correlation between the movement amount of the tracked object at regular time intervals and the movement amount of the own vehicle, and as shown in FIG. It will not be close.
[0025]
FIG. 10 shows the variance value of the sum of the movement change amount (the change amount of the distance L) of the tracking target every fixed time and the movement amount of the own vehicle every certain time period (see FIG. 9) at every certain time period. FIG. As described above, since the sum of the movement amounts when the tracking target is a stationary object is a value close to 0, the magnitude of the variance value is also a value close to 0. On the other hand, when the tracking target is a moving object, the variance value is larger than when the tracking target is a stationary object.
[0026]
If the variance of the sum of the change amount of the movement of the tracking target every fixed time and the movement amount of the own vehicle every certain time is equal to or smaller than the predetermined threshold th4, the area classification unit 70 Is determined, and if it becomes larger than the threshold value th4, it is determined that the mobile object. This determination is performed for all the traceable areas stored in the tracking area information storage unit 80. FIG. 11 shows the result of determining whether each of the trackable areas is a moving object area or a stationary object area. In FIG. 11, a hatched area is a moving object area, and an unhatched area is a stationary object area.
[0027]
In the tracking area information storage unit 80, in addition to the information such as the above-described start point position and image size, the number of information updates since the start of tracking, the determination result of the stationary object area or the moving object area, and the like are stored. . In the initial state, information other than the identification number is cleared (0), and when the traceable area is detected by the traceable area detection unit 30, various information is stored in the order of the identification number.
[0028]
FIG. 12 is a flowchart illustrating a processing procedure performed by the moving object region detection device according to the first embodiment. The process starting from step S10 starts when an ignition switch (not shown) is turned on. In step S10, the tracking area information stored in the tracking area information storage unit 80 is initialized, and the process proceeds to step S20. In step S20, the image captured by the imaging unit 10 is stored in the image storage unit 20, and the process proceeds to step S30.
[0029]
In step S30, the trackable area detection unit 30 detects a trackable area based on the image stored in the image storage unit 20. Since the method of detecting the traceable area has been described above, detailed description will be omitted. When a traceable area is detected, the process proceeds to step S40. In step S40, the image movement amount detection unit 40 detects the movement amount on the image in which the trackable area moves during the imaging interval Δt. Since the method of detecting the movement amount has been described above, the detailed description is omitted. When the movement amount of the traceable area is detected, the process proceeds to step S50.
[0030]
In step S50, the target position calculation unit 60 calculates the distance L from the center of the lens of the imaging unit 10 to the tracking target after the vehicle has moved during the time Δt. Since the method of calculating the distance L has been described above, a detailed description is omitted. In step S60 following step S50, the area classification unit 70 determines whether the trackable area to be tracked is a stationary object area or a moving object area. Since this determination method has been described above, a detailed description thereof will be omitted. If it is determined in step S70 whether the trackable area to be tracked is a stationary object area or a moving object area, the process returns to step S20. After that, the process from step S20 is repeatedly performed at a cycle of the imaging interval Δt.
[0031]
A method of detecting a moving object region by the moving object region detecting device according to the first embodiment will be summarized. The trackable area detection unit 30 divides the image captured by the imaging unit 10 into a plurality of areas, and detects a trackable area in which a moving object can be tracked for each area. The image movement amount detection unit 40 detects the movement amount of the traceable area on the image based on at least two images captured by the imaging unit 10 at the imaging interval of Δt. The target position calculation unit 60 is configured to calculate the target position within the trackable area based on the movement amount of the trackable area detected by the image movement amount detection unit 40 and the own vehicle movement amount measured by the own vehicle movement amount measurement unit 50. The distance L in the vehicle moving direction to the tracking target is calculated (see equations (1) and (2)). The area classifying unit 70 calculates a plurality of sums of a change amount of the distance L to the tracking target at regular time intervals and a movement amount of the own vehicle at regular time intervals, and determines a variance value of the calculated sums to a predetermined value. If the threshold value is equal to or smaller than th4, it is determined that the trackable area is a stationary object area. On the other hand, if the calculated variance value becomes larger than the threshold value th4, it is determined that the trackable area is the moving body area.
[0032]
According to the moving object region detection device in the first embodiment, the moving object region can be detected regardless of the type of the moving object and the positional relationship between the moving object and the imaging unit 10. In a conventional device that detects a moving object based on the features of an edge component in an image, when a building or the like having an edge similar to the edge configuring the moving object exists in the image, the building is regarded as the moving object. There is a possibility of erroneous detection. However, the moving object region detection device according to the first embodiment can reliably detect the region where the moving object is captured as the moving object region even when a building or the like exists in the image.
[0033]
-2nd Embodiment-
In the moving object region detection device according to the first embodiment, the distance L from the center of the lens of the imaging unit 10 after the own vehicle moves during the imaging interval Δt to the tracking target in the moving direction of the own vehicle is calculated. By doing so, the moving object region and the stationary object region were classified. In the moving object region detection device according to the second embodiment, the moving object region is detected by calculating the lateral distance W (see FIG. 6) from the optical axis of the imaging unit 10 to the tracking target. Here, the lateral direction means a direction perpendicular to the direction in which the host vehicle travels straight.
[0034]
Note that the configuration of the moving object region detection device according to the second embodiment is the same as the configuration of the moving object region detection device according to the first embodiment shown in FIG. However, the processing content performed by the target position calculation unit and the area classification unit is different from the processing content performed by the target position calculation unit 60 and the area classification unit 70 in the first embodiment, as described later. Therefore, the target position calculation unit and the region classification unit in the second embodiment will be referred to as a target position calculation unit 60a and a region classification unit 70a, respectively, for convenience.
[0035]
The lateral distance W from the optical axis of the imaging unit 10 to the tracking target is x1, the x coordinate on the image of the tracking target before the own vehicle moves, and the tracking target after the own vehicle moves during the time Δt. Is x2, and the amount of movement in the x direction on the image is Δx (= x2−x1). This lateral distance W is calculated by the target position calculation unit 60a.
W = ΔL × x1 × x2 / Δx (3)
[0036]
In addition, similarly to the relationship between the expressions (1) and (2) described above, when the movement amount Δy in the y direction on the image of the tracking target is used, it can be expressed as the following expression (4).
W = ΔL × y1 × x2 / Δy (4)
Also in this case, for the same reason as when the distance L to the tracking target is calculated, the target position calculation unit 60a determines that the expression (3) is greater than the moving amount component (Δx, Δy) of the tracking area if Δx is larger. ), And if Δy is larger, the lateral distance W is calculated using Expression (4).
[0037]
When the tracking target is a stationary object, the lateral distance W calculated by the equation (3) or (4) is substantially constant. However, when the tracking target is a moving object, the tracking target moves, so that the geometric relationship between the imaging unit 10 and the tracking target as shown in FIG. The distance W does not become a constant value but fluctuates. Therefore, when the variance value of the lateral distance W for each predetermined time Δt is calculated, when the tracking target is a stationary object, the variance value becomes a value close to 0, and when the tracking target is a moving object, The value is larger than that of a stationary object.
[0038]
Therefore, the area classifying unit 70a of the moving object area detection device according to the second embodiment compares the variance value of the lateral distance W for each predetermined time Δt with the predetermined threshold th5, so that the tracking area can be determined. It can be determined whether the area is a stationary object area or a moving object area. That is, if the variance of the lateral distance W is equal to or smaller than the threshold th5, the tracking area is determined to be a stationary object area, and if it is larger than the threshold th5, the tracking area is determined to be a moving object area. I do.
[0039]
Also in the moving object region detecting device according to the second embodiment, as in the moving object region detecting device according to the first embodiment, regardless of the type of the moving object and the positional relationship between the moving object and the imaging unit 10. , The moving object area can be detected.
[0040]
-Third embodiment-
In order to detect the moving object region, the moving object region detecting device according to the first and second embodiments has a distance L from the center of the lens of the imaging unit 10 to the tracking target in the moving direction of the own vehicle, and The lateral distance W from the optical axis of the imaging unit 10 to the tracking target was calculated. The moving object region detection device according to the third embodiment detects a moving object region by calculating a height H from a road surface to a tracking target.
[0041]
Note that the configuration of the moving object region detection device according to the third embodiment is the same as the configuration of the moving object region detection device according to the first embodiment shown in FIG. However, the processing content performed by the target position calculation unit and the area classification unit is different from the processing content performed by the target position calculation unit 60 and the area classification unit 70 in the first embodiment, as described later. Therefore, the target position calculation unit and the region classification unit in the third embodiment will be referred to as a target position calculation unit 60b and a region classification unit 70b, respectively, for convenience.
[0042]
FIG. 13 is a diagram for explaining a method of calculating the height H to the tracking target, and is a diagram of the tracking target and the imaging unit 10 viewed from the side. The height from the road surface to the optical axis of the imaging unit 10 is h1, the y coordinate on the image of the tracking target before the own vehicle moves is y1, and the tracking target after the own vehicle moves during the time Δt elapses. Assuming that the y coordinate is y2 and the amount of movement in the y direction on the image is Δy (= y2−y1), the height H is expressed by the following equation (5). The height H to the tracking target is calculated by the target position calculation unit 60b.
H = h1-h2
= H1- (L / f-1) * y2 (5a)
= H1-ΔL × y1 × y2 / Δy (5)
[0043]
FIG. 14 is a diagram in which the tracking target and the imaging unit 10 are viewed from above. As shown in FIG. 14, since the same relationship holds in the x direction as in the y direction, the distance L in Expression (5a) can be expressed using the movement amount Δx in the x direction on the image of the tracking target. Therefore, the height H can be expressed as in the following equation (6).
H = h1−ΔL × x1 × y2 / Δx (6)
[0044]
For the same reason as when the distance L to the tracking target is calculated, the target position calculation unit 60b uses Expression (5) if Δy is larger than the moving amount component (Δx, Δy) of the tracking area, If Δx is larger, the height H is calculated using equation (6).
[0045]
When the tracking target is a stationary object, the height H calculated by Expression (5) or Expression (6) is substantially constant. However, when the tracking target is a moving object, the geometrical relationship between the imaging unit 10 and the tracking target as shown in FIG. H does not become a constant value but fluctuates. FIG. 15 shows a time-series change in the height H of the area a in which the tracking target is a stationary object and a time-series change in the height H of the area b in which the tracking target is a moving object.
[0046]
Therefore, when the variance value of the height H at each predetermined time Δt is calculated, the variance value is close to 0 when the tracking target is a stationary object, and the variance value when the tracking target is a moving object. Is larger than that of a stationary object. FIG. 16 shows the variance value of the height H of the area a where the tracking target is a stationary object and the variance value of the height H of the area b where the tracking target is a moving object.
[0047]
The region classifying unit 70b of the moving object region detecting device according to the third embodiment compares the variance value of the height H for each predetermined time Δt with a predetermined threshold th6, so that the tracking region is a stationary object region. Or the moving object area. That is, if the variance of the height H is equal to or smaller than the threshold th6, the tracking area is determined to be a stationary object area, and if it is larger than the threshold th6, it is determined to be a moving object area. . Specifically, the variance value calculated for each predetermined time Δt is compared with a threshold value th6, and when the variance value exceeds the threshold value th6, it is determined that the tracking area is a moving body area. In the example shown in FIG. 16, at time t1, it is determined that the tracking area b is the moving body area.
[0048]
According to the moving object region detecting device according to the third embodiment, similar to the moving object region detecting devices according to the first and second embodiments, the type of the moving object and the position between the moving object and the imaging unit 10 are provided. Regardless of the relationship, the moving body region can be detected.
[0049]
The present invention is not limited to the above embodiments. For example, in the above-described embodiment, an example has been described in which an image of the front of the vehicle is captured using the imaging unit 10 and a moving object existing in front of the vehicle is detected. However, it is also possible to detect the moving object existing behind the vehicle by imaging the rear of the vehicle.
[0050]
In each of the above-described embodiments, in the captured image, the region where the moving object is captured and the region where the stationary object is captured are described as being classified. In other words, the moving object is detected and detected. It can be said that there is. Therefore, the moving object region detection devices according to the first to third embodiments can detect the moving object based on the captured image.
[0051]
The correspondence between the components of the claims and the components of the first to third embodiments is as follows. That is, the imaging unit 10 is an imaging unit, the traceable area detection unit 30 is an area dividing unit and a traceable area detection unit, the image movement amount detection unit 40 is an image movement amount detection unit, and the own vehicle movement amount measurement unit 50 is The vehicle movement amount detection unit, the target position calculation unit 60 configures the target position calculation unit, and the region classification unit 70 configures the region determination unit. Note that each component is not limited to the above configuration as long as the characteristic functions of the present invention are not impaired.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a first embodiment of a moving object region detection device according to the present invention.
FIG. 2 is a diagram illustrating a state where an image in which edges are detected from a captured image is divided into a grid in the vertical and horizontal directions.
FIG. 3 is a view showing a rectangular area determined as a trackable area based on the captured image of FIG. 2;
FIG. 4 is a diagram in which a moving component of each trackable area is represented by an arrow.
FIG. 5 is a diagram for explaining a method of calculating a distance L to a tracking target, and is a diagram of the tracking target and the imaging unit viewed from the side.
FIG. 6 is a diagram for explaining a method of calculating a distance L to a tracking target, and is a diagram of the tracking target and the imaging unit viewed from above.
FIG. 7 is a diagram showing the magnitude of a distance L that changes with time.
FIG. 8 is a diagram showing a movement amount of a distance L to a tracking target at predetermined time intervals;
FIG. 9 is a diagram showing the sum of the amount of movement of the tracking target every fixed time and the amount of movement of the own vehicle every fixed time;
FIG. 10 is a diagram illustrating a variance value of a sum of a movement amount of a tracking target every fixed time and a movement amount of the own vehicle every fixed time
FIG. 11 is a diagram illustrating a result of determining whether each of the trackable areas is a moving object area or a stationary object area;
FIG. 12 is a flowchart illustrating a processing procedure performed by the moving object region detection device according to the first embodiment;
FIG. 13 is a diagram for explaining a method of calculating the height H to the tracking target, and is a diagram of the tracking target and the imaging unit viewed from the side.
FIG. 14 is a view of the tracking target and the imaging unit as viewed from above.
FIG. 15 is a diagram showing a change in height H of an area a in which the tracking target is a stationary object and a change in height H of an area b in which the tracking target is a moving object;
FIG. 16 is a diagram illustrating a variance value of a height H of an area a in which a tracking target is a stationary object and a variance value of a height H of an area b in which the tracking target is a moving object;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Image pick-up part, 20 ... Image memory part, 30 ... Trackable area | region detection part, 40 ... Image movement amount detection part, 50 ... Own vehicle movement amount measurement part, 60 ... Target position calculation part, 70 ... Area classification part, 80 ... Tracking area information storage

Claims (6)

車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段が所定時間の間隔で撮像した２枚の画像に基づいて、前記追跡可能領域検出手段により検出された追跡可能領域が前記所定時間の間に画像上を移動した量を検出する画像移動量検出手段と、
前記撮像手段を搭載した車両が前記所定時間に移動した距離を検出する車両移動量検出手段と、
前記画像移動量検出手段により検出された画像移動量と、前記車両移動量検出手段により検出された車両移動量とに基づいて、前記追跡可能領域内の追跡対象の実空間上の位置を算出する対象位置算出手段と、
前記対象位置算出手段により算出された追跡対象の位置と、前記車両移動量検出手段により検出された車両移動量とに基づいて、前記追跡可能領域が静止物が写っている静止物領域か、移動体が写っている移動体領域かを判定する領域判定手段とを備えることを特徴とする移動体領域検出装置。Imaging means installed on the vehicle to image the periphery of the vehicle;
Area dividing means for dividing an image taken by the image pickup means into a plurality of areas, and a traceable area detecting means for detecting a traceable area capable of tracking a moving object among the areas divided by the area dividing means When,
Image movement detecting an amount by which the traceable area detected by the traceable area detection means has moved on the image during the predetermined time, based on two images taken by the imaging means at predetermined time intervals. Quantity detection means;
Vehicle movement amount detection means for detecting the distance that the vehicle equipped with the imaging means has moved during the predetermined time;
Calculating a position in the real space of the tracking target in the trackable area based on the image moving amount detected by the image moving amount detecting unit and the vehicle moving amount detected by the vehicle moving amount detecting unit; Target position calculating means;
Based on the position of the tracking target calculated by the target position calculation means and the vehicle movement detected by the vehicle movement detection means, the trackable area is a stationary object area where a stationary object is captured, A moving body region detecting device, comprising: a region determining unit that determines whether the body is a moving body region. 請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、前記撮像手段から前記追跡可能領域内の追跡対象までの車両直進方向における距離を算出し、
前記領域判定手段は、前記対象位置算出手段により算出された前記追跡対象までの距離の一定時間ごとの変化量と、前記車両移動量の一定時間ごとの変化量との和を複数算出し、算出した複数の和の分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。The moving object area detection device according to claim 1,
The target position calculation unit calculates a distance in a vehicle straight traveling direction from the imaging unit to a tracking target in the trackable area,
The area determination unit calculates a plurality of sums of a change amount of the distance to the tracking object calculated by the target position calculation unit for each fixed time and a change amount of the vehicle movement amount for each fixed time. If the variance value of the plurality of sums is equal to or less than a predetermined threshold value, it is determined that the trackable area is a stationary object area. A moving object region detection device, characterized by making a determination. 請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、前記撮像手段から前記追跡可能領域内の追跡対象までの車両直進方向と垂直な方向における距離（以下、横方向距離と呼ぶ）を所定時間ごとに算出し、
前記領域判定手段は、前記対象位置算出手段により所定時間ごとに算出された横方向距離の分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。The moving object area detection device according to claim 1,
The target position calculating means calculates a distance (hereinafter, referred to as a lateral distance) in a direction perpendicular to a vehicle straight traveling direction from the imaging means to a tracking target in the trackable area at predetermined time intervals,
The area determination means determines that the trackable area is a stationary object area if the variance of the lateral distance calculated by the target position calculation means at predetermined time intervals is equal to or less than a predetermined threshold value, If the variance value is larger than a predetermined threshold value, it is determined that the object is a moving object area. 請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、路面から前記追跡可能領域内の追跡対象までの高さを所定時間ごとに算出し、
前記領域判定手段は、前記対象位置算出手段により所定時間ごとに算出された追跡対象までの高さの分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。The moving object area detection device according to claim 1,
The target position calculating means calculates a height from a road surface to a tracking target in the trackable area at predetermined time intervals,
The area determination means, if the variance value of the height to the tracking target calculated every predetermined time by the target position calculation means is equal to or less than a predetermined threshold, the trackable area is a stationary object area A moving body area detection device that determines a moving body area when the variance value is larger than a predetermined threshold value. 請求項１〜４のいずれかに記載の移動体領域検出装置において、
前記画像移動量検出手段は、前記追跡可能領域の水平方向の移動量と垂直方向の移動量とを検出し、
前記対象位置算出手段は、前記画像移動量検出手段により検出された水平方向および垂直方向の移動量のうち、移動量が大きい方の移動量を用いて前記追跡可能領域内の追跡対象の実空間上の位置を算出することを特徴とする移動体領域検出装置。The moving object region detection device according to any one of claims 1 to 4,
The image movement amount detection means detects a horizontal movement amount and a vertical movement amount of the traceable area,
The target position calculation means uses the larger movement amount of the horizontal and vertical movement amounts detected by the image movement amount detection means to calculate the real space of the tracking target in the trackable area. A moving object area detection device, which calculates an upper position. 請求項１〜５のいずれかに記載の移動体領域検出装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。The moving object region detection device according to any one of claims 1 to 5,
The moving body region detecting device, wherein the traceable region detecting means detects a region having a change in shading in a plurality of directions as the traceable region.

Images