JP3661957B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP3661957B2
JP3661957B2 JP09991896A JP9991896A JP3661957B2 JP 3661957 B2 JP3661957 B2 JP 3661957B2 JP 09991896 A JP09991896 A JP 09991896A JP 9991896 A JP9991896 A JP 9991896A JP 3661957 B2 JP3661957 B2 JP 3661957B2
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
information
range
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09991896A
Other languages
Japanese (ja)
Other versions
JPH0954898A (en
Inventor
一友 藤浪
直人 石川
敏明 尾崎
一幸 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP09991896A priority Critical patent/JP3661957B2/en
Publication of JPH0954898A publication Critical patent/JPH0954898A/en
Application granted granted Critical
Publication of JP3661957B2 publication Critical patent/JP3661957B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Feedback Control In General (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は車両周辺監視装置にかかり、より詳細には、自動車などの車両の周辺を監視して車両運転における運転者の安全確認を支援するのに有効に適用される車両周辺監視装置に関するものである。
【０００２】
【従来の技術】
従来、自動車などの車両の周辺を監視する装置として、図１４に示す構成を有するものがあった。同図において、１は車両周辺を撮像する撮像部、２１はハンドルの舵角あるいは操舵輪の操舵角を検出し転回情報を出力する舵角検出部、３は撮像部１から得られる画像信号あるいは車両の形状情報等が保持された記憶部、４は予め格納されたプログラムに従って動作するコンピュータによって構成されるデータ処理部、５はディスプレイ装置５１を備えた表示部、６は警報音あるいは音声ガイダンスを発生する音声指示部である。
【０００３】
舵角検出部２１はハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角検出センサ（いずれも図示せず）を備え、車両の転回情報を出力している。そしてこの舵角検出部２１には入力信号をデジタル変換して出力するＡ／Ｄコンバータ２１ａが付設されており、データ処理部４に対してデジタル変換された舵角情報を出力している。
【０００４】
上記記憶部３は、撮像部１から得られる画像信号を一時的に蓄えるフレームメモリ３１と、障害物がない平坦な地面の場合の画像データを参照データとして予め保持した参照データメモリ３２と、車両の現在位置データ、車両の２次元あるいは３次元の形状データ及び車両内における撮像部１の取り付け位置である車両基準位置データを車両情報として保持する車両データメモリ３３とを有している。
【０００５】
上記データ処理部４は、動作プログラムが格納されたＲＯＭ４２と、この動作プログラムに従って動作するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。
上記表示部５は、ＣＰＵ４１から出力された表示画像信号に基づいて、物体の車両との相対位置を表示したり、運転者に対するメッセージを表示したりする。
上記音声指示部６は、スピーカ６１と、ＣＰＵ４１からの制御信号に基づいてブザー信号あるいは音声信号を生成し、この音声信号をスピーカ６１に出力する駆動回路６２とを有している。
【０００６】
そして、上記撮像部１は、例えばレーザ光を利用したものあるいはステレオ式のものがある。
レーザ光を利用したものは、図１５（ａ）に示すように、レーザ光源１２と、レーザ光源１２を駆動するレーザ光源駆動装置１１と、レーザ光源１２からレーザ光を入力し、この入力したレーザ光により監視領域に輝点マトリクス１３ａを投影するパターン光投影素子１３と、一旦監視領域に投影された輝点マトリクス１３ｂを撮像するＣＣＤカメラ１４とを有している。
【０００７】
この構成においては、ＣＣＤカメラ１４に撮像された画像すなわち監視領域内において障害物などによって乱された輝点マトリクス１３ｂを画像情報としてフレームメモリ３１に一時的に保持させる。そしてデータ処理部４は、このフレームメモリ３１に保持された画像情報と上記参照データメモリ３２に保持された参照データとを対比することにより、障害物の形状及び撮像部１との相対位置情報を取得する。
【０００８】
一方、ステレオ式のものは、図１５（ｂ）に示すように、互いに所定距離ｄｘａだけ離間して配設された右側ＣＣＤカメラ１４Ｒ及び左側ＣＣＤカメラ１４Ｌの２つのＣＣＤカメラを有している。これに伴い、フレームメモリは右側フレームメモリ３１Ｒと左側フレームメモリ３１Ｌとの２つ設けられている。
【０００９】
この構成においては、右側ＣＣＤカメラ１４Ｒに撮像された画像を右側画像情報として右側フレームメモリ３１Ｒに蓄え、左側ＣＣＤカメラ１４Ｌに撮像された画像を左側画像情報として左側フレームメモリ３１Ｌに蓄える。
そしてデータ処理部４は、例えば、フレームメモリ３１Ｌに格納された左側画像情報の水平方向の微分を行い、得られた障害物などの物体のエッジを検出し、このエッジ点をきっかけ点すなわち基準点として、他方のフレームメモリ３１Ｒに格納された右側画像情報の中から、上記エッジ点に対応するエッジ点を取得する。そして、このようにして取得した左右画像のエッジ点の画素上における位置の差、すなわち視差により物体の位置を検出する。
【００１０】
このような撮像部１は、例えば図１６に示すように、車両１００の後側上方のほぼ中央部に地面の法線に対し角度θで取り付けられている。
これによりこの撮像部１は、車両１００の後方、より詳細には同図に示すように後方近傍領域の監視領域１００ａ内における障害物等を検出する。
そしてこの撮像部１の取付位置が、上述した車両位置基準情報として車両データメモリ３３に格納されている。
【００１１】
データ処理部４は、以上のように認識した障害物情報と車両データメモリ３３に格納された車両の現在位置データ、車両の形状データ及び車両基準位置データといった車両情報とに基づいて車両と障害物との相対位置を算出するとともに算出した相対位置に基づいて車両と障害物の位置関係を表示部５のディスプレイ装置５１に表示する。
また、データ処理部４は舵角検出部２から出力された転回情報に基づいて車両の進路を予測し、検出された障害物と車両とが衝突すると予測された場合は、音声指示手段６に音声信号を出力する。音声指示手段６はデータ処理部４から出力された音声信号に基づき、運転者に衝突を事前に知らせるブザー音や音声ガイダンスといった警報を発する。
【００１２】
【発明が解決しようとする課題】
上記した従来装置では、図１６にて説明したように、その監視領域１００ａ内の障害物を検出し、そして監視領域１００ａ内に存在している障害物に対して車両との衝突などを予測している。
従ってこの従来装置は、障害物がこの監視領域１００ａ内に存在している限りにおいては、車両と障害物との相対位置を把握することができ有効である。
【００１３】
しかしながら、障害物が一旦この監視領域１００ａから外れた場合においては、この監視領域外となった障害物については何等考慮されておらず、衝突などを予測することができないという問題点があった。
【００１４】
例えば、車両１００が大きくハンドルを切った状態すなわち操舵輪（前輪）の舵角が比較的大きい状態のまま後退した場合には、例えば図１７に示すように、位置Ｐ１（図中点線にて示す）においてその監視領域１００ａ（Ｐ１）内に存在していた障害物２００は、車両１００が舵角θ1 で後退して矢印で示す軌跡に沿って位置Ｐ２（図中一点鎖線にて示す位置）まで移動すると、この位置Ｐ２にて監視領域１００ａ（Ｐ２）から外れる。これによりデータ処理部４はこの障害物２００を監視対象から除外する。そして車両１００がさらに後退することにより位置Ｐ３（図中実線にて示す位置）まで達すると、この障害物２００は車両１００の右前方側面部に位置して操舵輪と衝突してしまう。
このとき、データ処理部４は既にこの障害物２００を監視対象から除外してしまっているので、衝突などの危険性があるにも関わらず警報は発せられない。
【００１５】
また、車両１００の側面部に障害物２００が位置し、この状態から車両１００が転回しながら後退した場合は、例えば図１８に示すように、位置Ｐ４（図中点線にて示す位置）においてその監視領域１００ａ（Ｐ４）内に存在していた障害物２００は車両１００の後退に伴ってその監視領域から外れ、車両１００がさらに後退して位置Ｐ５（図中実線にて示す位置）に達すると障害物２００は車両１００の右側面部に位置する。
【００１６】
この状態からハンドル操作により操舵輪の舵角をθ2 とした状態で車両１００を後退させると、車両１００は図中矢印で示す軌跡に沿って移動し、障害物２００がその右前方側面部に衝突する。この場合においても、データ処理部４は、障害物２００が監視領域１００ａから外れた時点で、この障害物２００をその監視対象から外してしまうので、衝突などの危険性があるにも関わらず警報は発せられない。
【００１７】
また、障害物が非常に小さいものであり、この障害物がＣＣＤカメラ１４（１４Ｒ、１４Ｌ）を構成するＣＣＤセンサ（図示せず）の検出線同士の隙間に位置した場合には、障害物を検出することができず、障害物が監視領域１００ａ内に存在するにも関わらず、この障害物の検出及び消滅が繰り返され、視認性が損なわれてしまうという問題点があった。
【００１８】
なお、上述した問題点は、ＣＣＤカメラ１４に限るものではなくビデオカメラ（図示せず）を用いた場合にも生じるものである。すなわち、障害物がビデオカメラの撮像領域から外れた場合においてはいうまでもなく、障害物が非常に小さいものであった場合においては、この障害物がビデオカメラの走査線同士の間に位置した場合に、障害物の検出及び消滅が繰り返されてしまう。
【００１９】
よって本発明は、上述した従来の問題点に鑑み、障害物として認識したものについては監視領域外にあるものであってもその位置を知ることができ、車両との衝突といった危険性があれば、それを運転手に告知し、衝突等を未然に回避できるようにした使い勝手並びに安全性を向上させた車両周辺監視装置を提供することを課題とする。
また、監視領域内にて消滅した障害物についても車両との相対位置を認識可能とし、視認性の向上を図り使い勝手を向上させた車両周辺監視装置を提供することを他の課題とする。
【００２０】
【課題を解決するための手段】
前記課題を解決するため本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、車両に設置された撮像手段（１）からの画像データに基づいて車両の周辺を監視する車両周辺監視装置において、前記画像データから障害物を検出する障害物検出手段（４１ａ）と、前記障害物検出手段（４１ａ）により検出された障害物の位置情報を取得する障害物位置取得手段（４１ｂ）と、前記車両の走行状態を示す走行状態情報を検出し出力する走行状態情報出力手段（２）と、前記走行状態情報と前記障害物の位置情報とに基づいて、前記車両の移動に伴う、前記検出された障害物の前記車両との相対位置を予測する障害物位置予測手段（４１ｃ）と、前記障害物位置予測手段（４１ｃ）により予測された前記障害物の前記車両との相対位置を運転者に告知する告知手段（７）とを有することを特徴としている。（請求項１）
【００２１】
上記請求項１の構成において、撮像手段は、車両周辺の画像を画像データとして取得し、障害物検出手段は、前記画像データから障害物を検出する。障害物位置取得手段は、検出された障害物の位置情報を取得し、障害物位置予測手段は、走行状態情報出力手段からの車両の走行状態を示す走行状態情報を取得するとともにこの走行状態情報と前記障害物位置取得手段により取得された障害物の位置情報とに基づいて、前記車両の移動に伴う、障害物の前記車両との相対位置を予測する。告知手段は、前記障害物位置予測手段により予測された前記車両との相対位置にて障害物の表示を行う。
【００２２】
すなわち、この請求項１の構成においては、車両の走行状態情報に基づいて検出された障害物の車両との相対位置を予測するとともにこの予測された車両との相対位置にて障害物の表示を行うように構成したので、予測された車両との相対位置に基づく制御を行うことができ、使い勝手のよい車両周辺監視装置を提供することができる。
【００２３】
また、前記障害物位置予測手段（４１ｃ）は、前記障害物が前記撮像手段（１）による撮像範囲から消滅した場合に、当該消滅した障害物に対する前記車両との相対位置の予測を行い、前記告知手段（７）は、前記消滅した障害物についての予測された前記車両との相対位置を告知することを特徴としている。（請求項２）
【００２４】
上記請求項２の構成において、障害物位置予測手段及び告知手段が対象とする障害物は、撮像手段による撮像範囲から消滅した障害物とされる。
よって、この請求項２の構成においては、撮像範囲から消滅した障害物についての車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２５】
また、前記障害物位置取得手段（４１ｂ）は、前記障害物が前記撮像手段（１）による撮像範囲から外れて消滅した際に、当該消滅した障害物に関する情報を範囲外障害物情報として取得するとともに当該取得した範囲外障害物情報を範囲外障害物情報保持手段（３４）に保持させ、前記障害物位置予測手段（４１ｃ）は、前記範囲外障害物情報に基づき消滅した障害物の前記車両との相対位置の予測を行うことを特徴としている。（請求項３）
【００２６】
上記請求項３の構成において、障害物位置取得手段が取得する障害物の位置情報は、撮像手段の範囲外に移動することにより消滅した障害物とされ、この障害物の位置情報は、範囲外障害物情報として範囲外障害物情報保持手段に保持される。障害物位置予測手段は、範囲外障害物情報に基づき、消滅した障害物の車両との相対位置を予測する。
よって、この請求項３の構成においては、撮像手段による撮像範囲外に移動して消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２７】
また、前記障害物位置取得手段（４１ｂ）は、前記障害物の前記撮像手段（１）による撮像範囲内における位置情報を範囲内障害物情報として取得し、前記障害物位置予測手段（４１ｃ）は、前記範囲内障害物情報に基づき障害物の前記車両との相対位置の予測を行うとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段（３５）に格納し、前記告知手段（７）は、前記障害物が前記撮像手段（１）による撮像範囲内にて消滅した際に、当該消滅した障害物について、予測された障害物の前記車両との相対位置を告知することを特徴としている。（請求項４）
【００２８】
上記請求項４の構成において、障害物位置取得手段が取得する障害物の位置情報は、撮像手段の撮像範囲内に存在する障害物の位置情報とされ、障害物位置予測手段は、この撮像範囲内に存在する障害物の位置情報と走行状態情報とに基づいて、障害物の車両との相対位置を予測する。告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知する。 よって、この請求項４の構成においては、撮像手段による撮像範囲内にて消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２９】
また、前記障害物位置取得手段（４１ｂ）は、前記範囲内障害物情報を周期的に取得し、前記障害物位置予測手段（４１ｃ）は、前記周期毎に、前記範囲内障害物情報と走行状態情報とに基づいて前記障害物の前記車両との相対位置を予測するとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段（３５）に格納することを特徴としている。（請求項５）
【００３０】
上記請求項５の構成において、障害物位置取得手段は、撮像手段の撮像範囲内に存在する障害物の位置情報（範囲内障害物情報）を周期的に取得する。障害物位置予測手段は、周期毎に、取得した障害物の車両との相対位置を予測し、この予測した障害物の車両との相対位置を範囲内障害物移動位置保持手段に格納する。そして、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知する。
よって、この請求項５の構成によれば、撮像手段による撮像範囲内にて消滅した障害物について、直ちに車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００３１】
また、前記車両の進路を予測する車両進路予測手段（４１ｄ）を有し、前記告知手段（７）は、前記車両進路予測手段（４１ｄ）により予測された車両の進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とを運転者に告知することを特徴としている。（請求項６）
【００３２】
上記請求項６の構成において、告知手段は、車両進路予測手段により予測された車両の進路と障害物位置予測手段により予測された障害物の車両との相対位置とを運転者に告知するので、車両がこれから走行することが予測される進路上における障害物の存在を、撮像範囲から消滅した障害物についても知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００３３】
また、前記車両進路予測手段（４１ｄ）は、前記撮像手段（１）からの画像情報に基づいて車両の転回方向を認識するとともに当該認識した転回方向に基づいて車両の進路を予測することを特徴としている。（請求項７）
【００３４】
上記請求項７の構成において、車両進路予測手段は、撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに認識した転回方向とから車両の進路を予測するので、特別な装置が不要となり装置の構成を簡単にすることができる。
【００３５】
また、前記車両進路予測手段（４１ｄ）は、前記撮像手段（１）からの画像信号を保持する画像保持手段（３１）内における着目画素の移動方向及び移動量に基づいて車両の転回方向を認識することを特徴としている。（請求項８）
【００３６】
上記請求項８の構成において、車両進路予測手段は、撮像手段からの画像情報を保持する画像保持手段に保持された画像情報を参照し、この画像情報内における着目画素の移動方向及び移動量を検出する。そして、この検出された移動方向及び移動量に基づいて車両の移動方向を認識するとともに認識した移動方向から車両の進路を予測する。
よって、この構成によれば、車両の進路を予測する場合において、着目点についてのみ処理を行えば良いので、処理に要する演算ステップを簡略化できる。
【００３７】
また、前記車両進路予測手段（４１ｄ）は、前記走行状態情報に基づいて前記車両の進路を予測することを特徴としている。（請求項９）
【００３８】
上記請求項９の構成において、車両進路予測手段は、前記走行状態情報に基づいて車両の進路を予測するので、車両の進路の予測と障害物の車両との相対位置の予測とを共通の情報により行うことができ、装置構成を簡単にすることができる。
【００３９】
また、前記走行状態情報出力手段（２）は、前記車両の走行距離を検出する走行距離検出手段（２４）と、前記車両の転回方向を検出するとともに検出した転回方向を転回情報として出力する転回方向検出手段（２１）とを有することを特徴としている。（請求項１０）
【００４０】
上記請求項１０の構成において、走行状態情報出力手段は、車両の走行距離を検出する走行距離検出手段からの走行距離情報と車両に設けられた転回方向検出手段からの転回方向の情報とを走行状態情報として出力する。これらの走行距離情報と転回方向情報とは車両から直接読み取ることができるので、車両の進路を予測する場合において、処理を高速に行うことができる。
【００４１】
また、前記転回方向検出手段（２１）が、ハンドル舵角を検出するハンドル舵角センサ（２２）、操舵輪の操舵角を検出する操舵角センサ（２３）のいずれかであることを特徴としている。（請求項１１）
【００４２】
上記請求項１１の構成において、転回方向検出手段は、ハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角センサとして構成されているので、車両の転回方向の情報を確実に把握することができる。
【００４３】
また、前記車両進路予測手段（４１ｄ）により予測された車両進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とに基づいて、前記車両と前記障害物との衝突を予測する衝突予測手段（４１ｅ）を有し、前記告知手段（７）は、前記衝突予測手段（４１ｅ）が衝突を予測した場合に、当該衝突を告知することを特徴としている。（請求項１２）
【００４４】
上記請求項１２の構成において、衝突予測手段は、予測された車両進路と予測された障害物の車両との相対位置とに基づいて車両が障害物に衝突するか否かを予測し、衝突すると予測された場合に告知手段が衝突の旨を告知する。
よって、この構成によれば、運転者は車両が現在の状態で移動した場合における車両と障害物との衝突可能性を事前に知ることができ、衝突を未然に防ぐことができ、より安全性を高めた車両周辺監視装置を提供することができる。
【００４５】
また、前記告知手段（７）は、車両と障害物との相対距離及びメッセージを表示する表示手段（５）、あるいは、ブザー音や音声を発生する音声指示手段（６）の少なくとも一方であることを特徴としている。（請求項１３）
【００４６】
上記請求項１３の構成において、告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の一方あるいは双方であるので、運転者の視覚あるいは聴覚により車両と障害物との位置関係を伝達することができる。とりわけ、運転者に衝突などの危険を告知する場合には、双方を動作させることにより一層明確にその旨を告げることができる。
【００４７】
また、前記撮像手段（１）は、前記車両の後方に当該車両の後方領域を撮像するように取り付けられていることを特徴としている。（請求項１４）
【００４８】
上記請求項１４の構成において、撮像手段は、車両の後方に車両の後方領域を撮像するように取り付けられているので、運転者が視認し難い車両の後方近傍領域の障害物を運転者に認識させることができる。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。まず、本発明が適用された車両周辺監視装置の第１実施形態について説明する。
図２は本発明による車両周辺監視装置の構成を説明するブロック図で、同図において、先に説明したものと同一部には同一符号を付して示している。すなわち、１は撮像部、２は舵角検出部２１を有する検出部、３は記憶部、４はデータ処理部、７は表示部５と音声指示部６とからなる告知部である。
【００５０】
撮像部１は、撮像手段として機能し、図１５（ａ）にて説明したレーザ光を利用したもの、あるいは、図１５（ｂ）にて説明したステレオ式のもののいずれかが適宜選択されて用いられている。この撮像部１については従来と同様なものであるので、その説明を省略する。
なお、上述したように、この撮像部１については、ＣＣＤカメラの他にビデオカメラも適用することができる。
【００５１】
検出部２は、舵角検出部２１と、走行距離検出部２４とから構成されている。
舵角検出部２１は、ハンドル舵角センサ２２あるいは操舵角センサ２３のいずれか一方あるいは双方が用いられている。これらのハンドル舵角センサ２２及び操舵角センサ２３は、車両１００を操舵するステアリング機構に取り付けられている。
【００５２】
図３（ａ）はハンドル舵角センサ２２の取り付け態様を例示する図であり、１１０はステアリング機構、１２０はホイール（但しホイールの外周面のみを図示する）である。
このステアリング機構１１０は、運転者によって回転操作されるハンドル１１１と、このハンドル１１１の中心部にその上端が取り付けられたメインシャフト１１２と、このメインシャフト１１２の下端にジョイント１１８ａを介して取り付けられた中間シャフト１１３と、その周面に歯面が形成されるとともに中間シャフト１１３の下端にジョイント１１８ｂを介して接続されたピニオン１１４と、このピニオン１１４と噛合する歯面が形成されたラック１１５と、このラック１１５の両端部（図では右端部だけを示す）にジョイント１１８ｃを介して接合された中間アーム１１６と、この中間アーム１１６の外側端部にジョイント１１８ｄを介して接合されたナックルアーム１１７とを有している。
そしてホイール１２０は、このナックルアーム１１７の外側端部の支持部１１７ａにて回転自在に支持されている。
【００５３】
このようなステアリング機構１１０においては、運転者がハンドル１１１を回転操作するとこのハンドル１１１の回転がメインシャフト１１２、中間シャフト１１３と順次伝達され、これによりピニオン１１４が回転する。そしてピニオン１１４の回転に伴い、このピニオン１１４と噛合しているラック１１５がその延長方向（図中左右方向）に移動する。
このラック１１５の移動は、中間アーム１１６及びナックルアーム１１７に伝達される。そしてナックルアーム１１７は転舵中心Ｃを支点に回転して、その支持部１１７ａにて支持されたホイール１２０を実線と点線で示す角度に回転させる。
【００５４】
ハンドル舵角センサ２２は、例えば上記ピニオン１１４のように、ハンドル１１１の回転操作に伴って回転する部材に取り付けられている。同図にて例示したハンドル舵角センサ２２は、図示しない発光受光素子対を２組備えた光センサ２２ａとその周面に反射面及び非反射面が交互に形成されたドラム部材２２ｂとから構成されている。
ドラム部材２２ｂはピニオン１１４に対しこのピニオン１１４とともに回転するように取り付けられている。光センサ２２ａはこのドラム部材２２ｂの周面に対向するとともに発光受光素子対の各組がドラム部材２２ｂの回転方向に対して僅かにずらされて配設されている。
【００５５】
そして運転者がハンドル１１１を回転操作してピニオン１１４が回転するとドラム部材２２ｂも回転する。このドラム部材２２ｂの回転に伴って光センサ２２ａの目前を反射面及び非反射面が次々と通過し、光センサ２２ａはこの回転に応じたパルス信号を出力する。このとき光センサ２２ａの発光受光素子対の各組は僅かに位置をずらされているので、この光センサ２２ａからは位相がずれたパルス信号が出力される。そしてこのパルス信号における位相のずれ状態はドラム部材２２ｂの回転方向によって異なる。
従って、このハンドル舵角センサ２２は、光センサ２２ａからのパルス信号のパルス数を計数することによりハンドル１１１の操作量（回転量）を把握し、位相のずれ状態からハンドル１１１の回転方向すなわち車両の転回方向を把握する。
【００５６】
操舵角センサ２３は、例えば図３（ｂ）に示すように、ステアリング機構１１０〔図３（ａ）参照〕のナックルアーム１１７に取り付けられている。この操舵角センサ２３は、ローラ部材２３ａと、このローラ部材２３ａの回転に基づいてパルス信号を生成するパルス生成部２３ｂとから構成されている。
そしてローラ部材２３ａは、ナックルアーム１１７の転舵中心Ｃに接するよう配設され、そしてローラ部材２３はこのナックルアーム１１７の転舵中心Ｃが回転することにより自らも回転する構成となっている。パルス生成部２３ｂは、例えば、ローラ部材２３ａとともに回転するスリット板とこのスリット板に配設された発光受光素子対とからなるいわゆるフォトインタラプタ（いずれも図示せず）として構成されており、ローラ部材２３ａの回転に応じてパルス信号を出力する構成となっている。
この操舵角センサ２３においても、このパルス信号に基づいてハンドル１１１の操作量及び回転方向を把握する。
【００５７】
そしてこれらのハンドル舵角センサ２２あるいは操舵角センサ２３からのパルス信号は、転回情報としてデータ処理部４のＣＰＵ４１に供給される。
なお、ここではハンドル舵角センサ２２あるいは操舵角センサ２３として光センサを使用したものについて例示したが、これらの舵角センサ２２、２３については、例示したものに限るものではなくハンドル１１１の舵角あるいは操舵輪（ホイール１２０）の操舵角を検出するものであれば何でも良い。
【００５８】
走行距離検出部２４は、車両の走行距離を検出する機構で、車両のトランスミッションシャフト等に取付けられている。この走行距離検出部２４は、例えば、トランスミッションシャフトに取付けられた磁石と、この磁石に隣接して配置されたホール素子と、このホール素子からの出力に応じて可変する比較電圧がその一方の端子（例えば＋端子）に供給され、他方の端子（例えば−端子）に基準電圧が供給されたコンパレータとを備えている。
【００５９】
このような走行検出部２４においては、磁石は、トランスミッションシャフトが回転することにより回転し、ホール素子にＮ，Ｓ，Ｎ，Ｓ，…と磁界を加える。これによりホール素子は加えられた磁界に応じて所定の電圧を誘起し、そしてコンパレータの一方の端子に供給する比較電圧を増減する。コンパレータは、一方の端子に供給された比較電圧が他方の端子に供給された基準電圧より低い場合は「Ｈ」を、また高い場合は「Ｌ」なる電圧を出力する。従って、コンパレータ１は、磁石の回転に対応して「Ｈ」，「Ｌ」となる走行パルスを出力する。
すなわち、この走行検出部２４は、単位距離走行する毎にパルス信号を出力するように構成されている。
【００６０】
記憶部３は、従来装置で説明した撮像部１からの画像信号を蓄えるフレームメモリ３１、障害物がない平坦な地面の場合の画像データを保持する参照データメモリ３２及び車両の形状データなどを保持する車両データメモリ３３の他に、撮像部１の監視領域１００ａの範囲外となった障害物に関するデータを範囲外障害物データとして保持する範囲外障害物メモリ３４を有している。
【００６１】
データ処理部４は、従来装置と同様に、動作プログラムが格納されたＲＯＭ４２と、この動作プログラムに従って動作するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。
また、表示部５及び音声指示部６からなる告知部７についても従来装置と構成上の大きな差はない。ただし表示部５に関し、撮像部１が撮像した画像とデータ処理部によって生成した画像とを切換表示するためのスイッチ５２が設けられている。
【００６２】
次に、上述した構成を有する第１実施形態の動作について説明する。
本実施形態において、データ処理部４は、図４に示すフローチャートの処理を実行することにより、車両と障害物との相対位置の算出動作及び衝突回避のための警報動作を行う。
【００６３】
まず、ステップＳ１１０において、この計測動作すなわちこのフローチャートの処理が初回であるか否かを判定する。このステップＳ１１０で初回の処理と判定された場合には、障害物が撮像手段１の監視領域１００ａの範囲外に移動したかを判定する必要はないので、ステップＳ１２０に移行する。
そして、このステップＳ１１０で初回でないと判定された場合には、ステップＳ１１１に移行する。
【００６４】
ステップＳ１１１では、車両の移動位置の算出、すなわち前回の計測動作から今回の計測動作の期間内における車両の移動距離及びその移動方向といった車両の移動量を算出する。
このステップＳ１１１では、上記走行検出部２４からのパルス信号に基づいて車両の走行距離を取得し、図３にて説明したハンドル舵角センサ２２あるいは操舵角センサ２３からの転回情報に基づいて車両の移動方向を取得する。そしてこれらの走行距離情報および転回情報を車両の相対移動量として保持（ＲＡＭ４３に格納）する。
【００６５】
このステップＳ１１１では、走行検出部８からの走行距離情報及びハンドル舵角センサ２２（操舵角センサ２３）からの転回情報に基づいて、車両の相対移動量を算出するものを例示したが、これを図５に示すように、撮像部１からの画像情報を用いて算出するように構成することもできる。
【００６６】
すなわち、図５（ａ）に示すように、フレームメモリ３１に蓄えられた画像情報中に任意の指標物Ｂを設定し、この指標物Ｂにおける着目点の座標Ｂ1 を取得する。そしてこの着目点の座標が車両の移動に伴い、図５（ｂ）に示すように座標Ｂ2 へ移動し、さらなる車両の移動により図５（ｃ）に示すように座標Ｂ3 へと移動する。
【００６７】
そしてこの着目点が座標Ｂ1 、座標Ｂ2 、座標Ｂ3 へ移動する際のフレームメモリ３１における移動量ｄｘ1 及びｄｙ1 や移動量ｄｘ2 及びｄｙ2 に基づいて車両の相対移動量を算出するように構成してもよい。
この場合、三次元位置計算により着目点の高さを既知とし、この高さ既知の着目点に基づき上述した演算を実行する。
【００６８】
また、他には、車両の速度を検出する車速センサを用い、この車速センサにて検出された車速と前回の計測動作から今回の計測動作までの経過時間とを積算して車両の移動距離を算出し、この移動距離情報に、ハンドル舵角センサ２２などからの転回情報を加味して車両の相対移動量を取得するように構成してもよい。
【００６９】
このステップＳ１１１における車両の相対移動量の算出は、図６の模式図にて示すように、車両１００の撮像手段１の取付位置Ｐ１００（ｘ１００，ｙ１００）を基準点として、この基準点の移動量として処理すると処理が高速化できて都合がよい。 この場合、後述する衝突予測ステップにおいては、記憶部３の車両データメモリ３３に保持された車両情報すなわち、基準点Ｐ１００、右側後端点Ｐ１００ａ、左側後端点Ｐ１００ｂ、右側前端点Ｐ１００ｃ及び左側前端点Ｐ１００ｄの各データをこの基準点Ｐ１００に重畳することにより車両の位置及び形状を把握し衝突を予測する。
【００７０】
このようにステップＳ１１１にて車両の相対移動量を算出すると、次いでステップＳ１１２に移行する。
このステップＳ１１２では、ステップＳ１１１にて算出した車両の相対移動量に基づき、前回までに検出された障害物について今回の計測動作時点における障害物の位置を推定する。これは、障害物が静止しているものとみなして、前回の計測動作時点での障害物の位置座標にステップＳ１１１にて算出した車両の相対移動量を加算することにより行われる。
【００７１】
このステップＳ１１２における障害物の位置推定動作も、図６に示すように、障害物２００の重心を基準点Ｐ２００とし、この基準点Ｐ２００の移動座標値として処理すると、処理を高速化することができる。
そしてこのように基準点を用いた場合、先の車両データのときと同様に後述する衝突予測ステップにおいては、障害物２００の形状データＰ２００ｒをこの基準点Ｐ２００に重畳することにより、障害物の位置及び形状を把握し衝突を予測する。
【００７２】
そして引き続くステップＳ１１３では、ステップＳ１１２で推定した障害物が、監視領域１００ａの範囲内であるか範囲外であるかを判定する。この判定は監視領域１００ａ内にある障害物のそれぞれについて行う。そして「範囲外」と判定された障害物については、記憶部３の範囲外障害物メモリ４３にその位置情報及び形状情報を格納する。
このステップＳ１１３における「範囲内」あるいは「範囲外」の判定は、障害物の重心を基準点として、この基準点が監視領域１００ａ内にあるか否かを判定するように構成すると処理を高速化できる。
【００７３】
すなわち、図６の模式図に示すように、障害物２００の重心が前回の計測動作時点において基準点Ｐ２００の位置にあって、そして車両１００が移動したことによりその重心が基準点Ｐ２００ａまで移動した場合は、障害物２００がＰ２００ の位置にあるときはその重心が監視領域１００ａ内にあるので、障害物２００は「範囲内」と判定される。そして障害物２００がＰ２００ａの位置にあるときはその重心が監視領域１００ａより外側に位置しているので障害物２００は「範囲外」と判定される。
このように障害物２００の重心を判定の基準とすることにより、演算処理を簡単にすることができる。
【００７４】
以上のステップＳ１１１〜ステップＳ１１３により障害物が監視領域１００ａ内にあるか否かを判定し、そして監視領域１００ａの範囲外と判定した障害物についてはその位置情報及び形状情報を記憶部３の範囲外障害物メモリ４３に保持する。そしてステップＳ１２０に移行する。
【００７５】
このステップＳ１２０では、今回計測時における車両位置での障害物の検出が行われる。すなわちこのステップＳ１２０では、撮像部１（図１５参照）により、この時点における監視領域１００ａ内に存在する障害物の有無の検出が行われる。
そしてステップＳ１２１では、上記ステップＳ１２０にて検出された障害物のそれぞれについて、２次元形状あるいは３次元形状といった形状情報の取得動作及び撮像部１との相対位置情報が算出される。このステップＳ１２１の相対位置情報の算出は、例えば、障害物の形状情報に基づいて当該障害物の重心を算出し、この重心と撮像部１との相対位置を算出することが行われる。
【００７６】
そしてステップＳ１２２では、上記ステップＳ１２１で算出された障害物の相対位置情報及び形状情報を記憶する。これらの相対位置情報及び形状情報は、データ処理部４のＲＡＭ４３に保持される。
以上のステップＳ１２０〜ステップＳ１２２の処理により、監視領域１００ａ内における障害物が検出されるとともに検出された障害物と車両（撮像部１）との相対位置が算出される。
【００７７】
次いでステップＳ１３０に移行する。このステップＳ１３０では、車両の進路が予測される。すなわち、このステップＳ１３０では、図３で説明した舵角検出部２１（ハンドル舵角センサ２２、操舵角センサ２３）からの転回情報に基づいて車両の転回角度を算出するとともにこの転回角度に基づいて車両の予測進路を算出する。
【００７８】
なお、このステップＳ１３０の処理に関し、上述したステップＳ１１１と同様に車両の進路をフレームメモリ３１に記憶されたデータに対する画像処理にて算出できるのは、いうまでもない。
【００７９】
そして引き続くステップＳ１３１では、上記ステップＳ１１３にて記憶した「範囲外」の障害物に関する位置情報及び形状情報と、上記ステップＳ１２２にて記憶した監視領域１００ａ内（「範囲内」）の障害物に関する位置情報及び形状情報と、上記ステップＳ１３１にて算出した車両の予測進路とに基づき、「範囲内」及び「範囲外」の障害物と、予測進路上における車両との相対位置を算出するとともにこの算出した相対位置に基づいて障害物と車両とが衝突する（衝突の危険性がある）か否かを判定する。
【００８０】
次のステップＳ１４０では上記ステップＳ１３１の判定結果に基づいて警報を発生するか否かがの判定が行われる。すなわち、上記ステップＳ１３１で「衝突しない」と判定された場合には上記ステップＳ１１０に移行して次の計測動作を行う。一方、上記ステップＳ１３１で「衝突する（危険性あり）」と判定された場合には引き続くステップＳ１５０に移行する。
【００８１】
このステップＳ１５０では、上記ＣＰＵ４１は表示部５のディスプレイ装置５１に対して「衝突する」旨のメッセージを表示するよう駆動信号を送出し、音声指示部６の駆動回路６２に対して「衝突する」旨を知らせる音声ガイダンスあるいはブザー音を生成するための音声信号を送出する。ＣＰＵ４１からの駆動信号あるいは音声信号により、表示部５のディスプレイ装置はメッセージを表示し、音声指示部６のスピーカ６１は音声あるいはブザー音を発生する。
【００８２】
なお、このステップＳ１４０〜ステップＳ１５０においては、障害物と車両とが衝突する危険性がある場合に警告メッセージや警告音（音声ガイダンス、ブザー音）を発生する構成を例示したが、これを「範囲内」及び「範囲外」の障害物を常時ディスプレイ装置５１に表示させておくようにし、運転者に車両との相対距離を認識させるよう構成してもよい。
【００８３】
次に、上述した各ステップに基づく実際の処理について図１８を参照して説明する。
車両１００が位置Ｐ４（図中点線にて示す）にある場合においては、障害物２００は車両１００の監視領域１００ａ内に存在している。従ってこの位置Ｐ４では障害物２００は「範囲内」のものとして扱われる。そして車両１００における撮像部１の取付位置Ｐ１００（Ｐ４）と障害物２００の重心Ｐ２００との相対距離ＳＰ（Ｐ４）と、両者の位置関係を示すＤＸ（Ｐ４）及びＤＹ（Ｐ４）とが算出され、これらが相対位置データとして記憶される。
【００８４】
この位置Ｐ４において車両の操舵輪（前輪）の操舵角は車両１００の側面に平行な操舵角θ0 であるので、車両１００はそのまま直進して後退する。ＣＰＵ４３は車両１００の車両データとこの障害物２００の形状データとを加味して車両１００と障害物２００とが衝突するか否かを判定する。この場合、図からも明らかなように両者は衝突しないので警報は発せられない。
【００８５】
そして車両が位置Ｐ５（図中実線にて示す）まで移動した場合には、障害物２００は監視領域１００ａから外れている。従ってこの位置Ｐ５においては障害物２００は「範囲外」のものとして扱われ、その位置情報及び形状情報は記憶部３の範囲外障害物メモリ３４に保持されている。そして車両１００における撮像部１の取付位置Ｐ１００（Ｐ５）と障害物２００の重心Ｐ２００との相対距離ＳＰ（Ｐ５）と、両者の位置関係を示すＤＸ（Ｐ５）及びＤＹ（Ｐ５）とが算出され、これらが相対位置データとして記憶される。
【００８６】
この位置Ｐ５において車両の操舵輪（前輪）の操舵角は操舵角θ2 であるので、車両１００は図中矢印で示す軌跡の上を弧を描いて後退する。ＣＰＵ４３は車両１００の車両データとこの障害物２００の形状データとを加味して車両１００と障害物２００とが衝突するか否かを判定する。この場合、図からも明らかなようにこの障害物２００は車両１００の右前端部Ｐ１００ｃの軌跡の範囲内に存在するので、この場合ＣＰＵ４３は告知部７に対して警報を発生するよう信号を送出する。
このように本実施形態においては、監視領域１００ａの範囲外となった障害物についても車両との相対位置を算出するので、監視範囲外にある障害物であっても車両との衝突といった危険性があれば、それを運転手に告知する。
【００８７】
以上説明した第１実施形態では、ＣＣＤカメラ１４の撮像範囲内で検出された障害物が車両との相対移動により監視領域から外れた場合においても移動位置を知ることができる。
次に、ＣＣＤカメラ１４の撮像範囲内で検出及び消滅を繰り返すような比較的小さい障害物について、移動位置を知ることができるように構成した第２実施形態について説明する。
【００８８】
図７は、この第２実施形態の構成を説明するブロック図で、同図において、先に説明したものと同一部には同一符号を付して示している。この第２実施形態では、記憶部３に範囲内障害物移動位置メモリ３５が設けられている点に構成上の相違がある。この範囲内障害物移動位置メモリ３５は、第１実施形態における範囲外障害物メモリ３４に代えて設けられている。
【００８９】
また、この第２実施形態における撮像部１としては、一対のビデオカメラにより構成されたステレオ式（図１５（ｂ）参照）のものとされ、フレームメモリ３１もまた左右一対設けられている。これにより、左右画像の視差から路面画像を消去することができるとともに高さのある画像（すなわち物体）のエッジ画像を取得することができる。
なお、この第２実施形態における他の構成については、先に説明した第１実施形態にて説明した構成と同様であるので、その説明を省略する。
【００９０】
そして、範囲内障害物移動位置メモリ３５は、図８に示すように、３つの保持領域すなわち第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃから構成されている。
【００９１】
これらの保持領域の内、第１保持領域３５ａは、撮像部１による撮像画像、すなわち監視領域中に存在する障害物について、全ての特徴点の３次元位置データを記憶する領域とされている。
【００９２】
そして、第２保持領域３５ｂは、所定時間が経過した時点における障害物の特徴点の３次元位置データを記憶する領域とされている。
この第２保持領域３５ｂに格納されるデータは、第１保持領域３５ａに格納された障害物の特徴点の３次元位置データと、走行距離検出部２４から出力されるパルス信号の送出間隔に基づいて検出された車両の走行速度情報と、舵角検出部２１により検出された車両の転回情報とに基づいて予測された、所定時間が経過した時点に存在すると予測される障害物の特徴点の３次元位置データとされる。
【００９３】
また、第３保持領域３５ｃには、第２保持領域３５ｂに格納された障害物の特徴点の３次元位置データと、車両の走行速度情報と、車両の転回情報とに基づいて予測された、さらに所定時間が経過した時点に存在すると予測される障害物の特徴点の３次元位置データとされる。
【００９４】
次に、上述した構成を有する第２実施形態の動作について説明する。
本実施形態において、データ処理部４は、図９に示すフローチャートの処理を実行することにより、車両と障害物との相対位置の算出動作及び衝突回避のための警報動作を行う。
【００９５】
まず、ステップＳ２００において、範囲内障害物移動位置メモリ３５の第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃの保持内容をリセットする。
ステップＳ２０１では、周期カウンタのリセットを行う。この周期カウンタは、装置の動作周期を計時するものとされ、データ処理部４のＲＡＭ４３に設定される。なお、本実施形態における周期カウンタの計時時間は、１フレームの画像を処理するのに要する時間として規定される。
そして、ステップＳ２０２では、周期カウンタによるカウント動作をスタートする。
【００９６】
ステップＳ２１０では、撮像部１により撮像された監視領域１００ａ（図１６参照）内の画像をフレームメモリ３１に取り込む。
ステップＳ２１１では、舵角検出部２１からのハンドル舵角情報、及び、走行距離検出部２４から出力されるパルス信号の送出間隔すなわち車速情報を取り込む。
【００９７】
ステップＳ２１２では、障害物検出処理を行う。この障害物検出処理は、上記ステップＳ２１０にて取り込まれた撮像画像に対してなされる処理である。
この処理では、まず、路面画像（すなわち高さ「０」の画像）を除去し、この路面画像が除去された画像に対して水平方向及び垂直方向あるいは何れか一方向の微分処理を行なうことにより、物体の外観を表すエッジ画像を取得する。
【００９８】
そして、取得したエッジ画像より、監視領域１００ａ内に存在する物体（すなわち障害物）の形状を示す特徴点の３次元座標データを障害物のデータとして取得する。
ステップＳ２１３では、上記ステップＳ２１２で取得した特徴点の３次元座標データ（検出結果）を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶させる。
【００９９】
ステップＳ２２０では、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂの保持内容を参照し、この第２保持領域３５ｂ内にデータが記憶されているか否かを判定する。そして、データが記憶されている場合（Ｙ）にはステップＳ２２１に移行し、データが記憶されていない場合（Ｎ）には、ステップＳ２２５に移行する。
【０１００】
ステップＳ２２１では、範囲内障害物移動位置メモリ３５の第３保持領域３５ｃの保持内容を参照し、この第３保持領域３５ｃ内にデータが記憶されているか否かを判定する。そして、データが記憶されている場合（Ｙ）にはステップＳ２２２に移行し、データが記憶されていない場合（Ｎ）には、ステップＳ２２４に移行する。
【０１０１】
ステップＳ２２２では、範囲内障害物移動位置メモリ３５の第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃに記憶されたデータを表示部５のディスプレイ装置５１にて表示する。
【０１０２】
より詳細には、現動作周期にて撮像した画像から取得した障害物の特徴点の３次元位置データ（第１保持領域３５ａ）、１動作周期前にて取得した障害物の特徴点の３次元位置データから予測した障害物の３次元位置データ（第２保持領域３５ｂ）、２動作周期前にて取得した障害物の３次元位置データから予測した障害物の３次元位置データ（第３保持領域３５ｃ）の表示を行う。
そして、このステップＳ２２２の処理が終了するとステップＳ２２３に移行して上述した周期カウンタのカウント値が規定時間に達しストップするまで待機する。
【０１０３】
一方、範囲内障害物移動位置メモリ３５の第３保持領域３５ｃにデータが記憶されておらず（Ｓ２２１で「Ｎ」）ステップＳ２２４に移行した場合には、このステップＳ２２４にて範囲内障害物移動位置メモリ３５の第１保持領域３５ａ（現動作周期のデータ）及び第２保持領域３５ｂ（１動作周期前のデータより予測されたデータ）をディスプレイ装置５１にて表示する。
そして、ステップＳ２２３に移行して上述した周期カウンタのカウント値が規定時間に達しストップするまで待機する。
【０１０４】
また、範囲内障害物移動位置メモリ３５の第２保持領域３５ｃにデータが記憶されておらず（Ｓ２２０で「Ｎ」）ステップＳ２２５に移行した場合には、このステップＳ２２５にて範囲内障害物移動位置メモリ３５の第１保持領域３５ａ（現動作周期のデータ）のみをディスプレイ装置５１にて表示する。そして、ステップＳ２２６に移行して上述した周期カウンタのカウントをストップした後にステップＳ２３２に移行する。
【０１０５】
そして、上記ステップＳ２２３の処理が終了しステップＳ２３０に移行した場合には、このステップＳ２３０にて次動作周期における障害物の位置予測を行う。
すなわち、このステップＳ２３０では、舵角検出部２１からのハンドル舵角情報、走行距離検出部２４からの車速情報及び周期カウンタ（ＲＡＭ４３）により規定された動作周期に基づき、次の動作周期時点の車両の相対移動量を算出するとともに範囲内障害物移動位置メモリ３５の第２保持領域３５ｂに記憶されたデータについて、次の動作周期時点における障害物（特徴点の３次元座標データ）の移動位置を算出（予測）する。
【０１０６】
引き続くステップＳ２３１では、上記ステップＳ２３０にて算出した障害物の移動位置を範囲内障害物移動位置メモリ３５の第３保持領域３５ｃに記憶させる。
【０１０７】
ステップＳ２３２では、現動作周期にて取得された障害物について次動作周期における障害物の位置予測を行う。
すなわち、このステップＳ２３２では、上記ステップＳ２３０の動作を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶されたデータに対して行う。
引き続くステップＳ２３３では、上記ステップＳ２３２にて算出した障害物の移動位置を範囲内障害物移動位置メモリ３５の第２保持領域３５ｂに記憶させる。
そして、このステップＳ２３３の処理が終了すると、ステップＳ２０１に移行して、次周期における動作を実行する。
【０１０８】
次に、上述した各ステップに基づく実際の処理について図１０〜図１３を参照して説明する。図１０は範囲内障害物移動位置メモリ３５内の記憶内容を示す模式図、図１１は車両１００と障害物２００Ａの相対位置関係を説明する模式図、図１２は撮像部１を構成するビデオカメラの走査線と、このビデオカメラにより撮像された障害物の関係を説明する模式図、図１３は障害物２００Ａがディスプレイ装置５１により表示される様子を説明する模式図である。
【０１０９】
図１１に示すように、動作周期ｔ１時点において停車中にある車両１００（ｔ１）が、この動作周期ｔ１経過直後に後方へ移動を開始し、所定の動作周期ｔが経過した動作周期ｔ２時点（符号１００（ｔ２）で示す位置に相当）にて画像を取得した場合について考える。
【０１１０】
この場合、まず、動作周期ｔ１以前の停車時点において、範囲内障害物移動位置メモリ３５の記憶内容をリセットする（Ｓ２００）。そして、周期カウンタのカウント値をリセットし、周期カウンタによるカウントをスタートする（Ｓ２０１、Ｓ２０２）。
そして、撮像部１により監視領域１００ａ内を撮像し、この画像データを動作周期ｔ１時点の画像データとしてフレームメモリ３１に取り込み（Ｓ２１０）、同時に、舵角検出部２１からのハンドル舵角情報、及び、走行距離検出部２４から出力されるパルス信号の送出間隔すなわち車速情報をＲＡＭ４３に取り込む（Ｓ２１１）。なお、この時点における障害物２００Ａは、図１２に示すように、ビデオカメラの走査線上に存在し、このビデオカメラによる検出が可能な状態となっている。
【０１１１】
続いて、フレームメモリ３１に取り込まれた画像データより障害物の検出すなわち高さのある物体のエッジ画像の作成並びにこのエッジ画像に基づく特徴点（３次元位置座標データ、以下特徴点データという）の取得を行う（Ｓ２１２）。
そして、例示しているように、監視領域１００ａ内に障害物２００Ａのみが存在する場合には、この障害物２００Ａの特徴点データが取得される。また、多数の障害物が存在した場合には、存在した全ての障害物の特徴点データが取得される。
【０１１２】
この取得した特徴点データは、範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶される（Ｓ２１３）。この場合、初回の動作周期であるので、取得した特徴点データは、図１０における動作周期ｔ１に示すように、第１保持領域３５ａに特徴点データＰ11として記憶される。
【０１１３】
続いて、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂ及び第３保持領域３５ｃに過去分の特徴点データが記憶されているか否かを判定する（Ｓ２２０、Ｓ２２１）。
この場合には、第１保持領域３５ａのみに特徴点データが記憶されているので（Ｓ２２０で「Ｎ」）、この第１保持領域３５ａに記憶された特徴点データに基づく障害物をディスプレイ装置５１にて表示する（Ｓ２２５、図１３（ａ）参照）。
【０１１４】
そして、動作周期カウンタのカウント値が規定時間に達するまで待機し（Ｓ２２６）、ハンドル舵角情報及び車速情報を用いた演算動作により第１保持領域３５ａに記憶された特徴点データの次動作周期時点における移動位置を予測し（Ｓ２３２）、この予測した移動位置を第２保持領域３５ｂに特徴点データＰ12として記憶させる（Ｓ２３３、図１０における動作周期ｔ２参照）。
【０１１５】
続いて、周期カウンタをリセットするとともに再度カウントをスタートし（Ｓ２０１、Ｓ２０２）、動作周期ｔ２時点の画像、ハンドル舵角並びに車速を取り込む（Ｓ２１０、Ｓ２１１）。なお、この動作周期ｔ２時点における障害物２００Ａは、図１２に点線で示すように、ビデオカメラの走査線間に存在し、検出できない（消滅した）状態となっている。
【０１１６】
続いて、取り込まれた画像データより障害物の特徴点データの取得を行い（Ｓ２１２）、この取得した特徴点データＰ21を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶させる（Ｓ２１３、図１０の動作周期ｔ２参照）。
【０１１７】
続いて、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂ及び第３保持領域３５ｃに過去分の特徴点データが記憶されているか否かを判定（Ｓ２２０、Ｓ２２１）する。
この場合には、第１保持領域３５ａ及び第２保持領域３５ｂに特徴点データが記憶されているので（Ｓ２２１で「Ｎ」）、これらの第１保持領域３５ａ及び第２保持領域３５ｂに記憶された特徴点データに基づく障害物をディスプレイ装置５１にて表示する（Ｓ２２４）。
【０１１８】
このとき、この障害物２００Ａ（ｔ２）は、上述したように撮像画像上においては消滅しているが、第２保持領域３５ｂに保持された特徴点データに基づいて表示を行うことができる（図１３（ｂ）参照）
【０１１９】
そして、動作周期カウンタのカウント値が規定時間に達するまで待機し（Ｓ２２３）、ハンドル舵角情報及び車速情報を用いた演算動作により第２保持領域３５ｂに記憶された特徴点データＰ12の次動作周期時点における移動位置を予測し（Ｓ２３０）、この予測した移動位置を第３保持領域３５ｃに特徴点データＰ13として記憶させる（Ｓ２２１、図１０における動作周期ｔ３参照）。
【０１２０】
さらに、同様な移動位置の予測動作を第１保持領域３５ａに記憶された特徴点データＰ21に対して行い（Ｓ２３２）、この予測した移動位置を第２保持領域３５ｂに特徴点データＰ22として記憶させる（Ｓ２３３）。
その後、動作周期ｔ３移行の処理を繰り返し実行する。
【０１２１】
そして、このような処理を継続して実行することにより、図１０に示すように、範囲内障害物移動位置メモリ３５には、撮像画像（現動作周期）に基づく特徴点データＰ11、Ｐ21、Ｐ31・・・、１動作周期前の撮像画像に基づく特徴点データＰ12、Ｐ22、Ｐ32・・・、及び、２動作周期前の撮像画像に基づく特徴点データＰ13、Ｐ23、Ｐ33・・・が記憶されるので、例示したように、障害物がビデオカメラの撮像画像にて検出、消滅を繰り返す場合においても、この障害物を連続して捕捉することができる。
【０１２２】
なお、以上説明した本実施形態においても、上述した第１実施形態の如く、車両の転回方向をフレームメモリ３１内に記憶された画像の着目画素の移動量に基づいて検出してもよい。
同様に、障害物と車両の相対距離に基づき、両者が衝突する危険性がある場合に、その旨を告知手段を介して運転者に告知するように構成してもよい。
【０１２３】
また、本発明の基本構成と本実施形態とは、次の対応関係を有する。
すなわち、本発明の基本構成における撮像手段は本実施形態における撮像部１に対応し、走行状態情報出力手段は検出部２に対応し、告知手段は告知部７に対応している。転回方向検出手段は舵角検出部２１に対応し、表示手段は表示部５に、音声指示手段は音声指示部６に対応している。範囲外障害物情報保持手段は範囲外障害物メモリ３４に対応し、範囲内障害物移動位置保持手段は範囲内障害物移動位置メモリ３５に対応し、画像保持手段はフレームメモリ３１に対応している。
【０１２４】
また、障害物検出手段４１ａはフローチャートにおけるステップＳ１２０（第１実施形態）と、ステップＳ２１２（第２実施形態）とに対応し、障害物位置取得手段（４１ｂ）はステップＳ１２１（第１実施形態）と、ステップＳ２１２（第２実施形態）とに対応している。障害物位置予測手段４１ｃはステップＳ１３０（第１実施形態）と、ステップＳ２３０及びＳ２３２（第１実施形態）とに対応している。車両進路予測手段４１ｄは、ステップＳ１３０（第１実施形態）に対応している。
【０１２５】
【発明の効果】
以上詳細に説明したように、本発明によれば、次の効果を奏する。
すなわち、車両の走行状態情報に基づいて検出された障害物の車両との相対位置を予測するとともにこの予測された車両との相対位置にて障害物の表示を行うように構成したので、予測された車両との相対位置に基づく制御を行うことができ、使い勝手のよい車両周辺監視装置を提供することができる。
【０１２６】
また、障害物位置予測手段及び告知手段が対象とする障害物を撮像手段による撮像範囲から消滅した障害物としたので、撮像範囲から消滅した障害物についての車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２７】
また、障害物位置取得手段が取得する障害物の位置情報を撮像手段の範囲外に移動することにより消滅した障害物とし、障害物位置予測手段は、この障害物の情報（範囲外障害物情報）に基づき、消滅した障害物の車両との相対位置を予測するので、撮像手段による撮像範囲外に移動して消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２８】
また、障害物位置取得手段が取得する障害物の位置情報を撮像手段の撮像範囲内に存在する障害物の位置情報とし、障害物位置予測手段は、この障害物の位置情報と走行状態情報とに基づいて、障害物の車両との相対位置を予測し、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知するので、撮像手段による撮像範囲内にて消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２９】
また、障害物位置取得手段は、撮像手段の撮像範囲内に存在する障害物の位置情報（範囲内障害物情報）を周期的に取得し、障害物位置予測手段は、周期毎に、取得した障害物の車両との相対位置を予測し、この予測した障害物の車両との相対位置を範囲内障害物移動位置保持手段に格納し、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知するので、撮像手段による撮像範囲内にて消滅した障害物について、直ちに車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１３０】
また、告知手段は、車両進路予測手段により予測された車両の進路と障害物位置予測手段により予測された障害物の車両との相対位置とを運転者に告知するので、車両がこれから走行することが予測される進路上における障害物の存在を、撮像範囲から消滅した障害物についても知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１３１】
また、車両進路予測手段は、撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに認識した転回方向とから車両の進路を予測するので、特別な装置が不要となり装置の構成を簡単にすることができる。
【０１３２】
また、車両進路予測手段は、撮像手段からの画像情報を保持する画像保持手段に保持された画像情報を参照し、この画像情報内における着目画素の移動方向及び移動量を検出する。そして、この検出された移動方向及び移動量に基づいて車両の移動方向を認識するとともに認識した移動方向から車両の進路を予測するので、車両の進路を予測する場合において、着目点についてのみ処理を行えば良いので、処理に要する演算ステップを簡略化できる。
【０１３３】
また、車両進路予測手段は、前記走行状態情報に基づいて車両の進路を予測するので、車両の進路の予測と障害物の車両との相対位置の予測とを共通の情報により行うことができ、装置構成を簡単にすることができる。
【０１３４】
また、走行状態情報出力手段は、車両の走行距離を検出する走行距離検出手段からの走行距離情報と車両に設けられた転回方向検出手段からの転回方向の情報とを走行状態情報として出力するので、走行距離情報と転回方向情報とが車両から直接読み取ることができ、車両の進路を予測する場合において、処理を高速に行うことができる。
【０１３５】
また、転回方向検出手段は、ハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角センサとして構成されているので、車両の転回方向の情報を確実に把握することができる。
【０１３６】
また、衝突予測手段は、予測された車両進路と予測された障害物の車両との相対位置とに基づいて車両が障害物に衝突するか否かを予測し、衝突すると予測された場合に告知手段が衝突の旨を告知するので、運転者は車両が現在の状態で移動した場合における車両と障害物との衝突可能性を事前に知ることができ、衝突を未然に防ぐことができ、より安全性を高めた車両周辺監視装置を提供することができる。
【０１３７】
また、告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の一方あるいは双方であるので、運転者の視覚あるいは聴覚により車両と障害物との位置関係を伝達することができる。
【図面の簡単な説明】
【図１】本発明の基本構成図である。
【図２】第１実施形態の構成を説明するブロック図である。
【図３】舵角検出部２１を説明する図である。
【図４】第１実施形態の動作を説明するフローチャートである。
【図５】フレームメモリ３１に蓄えられた画像情報から車両の相対移動量を算出する方法を説明する図である。
【図６】障害物の位置を推定する動作、障害物の存在領域を判定する動作を説明する模式図である。
【図７】第２実施形態の構成を説明するブロック図である。
【図８】範囲内障害物移動位置メモリ３５の構成を説明する図である。
【図９】第２実施形態の動作を説明するフローチャートである。
【図１０】範囲内障害物移動位置メモリ３５内の記憶内容を示す模式図である。
【図１１】車両１００と障害物２００Ａの相対位置関係を説明する模式図である。
【図１２】撮像部１を構成するビデオカメラの走査線と、このビデオカメラにより撮像された障害物の関係を説明する模式図である。
【図１３】障害物２００Ａがディスプレイ装置５１により表示される様子を説明する模式図である。
【図１４】従来装置の構成を説明するブロック図である。
【図１５】撮像部１の構成を説明する図である。
【図１６】撮像部１の取り付け態様を説明する図である。
【図１７】車両１００の動きと障害物２００の関係を説明する図である。
【図１８】車両１００の動きと障害物２００の関係を説明する図である。
【符号の説明】
１ 撮像部
２ 検出部
２１ 蛇角検出部
２４ 走行距離検出部
３ 記憶部
３１ フレームメモリ
３４ 範囲外障害物メモリ
３５ 範囲内障害物移動位置メモリ
４ データ処理部
４１ ＣＰＵ
４２ ＲＯＭ
４３ ＲＡＭ
５ 表示部
６ 音声指示部
７ 告知部
１００ 車両
２００、２００Ａ 障害物[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle periphery monitoring device, and more particularly to a vehicle periphery monitoring device that is effectively applied to monitor the periphery of a vehicle such as an automobile and assist the driver's safety confirmation in driving the vehicle. is there.
[0002]
[Prior art]
Conventionally, there has been a device having the configuration shown in FIG. 14 as a device for monitoring the periphery of a vehicle such as an automobile. In the figure, reference numeral 1 denotes an image pickup unit that picks up an image around the vehicle, 21 denotes a steering angle detection unit that detects a steering angle of a steering wheel or a steering wheel and outputs turning information, and 3 denotes an image signal obtained from the imaging unit 1 A storage unit that holds vehicle shape information and the like, 4 is a data processing unit configured by a computer that operates according to a program stored in advance, 5 is a display unit that includes a display device 51, and 6 is an alarm sound or voice guidance. It is a generated voice instruction unit.
[0003]
The steering angle detector 21 includes a steering angle sensor for detecting the steering angle or a steering angle detection sensor (none of which is shown) for detecting the steering angle of the steering wheel, and outputs vehicle turning information. The rudder angle detector 21 is provided with an A / D converter 21a for digitally converting an input signal and outputting the digital signal to the data processing unit 4.
[0004]
The storage unit 3 includes a frame memory 31 that temporarily stores an image signal obtained from the imaging unit 1, a reference data memory 32 that holds in advance image data in the case of a flat ground without an obstacle as reference data, a vehicle Vehicle data memory 33 for holding vehicle current position data, vehicle two-dimensional or three-dimensional shape data, and vehicle reference position data, which is the attachment position of the imaging unit 1 in the vehicle, as vehicle information.
[0005]
The data processing unit 4 includes a ROM 42 that stores an operation program, a CPU 41 that operates according to the operation program, and a RAM 43 that temporarily stores information necessary for the operation of the CPU 41.
Based on the display image signal output from the CPU 41, the display unit 5 displays the relative position of the object to the vehicle or displays a message for the driver.
The voice instruction unit 6 includes a speaker 61 and a drive circuit 62 that generates a buzzer signal or a voice signal based on a control signal from the CPU 41 and outputs the voice signal to the speaker 61.
[0006]
The imaging unit 1 includes, for example, one using laser light or a stereo type.
As shown in FIG. 15A, a laser beam is used by inputting laser light from a laser light source 12, a laser light source driving device 11 for driving the laser light source 12, and the laser light source 12. It has a pattern light projection element 13 that projects a bright spot matrix 13a onto the monitoring area by light, and a CCD camera 14 that images the bright spot matrix 13b once projected onto the monitoring area.
[0007]
In this configuration, the image captured by the CCD camera 14, that is, the bright spot matrix 13b disturbed by an obstacle or the like in the monitoring area is temporarily stored in the frame memory 31 as image information. The data processing unit 4 compares the image information held in the frame memory 31 with the reference data held in the reference data memory 32, thereby obtaining the shape of the obstacle and the relative position information with respect to the imaging unit 1. get.
[0008]
On the other hand, as shown in FIG. 15B, the stereo type has two CCD cameras, that is, a right CCD camera 14R and a left CCD camera 14L that are spaced apart from each other by a predetermined distance dxa. Accordingly, two frame memories, a right frame memory 31R and a left frame memory 31L, are provided.
[0009]
In this configuration, an image captured by the right CCD camera 14R is stored in the right frame memory 31R as right image information, and an image captured by the left CCD camera 14L is stored in the left frame memory 31L as left image information.
For example, the data processing unit 4 differentiates the left image information stored in the frame memory 31L in the horizontal direction, detects the edge of the obtained object such as an obstacle, and uses the edge point as a trigger point, that is, a reference point. As described above, an edge point corresponding to the edge point is acquired from the right image information stored in the other frame memory 31R. Then, the position of the object is detected based on the difference between the positions of the edge points of the left and right images acquired in this way, that is, the parallax.
[0010]
For example, as shown in FIG. 16, such an imaging unit 1 is attached to an approximately center portion on the upper rear side of the vehicle 100 at an angle θ with respect to the normal line of the ground.
As a result, the imaging unit 1 detects an obstacle or the like in the rear of the vehicle 100, more specifically, in the monitoring area 100a in the vicinity of the rear as shown in FIG.
The mounting position of the imaging unit 1 is stored in the vehicle data memory 33 as the vehicle position reference information described above.
[0011]
Based on the obstacle information recognized as described above and the vehicle information such as the vehicle current position data, the vehicle shape data, and the vehicle reference position data stored in the vehicle data memory 33, the data processing unit 4 And the positional relationship between the vehicle and the obstacle is displayed on the display device 51 of the display unit 5 based on the calculated relative position.
Further, the data processing unit 4 predicts the course of the vehicle based on the turning information output from the rudder angle detection unit 2, and if it is predicted that the detected obstacle and the vehicle will collide, Output audio signals. The voice instruction means 6 issues a warning such as a buzzer sound or voice guidance that informs the driver of the collision in advance based on the voice signal output from the data processing unit 4.
[0012]
[Problems to be solved by the invention]
In the conventional apparatus described above, as described with reference to FIG. 16, an obstacle in the monitoring area 100a is detected, and a collision with a vehicle is predicted for the obstacle existing in the monitoring area 100a. ing.
Therefore, as long as the obstacle exists in the monitoring area 100a, this conventional apparatus is effective because it can grasp the relative position between the vehicle and the obstacle.
[0013]
However, once an obstacle has left the monitoring area 100a, no consideration is given to the obstacle outside the monitoring area, and a collision cannot be predicted.
[0014]
For example, when the vehicle 100 is largely turned, that is, when the steering wheel (front wheel) is retreated with a relatively large steering angle, the position P1 (shown by a dotted line in the figure) is shown, for example, as shown in FIG. ), The obstacle 100 existing in the monitoring area 100a (P1) 1 When moving to position P2 (position indicated by the alternate long and short dash line in the figure) along the locus indicated by the arrow, the position deviates from the monitoring area 100a (P2). Thereby, the data processing unit 4 excludes the obstacle 200 from the monitoring target. When the vehicle 100 further moves backward to reach a position P3 (a position indicated by a solid line in the figure), the obstacle 200 is located on the right front side surface portion of the vehicle 100 and collides with the steering wheel.
At this time, since the data processing unit 4 has already excluded the obstacle 200 from the monitoring target, no alarm is issued despite the danger of a collision or the like.
[0015]
Further, when the obstacle 200 is located on the side surface of the vehicle 100 and the vehicle 100 retreats while turning from this state, for example, as shown in FIG. 18, at the position P4 (the position indicated by the dotted line in the figure) When the obstacle 200 existing in the monitoring area 100a (P4) deviates from the monitoring area as the vehicle 100 moves backward, and the vehicle 100 further moves backward and reaches a position P5 (a position indicated by a solid line in the figure). The obstacle 200 is located on the right side surface of the vehicle 100.
[0016]
From this state, the steering angle of the steered wheel is 2 When the vehicle 100 is moved backward in the state described above, the vehicle 100 moves along a locus indicated by an arrow in the figure, and the obstacle 200 collides with the right front side surface portion thereof. Even in this case, the data processing unit 4 removes the obstacle 200 from the monitoring target when the obstacle 200 is removed from the monitoring area 100a. Is not emitted.
[0017]
Further, when the obstacle is very small and the obstacle is located in a gap between detection lines of a CCD sensor (not shown) constituting the CCD camera 14 (14R, 14L), the obstacle is In spite of the fact that the obstacle cannot be detected and the obstacle is present in the monitoring area 100a, the obstacle is repeatedly detected and disappeared, thereby impairing the visibility.
[0018]
The above-described problems are not limited to the CCD camera 14 and also occur when a video camera (not shown) is used. That is, it goes without saying that when the obstacle is out of the imaging area of the video camera, the obstacle is located between the scanning lines of the video camera when the obstacle is very small. In this case, the detection and disappearance of the obstacle are repeated.
[0019]
Therefore, in view of the conventional problems described above, the present invention can know the position of an object recognized as an obstacle even if it is outside the monitoring area, and if there is a danger of a collision with the vehicle. It is an object of the present invention to provide a vehicle periphery monitoring device that notifies the driver of this and improves usability and safety so that a collision can be avoided.
Also, for obstacles that disappeared in the surveillance area Relative position with vehicle It is another object to provide a vehicle periphery monitoring device that can recognize the image and improve the usability by improving the visibility.
[0020]
[Means for Solving the Problems]
In order to solve the above problems, the vehicle periphery monitoring device according to the present invention monitors the periphery of a vehicle based on image data from an imaging means (1) installed in the vehicle as shown in the basic configuration diagram of FIG. In the vehicle periphery monitoring apparatus, the obstacle detection means (41a) for detecting the obstacle from the image data, and the obstacle position acquisition means for acquiring the position information of the obstacle detected by the obstacle detection means (41a) (41b), traveling state information output means (2) for detecting and outputting traveling state information indicating the traveling state of the vehicle, and the traveling state information and the position information of the obstacle. As the vehicle moves, Of the detected obstacle Relative position with respect to the vehicle Of the obstacle predicted by the obstacle position prediction means (41c) and the obstacle position prediction means (41c). Relative position with respect to the vehicle And a notification means (7) for notifying the driver. (Claim 1)
[0021]
In the configuration of the first aspect, the imaging unit acquires an image around the vehicle as image data, and the obstacle detection unit detects the obstacle from the image data. The obstacle position acquisition means acquires the position information of the detected obstacle, and the obstacle position prediction means acquires the traveling state information indicating the traveling state of the vehicle from the traveling state information output means and the traveling state information. And the position information of the obstacle acquired by the obstacle position acquisition means, As the vehicle moves, Obstruction Relative position with respect to the vehicle Predict. The notification means is predicted by the obstacle position prediction means. Relative position with respect to the vehicle Obstacles are displayed at.
[0022]
That is, in the configuration of claim 1, the obstacle detected based on the traveling state information of the vehicle. Relative position with vehicle Predict this and predict this Relative position with vehicle Predicted to display obstacles at Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device.
[0023]
In addition, the obstacle position predicting means (41c) applies to the disappeared obstacle when the obstacle disappears from the imaging range by the imaging means (1). Relative position with respect to the vehicle The notification means (7) predicts the disappeared obstacle. Relative position with respect to the vehicle It is characterized by announcing. (Claim 2)
[0024]
In the second aspect of the present invention, the obstacle targeted by the obstacle position prediction means and the notification means is an obstacle that disappears from the imaging range of the imaging means.
Therefore, in the configuration of claim 2, the obstacles disappeared from the imaging range. Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0025]
The obstacle position acquisition means (41b) acquires information regarding the disappeared obstacle as out-of-range obstacle information when the obstacle disappears from the imaging range by the imaging means (1). In addition, the acquired out-of-range obstacle information is held in the out-of-range obstacle information holding means (34), and the obstacle position prediction means (41c) is an obstacle that disappears based on the out-of-range obstacle information. Relative position of the vehicle It is characterized by performing predictions. (Claim 3)
[0026]
In the configuration of claim 3, the obstacle position information acquired by the obstacle position acquisition means is an obstacle that has disappeared by moving outside the range of the imaging means, and the position information of the obstacle is out of range. It is held in the out-of-range obstacle information holding means as obstacle information. Obstacle position prediction means is based on out-of-range obstacle information, Relative position with vehicle Predict.
Therefore, in the configuration of claim 3, an obstacle that has disappeared by moving outside the imaging range of the imaging means is also included. Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0027]
The obstacle position acquisition means (41b) acquires position information of the obstacle in the imaging range by the imaging means (1) as in-range obstacle information, and the obstacle position prediction means (41c) Obstacles based on obstacle information in the range Relative position of the vehicle And predicting obstacles Relative position with respect to the vehicle Is stored in the in-range obstacle moving position holding means (35), and the notification means (7) is configured to display the obstacle that has disappeared when the obstacle disappears within the imaging range of the imaging means (1). About the predicted obstacles Relative position with respect to the vehicle It is characterized by announcing. (Claim 4)
[0028]
In the configuration of claim 4, the obstacle position information acquired by the obstacle position acquisition unit is the position information of the obstacle existing in the imaging range of the imaging unit, and the obstacle position prediction unit is configured to detect the obstacle in the imaging range. Based on the position information and running state information of obstacles existing in the Relative position with vehicle Predict. The notification means is predicted by the obstacle position prediction means for the obstacle that has disappeared within the imaging range. Relative position with vehicle To the driver. Therefore, in the configuration of claim 4, the obstacle disappeared within the imaging range by the imaging means is also included. Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0029]
The obstacle position acquisition means (41b) periodically acquires the in-range obstacle information, and the obstacle position prediction means (41c) travels with the in-range obstacle information for each period. Based on the state information and the obstacle Relative position with respect to the vehicle And predicting obstacles Relative position with respect to the vehicle Is stored in the in-range obstacle movement position holding means (35). (Claim 5)
[0030]
In the configuration of the fifth aspect, the obstacle position acquisition unit periodically acquires the position information (in-range obstacle information) of the obstacle present in the imaging range of the imaging unit. Obstacle position prediction means Relative position with vehicle Predict this obstacle's Relative position with vehicle Is stored in the in-range obstacle movement position holding means. And the notification means is predicted by the obstacle position prediction means regarding the obstacle disappeared within the imaging range. Relative position with vehicle To the driver.
Therefore, according to the configuration of claim 5, the obstacle disappeared within the imaging range by the imaging means is immediately Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0031]
The vehicle course prediction means (41d) for predicting the course of the vehicle is provided, and the notification means (7) is a vehicle course predicted by the vehicle course prediction means (41d) and the obstacle position prediction means. Of obstacles predicted by Relative position with respect to the vehicle It is characterized by notifying the driver. (Claim 6)
[0032]
In the configuration of the sixth aspect, the notification means includes the vehicle course predicted by the vehicle course prediction means and the obstacle predicted by the obstacle position prediction means. Relative position with vehicle To the driver, it is possible to know the presence of obstacles on the path where the vehicle is expected to travel from now on, as well as obstacles that have disappeared from the imaging range, and it is easy to use with improved safety. A vehicle periphery monitoring device can be provided.
[0033]
The vehicle course prediction means (41d) recognizes the turning direction of the vehicle based on the image information from the imaging means (1) and predicts the course of the vehicle based on the recognized turning direction. It is said. (Claim 7)
[0034]
In the configuration of claim 7, the vehicle course prediction means recognizes the turning direction of the vehicle based on the image information from the imaging means and predicts the course of the vehicle from the recognized turning direction, so that no special device is required. Next, the configuration of the apparatus can be simplified.
[0035]
The vehicle course predicting means (41d) recognizes the turning direction of the vehicle based on the moving direction and moving amount of the pixel of interest in the image holding means (31) that holds the image signal from the imaging means (1). It is characterized by doing. (Claim 8)
[0036]
In the configuration of the above aspect 8, the vehicle course prediction unit refers to the image information held in the image holding unit that holds the image information from the imaging unit, and determines the moving direction and the moving amount of the target pixel in the image information. To detect. Based on the detected moving direction and moving amount, the moving direction of the vehicle is recognized and the course of the vehicle is predicted from the recognized moving direction.
Therefore, according to this configuration, in the case of predicting the course of the vehicle, it is only necessary to perform the process on the point of interest, so that the calculation steps required for the process can be simplified.
[0037]
The vehicle course prediction means (41d) predicts the course of the vehicle based on the travel state information. (Claim 9)
[0038]
In the configuration of the ninth aspect, the vehicle course prediction means predicts the course of the vehicle based on the travel state information. Relative position with vehicle Prediction can be performed using common information, and the apparatus configuration can be simplified.
[0039]
The travel state information output means (2) is a travel distance detection means (24) that detects the travel distance of the vehicle, and a rotation that detects the turning direction of the vehicle and outputs the detected turning direction as turning information. And a direction detecting means (21). (Claim 10)
[0040]
In the configuration of claim 10, the traveling state information output means travels the traveling distance information from the traveling distance detecting means for detecting the traveling distance of the vehicle and the information on the turning direction from the turning direction detecting means provided in the vehicle. Output as status information. Since the travel distance information and the turning direction information can be directly read from the vehicle, the process can be performed at high speed when the course of the vehicle is predicted.
[0041]
Further, the turning direction detecting means (21) is any one of a steering angle sensor (22) for detecting a steering angle and a steering angle sensor (23) for detecting a steering angle of a steered wheel. . (Claim 11)
[0042]
In the configuration of claim 11, the turning direction detecting means is configured as a steering angle sensor that detects the steering angle of the steering wheel or a steering angle sensor that detects the steering angle of the steering wheel. It is possible to grasp with certainty.
[0043]
The vehicle course predicted by the vehicle course predicting means (41d) and the obstacle predicted by the obstacle position predicting means Relative position with respect to the vehicle And a collision prediction means (41e) for predicting a collision between the vehicle and the obstacle, and the notification means (7), when the collision prediction means (41e) predicts a collision, It is characterized by announcing the collision. (Claim 12)
[0044]
In the configuration of claim 12, the collision predicting means includes a predicted vehicle course and a predicted obstacle. Relative position with vehicle Based on the above, whether or not the vehicle collides with the obstacle is predicted, and when it is predicted that the vehicle will collide, the notification means notifies the collision.
Therefore, according to this configuration, the driver can know in advance the possibility of a collision between the vehicle and an obstacle when the vehicle moves in the current state, and can prevent the collision in advance, thereby further improving safety. It is possible to provide a vehicle periphery monitoring device with improved height.
[0045]
The notification means (7) is at least one of a display means (5) for displaying a relative distance between the vehicle and the obstacle and a message, or a voice instruction means (6) for generating a buzzer sound or a voice. It is characterized by. (Claim 13)
[0046]
In the configuration of claim 13, the notification means is one or both of a display means for displaying a relative distance between the vehicle and the obstacle and a message, and a voice instruction means for generating a buzzer sound and a voice. The positional relationship between the vehicle and the obstacle can be transmitted by visual or auditory sense. In particular, when notifying the driver of a danger such as a collision, it can be more clearly notified by operating both.
[0047]
Moreover, the said imaging means (1) is attached so that the back area | region of the said vehicle may be imaged behind the said vehicle. (Claim 14)
[0048]
In the configuration of claim 14, the imaging means is attached to the rear of the vehicle so as to image the rear area of the vehicle, so that the driver recognizes an obstacle in the rear vicinity area of the vehicle that is difficult for the driver to visually recognize. Can be made.
[0049]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, specific examples of embodiments of the present invention will be described with reference to the drawings. First, a first embodiment of a vehicle periphery monitoring device to which the present invention is applied will be described.
FIG. 2 is a block diagram illustrating the configuration of the vehicle periphery monitoring device according to the present invention. In FIG. 2, the same parts as those described above are denoted by the same reference numerals. That is, 1 is an imaging unit, 2 is a detection unit having a steering angle detection unit 21, 3 is a storage unit, 4 is a data processing unit, and 7 is a notification unit including a display unit 5 and a voice instruction unit 6.
[0050]
The imaging unit 1 functions as an imaging unit, and either one using the laser beam described in FIG. 15A or the stereo type described in FIG. 15B is appropriately selected and used. It has been. Since this imaging unit 1 is the same as the conventional one, its description is omitted.
As described above, a video camera can be applied to the imaging unit 1 in addition to the CCD camera.
[0051]
The detection unit 2 includes a steering angle detection unit 21 and a travel distance detection unit 24.
As the steering angle detection unit 21, either one or both of the steering angle sensor 22 and the steering angle sensor 23 are used. The steering wheel angle sensor 22 and the steering angle sensor 23 are attached to a steering mechanism that steers the vehicle 100.
[0052]
FIG. 3A is a view exemplifying how the steering wheel steering angle sensor 22 is attached. 110 is a steering mechanism, and 120 is a wheel (however, only the outer peripheral surface of the wheel is shown).
The steering mechanism 110 includes a handle 111 that is rotated by a driver, a main shaft 112 that has an upper end attached to the center of the handle 111, and a lower end of the main shaft 112 that is attached via a joint 118a. An intermediate shaft 113, a pinion 114 having a tooth surface formed on its peripheral surface and connected to the lower end of the intermediate shaft 113 via a joint 118b, and a rack 115 having a tooth surface meshing with the pinion 114; An intermediate arm 116 joined to both ends of the rack 115 (only the right end is shown in the figure) via a joint 118c, and a knuckle arm 117 joined to an outer end of the intermediate arm 116 via a joint 118d have.
The wheel 120 is rotatably supported by a support portion 117a at the outer end of the knuckle arm 117.
[0053]
In such a steering mechanism 110, when the driver rotates the handle 111, the rotation of the handle 111 is sequentially transmitted to the main shaft 112 and the intermediate shaft 113, thereby rotating the pinion 114. As the pinion 114 rotates, the rack 115 meshing with the pinion 114 moves in the extending direction (the left-right direction in the figure).
The movement of the rack 115 is transmitted to the intermediate arm 116 and the knuckle arm 117. Then, the knuckle arm 117 rotates about the turning center C as a fulcrum, and rotates the wheel 120 supported by the support portion 117a to an angle indicated by a solid line and a dotted line.
[0054]
The handle rudder angle sensor 22 is attached to a member that rotates as the handle 111 rotates, such as the pinion 114 described above. The steering angle sensor 22 illustrated in the figure includes an optical sensor 22a having two pairs of light emitting / receiving elements (not shown) and a drum member 22b in which a reflective surface and a non-reflective surface are alternately formed on the peripheral surface thereof. Has been.
The drum member 22b is attached to the pinion 114 so as to rotate together with the pinion 114. The optical sensor 22a is opposed to the peripheral surface of the drum member 22b, and each pair of light emitting and receiving element pairs is disposed slightly shifted with respect to the rotation direction of the drum member 22b.
[0055]
When the driver rotates the handle 111 and the pinion 114 rotates, the drum member 22b also rotates. As the drum member 22b rotates, the reflecting surface and the non-reflecting surface pass one after another in front of the optical sensor 22a, and the optical sensor 22a outputs a pulse signal corresponding to the rotation. At this time, since each pair of the light emitting / receiving element pairs of the optical sensor 22a is slightly shifted in position, a pulse signal having a phase shift is output from the optical sensor 22a. The phase shift state in the pulse signal differs depending on the rotation direction of the drum member 22b.
Therefore, the steering angle sensor 22 grasps the operation amount (rotation amount) of the handle 111 by counting the number of pulses of the pulse signal from the optical sensor 22a, and from the phase shift state, the rotation direction of the handle 111, that is, the vehicle Know the direction of the turn.
[0056]
For example, as shown in FIG. 3B, the steering angle sensor 23 is attached to a knuckle arm 117 of the steering mechanism 110 [see FIG. 3A]. The steering angle sensor 23 includes a roller member 23a and a pulse generation unit 23b that generates a pulse signal based on the rotation of the roller member 23a.
The roller member 23a is disposed so as to be in contact with the turning center C of the knuckle arm 117, and the roller member 23 is configured to rotate by itself when the turning center C of the knuckle arm 117 is rotated. The pulse generator 23b is configured, for example, as a so-called photointerrupter (both not shown) including a slit plate that rotates together with the roller member 23a and a pair of light emitting and receiving elements disposed in the slit plate. The pulse signal is output according to the rotation of 23a.
The steering angle sensor 23 also grasps the operation amount and rotation direction of the handle 111 based on this pulse signal.
[0057]
The pulse signals from the steering wheel angle sensor 22 or the steering angle sensor 23 are supplied to the CPU 41 of the data processing unit 4 as turning information.
In addition, although what illustrated the thing using an optical sensor as the steering wheel steering angle sensor 22 or the steering angle sensor 23 here, these steering angle sensors 22 and 23 are not restricted to what was illustrated, and the steering angle of the steering wheel 111 Alternatively, anything that detects the steering angle of the steering wheel (wheel 120) may be used.
[0058]
The travel distance detection unit 24 is a mechanism that detects the travel distance of the vehicle, and is attached to a transmission shaft of the vehicle. For example, the travel distance detection unit 24 includes a magnet attached to the transmission shaft, a Hall element disposed adjacent to the magnet, and a comparison voltage that varies according to an output from the Hall element at one terminal. A comparator that is supplied to (for example, the + terminal) and a reference voltage is supplied to the other terminal (for example, the-terminal).
[0059]
In such a travel detection unit 24, the magnet rotates as the transmission shaft rotates, and applies a magnetic field of N, S, N, S,. Thereby, the Hall element induces a predetermined voltage according to the applied magnetic field, and increases or decreases the comparison voltage supplied to one terminal of the comparator. The comparator outputs a voltage of “H” when the comparison voltage supplied to one terminal is lower than the reference voltage supplied to the other terminal, and “L” when it is higher. Therefore, the comparator 1 outputs a traveling pulse that becomes “H” or “L” in accordance with the rotation of the magnet.
In other words, the travel detection unit 24 is configured to output a pulse signal every time it travels a unit distance.
[0060]
The storage unit 3 stores a frame memory 31 that stores image signals from the imaging unit 1 described in the conventional apparatus, a reference data memory 32 that stores image data in the case of a flat ground without an obstacle, vehicle shape data, and the like. In addition to the vehicle data memory 33, the vehicle has an out-of-range obstacle memory 34 that holds data related to obstacles that are out of the range of the monitoring area 100a of the imaging unit 1 as out-of-range obstacle data.
[0061]
As in the conventional apparatus, the data processing unit 4 includes a ROM 42 that stores an operation program, a CPU 41 that operates according to the operation program, and a RAM 43 that temporarily stores information necessary when the CPU 41 operates.
Further, the notification unit 7 including the display unit 5 and the voice instruction unit 6 is not significantly different from the conventional apparatus in configuration. However, with respect to the display unit 5, a switch 52 for switching and displaying an image captured by the imaging unit 1 and an image generated by the data processing unit is provided.
[0062]
Next, the operation of the first embodiment having the above-described configuration will be described.
In the present embodiment, the data processing unit 4 performs the processing of the flowchart shown in FIG. 4 to perform the operation of calculating the relative position between the vehicle and the obstacle and the alarm operation for avoiding the collision.
[0063]
First, in step S110, it is determined whether this measurement operation, that is, the process of this flowchart is the first time. If it is determined in step S110 that the process is the first time, it is not necessary to determine whether the obstacle has moved outside the range of the monitoring area 100a of the imaging unit 1, and thus the process proceeds to step S120.
And when it determines with it not being the first time in this step S110, it transfers to step S111.
[0064]
In step S111, the movement position of the vehicle, that is, the movement amount of the vehicle such as the movement distance and the movement direction of the vehicle within the period of the current measurement operation from the previous measurement operation is calculated.
In this step S111, the travel distance of the vehicle is acquired based on the pulse signal from the travel detection unit 24, and the vehicle travels based on the turning information from the steering wheel steering angle sensor 22 or the steering angle sensor 23 described in FIG. Get the direction of movement. These travel distance information and turning information are held (stored in the RAM 43) as the relative movement amount of the vehicle.
[0065]
In this step S111, an example of calculating the relative movement amount of the vehicle based on the travel distance information from the travel detection unit 8 and the turning information from the steering angle sensor 22 (steering angle sensor 23) is illustrated. As shown in FIG. 5, the image information from the imaging unit 1 can be used for calculation.
[0066]
That is, as shown in FIG. 5A, an arbitrary index object B is set in the image information stored in the frame memory 31, and the coordinate B of the point of interest in the index object B is set. 1 To get. As the vehicle moves, the coordinates of this point of interest are coordinate B as shown in FIG. 2 As shown in FIG. 5 (c), the coordinates B Three Move to.
[0067]
And this point of interest is coordinate B 1 , Coordinate B 2 , Coordinate B Three Amount dx in the frame memory 31 when moving to 1 And dy 1 And travel dx 2 And dy 2 The relative movement amount of the vehicle may be calculated based on the above.
In this case, the height of the target point is made known by the three-dimensional position calculation, and the above-described calculation is executed based on the target point with the known height.
[0068]
In addition, a vehicle speed sensor that detects the speed of the vehicle is used, and the vehicle speed detected by the vehicle speed sensor and the elapsed time from the previous measurement operation to the current measurement operation are integrated to obtain the travel distance of the vehicle. The relative movement amount of the vehicle may be obtained by calculating and adding the turning information from the steering angle sensor 22 or the like to the movement distance information.
[0069]
As shown in the schematic diagram of FIG. 6, the calculation of the relative movement amount of the vehicle in this step S111 is based on the attachment position P100 (x100, y100) of the imaging means 1 of the vehicle 100 as the reference point. It is convenient that the processing can be speeded up. In this case, in the collision prediction step described later, vehicle information held in the vehicle data memory 33 of the storage unit 3, that is, the reference point P100, the right rear end point P100a, the left rear end point P100b, the right front end point P100c, and the left front end point P100d. By superimposing these data on the reference point P100, the position and shape of the vehicle are grasped and a collision is predicted.
[0070]
When the relative movement amount of the vehicle is calculated in step S111 as described above, the process proceeds to step S112.
In step S112, based on the relative movement amount of the vehicle calculated in step S111, the position of the obstacle at the time of the current measurement operation is estimated for the obstacle detected so far. This is performed by assuming that the obstacle is stationary and adding the relative movement amount of the vehicle calculated in step S111 to the position coordinates of the obstacle at the time of the previous measurement operation.
[0071]
As shown in FIG. 6, the obstacle position estimation operation in step S112 can be performed at a higher speed by processing the center of gravity of the obstacle 200 as the reference point P200 and the moving coordinate value of the reference point P200. .
When the reference point is used in this manner, the position of the obstacle is obtained by superimposing the shape data P200r of the obstacle 200 on the reference point P200 in the collision prediction step described later, as in the case of the previous vehicle data. And grasp the shape and predict the collision.
[0072]
In subsequent step S113, it is determined whether the obstacle estimated in step S112 is within or outside the range of the monitoring area 100a. This determination is made for each obstacle in the monitoring area 100a. The obstacle information determined as “out of range” is stored in the out-of-range obstacle memory 43 of the storage unit 3 in the position information and shape information.
The determination of “within range” or “out of range” in step S113 speeds up the processing if the center of gravity of the obstacle is used as a reference point to determine whether this reference point is within the monitoring area 100a. it can.
[0073]
That is, as shown in the schematic diagram of FIG. 6, the center of gravity of the obstacle 200 is at the position of the reference point P200 at the time of the previous measurement operation, and the center of gravity has moved to the reference point P200a because the vehicle 100 has moved. In this case, when the obstacle 200 is at the position of P200, the center of gravity is within the monitoring area 100a, and therefore the obstacle 200 is determined to be “within range”. When the obstacle 200 is located at the position P200a, the center of gravity is located outside the monitoring area 100a, so the obstacle 200 is determined to be “out of range”.
As described above, the calculation process can be simplified by using the center of gravity of the obstacle 200 as a reference for determination.
[0074]
It is determined whether or not the obstacle is in the monitoring area 100a by the above steps S111 to S113, and the position information and shape information of the obstacle determined to be out of the monitoring area 100a are stored in the range of the storage unit 3. It is stored in the external obstacle memory 43. Then, the process proceeds to step S120.
[0075]
In step S120, an obstacle is detected at the vehicle position at the time of the current measurement. That is, in step S120, the imaging unit 1 (see FIG. 15) detects the presence or absence of an obstacle present in the monitoring area 100a at this time.
In step S121, for each of the obstacles detected in step S120, shape information acquisition operation such as a two-dimensional shape or a three-dimensional shape and relative position information with respect to the imaging unit 1 are calculated. In the calculation of the relative position information in step S121, for example, the center of gravity of the obstacle is calculated based on the shape information of the obstacle, and the relative position between the center of gravity and the imaging unit 1 is calculated.
[0076]
In step S122, the obstacle relative position information and shape information calculated in step S121 are stored. These relative position information and shape information are held in the RAM 43 of the data processing unit 4.
Through the processes in steps S120 to S122, the obstacle in the monitoring area 100a is detected, and the relative position between the detected obstacle and the vehicle (imaging unit 1) is calculated.
[0077]
Next, the process proceeds to step S130. In step S130, the course of the vehicle is predicted. That is, in this step S130, the turning angle of the vehicle is calculated based on the turning information from the steering angle detection unit 21 (the steering wheel steering angle sensor 22, the steering angle sensor 23) described in FIG. 3, and based on this turning angle. Calculate the predicted course of the vehicle.
[0078]
Needless to say, with regard to the processing in step S130, the course of the vehicle can be calculated by image processing on the data stored in the frame memory 31 as in step S111 described above.
[0079]
In subsequent step S131, position information and shape information related to the “out-of-range” obstacle stored in step S113, and a position related to the obstacle in the monitoring area 100a (“in-range”) stored in step S122. Based on the information and the shape information and the predicted course of the vehicle calculated in step S131, the relative position between the “in-range” and “out-of-range” obstacles and the vehicle on the predicted path is calculated and calculated. It is determined whether or not the obstacle and the vehicle collide (there is a risk of collision) based on the relative position.
[0080]
In the next step S140, it is determined whether or not an alarm is to be generated based on the determination result in step S131. That is, when it is determined that “no collision” in step S131, the process proceeds to step S110 and the next measurement operation is performed. On the other hand, if it is determined in step S131 that “collision occurs (dangerous)”, the process proceeds to the subsequent step S150.
[0081]
In this step S150, the CPU 41 sends a drive signal so as to display a message of “collision” to the display device 51 of the display unit 5, and “collises” to the drive circuit 62 of the voice instruction unit 6. A voice signal for informing the user or a sound signal for generating a buzzer sound is transmitted. The display device of the display unit 5 displays a message by the drive signal or the audio signal from the CPU 41, and the speaker 61 of the audio instruction unit 6 generates a sound or a buzzer sound.
[0082]
Note that, in steps S140 to S150, a configuration in which a warning message or a warning sound (voice guidance, buzzer sound) is generated when there is a risk of collision between an obstacle and a vehicle is exemplified. Obstacles of “inside” and “out of range” may be displayed on the display device 51 at all times to allow the driver to recognize the relative distance from the vehicle.
[0083]
Next, actual processing based on the above steps will be described with reference to FIG.
When the vehicle 100 is at a position P4 (indicated by a dotted line in the figure), the obstacle 200 exists in the monitoring area 100a of the vehicle 100. Therefore, at this position P4, the obstacle 200 is treated as “within range”. Then, a relative distance SP (P4) between the mounting position P100 (P4) of the imaging unit 1 in the vehicle 100 and the center of gravity P200 of the obstacle 200, and DX (P4) and DY (P4) indicating the positional relationship between them are calculated. These are stored as relative position data.
[0084]
At this position P4, the steering angle of the steering wheel (front wheel) of the vehicle is a steering angle θ parallel to the side surface of the vehicle 100. 0 Therefore, the vehicle 100 goes straight as it is and moves backward. The CPU 43 determines whether or not the vehicle 100 and the obstacle 200 collide with each other by taking the vehicle data of the vehicle 100 and the shape data of the obstacle 200 into consideration. In this case, as is apparent from the figure, the two do not collide, so no alarm is issued.
[0085]
When the vehicle moves to the position P5 (shown by a solid line in the figure), the obstacle 200 is out of the monitoring area 100a. Accordingly, the obstacle 200 is handled as “out of range” at the position P5, and the position information and shape information thereof are held in the out-of-range obstacle memory 34 of the storage unit 3. Then, a relative distance SP (P5) between the mounting position P100 (P5) of the imaging unit 1 in the vehicle 100 and the center of gravity P200 of the obstacle 200, and DX (P5) and DY (P5) indicating the positional relationship between them are calculated. These are stored as relative position data.
[0086]
At this position P5, the steering angle of the steering wheel (front wheel) of the vehicle is the steering angle θ. 2 Therefore, the vehicle 100 moves backward while drawing an arc on a locus indicated by an arrow in the drawing. The CPU 43 determines whether or not the vehicle 100 and the obstacle 200 collide with each other by taking the vehicle data of the vehicle 100 and the shape data of the obstacle 200 into consideration. In this case, as is apparent from the figure, the obstacle 200 exists within the locus of the right front end portion P100c of the vehicle 100. In this case, the CPU 43 sends a signal to the notification unit 7 so as to generate an alarm. To do.
Thus, in this embodiment, since the relative position with respect to the vehicle is calculated even for an obstacle that is outside the range of the monitoring area 100a, there is a risk of collision with the vehicle even if the obstacle is outside the monitoring range. If there is, notify the driver.
[0087]
In the first embodiment described above, the moving position can be known even when an obstacle detected within the imaging range of the CCD camera 14 deviates from the monitoring area due to relative movement with the vehicle.
Next, a description will be given of a second embodiment configured so that the movement position of a relatively small obstacle that repeatedly detects and disappears within the imaging range of the CCD camera 14 can be known.
[0088]
FIG. 7 is a block diagram illustrating the configuration of the second embodiment. In FIG. 7, the same parts as those described above are denoted by the same reference numerals. In the second embodiment, there is a structural difference in that the in-range obstacle moving position memory 35 is provided in the storage unit 3. This in-range obstacle movement position memory 35 is provided in place of the out-of-range obstacle memory 34 in the first embodiment.
[0089]
The imaging unit 1 in the second embodiment is a stereo type (see FIG. 15B) configured by a pair of video cameras, and a pair of frame memories 31 are also provided on the left and right. As a result, the road surface image can be deleted from the parallax between the left and right images, and an edge image of a height image (that is, an object) can be acquired.
In addition, about the other structure in this 2nd Embodiment, since it is the same as that of the structure demonstrated in 1st Embodiment demonstrated previously, the description is abbreviate | omitted.
[0090]
The in-range obstacle movement position memory 35 includes three holding areas, that is, a first holding area 35a, a second holding area 35b, and a third holding area 35c, as shown in FIG.
[0091]
Among these holding areas, the first holding area 35a is an area for storing three-dimensional position data of all feature points of an image captured by the imaging unit 1, that is, an obstacle present in the monitoring area.
[0092]
The second holding area 35b is an area for storing the three-dimensional position data of the feature points of the obstacle when a predetermined time has elapsed.
The data stored in the second holding area 35b is based on the three-dimensional position data of the obstacle feature points stored in the first holding area 35a and the transmission interval of the pulse signal output from the travel distance detector 24. The obstacle feature point predicted to exist at the time when a predetermined time has elapsed, which is predicted based on the vehicle traveling speed information detected in this way and the vehicle turning information detected by the rudder angle detector 21. It is set as three-dimensional position data.
[0093]
The third holding area 35c is predicted based on the three-dimensional position data of the feature points of the obstacle stored in the second holding area 35b, the vehicle traveling speed information, and the vehicle turning information. Furthermore, it is set as the three-dimensional position data of the feature point of the obstacle predicted to exist at the time when a predetermined time has passed.
[0094]
Next, the operation of the second embodiment having the above-described configuration will be described.
In the present embodiment, the data processing unit 4 performs the processing of the flowchart shown in FIG. 9 to perform the calculation operation of the relative position between the vehicle and the obstacle and the alarm operation for collision avoidance.
[0095]
First, in step S200, the contents held in the first holding area 35a, the second holding area 35b, and the third holding area 35c of the in-range obstacle moving position memory 35 are reset.
In step S201, the cycle counter is reset. This period counter measures the operation period of the apparatus and is set in the RAM 43 of the data processing unit 4. Note that the time measured by the period counter in this embodiment is defined as the time required to process one frame image.
In step S202, the counting operation by the cycle counter is started.
[0096]
In step S <b> 210, an image in the monitoring area 100 a (see FIG. 16) imaged by the imaging unit 1 is taken into the frame memory 31.
In step S211, the steering angle information from the steering angle detector 21 and the transmission interval of the pulse signal output from the travel distance detector 24, that is, the vehicle speed information, are captured.
[0097]
In step S212, an obstacle detection process is performed. This obstacle detection process is a process performed on the captured image captured in step S210.
In this process, first, a road surface image (that is, an image having a height of “0”) is removed, and a differential process in the horizontal direction and / or the vertical direction is performed on the image from which the road surface image has been removed. An edge image representing the appearance of the object is acquired.
[0098]
Then, from the acquired edge image, the three-dimensional coordinate data of the feature point indicating the shape of the object (that is, the obstacle) existing in the monitoring area 100a is acquired as the obstacle data.
In step S213, the three-dimensional coordinate data (detection result) of the feature point acquired in step S212 is stored in the first holding area 35a of the in-range obstacle movement position memory 35.
[0099]
In step S220, the content held in the second holding area 35b of the in-range obstacle moving position memory 35 is referred to, and it is determined whether or not data is stored in the second holding area 35b. When data is stored (Y), the process proceeds to step S221. When data is not stored (N), the process proceeds to step S225.
[0100]
In step S221, the content held in the third holding area 35c of the in-range obstacle moving position memory 35 is referred to, and it is determined whether or not data is stored in the third holding area 35c. If data is stored (Y), the process proceeds to step S222. If data is not stored (N), the process proceeds to step S224.
[0101]
In step S222, the data stored in the first holding area 35a, the second holding area 35b, and the third holding area 35c of the in-range obstacle moving position memory 35 is displayed on the display device 51 of the display unit 5.
[0102]
More specifically, the three-dimensional position data (first holding area 35a) of the feature point of the obstacle acquired from the image captured in the current operation cycle (three-dimensional position of the feature point of the obstacle acquired one operation cycle before) Obstacle three-dimensional position data (second holding area 35b) predicted from position data Two-dimensional position data (third holding area) predicted from obstacle three-dimensional position data acquired two cycles ago 35c) is displayed.
Then, when the process of step S222 is completed, the process proceeds to step S223 and waits until the count value of the period counter reaches the specified time and stops.
[0103]
On the other hand, if no data is stored in the third holding area 35c of the in-range obstacle movement position memory 35 (“N” in S221) and the process proceeds to step S224, the in-range obstacle movement is performed in this step S224. The first holding area 35a (data of the current operation cycle) and the second holding area 35b (data predicted from the data before one operation cycle) of the position memory 35 are displayed on the display device 51.
And it transfers to step S223 and waits until the count value of the period counter mentioned above reaches the regulation time, and stops.
[0104]
If no data is stored in the second holding area 35c of the in-range obstacle movement position memory 35 ("N" in S220) and the process proceeds to step S225, the in-range obstacle movement is performed in this step S225. Only the first holding area 35 a (data of the current operation cycle) of the position memory 35 is displayed on the display device 51. Then, the process proceeds to step S226, and after stopping the above-described period counter, the process proceeds to step S232.
[0105]
When the process of step S223 ends and the process proceeds to step S230, the position of the obstacle in the next operation cycle is predicted in step S230.
That is, in this step S230, the vehicle at the next operation cycle is based on the steering wheel angle information from the steering angle detector 21, the vehicle speed information from the travel distance detector 24, and the operation cycle defined by the cycle counter (RAM 43). As for the data stored in the second holding area 35b of the in-range obstacle movement position memory 35, the movement position of the obstacle (three-dimensional coordinate data of the feature point) at the next operation cycle is calculated. Calculate (predict).
[0106]
In subsequent step S231, the obstacle movement position calculated in step S230 is stored in the third holding area 35c of the in-range obstacle movement position memory 35.
[0107]
In step S232, the position of the obstacle in the next operation cycle is predicted for the obstacle acquired in the current operation cycle.
That is, in step S232, the operation of step S230 is performed on the data stored in the first holding area 35a of the in-range obstacle movement position memory 35.
In subsequent step S233, the obstacle movement position calculated in step S232 is stored in the second holding area 35b of the in-range obstacle movement position memory 35.
Then, when the process of step S233 ends, the process proceeds to step S201, and the operation in the next cycle is executed.
[0108]
Next, actual processing based on the above-described steps will be described with reference to FIGS. 10 is a schematic diagram showing the contents stored in the in-range obstacle movement position memory 35, FIG. 11 is a schematic diagram for explaining the relative positional relationship between the vehicle 100 and the obstacle 200A, and FIG. 12 is a video camera constituting the imaging unit 1. FIG. 13 is a schematic diagram for explaining how the obstacle 200 </ b> A is displayed on the display device 51. FIG. 13 is a schematic diagram for explaining the relationship between the scanning line and the obstacle captured by the video camera.
[0109]
As shown in FIG. 11, the vehicle 100 (t1) that is stopped at the operation cycle t1 starts to move backward immediately after the operation cycle t1, and the operation cycle t2 at which the predetermined operation cycle t has passed ( Consider a case where an image is acquired at a position indicated by reference numeral 100 (t2).
[0110]
In this case, first, the stored contents of the in-range obstacle movement position memory 35 are reset at the time of stopping before the operation cycle t1 (S200). Then, the count value of the period counter is reset, and counting by the period counter is started (S201, S202).
Then, the imaging unit 1 captures the inside of the monitoring area 100a, and this image data is taken into the frame memory 31 as image data at the time of the operation cycle t1 (S210). At the same time, the steering angle information from the steering angle detector 21 The transmission interval of the pulse signal output from the travel distance detector 24, that is, the vehicle speed information is taken into the RAM 43 (S211). It should be noted that the obstacle 200A at this point exists on the scanning line of the video camera as shown in FIG. 12, and can be detected by the video camera.
[0111]
Subsequently, an obstacle is detected from the image data captured in the frame memory 31, that is, an edge image of an object having a height is generated, and a feature point (three-dimensional position coordinate data, hereinafter referred to as feature point data) based on the edge image is generated. Acquisition is performed (S212).
As illustrated, when only the obstacle 200A exists in the monitoring area 100a, the feature point data of the obstacle 200A is acquired. In addition, when there are a large number of obstacles, feature point data of all the obstacles present is acquired.
[0112]
The acquired feature point data is stored in the first holding area 35a of the in-range obstacle movement position memory 35 (S213). In this case, since it is the first operation cycle, the acquired feature point data is stored in the first holding area 35a in the feature point data P as shown in the operation cycle t1 in FIG. 11 Is remembered as
[0113]
Subsequently, it is determined whether or not past feature point data is stored in the second holding area 35b and the third holding area 35c of the in-range obstacle movement position memory 35 (S220, S221).
In this case, since the feature point data is stored only in the first holding area 35a (“N” in S220), an obstacle based on the feature point data stored in the first holding area 35a is displayed on the display device 51. (S225, see FIG. 13A).
[0114]
Then, it waits until the count value of the operation cycle counter reaches a specified time (S226), and the next operation cycle time point of the feature point data stored in the first holding area 35a by the calculation operation using the steering wheel steering angle information and the vehicle speed information. (S232), the predicted movement position is stored in the second holding area 35b with the feature point data P. 12 (S233, see operation cycle t2 in FIG. 10).
[0115]
Subsequently, the cycle counter is reset and the count is started again (S201, S202), and the image, steering angle and vehicle speed at the time of the operation cycle t2 are captured (S210, S211). It should be noted that the obstacle 200A at the time of the operation cycle t2 is present between the scanning lines of the video camera as shown by a dotted line in FIG.
[0116]
Subsequently, feature point data of the obstacle is acquired from the captured image data (S212), and the acquired feature point data P is acquired. twenty one Is stored in the first holding area 35a of the in-range obstacle movement position memory 35 (see S213, operation cycle t2 in FIG. 10).
[0117]
Subsequently, it is determined whether or not past feature point data is stored in the second holding area 35b and the third holding area 35c of the in-range obstacle movement position memory 35 (S220, S221).
In this case, since the feature point data is stored in the first holding area 35a and the second holding area 35b (“N” in S221), it is stored in the first holding area 35a and the second holding area 35b. The obstacle based on the feature point data is displayed on the display device 51 (S224).
[0118]
At this time, the obstacle 200A (t2) disappears on the captured image as described above, but can be displayed based on the feature point data held in the second holding area 35b (FIG. 13 (b))
[0119]
Then, it waits until the count value of the operation cycle counter reaches the specified time (S223), and the feature point data P stored in the second holding area 35b by the calculation operation using the steering wheel steering angle information and the vehicle speed information. 12 The movement position at the time of the next operation cycle is predicted (S230), and the predicted movement position is stored in the third holding area 35c as feature point data P 13 (S221, see operation cycle t3 in FIG. 10).
[0120]
Further, a similar movement position prediction operation is performed on the feature point data P stored in the first holding area 35a. twenty one (S232), the predicted movement position is stored in the second holding area 35b with the feature point data P. twenty two (S233).
Thereafter, the process of shifting to the operation cycle t3 is repeatedly executed.
[0121]
Then, by continuously executing such processing, the feature point data P based on the captured image (current operation cycle) is stored in the in-range obstacle movement position memory 35 as shown in FIG. 11 , P twenty one , P 31 ... Feature point data P based on the captured image before one operation cycle 12 , P twenty two , P 32 ... and feature point data P based on the captured image before two operation cycles 13 , P twenty three , P 33 .. Is stored, as illustrated, this obstacle can be continuously captured even when the obstacle repeatedly detects and disappears in the captured image of the video camera.
[0122]
In the present embodiment described above, the turning direction of the vehicle may be detected based on the movement amount of the target pixel of the image stored in the frame memory 31 as in the first embodiment described above.
Similarly, based on the relative distance between the obstacle and the vehicle, when there is a risk of collision between the two, the driver may be notified via the notification means.
[0123]
The basic configuration of the present invention and this embodiment have the following correspondence.
That is, the imaging means in the basic configuration of the present invention corresponds to the imaging section 1 in the present embodiment, the traveling state information output means corresponds to the detection section 2, and the notification means corresponds to the notification section 7. The turning direction detection means corresponds to the rudder angle detection unit 21, the display means corresponds to the display unit 5, and the voice instruction unit corresponds to the voice instruction unit 6. Out-of-range obstacle information holding means corresponds to the out-of-range obstacle memory 34, in-range obstacle moving position holding means corresponds to the in-range obstacle moving position memory 35, and image holding means corresponds to the frame memory 31. Yes.
[0124]
The obstacle detection means 41a corresponds to step S120 (first embodiment) and step S212 (second embodiment) in the flowchart, and the obstacle position acquisition means (41b) corresponds to step S121 (first embodiment). And step S212 (second embodiment). The obstacle position prediction means 41c corresponds to step S130 (first embodiment) and steps S230 and S232 (first embodiment). The vehicle course prediction unit 41d corresponds to step S130 (first embodiment).
[0125]
【The invention's effect】
As described in detail above, the present invention has the following effects.
That is, the obstacle detected based on the driving state information of the vehicle Relative position with vehicle Predict this and predict this Relative position with vehicle Predicted to display obstacles at Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device.
[0126]
Also, since the obstacle targeted by the obstacle position prediction means and the notification means is the obstacle disappeared from the imaging range by the imaging means, the obstacle disappeared from the imaging range Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0127]
Further, the obstacle position acquisition means acquires the obstacle position information acquired by moving the obstacle position information out of the range of the imaging means, and the obstacle position prediction means uses the obstacle information (out-of-range obstacle information). ) Based on the disappearing obstacle Relative position with vehicle For obstacles that have disappeared after moving outside the imaging range of the imaging means Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0128]
Further, the position information of the obstacle acquired by the obstacle position acquisition means is set as the position information of the obstacle existing in the imaging range of the imaging means, and the obstacle position prediction means includes the position information of the obstacle, the traveling state information, Based on obstacles Relative position with vehicle The notification means predicts the obstacle disappeared within the imaging range by the obstacle position prediction means. Relative position with vehicle For obstacles that have disappeared within the imaging range of the imaging means. Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0129]
Further, the obstacle position acquisition unit periodically acquires position information (obstacle information within the range) of obstacles existing within the imaging range of the imaging unit, and the obstacle position prediction unit acquires for each cycle. Obstruction Relative position with vehicle Predict this obstacle's Relative position with vehicle Is stored in the obstacle movement position holding means within the range, and the notification means is predicted by the obstacle position prediction means regarding the obstacle that has disappeared within the imaging range. Relative position with vehicle The driver will be notified about obstacles that have disappeared within the imaging range of the imaging means. Relative position with vehicle Therefore, it is possible to provide an easy-to-use vehicle periphery monitoring device with improved safety.
[0130]
Further, the notification means includes a vehicle course predicted by the vehicle course prediction means and an obstacle predicted by the obstacle position prediction means. Relative position with vehicle To the driver, it is possible to know the presence of obstacles on the path where the vehicle is expected to travel from now on, as well as obstacles that have disappeared from the imaging range, and it is easy to use with improved safety. A vehicle periphery monitoring device can be provided.
[0131]
Further, since the vehicle course prediction means recognizes the turning direction of the vehicle based on the image information from the imaging means and predicts the course of the vehicle from the recognized turning direction, a special device is not required and the configuration of the apparatus is simplified. Can be.
[0132]
The vehicle course prediction means refers to the image information held in the image holding means that holds the image information from the imaging means, and detects the moving direction and the moving amount of the pixel of interest in the image information. Then, based on the detected moving direction and moving amount, the moving direction of the vehicle is recognized, and the course of the vehicle is predicted from the recognized moving direction. Since it only has to be performed, the calculation steps required for the processing can be simplified.
[0133]
Further, since the vehicle course prediction means predicts the course of the vehicle based on the travel state information, the vehicle course prediction means and the obstacle path Relative position with vehicle Prediction can be performed using common information, and the apparatus configuration can be simplified.
[0134]
Further, the traveling state information output means outputs the traveling distance information from the traveling distance detecting means for detecting the traveling distance of the vehicle and the information on the turning direction from the turning direction detecting means provided in the vehicle as the traveling state information. The travel distance information and the turning direction information can be directly read from the vehicle, and when the course of the vehicle is predicted, the processing can be performed at high speed.
[0135]
Further, since the turning direction detection means is configured as a steering angle sensor that detects the steering angle of the steering wheel or a steering angle sensor that detects the steering angle of the steering wheel, it is possible to reliably grasp information on the turning direction of the vehicle. it can.
[0136]
In addition, the collision predicting means includes a predicted vehicle course and a predicted obstacle. Relative position with vehicle Based on the above, the vehicle predicts whether or not the vehicle will collide with an obstacle, and when the vehicle is predicted to collide, the notification means notifies the collision, so that the driver can move the vehicle when the vehicle moves in the current state. It is possible to know in advance the possibility of a collision with an obstacle, to prevent a collision in advance, and to provide a vehicle periphery monitoring device with improved safety.
[0137]
Further, the notification means is one or both of a display means for displaying the relative distance between the vehicle and the obstacle and a message, and a voice instruction means for generating a buzzer sound and a voice. And the positional relationship between the obstacle and the obstacle can be transmitted.
[Brief description of the drawings]
FIG. 1 is a basic configuration diagram of the present invention.
FIG. 2 is a block diagram illustrating the configuration of the first embodiment.
FIG. 3 is a diagram for explaining a rudder angle detector 21;
FIG. 4 is a flowchart illustrating the operation of the first embodiment.
FIG. 5 is a diagram illustrating a method for calculating a relative movement amount of a vehicle from image information stored in a frame memory 31.
FIG. 6 is a schematic diagram for explaining an operation of estimating the position of an obstacle and an operation of determining an obstacle existing area.
FIG. 7 is a block diagram illustrating a configuration of a second embodiment.
FIG. 8 is a diagram for explaining the configuration of an in-range obstacle movement position memory 35;
FIG. 9 is a flowchart illustrating the operation of the second embodiment.
10 is a schematic diagram showing the contents stored in an in-range obstacle moving position memory 35. FIG.
FIG. 11 is a schematic diagram for explaining the relative positional relationship between the vehicle 100 and the obstacle 200A.
12 is a schematic diagram for explaining the relationship between the scanning lines of the video camera constituting the imaging unit 1 and the obstacle imaged by the video camera. FIG.
FIG. 13 is a schematic diagram illustrating a state in which an obstacle 200A is displayed on the display device 51. FIG.
FIG. 14 is a block diagram illustrating a configuration of a conventional device.
15 is a diagram for describing a configuration of an imaging unit 1. FIG.
FIG. 16 is a diagram illustrating an attachment mode of the imaging unit.
FIG. 17 is a diagram illustrating the relationship between the movement of the vehicle and the obstacle.
FIG. 18 is a diagram for explaining the relationship between the movement of the vehicle 100 and the obstacle 200;
[Explanation of symbols]
1 Imaging unit
2 detector
21 Snake angle detector
24 Travel distance detector
3 storage unit
31 frame memory
34 Out-of-range obstacle memory
35 Obstacle movement position memory within range
4 Data processing section
41 CPU
42 ROM
43 RAM
5 display section
6 Voice instruction part
7 Notification Department
100 vehicles
200, 200A Obstacle

Claims (14)

車両に設置された撮像手段からの画像データに基づいて車両の周辺を監視する車両周辺監視装置において、
前記画像データから障害物を検出する障害物検出手段と、
前記障害物検出手段により検出された障害物の位置情報を取得する障害物位置取得手段と、
前記車両の走行状態を示す走行状態情報を検出し出力する走行状態情報出力手段と、
前記走行状態情報と前記障害物の位置情報とに基づいて、前記車両の移動に伴う、前記検出された障害物の前記車両との相対位置を予測する障害物位置予測手段と、
前記障害物位置予測手段により予測された前記障害物の前記車両との相対位置を運転者に告知する告知手段とを有することを特徴とする車両周辺監視装置。In a vehicle periphery monitoring device that monitors the periphery of a vehicle based on image data from an imaging means installed in the vehicle,
Obstacle detection means for detecting an obstacle from the image data;
Obstacle position acquisition means for acquiring position information of the obstacle detected by the obstacle detection means;
Traveling state information output means for detecting and outputting traveling state information indicating the traveling state of the vehicle;
Obstacle position predicting means for predicting a relative position of the detected obstacle with the vehicle according to the movement of the vehicle based on the running state information and the position information of the obstacle;
A vehicle periphery monitoring device comprising notification means for notifying a driver of a relative position of the obstacle predicted by the obstacle position prediction means with respect to the vehicle. 前記障害物位置予測手段は、前記障害物が前記撮像手段による撮像範囲から消滅した場合に、当該消滅した障害物の前記車両との相対位置の予測を行い、
前記告知手段は、前記消滅した障害物についての予測された前記車両との相対位置を告知することを特徴とする請求項１記載の車両周辺監視装置。The obstacle position prediction means predicts the relative position of the disappeared obstacle with the vehicle when the obstacle disappears from the imaging range of the imaging means,
2. The vehicle periphery monitoring device according to claim 1, wherein the notification means notifies the predicted relative position of the disappeared obstacle with the vehicle. 前記障害物位置取得手段は、前記障害物が前記撮像手段による撮像範囲から外れて消滅した際に、当該消滅した障害物に関する情報を範囲外障害物情報として取得するとともに当該取得した範囲外障害物情報を範囲外障害物情報保持手段に保持させ、
前記障害物位置予測手段は、前記範囲外障害物情報に基づき消滅した障害物の前記車両との相対位置の予測を行うことを特徴とする請求項１または２記載の車両周辺監視装置。The obstacle position obtaining unit obtains information regarding the extinguished obstacle as out-of-range obstacle information when the obstacle disappears from the imaging range of the imaging unit and disappears, and the obtained out-of-range obstacle Hold the information in the out-of-range obstacle information holding means,
The vehicle periphery monitoring device according to claim 1 or 2, wherein the obstacle position prediction means predicts a relative position of an obstacle that has disappeared based on the out-of-range obstacle information with respect to the vehicle. 前記障害物位置取得手段は、前記障害物の前記撮像手段による撮像範囲内における位置情報を範囲内障害物情報として取得し、
前記障害物位置予測手段は、前記範囲内障害物情報に基づき障害物の前記車両との相対位置の予測を行うとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段に格納し、
前記告知手段は、前記障害物が前記撮像手段による撮像範囲内にて消滅した際に、当該消滅した障害物について、予測された障害物の前記車両との相対位置を告知することを特徴とする請求項１記載の車両周辺監視装置。The obstacle position acquisition means acquires position information within the imaging range of the obstacle by the imaging means as in-range obstacle information,
The obstacle position predicting means predicts a relative position of the obstacle with the vehicle based on the obstacle information within the range and holds the relative position of the predicted obstacle with the vehicle within the range. Stored in the means,
When the obstacle disappears within the imaging range of the imaging means, the notification means notifies the relative position of the predicted obstacle with respect to the vehicle with respect to the disappeared obstacle. The vehicle periphery monitoring apparatus according to claim 1. 前記障害物位置取得手段は、前記範囲内障害物情報を周期的に取得し、
前記障害物位置予測手段は、前記周期毎に、前記範囲内障害物情報と走行状態情報とに基づいて前記障害物の前記車両との相対位置を予測するとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段に格納することを特徴とする請求項４記載の車両周辺監視装置。The obstacle position acquisition means periodically acquires the in-range obstacle information,
The obstacle position prediction means, for each of the period, and the vehicle of the predicted obstacle with predicting the relative position of the vehicle of the obstacle based on the traveling state information and the range obstacle information The vehicle periphery monitoring device according to claim 4 , wherein the relative position of the vehicle is stored in the in-range obstacle moving position holding means. 前記車両の進路を予測する車両進路予測手段を有し、
前記告知手段は、前記車両進路予測手段により予測された車両の進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とを運転者に告知することを特徴とする請求項３〜５の何れかに記載の車両周辺監視装置。Vehicle course prediction means for predicting the course of the vehicle,
The notification means notifies a driver of a vehicle path predicted by the vehicle path prediction means and a relative position of the obstacle predicted by the obstacle position prediction means with respect to the vehicle. Item 6. The vehicle periphery monitoring device according to any one of Items 3 to 5. 前記車両進路予測手段は、前記撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに当該認識した転回方向に基づいて車両の進路を予測することを特徴とする請求項６記載の車両周辺監視装置。  7. The vehicle according to claim 6, wherein the vehicle course prediction means recognizes the turning direction of the vehicle based on image information from the imaging means and predicts the course of the vehicle based on the recognized turning direction. Perimeter monitoring device. 前記車両進路予測手段は、前記撮像手段からの画像信号を保持する画像保持手段内における着目画素の移動方向及び移動量に基づいて車両の転回方向を認識することを特徴とする請求項７記載の車両周辺監視装置。  The vehicle course prediction means recognizes the turning direction of the vehicle based on the moving direction and the moving amount of the target pixel in the image holding means for holding the image signal from the imaging means. Vehicle periphery monitoring device. 前記車両進路予測手段は、前記走行状態情報に基づいて前記車両の進路を予測することを特徴とする請求項６記載の車両周辺監視装置。  The vehicle periphery monitoring device according to claim 6, wherein the vehicle course prediction unit predicts a course of the vehicle based on the traveling state information. 前記走行状態情報出力手段は、前記車両の走行距離を検出する走行距離検出手段と、前記車両の転回方向を検出するとともに検出した転回方向を転回情報として出力する転回方向検出手段とを有することを特徴とする請求項１〜９の何れかに記載の車両周辺監視装置。  The travel state information output means includes travel distance detection means for detecting a travel distance of the vehicle, and a turning direction detection means for detecting the turning direction of the vehicle and outputting the detected turning direction as turning information. The vehicle periphery monitoring apparatus according to any one of claims 1 to 9. 前記転回方向検出手段が、ハンドル舵角を検出するハンドル舵角センサ、操舵輪の操舵角を検出する操舵角センサのいずれかであることを特徴とする請求項１０記載の車両周辺監視装置。  11. The vehicle periphery monitoring device according to claim 10, wherein the turning direction detecting means is any one of a steering angle sensor for detecting a steering angle and a steering angle sensor for detecting a steering angle of a steering wheel. 前記車両進路予測手段により予測された車両進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とに基づいて、前記車両と前記障害物との衝突を予測する衝突予測手段を有し、
前記告知手段は、前記衝突予測手段が衝突を予測した場合に、当該衝突を告知することを特徴とする請求項６〜１１の何れかに記載の車両周辺監視装置。Collision prediction for predicting a collision between the vehicle and the obstacle based on the vehicle course predicted by the vehicle course prediction unit and the relative position of the obstacle predicted by the obstacle position prediction unit with the vehicle. Having means,
The vehicle periphery monitoring device according to any one of claims 6 to 11, wherein the notification means notifies the collision when the collision prediction means predicts a collision. 前記告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の少なくとも一方であることを特徴とする請求項１〜１２の何れかに記載の車両周辺監視装置。  13. The notification means is at least one of a display means for displaying a relative distance between a vehicle and an obstacle and a message, or a voice instruction means for generating a buzzer sound or a voice. The vehicle periphery monitoring device according to claim 1. 前記撮像手段は、前記車両の後方に当該車両の後方領域を撮像するように取り付けられていることを特徴とする請求項１〜１３の何れかに記載の車両周辺監視装置。  The vehicle periphery monitoring device according to any one of claims 1 to 13, wherein the imaging unit is attached to the rear of the vehicle so as to image a rear region of the vehicle.
JP09991896A 1995-06-09 1996-04-22 Vehicle periphery monitoring device Expired - Fee Related JP3661957B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09991896A JP3661957B2 (en) 1995-06-09 1996-04-22 Vehicle periphery monitoring device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP14331195 1995-06-09
JP7-143311 1995-06-09
JP09991896A JP3661957B2 (en) 1995-06-09 1996-04-22 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JPH0954898A JPH0954898A (en) 1997-02-25
JP3661957B2 true JP3661957B2 (en) 2005-06-22

Family

ID=26441007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09991896A Expired - Fee Related JP3661957B2 (en) 1995-06-09 1996-04-22 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP3661957B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4519957B2 (en) * 1998-10-22 2010-08-04 富士通テン株式会社 Vehicle driving support device
US6999602B2 (en) 2000-06-30 2006-02-14 Matsushita Electric Industrial Co., Ltd. Image generation for assistance of drivers of vehicles
JP3625059B2 (en) * 2000-06-30 2005-03-02 松下電器産業株式会社 Drawing device
JP2003132349A (en) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd Drawing device
JP2005128722A (en) * 2003-10-23 2005-05-19 Matsushita Electric Works Ltd Vehicle with obstruction avoidance function
JP2009241925A (en) * 2009-04-17 2009-10-22 Fujitsu Ten Ltd Vehicular driving support device
WO2012010180A1 (en) * 2010-07-17 2012-01-26 Valeo Schalter Und Sensoren Gmbh Method for warning a driver of a motor vehicle of an obstacle present in a side area next to a side flank of the vehicle and motor vehicle with a driver assistance system
JP2013217309A (en) * 2012-04-10 2013-10-24 Mitsubishi Motors Corp Safety control device of vehicle

Also Published As

Publication number Publication date
JPH0954898A (en) 1997-02-25

Similar Documents

Publication Publication Date Title
EP1452390B1 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
JP4100026B2 (en) Start support device
JP2001195699A (en) Vehicle circumference monitor device and recording medium for stored with vehicle collision danger judgement processing program
JP2007221200A (en) Vehicle periphery monitoring system
JPH03269315A (en) Inter-vehicle distance detector for tracking leading vehicle
JP4374850B2 (en) Moving object periphery monitoring device
JP3661957B2 (en) Vehicle periphery monitoring device
JP2009040319A (en) Driving assistant device
JP3838884B2 (en) Vehicle periphery display device, program, and recording medium
WO2016183046A1 (en) Predicted position display for vehicle
JP3744314B2 (en) Vehicle collision prediction apparatus and collision prevention apparatus
US20200010018A1 (en) Towing assistance apparatus
JP2013161440A (en) Vehicle surroundings monitoring device
JP2015014948A (en) Driving support device for vehicle
JP2004276807A (en) Retreat parking support device for vehicle
JP2004349926A (en) Obstacle detection apparatus and method, and program for obstacle detection
JPH10117341A (en) Vehicle periphery monitoring device, obstacle detecting method to be used for the same and medium storing obstacle detection program to be used for the same
JP2008275380A (en) Vehicle periphery monitoring device
JP2004221871A (en) Device for monitoring periphery of vehicle
JP3790999B2 (en) Obstacle detection device for vehicle
JP2004017702A (en) Parking assisting device
WO2021176825A1 (en) Sensing system
JP7400338B2 (en) parking assist device
CN114312756A (en) Parking assistance system, parking assistance device, parking assistance method, and recording medium
JPH09254726A (en) Operation assisting device for vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050315

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20050318

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050318

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090401

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100401

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110401

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110401

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120401

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130401

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140401

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees