JP2005244399A - 障害物認識補助装置 - Google Patents

Abstract

【課題】 画面内に画像が表されている物体の挙動を監視する頻度を増加させる。
【解決手段】 注目物体特定部２２は、撮像素子５及び６によって取得された画像の属する画面内に含まれる特異な挙動が認められる注目物体を特定する。ウィンドウ設定制御部２３は、その画面の全領域よりも狭い領域を持つウィンドウ内に注目領域の画面の全部又は一部が位置するようにウィンドウを設定すると共に、一旦ウィンドウが設定された後は当該注目物体の画像の全部又は一部が常に当該ウィンドウ内に位置するように当該画面の全領域内における当該ウィンドウの位置を追随的に制御する。ウィンドウ画像データ読み出し部２４は、この画面の全領域に対応する画像データを距離演算部１９等が読み出す読み出しレートよりも速い読み出しレートでこのウィンドウに対応する画像データを読み出す。ここで、撮像素子７及び８がウィンドウ画像データ用撮像素子として用いられる。
【選択図】 図１

Description

本発明は、画像認識技術に関し、特に、移動する物体の画像を画面内で適切に捕捉する技術に関する。

本発明に関連する技術が例えば特許文献１に開示されている。図４は、この従来技術に係る装置の構成を示している。なお、この装置は、自車両に先行して走行している先行車両との車間を検出する装置である。
図４において、レンズ１００１及び１００２は、それぞれ基線長Ｌだけ離隔して左右対称に配置された一対のレンズであり、焦点距離ｆだけ後方に位置させているイメージセンサ１００３及び１００４の各々の表面に、距離Ｒだけ前方に位置する先行車両１０１４の像を結像させる。イメージセンサ１００３及び１００４の各々より出力される信号であって先行車両１０１４を含む視野の画像を表しているアナログ信号である画像信号は、Ａ／Ｄ変換器１００５及び１００６によってそれぞれデジタルデータである画像データへと変換される。

メモリ１００７、１００８及び１００９は、Ａ／Ｄ変換器１００５及び１００６から各々出力された視野の画像データを記憶するメモリである。但し、メモリ１００８には、新たに画像データがメモリ１００７に格納されるときに、それまでメモリ１００７に格納されていた画像データ、すなわち１撮像タイミング前の画像データがメモリ１００７から転送されて格納される。

追尾演算器１０１０はメモリ１００７及びメモリ１００８に格納されている画像データに基づいて先行車両１０１４の追尾演算を行う。距離演算器１０１１はメモリ１００７とメモリ１００９とに格納されている画像信号に基づいて先行車両１４の距離演算を行う。ＣＰＵ１２は、各メモリ１００７、１００８、及び１００９に各々格納されている画像データで表されている視野の画像に対して設定がされる、先行車両１０１４を含むウィンドウの位置を演算し、その位置を示すウィンドウ情報を追尾演算器１０１０及び距離演算器１０１１へ各々出力すると共に、そのウィンドウの設定された視野の画像をディスプレイ１０１３へ表示する。

追尾演算器１０１０の動作について更に説明する。
追尾演算器１０１０は１撮像タイミング前（時刻ｔ＝ｔ₀ ：以下、「前時刻」と称することとする）で撮像された後に、先行車両１０１４に関するウィンドウ位置が設定された視野の画像の画像データ（以下、「前画像データ」と称することとする）をメモリ１００８より読み取る。更に、追尾演算器１０１０は現時刻（ｔ＝ｔ₀ ＋Δｔ）で撮像されてメモリ７に格納された視野の画像データ（以下、「現画像データ」と称することとする）を読み取る。そして、前画像データで表されている視野の画像（以下、「前画像」と称することとする）においてウィンドウが設定された追尾対象物である先行車両１０１４と同一の画像を、現画像データで表されている視野の画像（以下、「現画像」と称することとする）の中よりサーチする。なお、このサーチの手法は周知のパターンマッチングのアルゴリズムを用いる。

このとき、現画像中における先行車両１０１４の画像のサーチ範囲は、前画像に設定されたウィンドウの位置を基準にして設定する。これは、前時刻から現時刻までの経過時間△ｔは微小であるため、先行車両１０１４の画像はウィンドウを設定した視野の画像の画面上の位置から殆ど移動していないとみなし得るからである。

追尾演算器１０１０が現画像より先行車両１０１４と同一の画像をサーチすると、現画像に対して設定する新しいウィンドウの位置をＣＰＵ１０１２は演算し、現画像に設定する（ウィンドウ設定手段１１２０）。このウィンドウの位置は、先行車両１０１４の像を結像させているイメージセンサ１００３のピクセルの配置に対応したメモリ１００７の番地で設定される。メモリ１００７に格納されている現画像データで表されている現画像より先行車両１０１４がサーチされると、その先行車両１０１４の画像を含む現画像の画像データはメモリ１００７よりメモリ１００８に転送され、メモリ１００８に格納されていた前画像データは更新される。

一方、ＣＰＵ１０１２はメモリ１００８より前画像データを読み出し、視野の画像をディスプレイ１０１３に表示すると共に、自己が設定したウィンドウ位置に従ってウィンドウ画像信号を生成し、更にウィンドウを視野の画像における先行車両１０１４の画像に重ね合わせて表示させる。

以上の動作を行うことで、視野の画像内で先行車両１０１４の画像をウィンドウ内に捕捉して追尾することができる。
次に、特許文献１に開示されている、図４に示す装置による距離演算動作についても説明しておく。

距離演算器１０１１はメモリ１００７及び１００９に格納されている現画像データで表現されている視野の画像における先行車両１０１４の画像のうち、その一方の画素を横に１画素ずつシフトしながら、画素毎の差の絶対値の総和を求める。ここで、この総和が最も小さくなるときを、イメージセンサ１００３及び１００４の各々出力している画像信号が最も一致するときとみなし、そのときの画素のシフト数ｎ、レンズ１００１及び１００２の間の基線長Ｌ、レンズ１００１及び１００２の焦点距離ｆ、及びイメージセンサ１００３及び１００４を形成するピクセル間のピッチ幅ｐを以下の（１）式に代入すると、三角測量の原理によりレンズ１００１及び１００２から先行車両１０１４までの距離、すなわち車間距離Ｒが求まる。

Ｒ＝（ｆ×Ｌ）／（ｎ×ｐ）・・・（１）
なお、このような、一対の撮像素子を用いることで撮像画像に表されている物体の距離を求めることができるようにした撮像装置はステレオ式撮像装置などと称されており、広く知られている。
特開平６−２６５３５１号公報

走行中の自車両の視野内に存在する物体は、自車両にとって危険性がないかどうか、特に細心の注意を払って注目する必要がある。とりわけ、その物体が自車両と衝突する可能性を有しているかどうかについては、頻繁に確認を行って、より早くその可能性を認識することが望ましく、その危険を未然に回避するための措置を講じることがそれだけ容易となる。しかしながら、前述した従来技術に係る装置では、先行車両１０１４の画像はあくまでも視野の画像の一部として捉えているため、視野の画像の撮像タイミングの間隔である、前記したΔｔよりも短い間隔で視野内の物体の挙動の監視を行うことができない。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画面内に画像が表されている物体の挙動を監視する頻度を増加させることである。

本発明の態様のひとつである障害物認識補助装置は、撮像手段によって取得された画像の属する画面内に含まれる特異な挙動が認められる注目物体を特定するための注目物体特定手段と、当該画面の全領域よりも狭い領域を持つウィンドウ内に当該注目領域の画面の全部又は一部が位置するようにウィンドウを設定すると共に一旦ウィンドウが設定された後は当該注目物体の画像の全部又は一部が常に当該ウィンドウ内に位置するように当該画面の全領域内における当該ウィンドウの位置を追随的に制御するウィンドウ設定制御手段と、当該画面の全領域に対応する画像データを読み出す読み出しレートよりも速い読み出しレートで当該ウィンドウから当該ウィンドウに対応する画像データを読み出すウィンドウ画像データ読み出し手段と、を備え、且つ、当該撮像手段として、主として当該画面の全領域に対応する画像データを読み出すために用いる全画面データ用撮像素子と、主として当該ウィンドウの領域に対応する画像データを読み出すために用いるウィンドウデータ用撮像素子と、を備えてなるものを適用したことを特徴とするものである。

なお、上述した本発明に係る障害物認識補助装置において、前述した注目物体特定手段は、当該障害物認識補助装置が備えられた物体との相対位置が急接近し又は相対的に近い所定の距離内に位置し若しくはこれらの位置関係に至る蓋然性が認められる物体を上述の注目物体として特定するようになされたものとしてもよい。

また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウ画面データ読み出し手段は、前述のウィンドウに関する画像データの読み出しレートとして、前述の画面の全領域に対応する画像データの読み出しレートに当該全領域に対するウィンドウの面積比の逆数を乗じたものに相応するように構成してもよい。

また、前述した本発明に係る障害物認識補助装置において、前述した撮像手段はステレオ式撮像装置であり、前述した注目物体特定手段は、当該ステレオ式撮像装置によって取得される距離画像のデータに依拠して前述の画面内に含まれる物体の特異な挙動を認識して注目物体を特定するように構成してもよい。

また、前述した本発明に係る障害物認識補助装置において、前述した撮像手段は、共通の撮像光学系に介挿された光分割手段によって前述の全画面データ用撮像素子と前述のウィンドウデータ用撮像素子とに対して実質的に等しい撮像視野に係る像が結ばれるように構成された光学系を有するものであるように構成してもよい。

また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウデータ用撮像素子は、ＭＯＳ型の撮像素子としてもよい。
また、前述した本発明に係る障害物認識補助装置において、前述のウィンドウから読み出される画像データに基づいて前述の注目物体の挙動を検出する挙動検出手段を更に備えるように構成してもよい。

また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウ設定制御手段は、前述のウィンドウデータ用撮像素子に係る画面の全領域内に前述のウィンドウを複数設定することが可能に構成されたものとしてもよい。

本発明は、以上のように構成されているので、画面内に画像が表されている物体の挙動を監視する頻度が増加するという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。同図は本発明を実施する装置の構成を示している。同図に示した装置は車両に搭載されて使用されるものであり、この装置を搭載した車両（自車両）との相対距離が近くなる物体を、自車両と衝突するおそれのある障害物とみなし、その物体の画像を自車両の周囲の風景が表されている画像内で特定すると共に、その障害物が表されている画像データを出力するという機能を有するものである。なお、ここでは、この装置を障害物認識補助装置と称している。

レンズ１及び２はそれぞれ基線長Ｌだけ離隔して左右対称に配置された一対のレンズであり、レンズ１及び２から距離Ｒだけ前方に位置する障害物の像を焦点距離ｆだけ後方で結像させる。
ハーフミラー３及び４は、レンズ１及び２を通過した光の一部を撮像素子３及び４の方向へ透過させる一方で、その光の残りを反射してその光路を撮像素子７及び８の方向へ向かわせる光分割手段である。

撮像素子５及び６はステレオ式撮像装置を構成している。撮像素子５及び６の受光面はレンズ１及び２からその焦点距離ｆだけ後方に配置されており、従って障害物の像がその受光面で結像する。撮像素子５及び６は、撮像素子駆動制御部３３による制御の下で、自車両の周囲の風景の画像であって障害物の像を含んでいる画像（以下、「風景画像」と称することとする）を光電変換し、この画像を表している画像信号を出力する。なお、本実施形態においては、この撮像素子として、消費電力の低減や部品コストの低減といった点で有利であるＭＯＳ（Metal Oxide Semiconductor ）型のイメージセンサを用いることとする。

撮像素子７及び８もステレオ式撮像装置を構成しており、上述したものと同様の理由により、本実施形態においてはＭＯＳ型のイメージセンサを用いることとする。この撮像素子７及び８の受光面は、レンズ１及び２からハーフミラー３及び４で曲げられて撮像素子７及び８の受光面へ至るまでの光路長が、ちょうどレンズ１及び２の焦点距離ｆと等しくなる位置に配置されており、従って障害物の像がその受光面で結像する。つまり、図１に示す装置の光学系は、レンズ１及び２の各々から撮像素子５、６、７、及び８の各々へ至る光路中に介挿されたハーフミラー３及び４によって、撮像素子５及び６と撮像素子７及び８とに対して実質的に等しい撮像視野に係る像が結ばれるように構成されている。

なお、撮像素子７及び８として使用するイメージセンサは、いわゆるＷＯＩ（Window of Interest）機能を備えるものを用いるようにし、撮像素子駆動制御部３４による制御の下で、風景画像のうち撮像範囲を指定の範囲（ウィンドウ）に制限したウィンドウ画像を光電変換し、この画像を表している画像信号を出力する。

このＷＯＩ機能について、図２を用いて更に説明する。
ＷＯＩ機能を有するイメージセンサは、全体撮像時においては、図２（ａ）に示すように、撮像可能な最大画素数の画像（同図の例においては画素数が６４０×４８０画素の画像）を所定の撮像レート（例えば３０フレーム／秒）で撮像してその画像全体についての画像信号を出力する一方、ＷＯＩ機能による部分撮像時においては、図２（ｂ）に示すように、全体撮像によって得られる画像のうち撮像範囲を指定の範囲（ウィンドウ）に制限したウィンドウ画像（同図の例においては、全体撮像時において撮像される画面の全領域に対し画素数が１／４である３２０×２４０画素の画面に表される画像）のみを全体撮像時よりも高速な撮像レート（例えば全体撮像時における撮像レートが３０フレーム／秒である場合には、画素数の減少率の逆数倍である１２０フレーム／秒（＝３０×４））で撮像してそのウィンドウ画像についての画像信号を出力することができる。

なお、本実施形態においては、全画面データ用撮像素子である撮像素子５及び６の撮像範囲がウィンドウデータ用撮像素子である撮像素子７及び８の全体撮像時における撮像範囲と一致しており、撮像素子５及び６の撮像レートと撮像素子７及び８の全体撮像時における撮像レートが等しいものとする。

図１の説明へ戻る。
Ａ／Ｄ変換器１１及び１２は、撮像素子５及び６から各々出力されたアナログ信号である画像信号が入力されるとこの画像信号をアナログ−デジタル変換し、風景画像を表現している画像データを各々出力する。

Ａ／Ｄ変換器１３及び１４は、撮像素子７及び８から各々出力されたアナログ信号である画像信号が入力されるとこの画像信号をアナログ−デジタル変換し、ウィンドウ画像を表現している画像データを各々出力する。
なお、Ａ／Ｄ変換器１１、１２、１３及び１４におけるアナログ信号のサンプリングや変換に要する時間は、他の処理に支障がない程度に十分に高速なものとする。

メモリ１５及び１６は、Ａ／Ｄ変換器１１及び１２から各々出力された風景画像の画像データを各々一時的に保存し、メモリ１７及び１８は、Ａ／Ｄ変換器１３及び１４から各々出力されたウィンドウ画像の画像データを各々一時的に保存し、
距離演算部１９は、撮像素子５及び６によって撮像された風景画像を表現している画像データがメモリ１５及び１６に新たに保存される度にその画像データを読み出し、その画像データで表現されている風景画像を構成している画素の各々に表されている物体と自車両との間の相対距離を求める。この相対距離は、前述した図４に示した装置における距離演算器１０１１による距離の算出法、すなわち前述した三角測量の原理に基づく（１）式に従った算出法より求めることができる。これは、撮像素子５及び６をステレオ式撮像装置として用いたことによって可能となる。

ＣＰＵ２０は中央演算装置であり、不図示のＲＯＭ（Read Only Memory）に予め格納されている制御プログラムを実行することにより、距離画像生成部２１、注目物体特定部２２、ウィンドウ設定制御部２３、ウィンドウ画像データ読み出し部２４、及び画像処理部２５の各機能を実現する。なお、これらの各機能をＣＰＵ２０と制御プログラムとの組み合わせにより実現する代わりに個別のハードウェアで実現するように構成してもよく、また、距離演算部１９によって行われている相対距離の算出をＣＰＵ２０で実現するようにしてもよい。

距離画像生成部２１は、メモリ１５及び１６に格納されている画像データで表現されている風景画像を構成する各画素に、距離演算部１９から出力される相対距離の情報を対応付けた画像である、距離画像のデータを生成する。
注目物体特定部２２は、距離画像のデータに基づいて、風景画像に表されている物体の風景画像内の位置を特定する。具体的には、風景画像における画素のうち、隣接している画素に対応付けられている相対距離の差が所定値以内のものについては同一の物体の画像であるとみなし、これらの画素の位置している風景画像内の範囲を特定する。また、ここで、現画像である風景画像に表されている各物体と、過去に取得されていた風景画像に表されていた各物体との間で、形状、大きさ、色彩、位置等に基づいて相関を求め、所定の程度以上で最も高い相関を有している物体同士を同一の物体として関連付けておく。

更に、注目物体特定部２２は、風景画像に表されているこれらの物体のうち、特異な挙動が認められるもの（例えば障害物）を注目物体として特定する。
本実施例において、注目物体特定部２２は、まず、距離演算部１９から得られる画素毎の相対距離の情報から、風景画像に表されている各物体と自車両との間の現時刻における相対距離を例えば画素毎の相対距離の算術平均により算出する。ここで、この相対距離が所定の距離内にある物体は自車両に近い物体であり、自車両に衝突する蓋然性を有しているとみなし得るので、注目物体とする。

本実施例における注目物体特定部２２には、更に、自車両のスピードメータに関連して備えられ自車両の走行速度を表す信号を出力する不図示の自車両速度検出手段からの出力信号Ｖと、自車両のハンドルに関連して備えられハンドルの舵角を表す信号を出力する不図示のハンドル角度検出手段θとが各々供給されるようになされている。注目物体特定部２２は、これらの信号Ｖ、θ等に依拠して自車両の挙動を推定し上記衝突の蓋然性や他の車両ないし物体と接近する模様を実用上十分な確度で割り出すことが可能になされている。

また、本実施例において、注目物体特定部２２は、各物体と自車両との間の過去（例えば前時刻）における相対距離を注目物体特定部２２が保存しておき、この過去の相対距離と現時刻の相対距離とから各物体と自車両との接近速度を算出する。ここで、この接近速度が所定の速度以上である物体は自車両に急接近する物体であり、このような物体は自車両に衝突する蓋然性を有しているとみなし得るので、注目物体とする。

更に、本実施例において、注目物体特定部２２は、各物体の相対距離と自車両を基準としたときの移動方向とから、自車両との間の相対距離が前述した所定の距離内にまで近づく蓋然性があるか否かを判定し、この蓋然性が存在する物体についても注目物体とする。
ウィンドウ設定制御部２３は、現時刻の背景画像に対し、注目物体特定部２２によって特定された注目物体の画像が位置するようにウィンドウを設定する。また、既にウィンドウが設定されている場合には、注目物体特定部２２によって各物体に与えられている過去の背景画像と現時刻における背景画像とについての関連付けの情報に基づいて風景画像の全領域内におけるウィンドウの位置を追随させる制御を行い、注目物体の画像が常に当該ウィンドウ内に位置させるようにする。なお、このウィンドウの形状及び大きさは予め設定しておく。また、注目物体の画像とウィンドウとの形状及び大きさの相違により、注目物体の画像の全部をウィンドウ内に位置させることができない場合でも、注目物体の画像の少なくとも一部はウィンドウ内に位置させるようにウィンドウの位置を制御する。

本実施例におけるウィンドウ設定制御部２３は、更に、上述の注目物体の挙動や同物体の自車両との相対運動の状況、同物体の大きさ、表示した場合の視認のし易さ等を勘案して注目物体の撮像に係る適切なフレームレートを算出する必要フレームレート算出機能部を備え、既述のＷＯＩに関して、所要に応じて適切なフレームレートで撮像するための制御情報を撮像阻止駆動制御部３４に供給可能になされている。

ウィンドウ画像データ読み出し部２４は、撮像素子７及び８による前述したＷＯＩ機能による部分撮像によって撮像されたウィンドウ画像を表現している画像データがメモリ１７及び１８に保存される度にその画像データをメモリ１７及び１８から読み出し、読み出した画像データを画像処理部２５へ送付すると共に外部へ出力する。

画像処理部２５は、風景画像にウィンドウが設定されている場合に、メモリ１７及び１８から読み出した風景画像の画像データ、ウィンドウ画像データ読み出し部２４から送られてくるウィンドウ画像についての画像データ、及びウィンドウ設定制御部２３から得られる風景画像中におけるウィンドウの位置を示す情報に基づき、風景画像におけるウィンドウの位置にウィンドウ画像を嵌め込み合成した合成画像についての画像データを生成する処理を行う。また、必要に応じ、合成画像の履歴から、ウィンドウ画像に表されている注目物体の挙動（例えば、自車両を基準とした注目物体の相対的な移動方向や移動速度）を検出し、その挙動の様子を示す情報が合成画像に重畳表示された画像についての画像データを生成する処理を行う。

Ｄ／Ａ変換部３１は、画像処理部２５によって生成された画像データをデジタル−アナログ変換し、上述した合成画像を表現している画像信号を出力する。
表示装置３２は例えばＬＣＤ（Liquid Crystal Display）であり、Ｄ／Ａ変換部３１から出力された画像信号で表現されている画像を表示する。

撮像素子駆動制御部３３は、撮像素子５及び６の動作を制御するものであり、所定の撮像レートでの風景画像の撮像を撮像素子５及び６に行わせる。
撮像素子駆動制御部３４は、撮像素子７及び８の動作を制御するものであり、特に、注目物体特定部２２から送られてくる、風景画像から注目物体を特定したか否かを示す信号と、ウィンドウ設定制御部２３から送られてくる、風景画像中におけるウィンドウの位置を示す情報とに基づき、撮像素子５及び６による風景画像の撮像レートよりも速い撮像レートでのＷＯＩ機能による部分撮像を撮像素子７及び８に行わせると共に部分撮像時におけるウィンドウ画像の撮像範囲の設定変更を行う。

撮像素子駆動制御部３３及び３４によって行われる撮像素子５、６、７、及び８の駆動制御について、図３を参照しながら更に説明する。
なお、以下の説明において、撮像素子５及び６は、図２（ａ）に示したように、画素数が６４０×４８０画素の風景画像を撮像するものとし、撮像素子７及び８は、ＷＯＩ機能による部分撮像において、図２（ｂ）に示したように、ウィンドウサイズを全体撮像時の撮像画素数の１／４、すなわち３２０×２４０画素のウィンドウ画像を撮像するものとする。

図３（ａ）は、撮像素子駆動制御部３３内部で生成されている、撮像素子５及び６による風景画像の撮像開始の指示を表す信号の変化例を示しており、図３（ｃ）は、撮像素子駆動制御部３４内部で生成されている、撮像素子７及び８によるウィンドウ画像の撮像開始の指示を表す信号の変化例を示している。これらの信号はいずれもパルス信号であり、各パルスにおける立ち上がりのエッジが撮像開始の指示を表している。従って、この立ち上がりエッジの周期（秒）が画像の撮像間隔となり、この周期の逆数が撮像レート（フレーム／秒）となる。

また、図３（ｂ）は、注目物体特定部２２から撮像素子駆動制御部３４へ送られてくる注目物体特定信号を示している。この信号はＨ（ハイ）レベルとＬ（ロー）レベルとの２値をとり、風景画像から注目物体を特定したか否かを示しており、Ｈレベルのときは注目物体を特定したことを示し、Ｌレベルのときは注目物体を特定していないことを示している。

図３において、（ａ）に示されている風景画像の撮像指示の信号は、（ｂ）に示されている注目物体特定信号とは無関係にパルスが生成されており、各パルスの立ち上がりエッジの周期は常にＴで維持されている。一方、（ｃ）に示されているウィンドウ画像の撮像指示の信号は、（ｂ）の注目物体特定信号がＬレベルのとき、すなわち、注目物体が特定されていないときにはパルスが生成されておらず、その一方、（ｂ）の注目物体特定信号がＨレベルのとき、すなわち、注目物体が特定されているときには立ち上がりエッジの周期はＴ／４でパルスが生成されている。

図３に示した［Ａ］及び［Ｂ］の期間は、図３（ｂ）の注目物体特定信号がＬレベルである期間、すなわち、注目物体が特定されていない期間である。
この期間において、撮像素子駆動制御部３３は、撮像素子５及び６による風景画像の撮像動作を、図３（ａ）のパルス信号の立ち上がりエッジのタイミングに従い、周期Ｔで逐次行わせる。一方、この期間において、素子駆動制御部３４は撮像素子７及び８によるウィンドウ画像の撮像動作を停止させている。従って、この期間には、メモリ１７及び１８への画像データのウィンドウ画像データの書き込みが行われないので、読み出し部２４によるウィンドウ画像データの読み出しも行われない。このとき、画像処理部２５は合成処理を行わない。従って、表示装置３２には風景画像がそのまま表示される。

図３に示した［Ｃ］の期間は、図３（ｂ）の注目物体特定信号がＨレベルである期間、すなわち、直前の［Ｂ］の期間で撮像された風景画像より注目物体の特定を注目物体特定部２２が行った後の期間である。
この期間においても、撮像素子駆動制御部３３は、撮像素子５及び６による風景画像の撮像動作を、図３（ａ）のパルス信号の立ち上がりエッジのタイミングに従い、周期Ｔで逐次行わせる。更に、この期間には、撮像素子駆動制御部３４が、撮像素子７及び８によるウィンドウ画像の撮像動作を、図３（ｃ）のパルス信号の立ち上がりエッジのタイミングに従い、周期Ｔ／４で逐次行わせる。なお、このときには、撮像素子駆動制御部３４は、風景画像中におけるウィンドウの設定位置を示す情報をウィンドウ設定制御部２３から受け取っており、風景画像に設定されたウィンドウの範囲の撮像、すなわち注目物体の撮像を撮像素子７及び８に行わせてウィンドウ画像を得る。

ここで、風景画像とウィンドウ画像との１フレームの撮像時間に注目すると、ウィンドウ画像の撮像時には風景画像の撮像時の１／４倍の撮像間隔となっているので、撮像素子７及び８は撮像素子５及び６による風景画像の撮像時の少なくとも４倍の撮像レートでウィンドウ画像を撮像する必要がある。ところが、前述したように、ウィンドウ画像の撮像画素数は３２０×２４０画素としており、これは、風景画像の撮像画素数である６４０×４８０画素の１／４倍であるので、風景画像の撮像時に対して４倍の撮像レートでのウィンドウ画像の撮像を撮像素子７及び８に行わせることが可能である。

このように、風景画像に対するウィンドウ画像の画素数の比（すなわち面積比）の逆数を風景画像の撮像レートに乗じたものをウィンドウ画像の撮像レートとすることにより、ウィンドウ画像を撮像素子７及び８に撮像させることができる。
このようにして、撮像素子５及び６により撮像された風景画像、及び撮像素子７及び８により撮像されたウィンドウ画像は、Ａ／Ｄ変換器１１、１２、１３、及び１４を各々経ることによって画像データに変換されてメモリ１５、１６、１７、及び１８に保存される。

メモリ１５及び１６に保存された風景画像の画像データは、その画像データが更新される度に、距離演算部１９並びにＣＰＵ２０における距離画像生成部２１及び画像処理部２５によって読み出される。一方、メモリ１７及び１８に保存されたウィンドウ画像の画像データは、その画像データが更新される度に、ＣＰＵ２０におけるウィンドウ画像データ読み出し部２４によって読み出される。

ここで、図３から明らかなように、風景画像の場合に対して４倍の撮像レートでウィンドウ画像の撮像が行われているので、メモリ１７及び１８におけるウィンドウ画像の画像データの更新間隔も、メモリ１５及び１６における風景画像の画像データの更新間隔の４倍となっている。従って、ウィンドウ画像データ読み出し部２４は、距離演算部１９等が読み出す風景画像の画像データの読み出しレートよりも速い読み出しレート（４倍）でウィンドウ画像の画像データの読み出しを行う。

なお、画像処理部２５は、メモリ１５及び１６に保存されている風景画像の画像データが更新されたときには、その風景画像の画像データを読み出したまま画像合成を行わずに出力し、メモリ１７及び１８に保存されているウィンドウ画像の画像データが更新されたときには、その更新の度にウィンドウ画像データ読み出し部２４から送られてくるウィンドウ画像の画像データと、メモリ１５及び１６から直近に読み出していた風景画像の画像データとの合成処理を行う。

この結果、風景画像の１フレーム分の表示期間内に、４フレーム分の注目物体の画像が表示装置３２に表示されるので、注目物体の挙動の監視の頻度が増加する。
その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

例えば、撮像素子１７及び１８が有するＷＯＩ機能による部分撮像における撮像範囲として複数の撮像範囲を設定可能であるならば、注目物体特定部２２が複数の注目物体を風景画像から特定し、ウィンドウ設定制御部２３が個々の注目物体に対応する複数のウィンドウを設定してそれらのウィンドウの風景画像内の位置を撮像素子駆動制御部３４に通知し、撮像素子駆動制御部３４がそれらの位置を撮像範囲として複数のウィンドウ画像の撮像を撮像素子１７及び１８に行わせるようにすることで、複数の注目物体の挙動の監視を行うようにすることもできる。また、撮像素子１７及び１８が有するＷＯＩ機能による部分撮像における撮像範囲を１つのみしか設定できない場合でも、撮像素子駆動制御部３４がウィンドウ画像の撮像を撮像素子１７及び１８に行わせる度に、個々の注目物体に対応する複数のウィンドウの位置の通知に基づいて撮像範囲の位置設定を切り替えるようにすることで、複数の注目物体の挙動の監視を行うようにすることができる。

また、注目物体特定部２２による注目物体の特定において、風景画像に表されている物体が自車両に急接近するものであるかどうか、あるいは所定の距離内にまで近づく蓋然性があるかどうかを判定するときに、例えば自車両の現在の速度や移動方向（ハンドルの角度）などといった自車両から得られる自車両の挙動に関する情報を加味するようにしてもよく、こうすることにより、その判定の精度を向上させることができる。

本発明を実施する装置の構成を示す図である。 撮像素子のＷＯＩ機能を説明する図である。 撮像素子の駆動制御を説明する図である。 従来技術に係る装置の構成を示す図である。

符号の説明

１、２、１００１、１００２ レンズ
３、４ ハーフミラー
５、６、７、８ 撮像素子
１１、１２、１３、１４、１００５、１００６ Ａ／Ｄ変換器
１５、１６、１７、１８、１００７、１００８、１００９ メモリ
１９、１０１１ 距離演算部
２０、１０１２ ＣＰＵ
２１ 距離画像生成部
２２ 注目物体特定部
２３ ウィンドウ設定制御部
２４ ウィンドウ画像データ読み出し部
２５ 画像処理部
３１ Ｄ／Ａ変換部
３２ 表示装置
３３、３４ 撮像素子駆動制御部
１００３、１００４ イメージセンサ
１０１０ 追尾演算器
１０１３ ディスプレイ
１０１４ 先行車両
１１２０ ウィンドウ設定手段

Claims (8)

1. 撮像手段によって取得された画像の属する画面内に含まれる特異な挙動が認められる注目物体を特定するための注目物体特定手段と、
   前記画面の全領域よりも狭い領域を持つウィンドウ内に前記注目領域の画面の全部又は一部が位置するようにウィンドウを設定すると共に一旦ウィンドウが設定された後は当該注目物体の画像の全部又は一部が常に当該ウィンドウ内に位置するように前記画面の全領域内における当該ウィンドウの位置を追随的に制御するウィンドウ設定制御手段と、
   前記画面の全領域に対応する画像データを読み出す読み出しレートよりも速い読み出しレートで前記ウィンドウから当該ウィンドウに対応する画像データを読み出すウィンドウ画像データ読み出し手段と、
   を備え、
   且つ、上記撮像手段として、
   主として前記画面の全領域に対応する画像データを読み出すために用いる全画面データ用撮像素子と、
   主として前記ウィンドウの領域に対応する画像データを読み出すために用いるウィンドウデータ用撮像素子と、
   を備えてなるものを適用した
   ことを特徴とする障害物認識補助装置。
2. 前記注目物体特定手段は、当該障害物認識補助装置が備えられた物体との相対位置が急接近し又は相対的に近い所定の距離内に位置し若しくはこれらの位置関係に至る蓋然性が認められる物体を前記注目物体として特定するようになされたものであることを特徴とする請求項１に記載の障害物認識補助装置。
3. 前記ウィンドウ画面データ読み出し手段は、前記ウィンドウに関する画像データの読み出しレートとして、前記画面の全領域に対応する画像データの読み出しレートに当該全領域に対するウィンドウの面積比の逆数を乗じたものに相応するものであることを特徴とする請求項１に記載の障害物認識補助装置。
4. 前記撮像手段はステレオ式撮像装置であり、
   前記注目物体特定手段は、前記ステレオ式撮像装置によって取得される距離画像のデータに依拠して前記画面内に含まれる物体の特異な挙動を認識して注目物体を特定するように構成されたものである
   ことを特徴とする請求項１に記載の障害物認識補助装置。
5. 前記撮像手段は、共通の撮像光学系に介挿された光分割手段によって前記全画面データ用撮像素子と前記ウィンドウデータ用撮像素子とに対して実質的に等しい撮像視野に係る像が結ばれるように構成された光学系を有するものであることを特徴とする請求項１に記載の障害物認識補助装置。
6. 前記ウィンドウデータ用撮像素子は、ＭＯＳ型の撮像素子であることを特徴とする請求項１に記載の障害物認識補助装置。
7. 前記ウィンドウから読み出される画像データに基づいて前記注目物体の挙動を検出する挙動検出手段を更に備えたことを特徴とする請求項１に記載の障害物認識補助装置。
8. 前記ウィンドウ設定制御手段は、前記ウィンドウデータ用撮像素子に係る画面の全領域内に前記ウィンドウを複数設定することが可能に構成されたものであることを特徴とする請求項１に記載の障害物認識補助装置。

Images