JP4405155B2 - 画像解析システム - Google Patents

Description

本発明は、画像解析装置に関し、詳細には衝突警告および回避システムのための画像解析装置に関する。

道路交通事故の費用は、経済的においても人的被害においても莫大である。たとえば、１９９９年に、米国連邦道路管理局は、米国内で６３０万件の道路交通事故（ＲＴＡ）があり、３２０万人が負傷し、４１，３４５人が死亡したことを報告している。経済的な費用の総額は、１５００億ドルと見積もられた。

同様に、欧州経済委員会は、１９９７年に、欧州のＲＴＡで６，１１８，８４４人が負傷し、１６４，６７７人が死亡したことを報告している。医療処置、緊急医療サービス、器物破損および経済生産の損失の直接費用は、３６０億フランと見積もられており、一方、ＥＥＣの経済的な費用の総額は、１５００億フランと見積もられた。

それゆえ、数多くの研究が、より有効な情報を運転者に提供し、危険を積極的かつ早期に警告することにより衝突およびＲＴＡを回避するための種々の方法を見つけることに焦点を当てており、これが種々の手法に繋がっている。

最も簡単な衝突回避の解決手法は、その車両から前方の最も近い車両までの距離を測定し、運転者が現在の速度のままでいると、非常に接近して運転することになる場合には、運転者に警告灯あるいは警告音で知らせることである。

距離を測定するための１つの簡単な手法は、レーザ距離計（ＬＲＦ）を利用することである。これらの装置は、遠隔の物体まで進んで戻るレーザパルスの移動時間を測定し、既知の光の速度からその距離を計算することに基づいて動作する。そのような装置の限界は、それらの装置が図１、Ａに示すように車両の真正面の予め画定されたゾーンにわたる距離をモニタすることしかできないことである。車両１の経路が２として示されており、距離モニタゾーンが４として示される。車両がカーブを回って移動している場合には、モニタされている領域は車両の経路から外れるようになり、図１の状況ＢおよびＣに示すように、対向車の経路か、または路肩かのいずれかを見ることになる。

これは、道路が曲がっているか、すなわち運転者が曲がるときに誤った衝突警告をすることに繋がり、それによりそのようなシステムの利点が、それゆえ自家用あるいは商用の運転者に対する魅力が大きく低下する。さらに、これらの誤った警告は、普通なら危険な状況に対する車両の反応時間を改善するであろう、車両のブレーキ動作を自動的に制御するためのそのようなシステムの利用を、問題のあるものにする。

それにもかかわらず、ＬＲＦを利用する簡単な手法は、高速道路の運転時の衝突警告あるいはインテリジェントなクルーズ制御システム（そのシステムでは、車速を自動的に制御して前方の車の背後の安全な距離を保持する）ための費用対効果のある解決策を提供できる。

日常の道路上での誤った警告の問題を解消し、衝突警告がさらに広範囲に採用されるのを促進するために、多数の別の手法が試みられている。

たとえば、前方監視ドップラマイクロ波レーダ技法を用いて、特定の範囲の多数の車両までの距離を測定するためのシステムが開発されている（たとえば、Ｅａｔｏｎ（登録商標）ＶＯＲＡＤ（登録商標）システム）。問題は、そのようなシステムは部品および技術が複雑なために、製造するためのコストが高く、結果として、その適用が商用の車両市場に限られていることである。商用の車両市場では、車両そのもののコストが高く、衝突による経済的な出費がさらに高いので、より高いシステム価格を容認できる。

他の研究者は、レーザ距離計を車両前方の一面の場所にわたって走査し、他の車両あるいは障害物までの距離を測定する手法を採用している。その走査は通常、回転するミラーによって行われる。しかしながら、そのミラーは、画像のクロストークあるいは口径食を生じることなく、レーザビームおよびＬＲＦの受光光学系の開口を包含するほど十分に大きい必要がある。これにより、コストが上昇し、機械的に複雑になる。

より低コストのシステムを実現するために、他の研究者は「センサ融合」手法を利用しようとしており、それによれば、ＬＲＦあるいはレーダによって収集される距離データが
ビデオカメラおよび画像処理システムによって収集される情報と組み合わされ、誤った読取りを推定しようと試みる。そのようなシステムは多くの場合に、車両の適当なサイズおよび形状、ならびに路面表示および道路設備からの指示についての予備知識を用いて、道路の車線および両端が存在する場所を推定し、ＬＲＦ距離データが使用可能であり、妥当であるか否かを検査する。さらに、システムによってはビデオカメラの画像データを変更し、視野内の差し迫った危険に運転者の注意を引き付けるものもある。

しかしながら、道路環境は、画像処理の視点からはあまり体系化されていない。これは、信頼性のあるデータを抽出するために大きな、そして高コストのコンピューティングリソースを必要とする、難しい画像処理の問題を提示する。そのようなリソースがあったとしても、これらのシステムは予備知識に依存しているので、画像内の予期しない特徴、たとえば、車両の経路に走り込んでくる子供あるいは道路内のいくつかの他の障害物に対処するのが非常に難しい。結果として、必要なコンピューティングリソースのコストが高いことと、誤った警告の問題とがそのようなシステムの商品化を遅らせている。

車両の正面の視野にわたって物体への距離を測定するためにレーザ距離計あるいはレーダ技法を用いることへのさらに別の形態として、２台のビデオカメラと立体画像処理技法とを用いるシステムが実施されている（たとえば、ＪＰ２００１／０１８７３８）。しかしながら、そのようなシステムの基線は、車両のサイズによって制限されており、これは、距離精度を犠牲にする。さらに、画像処理に関して先に確認された問題も当てはまる。

それゆえ、簡単な技術を用いて車両の周囲の視野にわたって物体への距離を測定できるが、誤った警告と正しい警告とが互いから容易に区別されるようにする、低コストで信頼性のある画像検出および解析装置が必要とされている。

本発明は、光源と、該光源で対象となる視野を照射するための手段と、解析されることになる視野から反射される光を受光するための受光光学系と、受光光学系から受光される光を検出するための多領域光検出器であって、該光検出器の複数の領域は別々に動作させることができる、多領域光検出器と、光源の照射のタイミングおよび方向と、光検出器の動作とを同期させるための制御電子回路と、照射される全ての方向に対して光源から検出器の動作部までの光信号の移動時間を測定し、該移動時間から距離を導出するための処理手段と、導出された距離が所定の閾値よりも短い場合に、警告を発生するための手段とを備える画像解析システムを提供する。

このシステムでは、光検出器の選択された領域が個別に動作でき、その動作が、光源のタイミングおよび方向に同期している。それにより、バックグラウンドオフセット信号が低減され、信号対雑音比が改善される。

多領域光検出器は、フォトダイオードアレイ、たとえばリニアアレイあるいは２Ｄアレイとして低コストで実現される。

システムは、さらに、画像を取り込み、該画像をユーザに対して表示する画像取り込みシステムと、導出された距離に応じて画像取り込みシステムによって表示される画像を変更するための手段とを有し、画像取り込みシステムの視野は、２次元光検出器の視野と直線状に配置されている。

このようにして、システムは、衝突回避システムとして用いることができ、衝突の危険があるときには画像が変更される。２次元の光検出器を画像取り込みシステムのための検出器として用いることができ、結果として、画像取り込みシステムと距離測定システムとの間が完全に整合され、コストも削減される。次に、フォトダイオードアレイは、光入力に応答してアレイのフォトダイオードに電荷を蓄積し、次に、画像データを取り込むために（従来どおりに）読み出す第１のモードと、選択された個々のフォトダイオードあるいは一群のフォトダイオードから光生成信号が移動時間測定回路に送られて距離データが取り込まれる第２のモードとで動作できる。

衝突回避の応用形態の場合、システムは、速度センサと、速度センサの出力に基づく所定の閾値として安全距離を計算するための手段とを備えることが好ましい。安全距離は、道路センサから得られる道路状態に基づいて計算される。

画像取り込みシステムを使用すると、画像取り込みシステムによって表示された画像は、画像のある領域への距離が安全距離よりも短いときに変更される。

システムは、たとえば速度および方向情報に基づいて、画像解析システムを搭載する車体の軌道を判別するための手段を含むことができる。画像取り込みシステムが用いられるとき、表示された画像は、画像の領域が車体の軌道内にある場合のみ変更される。

システムは、変調信号を生成するための最大長シーケンス発生器と、変調信号と時間遅延反射変調信号との比較から、時間遅延反射変調信号の遅延時間を得るための相互相関器とを備えることができる。特に、相互相関器は、時間遅延変調信号と変調信号との間の相関を最大にするのに必要とされる変調信号の遅延時間を粗く測定するための粗い相互相関器と、粗い相互相関器によって測定される時間シフトの付近の遅延時間範囲内で、受信信号に対する変調信号の遅延時間の関数として、時間遅延変調信号と変調信号との間の相関を計算するための細かい相互相関器とを含む。

この相互相関システムを用いることにより、隣接するシステムとの間の干渉が最小限に抑えられるようになる。

ここで、本発明の実施の形態を、添付の図面を参照しながら詳細に説明する。

提案された最も簡単なシステムを図２に示す。

レーザ４０からの一連のパルスレーザビーム出力が視野４１にわたって走査される。走査は、レーザそのものを走査することにより、あるいは好ましくは検流計または圧電ドライブ４４などの既知の技法を用いて実現される走査式ミラー４２を用いることにより達成される。

固定の受光光学系４６が、遠隔した物体からの光の全てを収集して、フォトダイオードアレイ４８に集束するように配置されている。フォトダイオードアレイ４８は、前置増幅器、パルス識別器５４およびタイミング電子回路５６に接続されている。

制御電子回路５２が、方位角および仰角（Ｘ，Ｙ）のレーザビームの走査と、レーザパルスのタイミングとを制御する。各レーザパルスは、視野４１内の物体から反射され、受光光学系４６によって集められ、フォトダイオードアレイ４８に集束されて、レーザスポットによって照射される物体の一部が集束されているアレイの部分において、電気パルスを生成する。

制御電子回路は、Ｘ−Ｙアドレス方式アレイの関連するＸおよびＹ制御ラインに論理レベル信号を印加するので、レーザスポットの画像によって照射されるフォトダイオードが前置増幅器および移動時間検出電子回路５６に接続される。反射されたレーザパルスは、このフォトダイオードによって捕捉され、結果として生成された電気信号が、電気パルス検出器および移動時間（ＴＯＦ）測定回路５６に送られる。これは、遠隔した物体上のスポットまで進み、Ｘ−Ｙアドレス方式アレイのフォトダイオードに戻るまでのレーザパルスのＴＯＦを計算し、それゆえ遠隔の物体からＸ−Ｙアドレス方式アレイまでの距離を計算する。

このプロセスは、視野内の多数の点に対して繰り返され、視野内の物体の距離を測定する。レーザスポットから形成される画像が単一の画素よりも大きい場合には、制御電子回路によって、検出器は一群の隣接するフォトダイオード（たとえば、２×２のフォトダイオードのサブアレイ）に同時にアドレスし、レーザエネルギーの収集および検出を最適化する。

制御電子回路５２が、レーザの走査およびレーザパルスのタイミングを制御しているので、遠隔した物体の３Ｄ表面形状を表す、レーザの視線における遠隔の物体に対するレーザ走査の方位角（Ｘ）、仰角（Ｙ）および距離Ｒ（Ｘ，Ｙ）を含む数字のマトリクスを作ることができる。

このシステムでは、光検出器の選択された領域を個別に動作させることができ、その動作は、光源のタイミングおよび方向に同期している。これにより、バックグラウンドオフセット信号が低減され、信号対雑音比が改善される。

衝突警告の目的のために、装置の視野内にある遠隔した物体に対して測定された距離が、コンパレータ５１を用いて所定の閾値と比較され、測定された距離が閾値を下回るとき、聴覚的あるいは視覚的に警告が発せられる。

システムの好ましい実施の形態では、速度センサ５３が設けられ、速度センサの出力と車両の動的な性能とに基づいて、安全距離がユニット５５において計算される。次に、安全距離は、警告を発する閾値点として用いられる。さらに別の実施の形態では、安全距離は、運転条件を含むさらに別の要因に基づいて計算される。たとえば、温度センサが設けられていれば、温度が氷点を下回る場合に、氷が形成されている可能性を考慮するように安全距離を延長できる。同様に、湿度センサは、雨が降っているか否かを判別し、安全動作距離を延長できる。

上記の画像解析手法の場合、システムの唯一の可動部品は、レーザビームを誘導するために十分に大きいことのみが必要とされる走査式ミラーであることが分かる。これは、精密モータ駆動パンおよび傾斜ヘッドの高コストを避け、高速の走査速度を可能にする。さらに、レーザおよび受光光路を完全に分離した状態に維持できるので、光学的なクロストークが生じる可能性がない。

サイズおよびコストを低減するために、レーザ走査システム４４は、電磁的にまたは圧電的に走査されるミラーの使用、あるいは微細加工されたシリコンまたはコンパクトな圧電構造へのレーザチップの実装を含む、多数の方法で実現される。

より短い距離にわたって動作するシステムの場合、走査を完全に省いて、パルス光源が視野全体を照射するように集光させることができることに留意することが重要である。これは、システムコストを大幅に削減し、システムをより簡単にできる。この場合に、光源は、レーザ、高出力発光ダイオード（ＬＥＤ）あるいはＬＥＤのアレイを用いて実現できる。

システムの性能は、パルスレーザ光源の代わりに、相互相関システムによる変調レーザ光源およびパルス識別器を用いることにより大幅に改善される。そのようなシステムは、たとえば、Ｄｅｎｓｏ会社のＤＥ１９９４９８０３によって知られている。詳細には、システムは、変調信号を供給するためのレーザなどの信号源と、変調信号によって変調された被送信光信号を送信するために信号源に接続される送信システムとを含む。

変調信号は、たとえば最大長シーケンスである。このようにして、次に、あるレーザピークパワーに対して、より多くのエネルギーを遠隔の物体に供給できるので、信号対雑音比を改善でき、それゆえシステムの最大距離を改善できる。次に、受信システムが、送信信号の反射され且つ遅延されたバージョンを受信するために設けられ、遅延時間を得るための相互相関器が設けられる。相互相関器は、粗い分解能で、時間遅延変調信号と受信信号との間の相関を最大するために必要とされる変調信号の遅延時間を測定するように構成される。次に、相互相関器は、粗い分解能よりも細かい分解能で、測定された遅延時間の周囲のさらに小さな遅延時間範囲内で、受信信号に対する変調信号の遅延時間の関数として、変調信号と受信信号との間の相関を測定できる。距離の長さが、時間遅延変調信号と受信信号との間の相関を最大にするために必要とされる変調信号の遅延時間から計算される。

相互相関器は、デジタル方式で実現され、相互相関器のサンプリング周波数は、最大長シーケンス発生器のクロック周波数の倍数に設定される。このオーバサンプリング手法によって、システムの距離分解能が改善され、粗い相互相関器および細かい相互相関器を用いる効率的な信号処理方法によって、必要とされる処理能力が低減される。

本発明のさらに重要な態様は、ＭＬＳなどの変調信号およびオーバサンプリング手法を用いて、近傍の（たとえば隣の車線にいる）車両によって他の類似のシステムが動作していることによる干渉を受けないようにするシステムの耐干渉性を高めている。これは、特定のオーバサンプリングファクタを用いるとともに、最大長シーケンス（ＭＬＳ）に基づくＴＯＦシステムにおいて検出される相関ピークが、異なるオーバサンプリングファクタで生成される別のＭＬＳ信号の影響を受けないためである。たとえば、オーバサンプリングファクタ５とオーバサンプリングファクタ６とのＭＬＳの間には、そのＭＬＳ信号が同じ次数であっても、相関がほとんどない。

この特性は、以下のような衝突回避の状況において有効となるように用いることができる。
ａ） 衝突回避システムが、同じオーバサンプリングファクタを用いて、隣接するシステムから反射される信号の存在を検出する場合には、２つのシステムの間の干渉を回避するために、異なるオーバサンプリングファクタやＭＬＳ次数に切り替わることができる。
ｂ） または、システムは、多数の様々なオーバサンプリングファクタおよびＭＬＳ次数を所定期間にわたって順に循環するので、２つの隣接するシステム間の干渉の確率が大幅に低減される。

たとえば、オーバサンプリングファクタおよびＭＬＳ次数は、その車が始動された時刻に基づく数字をもとにして動作する擬似乱数発生器によって計算でき、同時に同じオーバサンプリングファクタで２台の車が走行する確率が非常に低くなる。

先に略述された好ましいＭＬＳ技法を、より詳細に説明する。ＭＬＳ発生器は、ＭＬＳ信号を生成する。ＭＬＳ発生器クロック信号は、分周器によってシステムマスタークロックから算出されるので、ＭＬＳクロック周波数がマスタークロック信号の既知の約数Ｍになる。実際には、ＭＬＳは、時間的にＭ倍に引き延ばされる。「引き延ばされた」ＭＬＳ信号によって、レーザは、引き延ばされたＭＬＳ信号を放射できるようになり、視野内の物体から戻る信号は、デジタル化され、粗い相互相関および細かい相互相関計算ユニットに送られる。

粗い相互相関ユニットは、ＭＬＳクロック周波数でクロックされ、それゆえ、デジタル化されかつ反射されたＭＬＳ信号のサブサンプリングされたバージョンと元の引き延ばされたＭＬＳ送信信号との相関をとる。この相互相関ユニットからの出力は、検出されたピークであり、反射信号の粗い遅延時間を指示するピークである。

次に、制御電子回路によって、細かい相互相関器が、計算された粗い遅延時間の領域においてのみ、送信信号と反射信号との相互相関を計算する。通常は、細かい相互相関関数が、粗い遅延時間の前後の２Ｍ個のサンプルに対して計算される。細かい相互相関器の出力は、そのピークの領域において、送信信号と反射信号との相互相関関数である。

ＭＬＳなどのＰＲＢＳ信号に対する相関ピークの形状は、三角パルスである。相互相関動作は、ＭＬＳとＭＬＳの遅延されたバージョンとを畳み込み、次に、その結果を相互相関クロック周波数に等しい周波数でサンプリングすることと同じであると見なすことができる。それゆえ、相互相関ユニットによって出力される相関ピークの形状は、幅Ｔの２つの同一のパルスの畳み込み関数によって与えられ、その形状は相互相関クロック周波数によってサンプリングされた三角パルスになる。

画像解析装置は、安全距離閾値より手前の視野内の点の方位角および仰角を提供し、この情報を用いて、衝突が生じる可能性がある場所を運転者に表示する。たとえば、アレイあるいは発光ダイオードのうちの１つが照射される場合がある。

しかしながら、システムは、図３に示すように、上記の画像解析装置とビデオカメラとを組み合わせることによりさらに改良される。実質的にはリアルタイム３Ｄ表面形状測定システム１２である画像解析システムとビデオカメラ１０とは、それらの視野１４、１６が一致して前方の道路と直線的に配列されるように配置される。ビデオカメラは、視野内の点毎に強度信号Ｉ（Ｘ，Ｙ）を提供するビデオ出力を有し、画像解析システムは、視野内の各点への距離Ｒ（Ｘ，Ｙ）を表示する出力を有する。制御回路１８は、同期パルスを生成し、ビデオカメラ１０および３Ｄ表面形状測定システム１２の走査を確実に同期させる。結果として、視野内の同じ点が同時に各システムによって視認される。

車速センサ２０が車両速度を測定し、車両ブレーキ性能および運転者反応時間を考慮に入れて、プロセッサ２２において安全距離（Ｒｍｉｎ）が計算される。コンパレータ２４が、視野Ｒ（Ｘ，Ｙ）内で走査された各点の測定距離を安全距離Ｒｍｉｎと比較し、視野内の点への測定距離が安全距離よりも短い場合（Ｒ（Ｘ，Ｙ）＜Ｒｍｉｎ）には信号を生成する。この信号を用いて、オーディオ出力２６によって形成された警告手段を起動する。

さらに、警告信号は、オーバーレイスイッチ２８を起動する。このスイッチ２８は、ビデオカメラから読み出される画素の現在の強度値Ｉ（Ｘ，Ｙ）を、個別のソース３０によって生成される別の予め設定された警告色、たとえば赤に置き換える。このようにして、危険なほどに近くにあるビデオカメラの視野内の領域あるいは物体が、ビデオ信号においてハイライトされる。

次に、ビデオ信号は、従来のビデオ画面あるいはヘッドアップディスプレイ３２によって運転者に対して表示され、ハイライトすることにより、どの物体あるいは車両が近すぎるかを運転者に表示する。

図３は、別々のＬＲＦおよびビデオイメージングシステム１０、１２を示す。ここに記載される手法の特有の利点は、特に受光用ハードウエアを共有することにより、ビデオカメラおよび表面形状測定システムの構成を簡単にできることである。ビデオおよび形状測定システムの組み合わせは、図２のシステムによって実現され、かかるシステムを動作させる方法を説明する。次に、図５を参照して、システムをさらに詳細に説明する。

ＬＲＦシステムのフォトダイオードアレイは、ビデオカメラのための画像取り込みシステムとして用いられる。この目的のためのフォトダイオードの１つの実現可能な構成の概略図を、図４に示す。簡単にするために、２×２のアレイを示すが、実際にははるかに大きなアレイを使用する。装置は、フォトダイオード画素のアレイ６０からなり、各フォトダイオード画素は、フォトダイオード（ＰＤ１１〜ＰＤ２２）と、関連するトランジスタ（ＴＲ１１〜ＴＲ２２）とを含み、トランジスタは、アナログスイッチとして動作するように構成され駆動される。

標準的なビデオイメージングの用途の場合、装置は、入射光が表面に集光される積分モードで動作する。入射光は、光電効果によって、各フォトダイオード内に電荷を生成する。この積分時間中に、ノードＸ１、Ｘ２、Ｙ１、Ｙ２は、全てローに保持されているので、全てのトランジスタがオフであり、フォトダイオードは電気的に絶縁されている。次に、光によって生成された電荷は、各フォトダイオード内に蓄積され、フォトダイオードの内部コンデンサに保存される。

十分な光電荷が集められると、装置は、以下のように読み出す。入力Ｘ１が、ハイ電位に移行するので、ＴＲ１がオンされ、それにより電荷が列と電荷感応増幅器６２との間に流れる。次に、画素の行にアドレスするために入力Ｙ１にハイのパルスが印加され、ＴＲ１１をオンし、それによりフォトダイオードＰＤ１１に保存されていた光生成電荷が、ＴＲ１１およびＴＲ１を通って出力増幅器６２まで流れる。出力増幅器６２において、電荷は電圧に変換される。これにより、大きさがＰＤ１１に保存された電荷のレベルに比例し、それゆえＴＲ１１上に入射する光の量に比例する出力信号が生成される。

ＰＤ１１の内部コンデンサが放電した後、入力Ｙ１は、ローに移行し、入力Ｙ２が、ハイに移行して、それによりＰＤ１２に保存された電荷が読み出される。このようにして、画素の列が次々に読み出される。

ＰＤ１２によって収集された全ての電荷が放電した後に、Ｙ２は、ローに移行し、Ｘ２が、ハイに移行して、ＰＤ２１およびＰＤ２２（次の列の画素）が、上記のようにＹ１およびＹ２にパルスを印加することにより、順に読み出される。

このプロセスによって、２×２アレイが走査され、入射光に相当する電気信号が生成されることが分かる。標準的な動作では、たとえば５１２×５１２などの、より多くの数のフォトダイオードが解像度を上げるために使用される。読出しシーケンスおよびセンサ走査は、標準的なビデオ信号を生成するように構成される。

さらに、本発明に記載された基本的な構造は、提案された本発明を説明する目的のために簡略化されていることに留意されたい。実用的なＸ−Ｙアドレス方式のフォトダイオードアレイは、通常、チップに電極Ｘ１〜ＸｎおよびＹ１〜Ｙｎのためのパルスシーケンスを生成するオンチップクロック回路などの多数の改良を含む単一の相補型金属酸化膜半導体（ＣＭＯＳ）の大規模集積回路（ＬＳＩ）として製造され、付加的な画素や列レベル回路が、光電荷の増幅および検出を改善する。

３Ｄ形状測定の場合、Ｘ−Ｙアドレス方式フォトダイオードアレイは、積分モードではなく、マルチプレクサとして用いることができ、それにより、上記のように、遠隔の物体のレーザスポットの反射画像を受光する個別のフォトダイオードのみにアドレスされる。任意の一時点において、唯一あるいは少数のフォトダイオードが、受信増幅器および移動時間電子回路に接続されるとき、バックグラウンドオフセット信号は、光学系の視野全体からよりは、個別のフォトダイオード／フォトダイオード群に集束される視野の一部によって生成される信号に限定される。本発明のこの態様は、バックグラウンド信号の影響を低減し、それゆえバックグラウンド信号に関連付けられるショット雑音を低減することにより、システムの信号対雑音比を改善する。

好ましい実施の形態では、Ｘ−Ｙセンサ、移動時間測定システムおよび制御電子回路は、単一の集積回路に製造されて、製造コストを低減する。フォトダイオードは、アバランシェフォトダイオードとして製造されて動作し、信号検出前に、アバランシェ効果によって信号増幅を行うことができる。

レーザ走査パターンは、多くの場合に、視野内を移動する物体の位置を測定するために十分な時間分解能を与えながら、光学的な視野をカバーするように配列される繰返しパターンである。パターンは、通常、従来のモニタへの表示を容易にするために従来のラスター走査として配置される。しかしながら、他のパターンを使用できる場合もあることが分かる。１つの有用なパターンは、螺旋走査パターンである。この場合、レーザ走査の速度を制御することにより、走査の周辺に現れる物体を検出するために低い空間分解能を保持しながらも、走査の中心において空間分解能を高くできる。

多重化された移動時間検出器モードよりは、標準的なイメージングモードにおいてアレイを動作させるために、Ｘ−Ｙアドレス方式アレイに印加されるパルスのシーケンスは、従来のビデオ走査シーケンスに戻される。２つのシステムを連続して動作可能とするために、たとえば、フレームにおいて距離測定動作とイメージング動作とを交互に提供できる複合走査シーケンスが適用される。３Ｄ走査の取り込みと、従来の画像走査の取り込みとの間でシステムを切り替えることにより、ビデオ画像シーケンスと３Ｄシーケンスとの両方が収集され、互いに重ね合わされる。

２つの異なるモードにおいてフォトダイオードアレイを用いることにより、モード毎にその動作が最適化される。ＬＲＦ動作の場合、任意の時点でレーザスポットの画像を受光するフォトダイオードあるいはフォトダイオードの局部的なグループのみにアドレスされること、すなわちレーザ走査とフォトダイオードアレイ走査とが同期していることが重要である。これは、通常、スキャナと光学系との極めて正確な較正を必要とする。しかしながら、センサがイメージングモードにある間に、レーザが走査される場合には、レーザパスの画像が制御電子回路によって収集される。この画像を用いて、フォトダイオードアレイの表面のレーザビーム画像の正確なパスを測定でき、それゆえ、Ｘ−Ｙアドレス方式アレイのための正確なアドレスシーケンスおよび／またはレーザパルスシーケンスを設定し、多重化された移動時間検出器モードにおいて確実に同期が取られる。したがって、通常のアドレスモードが、より高性能の多重化モードのための較正ステージとして用いられる。実際には、システムは、自動較正される。これは、広い温度範囲にわたって動作しなければならないシステムの場合に大きな利点である。

当業者は、ビデオ画像取り込みと３Ｄ表面形状測定とを交互に実施する多数の方法があることを理解している。たとえば、画像取り込みおよび表面形状距離取り込みのために交互に画素、一群の画素あるいは線が用いられることができるように、フォトダイオードアレイへのクロックの供給を設定できる。この他の手法の場合、赤外線バンドパスフィルタのモザイクあるいはストライプを、距離測定のために用いられることになる画素あるいはラインと直線状に配置されたフォトダイオードアレイの表面に適用して、バックグラウンド光に対するレーザ光の識別を改善し、それゆえ距離を延長できる。

同じ検出器を、３Ｄ表面形状と標準的な画像とを取り込むために使用する。基準画像と３Ｄデータとの間の重ね合わせは、概ね完全であり、これにより技術の有効性が格段に増し、視野内の点までの距離が変動するのに応じて、取り込まれた画像が変更される。

ビデオ画像が変更されて警告信号を形成する時点を測定するために、種々の規則が適用される。好ましい実施の形態では、車両速度を用いて、様々な安全マージンを表す多数の異なる距離限界が計算される。カテゴリに応じてビデオ信号をカラーコード化するために、追加のコンパレータおよびオーバーレイスイッチが設けられる。たとえば、赤色を用いて、物体が危険なほど近接していることを表示できる。橙色を用いて、より一層の注意を払う必要があることを表示できる。ディスプレイの一部を閃光させることも警告として用いることができる。

それゆえ、運転者のディスプレイをカラーコード化することにより、運転者は、種々の物体によってもたらされる危険を特定することができる。運転者は、衝突警告と視野内の物体とを関連付けることができるので、それが誤った警告であるか否かを判別できる。

システムは、さらに別のセンサを配設し、路面温度、雨が降っているか否か、および路面の水分レベルなどの他の重要な要因をモニタすることにより、さらに改善される。これらの要因を使用して、安全距離を微調整し、道路および環境条件を考慮に入れ、それに応じて警告表示のカラーカードを変更できる。

３Ｄ表面形状測定システムは、雨、雪あるいは霧が存在する場合でも透過および距離を最大にするために、近赤外線波長で動作することが好ましい。

また、システムは、車両の正面ばかりでなく、車両の側面および後部にも配置され、運転者に全般的な警告を提供することもできる。車両の側面に用いられる場合には、衝突警告システムは、アクティブサイドビュー「ミラー」として用いられ、運転者が車線変更する場合に危険をもたらす物体がハイライトされる。さらに別の利点は、カメラ／３Ｄ画像解析システムが、通常のドアミラーの死角をなくすように配置できることである。

図５は、上記のイメージングおよび距離測定を組み合わせた手法を利用するシステムを示す。図３の場合と同じ参照番号が同じ構成要素を示すために用いられる。

同期制御回路７０が、イメージングモードと３Ｄ表面測定モードとの間で複合センサ７２（単一の視野７３を有する）を順に切り替える。イメージングモードでは、画像データは、通常の方法で読み出され、フレームバッファ７４に格納される。すなわち、画像データは、メモリのブロックに格納される。

３Ｄ走査モードでは、格納された画像データが、３Ｄ表面形状データと同期してフレームバッファ７４から読み出される。表面形状データは、プロセッサ２２からの計算された安全距離基準と比較される。プロセッサ２２は、センサ７６から車両速度および道路状態データを受信する。図５に示すように、距離に応じて多数のレベルが存在する。たとえば、危険、好ましい、あるいは安全として定義される。格納された画像データは、ソース３０およびオーバーレイユニット２８からの色を用いて、先に記載した方法で表示用にカラーコード化される。

別の同じ効果のある実施の形態は、フレームバッファに３Ｄデータを格納し、画像データと同期して３Ｄデータを読み出すことである。いずれの場合でも、距離測定および視覚画像収集が順に実行され、データセットのうちの１つが格納され、結果としてディスプレイを駆動するために２組のデータが組み合わせられる。

好ましい実施の形態では、衝突警告システムの回路の全てが、イメージング／表面形状測定センサシステムのために用いられるフォトダイオードアレイおよび関連する回路も含む大規模集積回路に集積される。これは、製造コストを低減する。

要するに、上記の簡単な衝突警告システムは、その車両に近すぎる視野内の全ての物体をカラーコード化するので、運転者がどの物体が危険であるかを判断し、必要な回避動作を実行できる。これは、衝突の可能性を警告するが、危険が起こりうる場所を運転者に理解させることができない既存のシステムに対して、優れた大きな改善である。

しかしながら、物体によっては、衝突をもたらす危険性はないが、近すぎるとしてコード化されることは避けられないものもある。その例には、舗道の物体、あるいは道路の反対側にある物体が含まれる。この問題を克服するために、基本的なシステムは、以下に記載すように改善される。

上記の基本的なシステムは、図６に示すように変更することにより改善される。再び、図３または図５の場合と同じ参照番号が同じ構成要素を示すために用いられる。図６のシステムは、安全距離を計算する方法が異なる。

ジャイロスコープ８０、あるいは車両の回転動作を検出できるセンサが、用いられる（たとえば、ステアリング・コラム・エンコーダ）。

センサ７６からの回転ベクトルおよび車両速度ベクトルと、車両サイズの知識とを使用して、標準的な運動方程式を用いて、車両の軌道を計算し、それゆえ車両の投影された掃引立体(swept volumn)の外周を計算する。これは、車両軌道計算ユニット８２によって実行される。速度センサ７６、ならびに道路および環境センサ７７を用いて、プロセッサ２２において通常の方法で安全距離限界を計算する。

次に、プロセッサ２２からの安全距離限界は、ユニット８２からの投影された掃引立体と組み合わされて、図７に二次元で概略的に示す非安全立体ゾーンを画定する。図７は、立体ゾーン９２を画定する車両９１の車両軌道９０を示す。安全距離限界９４は、立体９２を、車両に近い領域９６と、安全距離にある領域９８とに分割する。

通常、非安全立体ゾーンは、原点に車両の正面（あるいは車両の質量中心）を配置したデカルト座標系において計算される。非安全立体ゾーンは、ユニット８２によって計算される。しかしながら、表面形状および画像システムによって測定される３Ｄ表面形状は、レンズの透視中心(perspective centre of the lens)を介してフォトダイオードセンサアレイの表面の各画素から投影された線に沿った視野内の点（「実世界」）までの距離を表す数字のマトリクスである。３Ｄ表面形状測定システムの光学系の幾何学的配置はわかっているので、透視中心の標準的な数学的規則を用いて、座標変換関数がユニット８４において計算され、安全立体ゾーンを計算するために用いられるデカルト座標系を、走査システムの視野内の座標系に変換する。これにより、走査システムの座標内の立体マップがユニット８６において作られる。

光学系の公差を十分に制御することにより、この関数は、標準的な写真測量較正技法を用いて一度計算あるいは測定すればよく、次に、各システムにプリプログラミングされる。

動作中に、座標変換関数を用いて、安全立体ゾーンの外周のデカルト座標を、３Ｄ表面形状測定システムによって測定される「実世界」の座標系に変換する。

次に、コンパレータ２４は、読み出したときに、測定された３Ｄ表面形状を非安全立体ゾーンと比較し、視野内の任意の物体が非安全ゾーンの外周内に入るか否かを判別する。仮に入る場合には、可聴警告が鳴動し、視野の危険性のある部分を、先に記載したのと同じ方法でビデオ画像上でハイライトする。

この改善されたシステムによって、投影された非安全立体９６内に入る３Ｄ表面形状データの部分のみが考慮され、それゆえ、衝突の危険をもたらす物体のみがハイライトされるようになり、誤った警告の可能性が大幅に低減される。

この手法は、全画像領域よりは、非安全ゾーンの外周のみを計算して、３Ｄ表面形状座標系に変換すればいいので、計算時間が最小限に抑えられるというさらに別の利点を有する。しかしながら、当業者であれば、先に略述された基本的な原理に基づいて別の実施の形態が実現可能であることを理解しているはずである。たとえば、３Ｄ表面形状を車両のデカルト座標系に変換し、表面形状および非安全立体ゾーンの比較をデカルト座標系において行うこともできる。

低コストの実施のための好ましい実施の形態は、道路を横切らないが、他の車両および衝突の可能性がある危険物を横切るように選択された高さにおいて、路面に平行な水平面から収集される２Ｄ表面形状に、上記の手法を適用することである。

これは、用途によっては重要である高さデータを与えないが、計算に関する要件を簡単にし、２Ｄ表面形状が表面形状／イメージングシステムのフォトダイオードの１つの行（あるいは一群の隣接する行）から表面形状データを得ることにより収集されるので、パルスか被変調光の光学系を簡単にでき、その光が、視野全体よりは、その水平面に集光される。これらの要因は、システム全体の実装を簡単にし、コストを削減する。

別の実施の形態は、非安全ゾーンの投影を用いて、３Ｄ表面形状測定システムの動作を制御し、故に３Ｄ形状測定が投影される非安全ゾーン内の視野の一部に限定される。この手法は、測定されることになる点の数を削減することにより３Ｄ表面形状測定プロセスを高速化するために用いられる。または測定される点当たりの測定時間を延長して、信号対雑音比を改善し、それゆえ最大距離を改善するために用いられる。

種々の危険度を表す多数の非安全立体マップを生成することができ、多数のコンパレータを用いて、危険性のレベルによってビデオ画像をカラーコード化できる。

上記のシステムでは、車両の投影されたパスが、ジャイロスコープあるいはステアリングホイールセンサおよび車速センサからの情報を用いて計算される。これを用いて、測定された表面形状の座標系に変換されて、車両経路の予想される掃引立体が計算される。

図８は、１つの変更形態を示しており、１回の比較動作の代わりに、測定された実世界の表面形状と車両経路の予想される掃引立体との交差面が計算され、それにより投影される車両軌道に沿った車両から最も近い物体までの距離が、この交差面から抽出される。次に、このパラメータは、システムから出力され、衝突を回避するか、あるいはその衝撃を低減するように車速を制御する自動システムによって用いられる。言い換えると、この変更形態によって、提案されたシステムは、衝突回避センサとして用いられる。

図８のシステムは、同期コントロール７０によって制御される複合センサを含む。バッファ７４が３Ｄ形状（すなわち距離）データを格納し、視野内の任意の物体が車両の投影された立体を横切るか否かを計算するために用いられる。これは、ユニット１００において判別され、これにより、次にユニット１０２において、投影された立体内の最も近い点までの距離が計算される。投影された車両立体内の最も近い物体までの距離を表示する出力１０４が提供される。

投影された車両立体は、先に記載されたのと同じ方法で、すなわちジャイロスコープ８０、速度センサ７６、軌道計算ユニットおよび座標変換ユニット８４を用いて得られる。

最も近い物体までの距離を計算するための１つの簡単な手法は、測定される表面形状との交差面が見つかるまで、予想される車両軌道に沿って車両の正面エリアに等価な表面の投影を順に少しずつ動かしていくことである。別の手法は、二値探索を実行することであり、それにより、車両の正面エリアの投影が予想される車両経路に沿った点４０ｍに設定され、その投影が測定された面の後ろにある場合には、車両の正面エリアの投影が２０ｍに設定され、最も近い交差面までの距離がわかるまで行われる。

２つの目的を果たすシステムが、図８と図６とを組み合わせて、運転者への衝突警告を有する自動車両制御に対して、車両の経路内の最も近い物体の距離の迅速なフィードバックを行うことにより構成できることが分かる。

衝突回避システムに関連するいくつかの問題を例示するために用いられる図である。 本発明の衝突回避システムの第１の実施の形態を示す図である。 本発明のシステムの第２の実施の形態を示す図である。 図３のフォトダイオードアレイの詳細図である。 本発明のシステムの第３の実施の形態を示す図である。 本発明のシステムの第４の実施の形態を示す図である。 軌道情報の使用方法を示す図である。 本発明のシステムの第４の実施の形態を示す図である。

符号の説明

４０ 光源
４２ ミラー
４６ 受光用光学系
４８ 多領域光検出器
５１ 警告を発生する手段
５２ 制御電子回路
５６ 処理手段

Claims (15)

1. 画像解析システムであって、
   光源と、
   該光源で対象となる視野を照射するための手段と、
   解析されることになる前記視野から反射される光を受光するための受光用光学系と、
   前記受光用光学系から受光される光を検出し、複数の領域を別々に動作させることができる多領域光検出器と、
   前記光源の照射のタイミングおよび方向と、前記光検出器の動作とを同期させるための制御電子回路と、
   照射される全ての方向に対して前記光源から前記検出器の動作部までの光信号の移動時間を測定し、該移動時間から距離を導出するための処理手段と、
   前記導出された距離が所定の閾値よりも短い場合に、警告を発生するための手段と、
   前記多領域光検出器の視野と一致した視野の画像を取り込み、該画像をユーザに対して表示する画像取り込みシステムとを備え、
   前記多領域光検出器は、前記画像取り込みシステムのための検出器として用いられ、かつ前記画像取り込みシステムは、警報を表示するために用いられる画像解析システムであり、
   前記導出された距離に応じて、前記画像取り込みシステムによって表示される前記画像を変更するための手段と、前記画像解析システムを搭載する車体の軌道を測定するための手段とをさらに備え、前記画像解析システムによって表示される前記画像を変更するための手段は、前記車体の前記軌道内に存在すると解析される前記画像の領域に対してのみ出力を生成することを特徴とする画像解析システム。
2. 速度センサをさらに備え、前記速度センサの出力に基づいて前記所定の閾値としての安全距離を計算するための手段をさらに含むことを特徴とする請求項１に記載のシステム。
3. 道路状態センサをさらに備え、前記安全距離は、さらに前記道路状態センサ出力に基づいて計算されることを特徴とする請求項２に記載のシステム。
4. 前記画像取り込みシステムによって表示される前記画像は、前記画像の領域への距離が所定の閾値距離未満になるときに変更されることを特徴とする請求項１に記載のシステム。
5. 前記画像取り込みシステムによって表示される前記画像は、解析されることになる前記画像の選択された領域に対応して表示される前記画像の一部の色を変化させることにより変更されることを特徴とする請求項４に記載のシステム。
6. 前記軌道は、速度および方向情報から得られることを特徴とする請求項１に記載のシステム。
7. 前記軌道内の最も近い物体までの距離を測定するための手段をさらに備えることを特徴とする請求項１ないし６のいずれかに記載のシステム。
8. 前記多領域光検出器は、線形あるいは２次元フォトダイオードアレイを含むことを特徴とする請求項１ないし７のいずれか一項に記載のシステム。
9. 前記フォトダイオードアレイは、電荷が光入力に反応して前記アレイの全てのフォトダイオードに蓄積されて、画像データを取り込むために読み出される第１のモードと、選択された個別のフォトダイオードあるいはフォトダイオードのサブグループからの信号が順に前記処理手段に送られる第２のモードとにおいて動作することができることを特徴とする請求項８に記載のシステム。
10. 変調信号を生成するための最大長シーケンス発生器と、前記変調信号と時間遅延反射変調信号との比較から、該時間遅延反射変調信号の遅延時間を得るための相互相関器とをさらに含むことを特徴とする請求項１ないし９のいずれか一項に記載のシステム。
11. 前記相互相関器は、
    前記時間遅延変調信号と前記変調信号との間の相関を最大にするのに必要とされる前記変調信号の前記遅延時間を粗い分解能で測定するステップと、
    前記測定された遅延時間の付近の遅延時間範囲内で、前記変調信号に対する前記時間遅延変調信号の前記遅延時間の関数として、前記時間遅延変調信号と前記変調信号との間の相関を、前記粗い分解能よりも細かい分解能で測定するステップと、
    前記時間遅延変調信号と前記変調信号との間の相関を最大にするのに必要とされる前記変調信号の前記遅延時間から計算される距離の分量を出力するステップとを実行するように構成されることを特徴とする請求項１０に記載のシステム。
12. 前記相互相関器は、
    前記時間遅延変調信号と前記変調信号との間の相関を最大にするのに必要とされる前記変調信号の前記遅延時間を粗く測定するための粗い相互相関器と、
    前記粗い相互相関器によって測定される時間シフトの付近の遅延時間範囲内で、受信信号に対する前記変調信号の前記遅延時間の関数として、前記時間遅延変調信号と前記変調信号との間の前記相関を計算するための細かい相互相関器とを含むことを特徴とする請求項１０もしくは１１に記載のシステム。
13. 前記粗い相互相関器と前記細かい相互相関器との動作周波数の比が、隣接するシステム間の干渉を低減するように調整されることを特徴とする請求項１２に記載のシステム。
14. 前記粗い相互相関器は、第１の周波数でクロックされ、前記細かい相互相関器は、さらに高い第２の周波数でクロックされることを特徴とする請求項１２もしくは１３に記載のシステム。
15. 前記最大長シーケンスおよび前記相互相関器のパラメータが、隣接するシステム間の干渉を低減するように調整されることを特徴とする請求項１０ないし１４のいずれか一項に記載のシステム。

Images