JP5425853B2 - 道路使用弱者保護システム - Google Patents

Description

関連出願の参照
本出願は、本願に参照して繰り入れられた2004年7月26日に出願された米国仮出願Ｎｏ．６０／５９１５６４号の利益を主張するものである。
態様の説明
図１および図２によれば、車両１２との衝突から道路使用弱者（ｖｕｌｎｅｒａｂｌｅ ｒｏａｄ ｕｓｅｒ）（以下「ＶＲＵ」という）を保護するための道路使用弱者保護装置１０が車両１２に組み込まれている。ＶＲＵの例としては歩行者１４．１および自転車乗り１４．２が含まれる。たとえば、欧州連合（ＥＵ）においては、毎年７０００人の歩行者１４．１および２０００人の自転車乗りが死亡しており、数十万人が負傷している。合衆国における対応する値（１９９８年において）は、５２２０人の歩行者の死者（すべての交通事故死者の１３％に相当する）および６９００人の負傷者ＶＲＵ１４が発生した。この全交通事故死者に対する歩行者１４．１の死者の割合は、国によって大きく異なっており、合衆国において１３％であるが連合王国および日本においては２８％と最も高い。従って、これらの死亡および負傷を減少させ、伴って発生する社会的コストも減少させるための道路使用弱者保護システム１０への需要が存在している。

道路使用弱者保護システム１０には、メモリ２０を含むか結合するかしており、例えば車両のバッテリー２２．１のような動力源２２により電源供給されるプロセッサ１８と動作可能に結合したステレオビジョンシステム１６が組み込まれている。ステレオビジョンシステム１６の視界内に見えている場面２４からの情報に応答して、プロセッサ１８は一つまたは複数の協働する運転者警報デバイス２８、ＶＲＵ警報デバイス３０、またはＶＲＵ保護デバイス３２に対して、一つまたはそれ以上の次の方法で、一人または複数のＶＲＵ１４の車両１２との可能性のある衝突から保護するために、信号を発生する：
１）運転者３４が衝突を避けるための回避動作をすることができるようにするために、運転者３３に対し、音響的または視覚的警報シグナルにより音響的警報デバイス２８．１または視覚的ディスプレイまたはランプ２８．２によって十分なリードタイムを以って警報すること；
２）ＶＲＵ１４が停止するか回避動作をすることができるように、例えば車両の警音器３０．１の吹鳴または前照灯３０．２の点滅、という可聴的または可視的な警報信号によってＶＲＵに警報を与えること；
３）もしＶＲＵとの衝突が現実的になったならば、自動的にブレーキが掛かるように、ブレーキ制御装置３４に送る信号２６．１を発生させること；
４）もし衝突が不可避となったならば、衝突に先立って例えば外部エアバッグ３２．１やエンジンフードアクチュエータ３２．２のようなＶＲＵ保護デバイスを一つまたは複数動作させること。

例えばエンジンフードアクチュエータ３２．２は、エンジンフード３５がＶＲＵの衝突エネルギーを吸収するための距離を増加させるために、比較的抵抗しないフード３５と連係動作をする。一態様においては、エンジンフードアクチュエータ３２．２は花火装置型のアクチュエータを含み、他の態様においてはエンジンフードアクチュエータ３２．２は液圧または電気アクチュエータを含み、後者は前者よりも相対的に動作するためにより長い時間がかかる――したがって相対的により早期の動作開始必要性の検出が必要である――が、有利なことに可逆的アクチュエータである。

道路使用弱者保護システム１０のブロックダイヤグラムが図３に示され、それに用いる道路弱者保護プロセス４００が図４に示されている。図３および図４に示された道路使用弱者保護システム１０の要素と道路使用弱者保護システムにおける動作が、ここに、図３および４ならびに他の図面を参照しつつ、要素ごとに、またステップごとに記載される。

道路使用弱者保護システム１０はＶＲＵ１４を同定するために三次元物体認識を使用する。三次元物体認識の一つのアプローチは単眼鏡の画像強度分析をおこなうことである。一つの対象物の位置と方向は２次元的様相（画像から抽出した）と対象のモデルとのマッチングをとることによって推定される。しかしながら、対象物および／または状景が複雑であると、複合的な問題点が発生する。三次元物体認識のもう一つのアプローチは別々に検出した距離情報（ｒａｎｇｅ ｉｎｆｏｒｍａｔｉｏｎ）を対象物の三次元的様相の判定に用いることであるが、直接的な距離情報を得るためにはレーザー測距儀のような特別な装置が必要である。三次元物体認識への更にもう一つのアプローチは、ステレオビジョンシステム１６から得られるステレオ強度画像から直接得られる３次元情報を再構築することである。撮影機とコンピュータは価格／性能閾値を越えたので、高価でないステレオ型の複数ベースライン視野システムが商業的に実現可能なものとなっており、コンピュータ視野画像応用機器のデフォルトの基礎設備となる潜在能力を有している。

図３、４および５ａを参照すると、一態様においてステレオビジョンシステム１６は、ステップ（４０２）において、第１視点３４．１および第２視点３４．２を隔てるベースラインｂ距離だけ隔たった第一４０４および第二４０６ステレオイメージコンポーネントを取得する、少なくとも一つのステレオビジョンカメラ３０２を備えている。例えば、図２、５および６に示すように、第一３０２．１および第二３０２．２ステレオビジョンカメラが第一３６．１および第二３６．２レンズを有しており、それぞれ焦点距離ｆであって、第一３６．１および第二３６．２レンズの光軸間距離がベースラインｂだけ隔たっている。それぞれのステレオビジョンカメラ３０２はピンホールカメラと想定され、第一４０４および第二４０６ステレオイメージコンポーネントは、同一平面上にある第一３６．１および第二３６．２レンズの焦点面４０．１および４０．２において電子的に記録される。第一３０２．１および第二３０２．２ステレオビジョンカメラには、例えば広域ダイナミックレンジを有する、焦点面ＣＣＤ（charge coupled device）アレイ、付随する電子メモリおよび信号処理回路を備えた電子カメラが含まれる。

対象物４２が第一３６．１および第二３６．２レンズから距離ｒだけ隔たって置かれた場合、第一４０４および第二４０６ステレオイメージコンポーネントは、対応する第一３４．１および第二３４．２視点から撮像される。対象物４２の特定の場所Pに対して、第一４４．１および第二４４．２のPの像が、対応する第一４０４および第二４０６ステレオイメージコンポーネント画像における第一４６．１および第二４６．２中心線から、第一ステレオイメージコンポーネント４０４（例えば左イメージ）については第一オフセットｄｌだけ、第二ステレオイメージコンポーネント４０６（例えば右イメージ）については第二オフセットｄｒだけ隔たったところに、ここにおいて第一ｄｌおよび第二ｄｒオフセットはベースラインｂおよび点Pが結像する面上であって、第一４６．１および第二４６．２センターラインから反対方向に、オフセットして結像する。第一オフセットｄｌと第二オフセットｄｒとの差はディスパリティ（ｄｉｓｐａｒｉｔｙ）ｄと称され、対象物４２の距離ｒと次の方程式に従って直接関係する：
ｒ＝ｂ・ｆ／ｄ， ここで、 ｄ＝ｄｌ−ｄｒ
図５（ｂ）を参照すると、対象物４２の高さHは、ピンホールカメラ３８およびその結像幾何の仮定に基づき、対象物像４８の高さｈから求めることができる。

図２および６を参照すると、一態様においては、第一３０２．１および第二３０２．２ステレオビジョンカメラは、車両１２のウインドウシールド５４を通して視界内に見えている場面２４を見ることができるように、乗員室５０の中、例えば後方視界ミラーの前に、実質的に水平なベースラインｂに沿って位置する。もう一つの態様においては第一３０２．１’および第二３０２．２’のステレオビジョンカメラは車両の先端５６に実質的に水平なベースラインｂに沿って、例えば左５８．１および右５８．２ヘッドライトレンズの中またはその近傍にそれぞれ位置する。

図７を参照すると、更にもう一つの態様においては、ステレオビジョンシステム１６’は、互いに垂直方向に二つに分けられ、単一のカメラ６０の視界の上部に対応して第一のステレオアパーチャ６６．１から視界を見て、単一のカメラ６０の視界の下部に対応して第二のステレオアパーチャ６６．２から視界を見るようにしてあり、第一および第二ステレオアパーチャは、ベースライン距離ｂだけ隔たった第一視点６４．１および第二視点６４．２を与えるための、たとえば第一表面鏡のような複数の鏡６２．１、６２．２、６２．３、６２．４と協働する単一のカメラ６０を備えている。単一のカメラ６０の検出器６８が正方形であれば、それぞれの対応する視界は、水平対垂直のアスペクト比が約２対１となり、このことは必要な視界が垂直方向よりも水平方向にずっと大きい道路使用弱者保護システム１０にとって有利なことである。図７の態様では、単一カメラ６０の視界は互いに実質的に直角をなし、ベースラインｂに対しては４５度をなす第一の鏡６２．１および第３の鏡６２．３によって上部視界と下部視界にそれぞれ分けられている。第一の鏡６２．１は第三の鏡６２．３の上に位置しており、相対的により大きい一番左の鏡６２．２と協働して、単一のカメラ６０の上部視界が第一の視点６４．１（即ち左視点）からの第一ステレオイメージコンポーネント４０４を与えるようにされる。第三の鏡６２．３は相対的により大きい一番右の第四の鏡６２．４と協働して単一のカメラ６０の下部視界が第二の視点６４．２（即ち右視点）からの第二ステレオイメージコンポーネント４０６を与えるようにされる。

図３によれば、自動利得制御（ＡＧＣ）回路３０４が、例えば、ステレオビジョンカメラ３０２の視界中の太陽の故の比較的高い光レベルから、月のない夜の田舎道をドライブしているときの比較的低い光レベルまでであり、もっとも重要な悪影響としては、ステレオビジョンカメラが直接太陽を見た場合や、非常に明るい日に発生する、相当な数のカメラのピクセルが飽和してしまうという、予想されるシナリオのすべての範囲において、それぞれのステレオビジョンカメラからの出力レベルを比較的一定の値に保つために設けられる。

図４および図８によれば、ステレオビジョンカメラ３０２の利得は、ＡＧＣプロセスのステップ（４０８）において、イメージ９０４の部分集合９０２の強度、例えばイメージ９０４の中央近くの３〜４個のピクセル列の強度、をモニタし、それに応答して全体のイメージ９０４の強度を制御するようにされる。例えば、一態様では、全体のイメージ９０４の強度はイメージ９０４の中心近傍のピクセル列部分集合９０２’の増幅率に応答して制御される。このアプローチは１）ＡＧＣプロセス（４０８）中の計算負荷を減らす、２）ＶＲＵが位置する可能性が最も確からしいイメージ９０４の中心部分の強度を最適化する、３）太陽は典型的にはイメージ９０４の上半分に含まれるであろうから、ステレオビジョンカメラ３０２の視界中の太陽の影響を減少させる、という点で有利である。第一ステレオイメージコンポーネント４０４または第二ステレオイメージコンポーネント４０６のどちらの特定のピクセルの信号レベルも、対応する第一ステレオビジョンカメラ３０２．１または第二ステレオビジョンカメラ３０２．２の露出時間および、対応する第一ステレオビジョンカメラ３０２．１または第二ステレオビジョンカメラ３０２．２の検出素子からの信号が増幅されて対応する第一ステレオイメージコンポーネント４０４または第二ステレオイメージコンポーネント４０６のピクセルの値を発生させるその増幅率に依存している。一態様においては、平均ピクセル振幅は、第一ステレオイメージコンポーネント４０４と第二ステレオイメージコンポーネント４０６のそれぞれのピクセル列の部分集合９０２’について算出される。この平均ピクセル振幅があらかじめ定めた最大平均振幅閾値よりも大きい場合、またはあらかじめ定めた最小ピクセル振幅よりも小さい場合は、平均ピクセル振幅が対応する最低および最高閾値の範囲内に収まる様にされ、第一３０２．１または第二３０２．２ステレオビジョンカメラのサチュレションが避けられるようにするために、露光時間または対応する第一ステレオビジョンカメラ３０２．１または第二ステレオビジョンカメラ３０２．２の対応する利得が調節される。

図３、４および９を参照すると、ステップ（４１０）のステレオイメージ処理プロセスにおいて、ステレオビジョンプロセッサ３０６は、第一視点３４．１および第二視点３４．２のそれぞれのためのステレオビジョンカメラ３０２からのそれぞれのグレイスケール画像から、見えている場面２４の距離マップイメージ４１２（距離イメージまたは不一致イメージ（ｄｉｓｐａｒｉｔｙ ｉｍａｇｅ）とも称される）を生成する。距離マップイメージ４１２はそれぞれのピクセルに、ステレオビジョンシステム１６から対象物までの距離ｒを与える。その代わりに、またはそれに加えて、距離マップイメージ４１２は車両１２に固定した対応する参照座標系による対象物の相対座標、例えばダウン距離（Z）、横距離（X）および高さ（Y）という対応する成分によるベクトルを与えても良い。

もう一つの態様においては、ステレオイメージ処理プロセス４１０は、ステレオビジョンシステム１６からの距離ｒに加えてステレオヒ゛ションシステム１６に対する相対的な迎え角と方位角とをも与えるようにすることができる。例えば、ステレオビジョンプロセッサ３０６は、ここにおいて引用して取り込まれる、米国特許第６,４５６,７３７号に開示されているシステムおよび方法に従って動作しても良い。

ステレオイメージングが、左と右の画像の組、即ち第一ステレオイメージコンポーネント４０４と第二ステレオイメージコンポーネント４０６の不一致ｄおよび比較的簡単な三角法計算を利用して、対象物の実空間における位置を再現することによって、単眼鏡視野システムにおける多数の制限を克服することができる。

図９によれば、ステレオビジョンプロセッサ３０６の対応領域相関アルゴリズムにおいては、対応する領域の不一致ｄおよび対応する距離ｒを検出するために、第一ステレオイメージ４０４と第二ステレオイメージ４０６が突き合わされる。マッチする領域を探す作業量は、対応する第一ステレオビジョンカメラ３０２．１と第二ステレオビジョンカメラ３０２．２の対応する走査線に沿って対応する水平線（ｅｐｉｐｏｌａｒ ｌｉｎｅｓ）を位置させるように入力イメージ（Ｉ）を修正することによって減少される。このことは、第一ステレオビジョンカメラ３０２．１と第二ステレオビジョンカメラ３０２．２をキャリブレートし、対応する入力イメージ（Ｉ）を歪めてレンズによる変形と、第一ステレオビジョンカメラ３０２．１と第二ステレオビジョンカメラ３０２．２の間の配列オフセットを取り除くことによってなされる。ある修正されたイメージ（Ｃ）に対して、マッチする領域の検索の数は、関心のある領域までの最小および最大の距離ｒによって最大数が規定される特定のオフセット（Ｄ）の数までに限る事が可能である。複数プロセッサや分担した計算を実施することによって、アルゴリズムの作動はスループットを向上させるためにパイプライン方式で実行可能である。最大の計算コストは、ピクセル数に不一致の数の積に比例するものであって、相関計算と最小値発見の実行において存在する。アルゴリズムは、領域の相関を取る際に使用するウインドウのサイズが演算コストに大きくは影響しない、演算対象領域の冗長性を利用したスライディング総和法（ｓｌｉｄｉｎｇ ｓｕｍ ｍｅｔｈｏｄ）を使用することができる。結果として得られる不一致マップ（Ｍ）は、さらに道路表面からの信号等の余分な対象を道路表面フィルタ（Ｆ）を用いて取り除くことによって、単純化することができる。

ステレオイメージ処理プロセス（４１０）の距離分解能（Δｒ）は、次の式で表される、距離ｒの関数である。
Δｒ＝（ｒ^２／（ｂｆ））Δｄ
距離分解能（Δｒ）は、或るステレオ配置における、認識可能な最小の距離ｒの変化量のことであり、不一致における最小の変化Δｄ（即ち不一致分解能Δｄ）に対応するものである。距離分解能（Δｒ）は、距離の二乗に比例して増加しベースラインｂ、および焦点距離ｆに逆比例するので、ベースラインｂ距離と焦点距離ｆを増加させること、および不一致分解能Δｄの改善（減少）を意味するピクセルサイズを減少させることによって、改善（減少）する。

図１０ａおよび図１０ｂを参照して、ステレオビジョンシステム１６の、距離ｒと視界の範囲の要請から境界パラメータを決めるために、単純なＶＲＵ１４と車両１２との間の力学プログラムがＭＡＴＬＡＢ（数値解析ソフトの名称）において適用された。遭遇配置（ｅｎｃｏｕｎｔｅｒ ｇｅｏｍｅｔｒｙ）の最悪のケースのシナリオが、必要なパラメータを決定する境界条件として選ばれた。このシナリオは、ＶＲＵが時速５マイルの一定速度で、車両１２の速度ベクトルに直行する方向に車両の右方からバンパーの一番近い側の角に向かって歩行中／ジョギング中のもの（すべての車両１２／歩行者１４．１遭遇の９０％以上に相当する）であって、衝撃点がエンジンフード３５の右前となる位置で終了するものである（悪いシナリオは、車両１２の左からものｄのであって衝撃点がエンジンフード３５の左側となる位置で終了するものも可能である）。これらのパラメータは時間の関数としての最大距離および最大の角度を与えるものである。

これらのパラメータの時間変化の中には、バンパーに仕組まれた外部エアバッグ３２．１の起動がなされる点が含まれる。これらについての予備的な結果の調査は、提案されたシステムがＶＲＵを検出し認識することのできる最大距離が１２フィートであったとすると、外部エアバッグ３２．１または他のＶＲＵ保護装置３２を作動させるに十分な時間が存在するための車両１２の速度は時速４０マイルを十分超える速度であることを示した。図１０ａおよび図１０ｂは、パラメーターの解析についての図式的なまとめを示しており、車両のバンパー位置から、検出して意思決定するためのわずかな時間が存在する短距離の遭遇の境界位置を示している。

図１０ａを参照すると、ＶＲＵ保護デバイス３２は概して作動に時間を要するので、そのための作動決定は衝突の発生する時点より十分前になされる必要性があり、それ故にＶＲＵ保護装置３２が衝突に先立って作動することができるように、与えられた車両速度に対して、ＶＲＵ１４からの距離ｒが十分であるために必要な、作動決定地点がわかる。異なる動作時間を有する異なる種類のＶＲＵ保護デバイス３２の場合は、有効に動作が開始されるべき距離も異なる。典型的な神経−筋肉反応は０．７５〜１．５秒であるから、上記の条件であれば、衝突という遭遇の仕方が実現するのは実質的に確実であるといえるから、一つまたは複数のＶＲＵ保護デバイス３２の自動起動が必要となる。

図１０ｂを参照すると、角度の要求条件が、最悪ケースの遭遇の配置をカバーするに十分なカメラの視界領域を規定している。比較的広い角度要求条件は、ステレオシステムによって補償することができないかもしれない光学的歪をもたらし、視界領域が水平方向に比較的広範囲となるので、或る大きさと距離の対象物が、より少ないピクセルにしか亘らないものとなってしまう。一般的に、車両１２の速度が速ければ速いほど、それだけいっそう対応する角度要求条件は狭いものとなる。

対象物は、反射率に依存して環境光の一部を反射するので、可視光／近赤外光撮像装置は見えている場面２４のグレイスケール画像を供給できる。あいにく、グレイスケール画像の生データは処理するのが困難であり、リアルタイム認識／除外システムに利用するのは挑戦的事項である。一方、画像強度ヒストグラムデータは、十分に高度の情報内容を含み画像処理能力の要求は比較的低いものである。画像強度ヒストグラムデータは、それぞれの強度レベルを有するピクセルの数がどれだけあるかを表す指標である。

しかしながら、対象物の実際の大きさと距離の指標も必要なのであるから、強度分布のみでは、ＶＲＵ１４と外の対象物とを適切に区別するためには十分でない。ステレオビジョンカメラ３０２は本来的に角度センサーであって、それぞれのピクセルがそのときの角度的視界（ＩＦＯＶ＝angular field of view）を表している。対象物の表面質感の分布は距離ｒの変化に対しては不変であるが、距離ｒが減少してくるとそのサイズは大きくなる。ヒストグラム空間においては、ピクセルの数は対象物の大きさに依存する。したがって、もし通常の強度分布の十分なピクセル数があれば、そしてもしステレオビジョンシステム１６からの角度情報が、対象物がある一つの角度範囲ゲートの中にあることを示していれば、潜在的ＶＲＵ１４は衝突範囲内において検出されるであろう。

図１１を参照すると、３２０ｘ２４０ピクセルで視野角が４０度ｘ３０度であって、乗員室５０内に位置するステレオビジョンカメラ３０２による、ある特定の対象物、即ち６フィートの身長の歩行者１４．１または３フィートの身長の歩行者１４．１によって占められるピクセルのパーセンテージが、ステレオビジョンシステム１６から歩行者１４．１までの距離ｒの関数としてプロットされている。車両のバンパー６８はステレオビジョンカメラ３０２の前方約５フィートに存在し、検出の確率が最も高く誤警報の確率が最も低い領域は、距離ｒが、ビジョンカメラ３０２から約２０フィートである。比較的近い距離に対象物がステレオビジョンシステム１６によって検出された場合に、人間および他の対象物がカメラの画像中に存在しているならば、最大の数のピクセルが表すものは環境または他の対象物であって、人間を表すピクセルの強度分布とは異なった分布を有するであろう。ステレオビジョンシステム１６はそれぞれのピクセルについての距離データを提供し、興味のある領域以外のいかなる物体――背景自身も含むが――をも簡単に、排除および認識処理から除くことができる。

図３および４を参照すると、ステップ（４１４）の距離フィルタリングプロセスに従って、距離フィルタ３０８はステレオビジョンプロセッサ３０６から生成された距離マップ画像４１２を受け、与えられた最大距離以上に離れた対象物、および与えられた最小距離よりも近い対象物を除外することによってバックグラウンドのクラッターを取り除き、それによりこのあとの対象物認識のためのプロセスを単純化することのできる、距離フィルタードイメージ４１６を生成する。図１２ｂは、距離フィルタリングプロセス（４１４）により図１２ａに示されるグレイスケール画像から生成された距離フィルタードイメージ４１６の一例を示しており、ここにおいて距離フィルタ３０８は見えている画面２４から遠距離対象物を除外している。例えば一態様においては、距離フィルタの最小および最大距離を、それぞれ６フィートおよび３６フィートに設定している。

ステップ（４１８）の道路表面フィルタリングプロセスに従って、道路表面フィルタ３１０は距離フィルタードイメージ４１６を処理して、そのようにしなかったならば車両１２の経路上の「真の」対象物をセグメント化する作業を複雑化してしまう、多くの場合に距離データとして生成されてしまうだけの画像強度変化を生じさせる道路表面の不完全性、描かれたライン、縁石等が取り除かれたものとする。道路表面フィルタ３１０はこれらの「余分な」対象物を距離フィルタードイメージ４１６から取り除き、その後のイメージ処理のための道路表面フィルタードイメージ４２０を生成する。図１２ｃは、図１２ａに示された見えている場面２４の、図１２ｂに示された距離フィルタードイメージ４１６から、道路表面フィルタリングプロセス（４１８）によって生成された道路表面フィルタードイメージ４２０の一例であり、道路表面フィルタ３１０は、距離フィルタードイメージ４１６に残っていた、最も目立った画像であった道路表面７０の画像を十分に取り除いている。

想定している、地球を平面とみなす配置においては、カメラに対しての対象物の高さは直ちに三次元空間データからステレオ計算で計算することができ、基地のカメラの配置（高さおよび迎角）と比較することができる。計測された道路からのカメラの高さから、例えば６インチの調節可能パラメータ分を減算した高さよりも低い位置にあるいかなるピクセルも、取り除いてよい。しかしながら、このやり方はいくつかの制御不可能で測定不可能な要素：迎角および地面からのカメラの高さは、激しいブレーキング／加速および／またはバンピーな道路表面、に対して敏感であり、それに加えて水平な道路表面という仮定は明らかに上り坂／下り坂および／またはバンクのついたカーブにおいては正しくない。これらの要素は、とりわけ遠距離から観察する道路表面については、成功裏にこのアプローチを実行することを困難にし、リアルタイムで車両１２の態勢を確定するための追加的なセンサーおよび／またはプロセッシングを必要とするかもしれない。

もう一つの様相に従えば、道路表面フィルタ３１０は車両１２のリアルタイムな態勢の測定を必要としないで画像中の道路表面に対応するピクセルを決定し取り除く。図１３を参照すると、図解する目的で、道路上に何も無い（即ち、点線で描いたような建物は無い状態）平らな道路を車両１２が走行していくという理想的な条件において、道路表面からの反射についてのダウンレンジビン（ｄｏｗｎ ｒａｎｇｅ ｂｉｎ）、即ちZ座標は、それぞれの焦点面列（FPA＝ｆｏｃａｌ ｐｌａｎｅ ａｒｒａｙ）内のそれぞれの個別のピクセルについて、カメラの高さ、仰角およびピクセルの視野（ＦＯＶ）――これは誤差が無いかほとんど無いものが得られるものである――が与えられれば直ちに計算することができる。

この理想的ケースにおいて、一つの焦点面列（FPA）におけるそれぞれのピクセルのそれぞれのレンジビン（ｒａｎｇｅ ｂｉｎ）は唯一つの反射を有している。有限の垂直高さを有する対象物がカメラの視野（FOV）に入ると、その対象物の遠近方向および横方向の距離に対応するレンジビンは一つ以上の反射を有することになるであろう：実際の数は対象物の高さおよびカメラからの距離に依存するものである。更に、道路がバンクを有したり、および／または傾いていたり（現実の世界における制限の範囲内で）すれば、道路からのダウンレンジビンに含まれる反射の数は一つのままであり、カメラの仰角と高さの推定における誤差は、最悪の場合（即ちプラスマイナス５度、およびプラスマイナス１フィート）にはビンのカウント値が１からゼロまたは２に変わってしまうかもしれない。

従って、距離マップから道路表面からの反射を除外するために、２以下のカウントしかないビンに寄与するピクセルは、取り除くことができる。この技法は、垂直方向の広がりが例えば６インチ以下の対象物を、この垂直高さをカバーするであろうピクセルの数をその対象物の距離の関数として計算し、境界値ビンカウントをそれにしたがって調節することによって取り除くことに、直ちに拡張することができる。

図１４を参照すると、この道路フィルタリングプロセス１４００は、ステップ（１４０２）でステレオビジョンシステムからステレオイメージデータ、より詳しく言えば、図１５に示すように、少なくとも画像のそれぞれのピクセルのダウンレンジ推定値（Z）、を得ることによって開始する。ステレオイメージデータ即ち解析されるべきそれぞれのピクセルに対応するダウンレンジ（Z）、クロスレンジ（X）および高さ（Y）は、それぞれ、特定の道路使用弱者保護システム１０についてあらかじめ定められる数字であるといえる、カメラ高さおよび仰角に依存するものである。ステップ（１４０２）においては、一つのビンカウントアレイは値ゼロに初期化される。図１６を参照して、それぞれのゼロでないダウンレンジ推計値を有するピクセルについて、オプションのステップ（１４０６）および（１４０８）において、対応する処理要求を低下させておくために、最初にクロスレンジ（衝突不可避領域より外側の対象物）および高さ（あらかじめ定めた値を超える高さの対象物）に関してフィルタされる。ステップ（１４０１）から（１４０８）までの間に、それぞれの列のそれぞれのピクセルそして次に像についての列について、ビンカウント距離ヒストグラム列の対応するレンジビンが増加させられ、ここにおいてレンジビンはそのピクセルに伴うダウンレンジの推定値に相当する。この目的のためには、非線形のレンジビンをダウンレンジとクロスレンジの両方の測定のために使用するのとは異なり、ダウンレンジの推定値のみで十分である。このことは、精力的にテストを行い、それぞれの列のFPAをソートして比較した結果、クロスレンジの非線形性はほとんど改善とならないことが判明したことに基づいている。

更に図１７を参照して、ビンカウント距離ヒストグラム列においてすべてのピクセルが扱われた後に、ステップ（１４２０）から（１４３０）までの間で、それぞれの列のそれぞれのピクセルについて、そして次に画像のそれぞれの列について扱われ、もしあるピクセルについて対応するビンカウント距離ヒストグラムの要素が閾値すなわちThreshold(Z)に等しいかそれ以下である場合は、後者は距離に依存するので、そのピクセルについての対応する値――あらかじめ定めた閾値よりも低い高さ、例えば道路表面、についての値――はゼロにセットされる。

図１８ａ−ｃは道路の表面、ステレオ計算機（ｓｔｅｒｅｏ ｅｎｇｉｎｅ）により生成されたそのダウンレンジマップおよび対応するステップ（１４２４）および（１４２６）の逆操作によって修正され、道路のみを含んだ画像を示す。従って、もし図１８ｃにおいて残っているピクセルに対応するすべてのステレオ三次元空間データが除去されれば、距離マップは道路表面よりも上方に存在する三次元要素のみを含むこととなる。

図１９ａ−ｃによれば、道路フィルタリングプロセス１４００が駐車中の車両１２について行われるところを示すものであり、元となる距離マップは図１９ｂに示され、修正結果の距離マップが図１９ｃに示されている。

衝突不可避領域は、車両１２の経路空間が直接的に定義され、そこにおいては対象物に占有されると仮に最大の制動および操向操作が実行されても衝突が発生する。衝突可能領域は、仮に車両１２の運動が変化することなく続いた場合に、対象物が想定された最大速度で車両１２の経路に向かって移動すれば衝突が発生するような領域として定義される。衝突不可避領域は、衝突可能領域の部分集合である。

ステップ（４２２）の衝突実現性フィルタリングプロセスに従えば、衝突実現性フィルタ３１２は、道路表面フィルタードイメージ４２０から、車両１２と潜在的VRU１４についての力学的および運動学的仮定の下で車両１２との衝突が実現性無しであろうとされる対象物を、実質的に取り除く。衝突実現性フィルタ３１２は、車両１２との衝突が実現可能である対象物のみを含む単純化拒理マップイメージ４２４を生成する。

衝突実現性フィルタ３１０の一つの特徴に従えば、トラッキングされる対象物はそれらの速度に応じて除外される。衝突可能領域の形状は、車両１２の速度に依存するものであり、一態様においては衝突可能領域の外にある対象物はトラッキングされない。もう一つの態様においては、道路表面フィルタ３１０がカーブの位置の検出もおこない、そのカーブの領域外の対象物もトラッキングされない。歩行者１４．１および自転車乗り１４．２は典型的には最大速度としてそれぞれ時速７マイルおよび１４マイルを有し、車両１２はそれらよりずっと高速であろう。衝突実現性フィルタ３１０は、道路表面フィルタードイメージ４２０から、VRU１４の最高速度即ち時速１４マイル以上の速度を有するいかなるトラッキングされた対象物――その対象物は必ずVRU１４以外のものである――をも取り除き、後に続くVRU検出における移動対象物の数を大幅に減少させる。

衝突実現性フィルタ３１０のもう一つの特徴に従えば、潜在的VRU１４ターゲットは、ある速度と転回率を有する車両１２との衝突に至るかもしれない方向に移動中のそれらVRU１４が、ある速度――VRUの想定される最大速度までの――でも、車両１２との衝突が予想されないならば、取り除かれる。図２０を参照して、道路使用弱者保護システム１０の検知領域７２は、例えば一態様においては水平に４０度の視野を有するという、ステレオビジョンシステム１６の配置によって定まる。一態様においては、道路使用弱者保護システム１０はVRUを車両１２の前方３６フィートまで検知し、VRU１４のためにVRU保護装置３２を車両１２の前方１０フィートまでの動作領域７４において作動させるが、この距離は車両１２の速度に応答するようにすることが可能である。一般的に、動作領域の最大距離は特定の運転者警告装置２８、VRU警告装置３０およびVRU保護装置３２に依存するものであり、対応する動作距離または時間はOEMによって、または政府機関によって特定されるであろう。

図２１−２３を参照して、検出領域７２の中には実現不能領域７６が存在し、その中ではVRU１４は車両１２と衝突するであろうことはできない。実現不能領域７６の形と大きさは車両１２の速度と旋回率とに依存する。図２１は直線状を移動する車両１２を表しており、対応する実現不能領域７６は楔形で左右対称の実現不能領域７６．１と７６．２が検出領域７２の左右の縁部に存在しているものである。検出領域７２の実現不能領域７６にはさまれた部分は関心領域７８と呼ばれ、その中においてはVRU１４が区別される必要がある。図２２ａと図２２ｂを参照すると、車両の速度の増加に対して関心領域７８．１の幅は減少し、実現不能領域７６．１と７６．２の幅は増加する。図２３を参照して、旋回中の車両１２に対して、対応する不可能領域７６．３および７６．４および対応する関心領域７８．２の形状は車両１２の予測される経路に従って決定される。

ステップ（４２６）の対象物距離セグメンテーションプロセスに従って、対象物距離セグメンテーションプロセッサ３１４が、単純化距離マップイメージ４２４からの差分距離上方に応答して隣り合う対象物（静止していても運動中でも）を互いに分離し孤立させる。

図２４−２６を参照すると、歩行中の歩行者１４．１が静止している車両１２からの距離を増加しつつあるところが撮像される。各図において、グレイスケールの最初の画像４４．１（ステレオペアのうちの左画像）が上左に、対応する単純化距離マップイメージ４２４が上右に、対応する距離マップヒストグラム８０が下半分に表示されている。距離マップヒストグラム８０のｘ軸は距離ｒをフィートで表したものであり、距離マップヒストグラム８０のｙ軸は、単純化距離マップイメージにおける特定の距離ｒにおけるピクセルの数である。レンジマップヒストグラム８０は、単純化距離マップイメージ４２４における全てのピクセルについて、それぞれのレンジビンにおけるイメージピクセルの数を総和することによって作られている。一態様においては、全体の距離で６５．５ｍ（２１５フィート）分を提供するために、２の１６乗のレンジビンが存在し、それぞれは１ｍｍずつ離れているが、最大の実際的な距離（例えば一態様では１５０フィート）は、第一ステレオビジョンカメラ３０２．１および第二ステレオビジョンカメラ３０２．２の視野に依存し、それはイメージ空間における１ピクセル分の幅に相当する実空間における距離を決定する。

図２４はＶＲＵ１４が車両１２にもたれかかっているところを示し、ここにおいて２つの対象物の間には実質的に距離の差は無いのでＶＲＵ１４と車両１２は同一のレンジビンを占めている。図２５は、ＶＲＵ１４が車両１２から約６フィート離れて、衝突までの距離が約２６フィートであるものを示している。図２６は、ＶＲＵ１４が車両１２から約８フィート離れて、衝突までの距離が約２４フィートであるものを示している。両者の距離と衝突までの距離とは、レンジビンにおける中央値に対して測定されている。

単純化距離マップイメージ４２４および対応する距離マップヒストグラム８０は、リアルタイムでアップデートされる（例えば毎秒３０フレーム）。距離マップヒストグラム８０のみを使用して、予備的脅威調査が、場面中に存在する各対象物について、衝突までの距離、対象物の密度（ピクセル数）および距離範囲（最大距離のビンの距離と最小距離のビンの距離との差）に基づいて計算される。対象物の密度および距離範囲は、パターンに基づいた認識手法の必要なしに対象物の種類を判定する助けとなりうる。例えば、距離範囲が約４フィート以上であると、ＶＲＵ１４であると判定する可能性を低めるであろう。

距離の差分に基づいてそれぞれの対象物を分離し孤立化すること（「セグメンテーション」）は、距離マップイメージの情報の質に従って、フレームごとに実行してもよいし、いくつかの逐次的画像フレームから導出してもよい。暗い状態や夜間という条件は、通常対象物の境界線において発生する、第一画像４４．１と第二画像４４．２（左右ステレオ画像ペア）とのグレイスケールの相違が無いことによる距離情報の喪失をもたらすことがある。

例えば、図２７ａ−ｃは、夜間に、時速約７マイルでＶＲＵ１４に対してカメラが近づいていきながら撮影した、グレイスケール第一イメージ４４．１の連続する３フレームを示し、左から右へ時間が経過している。図２８ａ−ｃは、対応する３枚の単純化距離マップイメージ４２４を示す。それぞれの複数の（例えば３枚）連続する単純化距離マップイメージ４２４の組が、コンポジット距離マップイメージ（ｃｏｍｐｏｓｉｔｅ ｒａｎｇｅ ｍａｐ ｉｍａｇｅ）８２を生成するために、主要コンポーネントアルゴリズムを用いて変換され、これによって複数の連続する単純化距離マップイメージ４２４における一意的差分が取り込まれ、また、例えば照明不足により失われたであろう対象物の像の領域が埋め合わされる。例えば図２９は、図２８ａ−ｃに示された連続する単純化距離マップイメージ４２４に対応する、コンポジット距離マップイメージ８２を示す。複数の単純化距離マップイメージ４２４が変換された後に、次の連続する複数の単純化距離マップイメージ４２４が、主要コンポーネントアルゴリズムを用いて変換される。

主要コンポーネントアルゴリズムは、一般に次のように動作するが、より詳細な説明は「Ｓｔａｔｉｓｔｉｃａｌ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｎｖｅｓｔｉｇａｔｉｏｎｓ」 Ｂｒｉａｎ Ｓ． Ｅｖｅｒｉｔｔ、ＩＳＢＮ０−３４０−６１４３１−５に記載されており、ここに引用して組み込まれる。

L枚の連続した単純化距離マップイメージ４２４即ち単純化距離マップイメージアレイR ₁、R ₂、・・・R _Ｌ、それぞれの単純化距離マップイメージアレイR _iは、M行N列の距離ピクセルアレイを含み、それぞれの単純化距離マップイメージアレイR ₁、R ₂、・・・R _Ｌは、最初に対応するそれぞれの単純化距離マップイメージベクトルr _１、r _２、・・・ｒ _Ｌに変換され、ここにおいてそれぞれの単純化距離マップイメージベクトルr _１、r _２、・・・ｒ _Ｌは、順次対応する単純化距離マップイメージアレイR _iの連続する行を結合して形成される。例えば、一態様ではL=3、M=２２８、N=３０８であり、それぞれの単純化距離マップイメージベクトルｒ _ｉの長さ（ｌｅｎｇｔｈ）は、２２８ｘ３０８＝７０２２４である。単純化距離マップイメージベクトルｒ _ｉの転置列ベクトルが集められて、アレイＡ＝［ｒ _１ ^Ｔ、ｒ _２ ^Ｔ、・・・ｒ _Ｌ ^Ｔ］とされ、アレイAの対応するLｘLのクロス相関マトリクスCが計算され、行列式 ｜C−λ・I｜を解くことによって固有値λ_１、λ_２、・・・λ_Ｌが決定され、ここにおいてIは固有マトリクスであり、｜・・・｜は行列式である。与えられた固有値λ_１、λ_２、・・・λ_Ｌに対して対応する固有ベクトルがν _１、ν _２、・・・ν _ＬであるCは、方程式C・ν _ｉ＝λ_ｉを満たすものとして定められる。対応するＬの主コンポーネントイメージＰはＰ＝Ｓ ^−１・Ａ・Ｓ、ここにおいてＳ＝［ν _１ ^Ｔ、ν _２ ^Ｔ、・・・ν _Ｌ ^Ｔ］、の式から見出される。Ｐの第一カラムベクトルｐ _１ ^ＴはＭｘＮに逆変換され、関連する主コンポーネントイメージベクトルｐ ^ｉの最大の変化量を表すコンポジット距離マップイメージ８２を作る。

個々の単純化距離マップイメージ４２４またはコンポジット距離マップイメージ８２のいずれかの距離マップヒストグラム８０を計算するに先立って、密度が、例えば８５以下のピクセルのクラスターは連結コンポーネント篩い分けフィルタを用いて取り除かれ、続いてオリジナルの１６ビット距離スケールから１０ビット距離スケールへの圧縮をするために、距離変換が単純化距離マップイメージ４２４またはコンポジット距離マップイメージ８２に対して行われ、これは距離マップヒストグラムを計算する際に、空のまたは低密度のレンジビンが埋められる効果を有している。

連結コンポーネント篩い分けフィルタは、特定の領域よりも小さい、即ち連結したピクセル数が特定の数より小さい領域を取り除く。これらの比較的小さい領域のクラスターは、距離マップ中においては、生成物（ジャンク）とみなすことができる。連結コンポーネントアルゴリズムは、それぞれのピクセルが直近の８個のピクセル――垂直、水平および斜め――と結合しているかどうかを決定し、結合ピクセルのグループを特定し、その後、それぞれの連結領域が特定の領域定数によって検査される。領域の制限条件より小さい連結領域は結果出力バッファ内において、ゼロにセットされる。図３０は15列10行の距離マップイメージの例を示しておりピクセルのクラスターが4個の別々の距離に存在する：それらは７フィート、１０フィート、１９フィートおよび２２フィートで、図３０ｂは図３０ａの距離マップイメージに対し連結コンポーネント篩い分けフィルタを作用させた結果を示しており、連結コンポーネント篩い分けフィルタの領域の制限条件は５ピクセルである。４つの連結領域（１から４と番号を振ってある）と背景領域（０と番号を振ってある）とがあり、領域の制限条件として５ピクセルを設定すると、５ピクセルより少ない連結領域であるものに対応する距離データ――即ち図３０ｂにおいては領域２および３である――は除外される、即ちゼロにセットされる。連結領域のピクセル数が、領域の制限条件以上であるものに対応する距離データ――即ち図３０ｂにおいては領域１および４である――が、連結領域篩い分けフィルタを通過する。

図３１は距離変換前の最新の単純化距離マップイメージ４２４（即ち図２９の右イメージ）の距離マップヒストグラム８０を示し、図３２は対応する距離変換後の同じ距離マップイメージ４２４のレンジマップヒストグラム８０’である。距離変換は、実空間での距離を必ず保存する。これをフィートで示すとｘ軸上でゼロから３６までである。

対象距離セメンテーションプロセス（４２６）は２つの対象間の特性に依存している：１）対象物の距離は単純化距離マップイメージ４２４において高度に相関がある；２）対象物の一はグレイスケール初期イメージ４４．１（即ちグレイスケールステレオイメージ対のうちの左イメージ）において高度に相関がある。

対象物は、距離マップヒストグラム８０、８０’を調べることによって異なる距離に分離できるであろう。図３３には、ステレオビジョンカメラ３０２の視野内における、ＶＲＵ１４の右方の背景部にあるゴミ箱と平行に分離した２つのＶＲＵ１４の、グレイスケール初期イメージ４４．１、対応する単純化距離マップイメージ４２４および対応する距離マップヒストグラム８０’が示されている。距離マップヒストグラム８０’を調べると、２つのＶＲＵ１４は約１８フィートである最初のレンジビンから約２１フィートの最後のレンジビンまでを有するとわかる。ゴミ箱は約２４フィートである最初のレンジビンから約２７フィートである最後のレンジビンまでを有する。図３４は、纏めおよび境界の明瞭化のためのいくつかの追加的な形態学的なフィルタリングのステップを経て図３３から得られた、バイナリセグメンテーションイメージ８４における境界に囲まれた（閉じた）領域内の「穴」は埋められ、小さな突起を取り去るためにバイナリセグメンテーションイメージ８４から一つまたは複数の外側のピクセルを取り去るエロージョンフィルタ（ｅｒｏｓｉｏｎ ｆｉｌｔｅｒ）によって境界がスムージングされた、最近接対象物即ち２つのＶＲＵの、バイナリーセグメンテーションイメージ８４を示している。バイナリセグメンテーションイメージ８４は、グレイスケール初期イメージ４４．１および単純化距離マップイメージ４２４におけるにおける対応する場所が非ゼロの値（通常は＋１である）であるということが、その場所が適切なものであるということを示す、単なるバイナリの参照テーブルである。

ステレオビジョンカメラ３０２の視野内で横に並んで、距離のずれが無視できるような、分離した対象物は、「逆インデックス」法を用いて個別分離可能であり、その際は、距離マップヒストグラム８０’のそれぞれのビンに寄与を与えている、元となる単純化距離マップイメージ４２４における場所のリストが入っている記憶アレイが作られる。このリストは、一般にリバースインデクス（またはバックワードインデクス）リストと呼ばれるものであり、どの距離マップの要素がヒストグラムにおけるレンジビンに集積されているのかを、効果的に決定する。

ステレオビジョンカメラ３０２の視界内で横に並んで、距離のずれが無視できるような、結合した対象物――即ち図３３に示されるような――は、繰り返し法を用いて個別分離可能である。パターン認識の学習によって得た知識によれば、図３４に示すバイナリセグメンテーションイメージ８４の図形的特徴は、ＶＲＵ１４の種類に属するものの限界より大きいが、自転車乗り１４．２または車両１２の種類に確実に属するともいえない。学習の知識によれば、成人の歩行者の最適合矩形のアスペクト比（縦辺を横辺で除した商）は、１１対５であるから、セグメントは分割して再分類することが可能であり、例えば、図３５ａ−ｃは、１１対５の比率を有する３種の異なる部分分割イメージ８６と、結果として得られた最適合矩形８８を図解している。

これは「領域拡大法」とも称され、その場合、最適合矩形の縦辺がＱ個に、例えばＱ個の等しい長さに分割され、最適合矩形の特定の角にセグメントの角を合わせ、一番小さい分割部分から逐次Ｑ個の分割をより大きいものへと増加させて、最適合矩形に重ねて比較し、セグメントの部分イメージ８６が分離して種類分けされる。いずれかの結果としての部分イメージがＶＲＵ１４と種類分けされれば、その部分イメージ８６が道路使用弱者保護システム４００のその後のステップにおいて対象となる。最適合矩形内の残りの部分も、部分イメージ８６の処理結果に依存して、更に部分イメージ８６を取り出した後に、対象とされるかもしれない。

例えば、図３５ａ−ｃにおいては、全体の最適合矩形８８は部分矩形９０によって分割され、１１対５の比率（縦対横）を保って大きくされる。１１対５の比は歩行者について有効であると判明したが、他の比がその後の学習の結果他の重要な対象物について有効であると判明するであろう。図３５ａ−ｃに示す態様においては、Ｑの値は４であり、図３５ａ−ｃが示す部分矩形９０は、最適合矩形８８の半分、４分の３および全部の高さを有しており、部分矩形９０は右下の角を最適合矩形８８のそれに合わせている。もう一つの態様においては、合わせる場所は左下の角であり、それは車両１２に最も近い対象物についてより速い判別が行われるから、一般に車両１２の右側に位置する対象物について有利である。例えば、仮に合わせる位置が、図３５ａ−ｃに示される例の場合に左下であると、多分子供のＶＲＵ１４が最初に図３５ａに示される部分図形８６から判別されたであろう。

対象距離セグメンテーションプロセス（４２６）は一組の対象物４２８即ちバイナリセグメンテーションイメージ８４または部分イメージ８６を、単純化距離マップイメージ４２４またはコンポジット距離マップイメージ８２から抽出する。図３および４を参照して、ステップ（４３０）においては、最も近い対象物４２８が選択され、ステップ（４３２）においては、ハーモニックプロファイル抽出器（ｈａｒｍｏｎｉｃ ｐｒｏｆｉｌｅ ｅｘｔｒaｃｔｏｒ）３１６が、対象物の形を二値化重心（ｂｉｎａｒｙ ｃｅｎｔｅｒ−ｏｆ−ｍａｓｓ）からの距離と角度の関数としてパラメータ化するために、距離に依存しないハーモニック形状デスクリプタ（ｈａｒｍｏｎｉｃ ｓｈａｐｅ ｄｅｓｃｒｉｐｔｏｒ）が用いられる。ハーモニック形状デスクリプタはそれぞれの対象物の種類ごとの細かい構造を内包するものであり、例えば：自転車のタイヤや歩行者１４．１の頭や足といった構造である。ハーモニックは、従来の図形的なデスクリプタ（最適合楕円、最適合矩形）よりもより強力なものである。太陽光、影または部分閉塞に起因する中小規模の誤りは、ハーモニックプロファイルを局地的に歪ませる。これらの誤りは中央移動平均フィルタを用いて除去または減少される。対象物４２８のハーモニックプロファイルは、対象物の二値化重心（図３６における「＋」の記号）から、外側に向かって最後のアクティブなピクセルに至るまで、メモリー中を順次検索していくことによって決定される。検索は時計回りに行われ、対応する最適合矩形の境界線までに制限される。このハーモニックプロファイル抽出プロセス（４３２）は、図３６に示されており、ハーモニックプロファイルは自転車乗り１４．２対象物４２８について、３６本の等角度に間隔をあけた「スポーク」によって決定されている。

図３７ａ−ｅは、５個の異なった対象物についてのグレイスケール画像と対応するハーモニックプロファイルを示しており、左から右に次のとおりであり、これらが生成される元になったそれぞれのグレイスケール画像がハーモニックプロファイル９２の上に示されている：自転車乗り１４．２（図３７ａ）、ゴミ箱（図３７ｂ）、犬（図３７ｃ）、車両１２（図３７ｄ）および歩行者１４．１（図３７ｅ）である。図３７ｆは図３７ａ−ｅからのハーモニックプロファイル９２の相互の相関についての、相互相関マトリクスを示し、これらからハーモニックプロファイル９２が、種類の間の独自性を表すことがわかり、それによって自転車乗り１４．２、歩行者１４．１および車両１２の認識と区別ができることがわかる。

ハーモニックプロファイルの距離非依存性は図３８ａ−ｉに示されている。図３８ａおよび３８ｅは、比較的近い位置に居る自転車乗り１４．２の、グレイスケール画像と対応するハーモニックプロファイルである。図３８ｂおよび図３８ｆは、比較的遠いところに居る、自転車乗り１４．２の、グレイスケール画像と対応するハーモニックプロファイルである。図３８ｃおよび３８ｇは、比較的近い位置に居る歩行者１４．１の、グレイスケール画像と対応するハーモニックプロファイルである。図３８ｄおよび図３８ｈは、比較的遠いところに居る、歩行者１４．１の、グレイスケール画像と対応するハーモニックプロファイルである。図３８ｉは図３７ｄ−ｈのハーモニックプロファイルについての相互相関マトリクスであり、これらは同じ対象物のハーモニックプロファイル９２が、距離によらず比較的強い相関があることを示し、異なった対象対象物については比較的弱い相関があることを示している。

ハーモニックプロファイルモデル９４は判別すべきいろいろな種類のＶＲＵ１４について、記憶されている。例えば、一態様においては、次の３種類のＶＲＵ１４が判別される：自転車乗り１４．２、静止している歩行者または中位の歩幅で歩行中の歩行者１４．１’および最大歩幅で歩行中の歩行者１４．１’’。ＶＲＵのそれぞれの種類について、そして距離ｒを１フィートずつ増加して７フィートから３１フィートまでのハーモニックプロファイル９２が、中位の歩幅の歩行者１４．１’についておよび最大歩幅の歩行者１４．１’’について、それぞれ図３９および図４０に白色で示されるように、例えば２度の間隔で、約３００の異なった条件について収集された。自転車乗り１４．２および静止しているまたは中位の歩幅のハーモニックプロファイル９２が、図３９の例では、黒で示されるフィルタードハーモニックプロファイル９６を生成するために、１９エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。図４０の例では黒で示される、対応するフィルタードハーモニックプロファイル９６を生成するために、最大歩幅で歩行中の歩行者１４．１’’のハーモニックプロファイル９２は７エレメントのセントラルムービングアベレッジフィルタによってフィルタされる。更にその上、フィルタードハーモニックプロファイル９６の「尻尾」は、３３８度から２２度までの間即ち図４０に表示された矢印の外側で、「切り落とされる」。最大歩幅で歩行中の歩行者の脚の特徴による４０度から１４０度の間にある２つの山を過度にフィルタしないようにするために、最大歩幅で歩行中の歩行者１４．１のハーモニックプロファイル９２をフィルタするのには７エレメントのムービングアベレッジフィルタが使用される。結果としてのハーモニックプロファイルモデル９４は、対応するハーモニックプロファイル９６を例えばフィルタードハーモニックプロファイル９６のそれぞれの角度位置における中央値、即ち図３９および図４０において太線で示される曲線を当てはめることによって得られる。

ハーモニックプロファイル９２、９４、９６は、対象物の形を、半径方向距離を角度の関数として表すことによってパラメータ化し、各対象物の種類についての比較的細かい構造を、比較的少ないデータポイント数で表すことを提供する。太陽光、影または閉塞――例えば道路表面フィルタ３１０による――により引き起こされる、セグメンテーションにおける比較的小さな誤りは、ハーモニックプロファイルを局所的に歪ませるかもしれないものであるが、セントラル移動平均フィルタを使用することによって除去または減少させられるであろう。

図４１ａおよび４１ｂ、４２ａおよび４２ｂ、４３ａおよび４３ｂを参照すると、ハーモニックプロファイルモデル９４は元のトレーニングイメージとその鏡像イメージについてそれぞれ定められ、例が自転車乗り１４．２、静止している歩行者または中位の歩幅で歩行中数ｒの歩行者１４，１’および最大歩幅で歩行中の歩行者１４．１’’に示される。

図４４は、最大歩幅で歩行中の歩行者１４．１’’の、距離が７フィートから３２フィートまでの１フィード毎のハーモニックプロファイルモデル９４である。

セントラルムービングアベレージフィルタ長さは、例えば１９エレメントや７エレメントであるが、同一種類対象物内でのハーモニックプロファイルモデル９４――すなわち、ＶＲＵ１４の一つの種類についての異なった距離ｒにおけるハーモニックプロファイルモデル――の相互相関が相対的に高く、例えば０．９以上になるように、調整される。

二値化セグメンテーションイメージ８４またはサブセクションイメージ８６のハーモニックプロファイル９２が、１９エレメントのセントラルアベレージフィルタでフィルタされ、自転車乗り１４．２、および静止しているまたは中位の歩幅で歩行中の歩行者１４．１’についての記憶してあるハーモニックプロファイルモデルとの相関がとられ、また、ハーモニックプロファイル９２は７エレメントのセントラルアベレージフィルタでフィルタされ、最大歩幅で歩行中の歩行者１４．２’’についての記憶してあるハーモニックプロファイルモデルとの相関が取られる。対応する記憶についての最大の相関値が、ハーモニックプロファイル９２がどの特定のハーモニックプロファイルモデル９４とマッチするのか、および対象物の種類と距離ｒがいかなるものであるのかを知るために用いられる。

ステップ（４３０）に従って、ステップ（４３２）の前に、判定された対象物４２８について数学的および形状的デスクリプタが計算される。これらのデスクリプタはその対象物４２８を簡潔に表すものであり、多くのサイズのＶＲＵおよび自転車乗り１４．２の種類を決定するのに適用されるものである。最良のデスクリプタは、同一の種類はひとまとめにし、異なった種類の間は区別し、画像平面上での位置や回転や大きさには影響を受けない。そのような２種類のデスクリプタとして、最適合矩形のアスペクト比と、最適合楕円の角度方向とが、約７００の自転車乗り１４．２、静止している歩行者１４．１および歩行中の歩行者１４．１について、図４５ａおよび図４５ｂにそれぞれプロットして示されている。それぞれの中央値が、それぞれの種類について示されている。最適合矩形および最適合楕円は、矩形および楕円をそれぞれ二値化セグメンテーションイメージ８４または対象距離セグメンテーションプロセッサ３１４によって決定されたサブセクションイメージ８６と重ね合わせ（ｆｉｔ）て決められる。

一般的に、結合した対象物の形状ディスクリプタは、結合が解かれたそれぞれの対象物のそれとは大変異なるものである。図４６ｂは、図４６ａに示される場面についての、最適合矩形および最適合楕円――それぞれ値１．４８０および１．２６２を有する――を示している。図４７は、同じデスクリプタ――それぞれ値２．４２５および１．６３３を有する――を分離後の最大の対象物について計算したものを示している。最大の分離した対象物は、学習した値の組のうち歩行者の種類（「Ｐｅｄ１」）に密接にマッチしており、このことは、最適合矩形および最適合楕円デスクリプタの、ＶＲＵ識別における有効性を確認するものである。

図３および４を参照して、ステップ（４３８）においては、フィーチャーベクトルプロセッサ３２０が、１２要素のフィーチャーベクトル４４０の各要素の値を次のように定める：
１．セグメント化領域の大きさ
２．カメラ焦点面アレイのセグメント化領域の二値化重心を含む行
３．カメラ焦点面アレイのセグメント化領域の二値化重心を含む列
４．対象物の垂直方向の量
５．対象物の水平方向の量
６．最適合矩形のアスペクト比
７．最適合矩形の充填率（即ち、セグメントが存在している部分の割合）
８．最適合楕円の主軸の垂直線に対する角度
９．最適合楕円の主軸と副軸の比
１０．１９エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
１１．７エレメントのセントラルムービングアベレージフィルタを記憶したハーモニックプロファイルについて実行した結果の最高相関
１２．最適合矩形の下半分における最大水平部分の量

図３および４を参照して、ステップ（４４２）においては、フィーチャーベクトルが対象物認識プロセッサ３２２に入力され、その出力は対象物４２８がＶＲＵ１４である確率Ｐ４４４である。図４８および４９を参照して、一態様においては、対象物認識プロセッサ３２２は一つのインクルーシブニューラルネットワーク９８と、それぞれの対象物の種類について一つずつである複数のエクスクルーシブニューラルネットワーク１００および対応する規則ベースの決定プロセス（ｒｕｌｅ−ｂａｓｅｄ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ）を含んでおり、これらはプライマリーな種類についての何千もの写真についての学習を通じて習得したナレッジベースを用いて学習が行われるものである。パターンマッチングが成功するのは、未修得の対象物のフィーチャーが習得済みの対象物と強く一致する場合である。

図４８を参照して、インクルーシブニューラルネットワーク９８は、ＶＲＵ１４および車両１２を認識するために使用され、他の種類の対象物から一意的に異なるパターンを発見するとともに、同じ種類のもののなかでの他の対象物と区別できるパターンを発見する。このネットワークは、すべての種類についての性質を考慮するように訓練される。インクルーシブニューラルネットワーク９８は、学習をしているそれぞれの種類――およびどれにも属さない種類――に対応する出力を発生する。例えば、３つの種類を有する態様は次の様である：自転車乗り１４．２、静止している歩行者または中位の歩幅で歩行中の歩行者１４．１’および最大歩幅で歩行中または走行中の歩行者１４．１’’であり、インクルーシブニューラルネットワーク９８は４つの出力Ｙ１，Ｙ２，Ｙ３およびＹ４を有し、これらはインクルーシブニューラルネットワーク９８に入力された特定のフィーチャーベクトル４４０に対応する対象物が、それぞれの種類である確率を示すものである。

図４９を参照して、エクスクルーシブニューラルネットワーク１００は学習セットの中の３種の特定の種類のＶＲＵについて認識するために用いられる：自転車乗り１４．２、静止または中位の歩幅で歩行中の歩行者１４．１’および最大歩幅で歩行中または走行中の歩行者１４．１’’である。エクスクルーシブネットワークは自己相似的（ｓｅｌｆ−ｓｉｍｉｌａｒ）であり、特定の種類についてのフィーチャーベクトル４４０を、特定の種類の多くのベクトル中から認識できるものであり、他の種類のものがいかなるものであるのかは問わない。エクスクルーシブニューラルネットワーク１００はＶＲＵ１４のそれぞれの種類について一つ設けられ、それぞれのエクスクルーシブニューラルネットワーク１００は、２個の出力ｙ１およびｙ２を有しており、それぞれフィーチャーベクトル４４０を伴う対象物が、そのエクスクルーシブニューラルネットワーク１００が基礎をおく種類のものであることの確からしさ、およびそうでないことの確からしさ、の指標を与えるものである。

図４８および４９に示されるインクルーシブ９８、およびエクスクルーシブ１００ニューラルネットワークにおいては、値Ｘは入力フィーチャー、即ちフィーチャーベクトル４４０の要素（上記リスト中の要素１０および要素１１は除く）を表し；
最初の列のニューロンは出力ｈを有する隠れたレイヤー（ｈｉｄｄｅｎ ｌａｙｅｒ）と呼ばれ；
第二の列のニューロンは出力ｚを有する第二の隠れたレイヤーと呼ばれ、
最後の列のニューロンは出力ｙを有する出力レイヤーと呼ばれる。
ｕ、ｖおよびｗはそれぞれのノードの入力の重み付け値を表す。ニューラルネットワークの訓練の目的は、計算をしたフィーチャーが正しい出力値を示すようなこれらの重み付け値はいくつであるかを決定することである。インクルーシブ９８およびエクスクルーシブ１００ニューラルネットワークは、望ましい出力結果が特定されている多くの入力データを集め、このデータを対応するインクルーシブ９８およびエクスクルーシブ１００ニューラルネットワークにランさせ訓練される。新しい入力が適用されるたびに、全てのデータのセットに対しても非常に小さな誤差しか生じなくなるまで、重み付け値は修正される。

インクルーシブニューラルネットワーク９８およびエクスクルーシブニューラルネットワーク１００の訓練の操作は次のようにまとめられる：
出力レイヤーに与えられる重み

第二の隠れたレイヤーに与えられる重み

第一の隠れたレイヤーに与えられる重み

ρはトレーニングレートと呼ばれ、誤差関数が極小になるまでにどれだけ多くのステップが取られたかを表す。
αはモメンタムと呼ばれ、訓練の収束速度を増すための、前回の重みの変化に乗算されるものである。

衝突可能空間（Ｃｏｌｌｉｓｉｏｎ Ｐｏｓｓｉｂｌｅ Ｓｐａｃｅ）に入ってくる対象物４２８の種類分けは、数学的、幾何学的およびハーモニック形状デスクリプタを用いる訓練可能なパターン認識システムを用いて行われる。このシステムに対しては、あらかじめ定めた種類の多数のサンプルに接することで習得したナレッジベースを用いて、可能性のある種類の選別をするように教育される。訓練セットは何千ものそれぞれの基本的種類についての画像が含まれている。成功裏のパターンマッチングは、訓練していない対象物についてのデスクリプタが、訓練済みの対象物のデスクリプタと良い一致をするときに生じる。そのアルゴリズムは、既存の種類についての特性とはっきり異なる特性を有するならば他の種類についての認識にも拡張可能である。規則ベースのシステムを、このパターン認識システムを補うために追加してもよく、そこにおいて規則は例外なしに、或る種類の中での全ての変形についても適用可能なように設計される。規則は、特定の種類を除外する、または含む、という形で設定されてもよい。

一態様においては、ひとつの対象物はつぎのように種類判別される：
もしインクルーシブニューラルネットワーク９８の出力が、車両という種類について０．８０以上であれば、その対象物は車両１２と種類分けされ；
そうでなければ、
もしインクルーシブニューラルネットワーク９８の出力が、ＶＲＵという種類について０．９以上であれば、その対象物はＶＲＵ１４と種類分けされ；
そうでなければ、
もしインクルーシブニューラルネットワーク９８の出力が、ＶＲＵという種類であって、同じ種類のＶＲＵ１４について、エクスクルーシブニューラルネットワーク１００の出力と、ハーモニックプロファイルモデル９４との相関が共に０．８以上であるならば、その対象物をＶＲＵ１４と種類分けされ；
そうでなければ、
もしエクスクルーシブニューラルネットワーク１００の出力またはハーモニックプロファイルモデル９４との相関のどちらかが０．９５以上であるならば、対象物をＶＲＵ１４と種類分けされ；
そうでなければ、
対象物を種類分けしない。

規則ベースは、全ての種類について当てはまる観測結果についてのものである。もしこの規則に合致しないのであれば、問題となっているその対象物は、その種類のものではない。例えば、Ｘフィート離れた位置にいる歩行者の垂直の大きさ（最適合矩形の縦）はＹピクセルより大きいことはあり得ない。Ｘフィートの距離にある（未だ種類分けされていない）対象物がＹ＋ｋ（ｋ＞０）の縦方向大きさであるならば、その対象物は歩行者の種類に属するものではない。「誤警報」（保護デバイスの誤った作動）を排除するための規則ベースは、ＶＲＵの異なった複数の種類について開発される。

例えば図５０、５１および５２を参照すると、縦の大きさ、水平の大きさおよび最適合矩形８８の下方境界フィーチャーが訓練セットに含まれる全てのＶＲＵ１４の種類についてそれぞれモデル化される。最適合矩形８８の縦の大きさのモデルは、訓練セットに含まれる全てのＶＲＵ１４の上限と下限を表すものである。最適合矩形８８の水平の大きさのモデルは、訓練セットに含まれる全てのＶＲＵ１４の下限を表すものである。最適合矩形８８の下方境界のモデルは、訓練セットに含まれる全てのＶＲＵ１４の上限と下限を表すものである。

これらのモデルは、ＶＲＵ１４の誤った肯定的検出、例えばごみ缶、街路灯支柱、覆いかかる木の枝などにあたるもの、を排除するためのものである。この反「誤警報」は、検出された危険が、訓練したＶＲＵ１４パラメーターの範囲外である時に発動される。例えば、或るケースでは、約３９フィートのところにあると検出された街路灯ポールは当初は静止している歩行者と種類分けされるが、最適合矩形の縦の大きさは１３２ピクセルであり、この距離における最大モデル値が６９ピクセルであるので、ＶＲＵ１４であるとの種類分けは排除される。それぞれのモデルについて、最適合矩形８８のある特性がモデルの閾値を越えると、ＶＲＵであるとの種類分けは排除される。

もし、ステップ（４４６）において、確率Ｐ４４４が対応するＶＲＵ識別閾値Ｐ＊３２４よりの大きくない場合には、ステップ（４４８）において、対象距離セグメンテーションプロセッサ３１４により識別されたもののうち、次に近い対象物４２８が選択され、ステップ（４３２）によるプロセスが再び行われる。

そうでない場合は、ステップ（４５０）において、対象物トラッカ３２６が対象物認識プロセッサ３２２によってＶＲＵであると識別された対象物４２８をトラッキングする。ひとたびＶＲＵが識別されると、そのＶＲＵに対応するひとつのトラックファイルが対象物トラッカによって作られる。そのトラックファイルの出力には、集積認識確実度（ａｃｃｕｍｕｌａｔｅｄ ｃｏｎｆｉｄｅｎｃｅ ｏｆ ｒｅｃｏｇｎｉｔｉｏｎ）、ＶＲＵ１４の重心の距離および横方向位置の履歴、発火までの推定時間（ｔｉｍｅ−ｔｏ−ｆｉｒｅ）および衝撃までの推定時間が含まれる。対象物トラッカ３２６は、衝突可能領域にいまだ進入していないが既に潜在的脅威であると種類分けされている、ステレオビジョンカメラ３０２の視界内に存在する全ての対象物４２８についての情報を維持管理（メンテナンス）する。トラッキングされる対象物４２８についての、直近１０秒間の一意的につけられたトラッキングＩＤ、種類分けコード、衝突までの距離、重心および縦方向の大きさがリニアバッファの中に維持管理される。Ｐ次の自動減算モデル（Ｐｔｈ ｏｒｄｅｒ ａｕｔｏｒｅｇｒｅｓｓｉｖｅ ｍｏｄｅｌ）が、この情報を対象物４２８の将来の位置を予測するために使用する。トラックファイルはまた、例えば歩行者１４．１が屈んだり転倒したりするような、対象物の一時的な動作をトラッキングすることによって、限定的な「状況の認識」能力を提供する。

トラックファイルは、リニアバッファの中に、最も最近識別された対象物の情報（特性および種類分け）を維持管理する。対象物は、衝撃までの距離に基づいて昇順でソートされる。このことは、最も重要な脅威（自身の車両に対して最も近い）について活発に維持管理されることを保障する。新しく種類分けされた対象物は既にトラックファイルに存在するものとの相関がとられる。そしてトラックファイルレコードはしかるべくアップデートされる。トラックファイルの中の情報は、限られた状況認識を与えるものである。例えば、或る特定のＶＲＵ１４が、衝突までの距離に殆ど変化がなく、フレームが変わっても維持されることは、図５３に示されるように、自身の車両がこのＶＲＵ１４を追尾している状態にあるということを意味している。

ステップ（４５２）において、発火までの時間プロセッサ３２８が、車両１２はＶＲＵ１４と衝突するかどうか、そしてもしそうなら衝突が発生するであろう時までに残された時間を推定する。もしステップ（４５４）において衝突が予想され、残り時間が十分ある（即ち、発火までの時間（ＴＴＦ）は対応する発火までの時間閾値（ＴＴＦ^＊）よりも短い）ならば、ステップ（４５６）において、運転者警告装置２８またはＶＲＵ警告装置３０が運転者３３および／またはＶＲＵ１４に警告を与えるために起動され、ブレーキ制御システム３４に対し車両ブレーキシステム１０２を動作させるために信号が与えられ、または、ＶＲＵ１４の性質に応じて、衝突により発生するＶＲＵの負傷を緩和するために、一つまたは複数の外部エアバッグ３２．１やボンネットアクチュエータ３２．２等のＶＲＵ保護装置３２が作動される。

たとえば、推定された発火までの時間（ＴＴＦ）が道路使用弱者保護システム１０のサイクルタイムより短い（即ち３０ミリ秒以下）時には、ＶＲＵ１４を保護するために外部エアバッグ３２．１を膨張させるに必要な適時に、信号２６が発生される。道路使用弱者保護システム１０は、歩行者１４．１および他のＶＲＵ１４を衝撃に先立って検出し識別し、また、一態様においては、ＶＲＵ１４との衝突がありうるときに運転者３３および／またはＶＲＵ１４に対し警告を行い、ＶＲＵ１４との衝突が多分起きるときにブレーキ作動を開始させ、そしてＶＲＵ１４との衝突が確実なときに外部エアバッグ３２．１またはボンネットアクチュエータ３２．２の動作させる信号を起動させる。もし、ステップ（４５４）の後に、衝突が予想されないとき、または運転者警告装置２８、ＶＲＵ警告装置３０、ブレーキ制御装置３４、ＶＲＵ保護装置３２の次の作動までの時間または次のステップ（４５６）のための時間としては不十分なときには、プロセスはステップ（４５８）で次の画像フレームに進んで、ステップ（４０２）からプロセスを再開する。

ＩＢＭＴ３０（１．８ＧＨｚのＰ４と５１２ＭＢのＲＡＭ）によるタイミングテストでは、郎路使用弱者保護システム１０は、画像サイズが３０８ｘ２２８ピクセルのもので、毎秒３９から４４回の知るインクルーシブニューラルネットワーク識別ができることがわかった。

上記したそれぞれ独立のニューラルネットワーク：インクルーシブ、エクスクルーシブおよびハーモニックは、上記した道路使用弱者（ＶＲＵ）の認識において一意的に認識判定に寄与するという基本的な強力さを有している一方、これらのネットワークの出力の普通の解釈は時に主観的で不正確なものとなる。しかしながら、これに変わる態様――それは４クラス統合ネットワーク（４−ｃｌａｓｓ ｃｏｎｓｏｌｉｄａｔｅｄ ｎｅｔｗｏｒｋ）（４ｃｃネットワーク（４ｃｃ ｎｅｔｗｏｒｋ））と呼ぶことができる――によれば、インクルーシブ、エクスクルーシブおよびハーモニックネットワークの出力は、３種類のＶＲＵ：自転車乗り、静止した歩行者および歩いている／走っている歩行者、のそれぞれについての、単一の、あいまいさのない種類分けの統計値を与えるために統合される。

４ｃｃネットワークは、元となる複数のニューラルネットワークを統合するための訓練した一つのニューラルネットワークを使用する。学習プロセスは、インクルーシブ、エクススルーシブおよびハーモニックの各ネットワークが３種類のＶＲＵそれぞれに対して寄与する率の重み付けの最適値を決定するために用いられる。そのプロセスは、学習用セット（種類分けが既にされている、２２０００枚の画像）を多数のレベルのサポート（ｓｕｐｐｏｒｔ）――この用語は、関係ない種類同士の分離および関係のある種類同士のグループ化の定量的指標を意味する用語として使用される――において、繰り返し行うことが要求される。この決定された重み付けは、ネットワークの出力を信頼性高く、正しい割合で統合し、図５４の３階層プロセスに導く。階層は、種類間サポートおよび種類内サポートの増加する指標を表している。

４ｃｃネットワークの階層１は、種類分け統計の１０要素ベクトルを、４要素のフィーチャーベクトル入力に再構成（ｒｅｏｒｄｅｒ）し、小型車、自転車乗り、静止した歩行者および歩行中の歩行者についての単一の種類分け統計を返す。４ｃｃネットワークの階層２は、静止した歩行者と歩行中の歩行者を単一の歩行者種類分け統計に統合する。４ｃｃネットワークの階層３は自転車乗りと歩行者とを単一のＶＲＵ種類分け統計に統合する。この階層はオプションである。

４ｃｃネットワークにより返された５要素ベクトルが、元となる１０要素ベクトルと共に図５５に示される。
統合種類ベクトルおよび分離種類ベクトルの両者におけるデテクションフラグ（ｄｅｔｅｃｔｉｏｎ ｆｌａｇ）ＮｅｔＳｔａｔ［１］は、種類分けができなかった検出についてフィードバックを与えるためのものである。検出した対象物が自己の車両から約４８フィート以内の距離にあり、いずれの学習した種類分けにも類似していない場合には、デテクションフラグは値１．０とされる。検出した対象物が自己の車両から約４８フィート以内の距離にあり、学習したＶＲＵの種類分けとのみ類似していない場合、デテクションフラグは、ＶＲＵ誤警報コンフィデンスの値とされる。これは先ほどは反「誤警報」と称していたものである。これらのどちらの場合も、結合した領域に基づく潜在的脅威を呈している未認識の対象物の存在を表示している。検出された対象物が、自身の車両から約４８フィートよりも遠いところにある場合、デテクションフラグは値１．０とされる。拡大距離対象物は形状特性が不十分にしか存在しないので種類分けされない。

統合種類分け統計の小型車（Ｃｖｅｈｉ）は、小型車（ホンダアコードおよびボルボＳ４０）の後方で軸から外れた位置からの画像で学習がなされる。統合種類分け統計の自転車乗り（ＶｒｕＢ）は視野（ＦＯＶ）の横を通る自転車乗りで学習がなされる。統合種類分け統計の歩行者（ＶｒｕＰ）は、静止したおよび歩行中の歩行者が、小さな物体を運んでいるところによって学習がなされる。この種類については、接近してくる自転車乗りおよび離れ去る自転車乗りを含むように学習がなされる。

図５６に描かれた場面は、馴染みのグループ５のテストシークエンスを示し、ここにおいて、上のログは分離の種類分け統計であり、下のログは統合化種類分け統計である。

図５７を参照すると、４ｃｃネットワーク種類分けコンフィデンスの値が１０％の幅でプロットされている。５６８８枚の自転車乗りの種類の学習画像に対して、５５１４（９７％）が、０．９０以上のコンフィデンス値を示している。１０３１６枚の静止した歩行者の種類の学習画像について、９６１１（９３％）が、０．９０以上のコンフィデンス値を示している。２７３８枚の歩行中の歩行者の種類の学習画像について、２７１５（９９％）が０．９０以上のコンフィデンス値をしめしている。
４ｃｃネットワークのテストにおいては、２２０００枚の学習画像に対して、高いパーセンテージの高いコンフィデンス値を示すそれぞれのＶＲＵ種類についての検出を示した。

図５７の自転車乗りの濃度プロットのＣｖｅｈｉの列から判るように、５６８８枚の自転車乗りの種類の学習画像に対して、９（０．１５％）の小型車と誤った種類分けがなされた。数字としては大きなものではないが、この種類のエラーは保護装置の不作動という最も酷い結果を潜在的に含むものである。しかしながら、図５７に見られるこの高いコンフィデンス値を示した９個の自転車乗り種類分けエラーのそれぞれは、距離マップにおける異常に起因している。それぞれの場合で、頭部または上半身が、自転車乗りの下の部分から分離されているか失われているものであった。セグメンテーションアルゴリズムは分離した部分を検出していたが、それは寸法不足か別体の対象物と分類されたかのいずれかにより、捨てられていた。図５８にこの９個のケースのうちの一つの例を示すが、分離した頭部がセグメンテーションの境界線を変化させ、そして種類分けプロセスの質を落としたものである。また、タイヤの間の空間が充填され、ハーモニックネットワークで必要とされる２個の山がなくされているのも見ることができる。

図５９を参照すると、群集２の２０フレームの連続場面を使用した時間テストは、毎秒１３９回の種類分けを実行し、６４ビットモードでＨＰｘｗ４１００（Ｐ４、２．８ＧＨｚ、１ＧＢＲＡＭ）を用いてテストした際に、先の態様の毎秒１２４と比較して１２％の改善を示したことになる。

特定の態様が詳細に説明されたが、この分野の通常の知識を有する者にとっては、これら詳細からの多数の変形または代替物がこの開示全体の教示に照らして開発可能であろう。したがって、開示された特定の態様は、説明の目的のみであって、発明の範囲を限定するものではなく、発明の範囲は付随する請求項およびその全ての均等物の完全な範囲について与えられるべきものである。

複数の道路使用弱者（ＶＲＵ）に直面した車両の立面図およびその車両に道路使用弱者を保護するシステムを適用した状態のブロックダイヤグラムである。 車両の平面図およびその道路使用弱者保護システムのブロックダイヤグラムである。 道路使用弱者保護システムのブロックダイヤグラムである。 道路使用弱者保護システムのプロセスのフローチャートである。 ステレオビジョンシステムの配置の図解を示す図である。 ピンホールカメラの画像形成配置の図解を示す図である。

車両の正面図および道路使用弱者保護システムにおけるステレオビジョンシステムのステレオビジョンカメラのいくつかの態様を示す図である。 単独カメラによるステレオビジョンシステムを示す図である。 自動利得調整プロセスの要素の図解である。 相関ダイヤグラムのブロックダイヤグラムである。 最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの距離のプロットを示す図である。 最悪シナリオの場合の、複数の車両速度についての衝突までの時間の関数としての対象までの角度のプロットを示す図である。

２種の歩行者身長についての、使用する視界センサからの拒理の関数としての焦点面面積占有割合のプロットを示す図である。 道路表面を含んだ場面のオリジナルグレイスケール画像を示す図である。 遠方対象物を距離フィルターによって取り除いた、図１２ａに示された画像に対応する距離マップを示す図である。 道路表面を道路表面フィルターによって取り除いた、図１２ｂに示された画像に対応する距離マップを示す図である。 車両と３種の異なった相関ダウンレンジビンに対応した３種の視界を示す図である。 道路表面フィルタプロセスのフローチャートである。 図１４に示される道路表面フィルタプロセスに用いられる、ステレオ画像に伴うダウンレンジデータアレイを示す図である。 図１４に示される道路表面フィルタプロセスに用いられる、距離マップアレイを示す図である。

図１４に示される道路表面フィルタプロセスにより操作されるピクセル値のアレイを示す図である。 ステレオビジョンシステムの左カメラから見た道路場面のグレイスケール画像を示す図である。 図１４ａの画像についての、ステレオ装置により生成された距離マップを示す図である。 図１４ｂの画像を、実質的に相関道路表面のみを表示するように処理した画像を示す図である。 ステレオビジョンシステムの左カメラからの、駐車中の車両のグレイスケールイメージを示す図である。 図１５ａに示される場面のステレオ処理装置により生成された距離マップを示す図である。 図１５ｂに示される画像を、実質的に画像中の駐車中車両のみを表示するように処理した画像を示す図である。 道路使用弱者保護システムの配置を示す図である。

直線上を走行する車両の衝突不可避領域と衝突可能領域の図である。 第一速度で走行する車両のＶＲＵ危険領域の例を示す図である。 第二速度で走行する車両のＶＲＵ危険領域の例を示す図である。 旋回中車両の衝突不可避領域と衝突可能領域の図である。 停止中の車両近傍にいる道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。 停止中の車両から約６フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。 停止中の車両から約８フィート離れた道路使用弱者についての対象距離セグメンテーションプロセスの結果の図である。

夜間イメージシークエンスにおける３枚の逐次的グレイスケール画像フレームを示す図である。 図２７ａ−ｃのグレイスケール画像に対応する３枚の逐次的距離マップ画像を示す図である。 合成距離マップ画像を示す図である。 連結コンポーネント篩い分けフィルタの動作を示す図である。 図２９における右端部に対応する１６ビット距離マップヒストグラムである。 図２４の１６ビットヒストグラムを変換して生成した１０ビット距離マップヒストグラムである。 視界中で横並びに離隔した２者の道路使用弱者の図である。 図２３に示す距離マップ画像のヒストグラムサーチの結果得られるセグメンテーション画像である。 図３４に示すセグメンテーション画像の３つの異なったサブセクションの図である。

自転車乗りのセグメント化画像にハーモニックプロファイルエクストラクションプロセスを施す様子を示す図である。 自転車乗りが対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。 ごみすて缶が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。 犬が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。 車両が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。 歩行者が対象である場合のグレイスケール画像と対応するハーモニックプロファイルを示す図である。 図３０ａ〜ｅのハーモニックプロファイルのクロスコリレーションから生成されたクロスコリレーションマトリクスを示す図である。

ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。 ハーモニックプロファイルの距離不変性を示す図である。

フィルターをかけない状態のハーモニックプロファイルを含む、中ぐらいの歩幅で歩行中の１５フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、１９エレメントの中央移動平均フィルタから得られたフィルタ後の対応するプロファイルおよび１５フィートの距離からの歩行中の歩行者の組についての最適合ハーモニックプロファイルを示す図である。 フィルターをかけない状態のハーモニックプロファイルを含む、最大歩幅で歩行中の１５フィート離れた多数の歩行者のハーモニックプロファイルのコンポジット、７エレメントの中央移動平均フィルタから得られたフィルタ後のプロファイルおよび対応する最適合ハーモニックプロファイルを示す図である。 二値化イメージ、対応するハーモニックプロファイルおよび自転車乗りおよびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。 二値化イメージ、対応するハーモニックプロファイルおよび歩行者およびその鏡像のそれぞれに対応する二値化画像の対応するハーモニックプロファイルモデルを示す図である。

二値化イメージ、対応するハーモニックプロファイルおよび最大歩幅で歩行中の歩行者の二値化画像およびその鏡像のそれぞれに対応するハーモニックプロファイルモデルを示す図である。 最大歩幅で歩行中の歩行者のクラスについての、７フィートから３２フィートまでの距離で、７エレメント中央移動平均フィルタによってフィルタされたデータから生成された最適合プロファイルの例である。 自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合矩形デスクリプタが散らばって表示されている様子を示す図である。 自転車乗り、立ち止まっている歩行者および歩行中の歩行者を表す、最適合楕円形デスクリプタが角度座標上に散らばって表示されている様子を示す図である。 グレイスケールイメージである。 図３９ａに表された画像から生成された結合した対象のセグメンテーションイメージについての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。

図４６ａに対応するグレイスケールイメージを表す図である。 図４７ａに表された画像から生成されたセグメンテーションイメージにおける最大の対象ついての最適合矩形デスクリプタおよび最適合楕円形デスクリプタを示す図である。 インクルーシブニューラルネットワークの態様である。 エクスクルーシブニューラルネットワークの態様である。 ＶＲＵの誤検出を緩和するための垂直分量モデルである。 ＶＲＵの誤検出を緩和するための水平分量モデルである。 ＶＲＵの誤検出を緩和するための垂直位置モデルである。 自転車乗りＶＲＵに追随する車両からみた場面の図である。 ４段階統合ネットワークのフローチャートである。

４段階統合ネットワークにおける、結合段階統計および分離段階統計である。 実際に見える場面、アソシエイテッド距離マップおよび特定のテストシークエンスにおけるアソシエイテッド分類統計を示す図である。 ３区分の対象物の２万２千の訓練画像についての、４ｃｃネットワーク分類密度から得られた分類密度を表す図である。 画像中での上半身分離により発生した９種の自転車乗りについての誤分類を示す図である。 第２バージョンのタイムテストを示す図である。

Claims (10)

1. 視覚的場面に関連する複数の距離マップを処理する方法であって、次のものを含む方法：
   ａ．視覚的場面に関連する複数の距離マップを取得または決定し、ここにおいて前記複数の距離マップの各距離マップは、対応する少なくとも１つの画像の少なくとも１つのピクセルに関連する少なくとも１つの距離値を含み、前記少なくとも１つの距離値は、前記少なくとも１つの画像を取得するために利用される関連したカメラに対して相対的な距離の測度を含み；
   ｂ．主要コンポーネント解析に従って前記複数の距離マップを変換することにより、コンポジット距離マップを生成し、ここにおいて、前記コンポジット距離マップは、前記主要コンポーネント解析による前記複数の距離マップの変換から生じる複数の主要コンポーネントベクトルの１つに対応し、前記複数の主要コンポーネントベクトルの前記１つは最大の変化量を表し；および
   ｃ．前記視覚的場面内の少なくとも１つの対象物を種類分けするため、または前記視覚的場面内の少なくとも１つの対象物に応答するために、前記コンポジット距離マップを処理すること。
2. 前記コンポジット距離マップを生成するための、前記複数の距離マップの前記変換が：
   ａ．前記複数の距離マップの各距離マップを、対応するアレイの行または列の中へ変換すること；
   ｂ．前記対応するアレイから、クロス相関マトリクスのセットを生成すること；
   ｃ．前記クロス相関マトリクスの固有値のセットを解くこと；
   ｄ．前記クロス相関マトリクスの固有ベクトルのセットを解くこと；
   ｅ．前記固有値のセットに応答する、および、前記対応するアレイに応答する、前記複数の主要コンポーネントベクトルの前記１つを解くこと；および
   ｆ．前記複数の主要コンポーネントベクトルの前記１つを前記コンポジット距離マップの中へ変換すること；
   を含む、請求項１に記載の視覚的場面に関連する複数の距離マップを処理する方法。
3. 前記視覚的場面内の前記少なくとも１つの対象物を種類分け、または前記視覚的場面内の少なくとも１つの対象物への応答を提供するために、前記コンポジット距離マップを処理する操作が、前記コンポジット距離マップから距離ヒストグラムを計算することを含み、前記距離ヒストグラムはベクトルを含み、前記ベクトルの各要素は、前記少なくとも１つの距離値の対応する異なる値の範囲に関連し、前記ベクトルの各要素は、前記距離マップの前記少なくとも１つの距離値が、前記少なくとも１つの距離値の前記対応する値の範囲内である、前記距離マップの要素のカウントを含む、請求項１に記載の視覚的場面に関連する複数の距離マップを処理する方法。
4. 前記複数の距離マップの取得または決定の操作が：
   ａ．前記視覚的場面の対応する複数の組のステレオイメージを取得すること；および
   ｂ．前記視覚的場面の前記対応する複数の組のステレオイメージの対応する組から、前記複数の距離マップの各距離マップを決定すること；
   を含む、請求項１に記載の視覚的場面に関連する複数の距離マップを処理する方法。
5. 前記視覚的場面内の前記少なくとも１つの対象物を種類分け、または前記視覚的場面内の少なくとも１つの対象物への応答を提供するために、前記コンポジット距離マップを処理する操作が：
   ａ．前記ベクトルの前記要素によりカウントされた前記距離マップの各要素を、前記視覚的場面または前記距離マップの少なくとも１つの画像の複数のピクセルに対応するピクセルの少なくとも１つに関連付けること；
   ｂ．前記距離ヒストグラムを操作すること；および
   ｃ．前記距離ヒストグラムの操作の操作に応答する前記距離マップの前記要素に関連して、前記少なくとも１つの画像または前記距離マップの前記複数のピクセルの前記少なくとも１つの前記対応するピクセルの少なくとも１つを操作すること；
   を含む、請求項３に記載の視覚的場面に関連する複数の距離マップを処理する方法。
6. 前記距離ヒストグラム操作の操作が、前記少なくとも１つの対象物に関連しない前記複数のピクセルの各ピクセルをゼロにするまたは無視すること、および、前記少なくとも１つの対象物のバイナリセグメンテーションイメージを形成するために、前記少なくとも１つの対象物に関連する前記複数のピクセルの各他のピクセルを、アクティブピクセルを示す一定値に変更することを含む、前記距離ヒストグラム操作の操作に応答する前記距離マップの前記要素に関連して、対応する前記距離ヒストグラムの要素の少なくとも１つのクラスターに応答して、前記視覚的場面内の前記少なくとも１つの対象物のための前記距離ヒストグラムを検索することを含む、請求項５に記載の視覚的場面に関連する複数の距離マップを処理する方法。
7. 道路使用弱者（VRU）に関連するアスペクト比を有する前記少なくとも１つの対象物の前記バイナリセグメンテーションイメージのサブセットにおける最適合矩形を検索することにより、前記少なくとも１つの対象物の前記バイナリセグメンテーションイメージにおいて、前記視覚的場面内の横並びに付着した対象物を反復的に孤立化させることをさらに含む、請求項６に記載の視覚的場面に関連する複数の距離マップを処理する方法。
8. 前記視覚的場面内の前記少なくとも１つの対象物を種類分け、または前記視覚的場面内の少なくとも１つの対象物への応答を提供するために、前記コンポジット距離マップを処理する操作が、前記距離ヒストグラムの計算の前に、前記コンポジット距離マップの解像度を減少させることを含む、請求項３に記載の視覚的場面に関連する複数の距離マップを処理する方法。
9. 前記視覚的場面内の前記少なくとも１つの対象物を種類分け、または前記視覚的場面内の少なくとも１つの対象物への応答を提供するために、前記コンポジット距離マップを処理する操作が、連結コンポーネント篩い分けフィルタで前記コンポジット距離マップの前記少なくとも１つのピクセルを処理することを含み、ここで、前記連結コンポーネント篩い分けフィルタは、前記コンポジット距離マップの範囲内のピクセルまたは要素の少なくとも１つのクラスターを位置付けるために適応されるものであって、前記少なくとも１つのクラスターは、前記コンポジット距離マップの第１の複数の行の同じ１つに沿って、前記コンポジット距離マップの第２の複数の列の同じ１つに沿って、または前記コンポジット距離マップの前記第１の複数の行および前記コンポジット距離マップの前記複数の列の両方に対角線上に隣接して沿って、前記ピクセルまたは要素の少なくとも１つの他のピクセルまたは要素に連結された前記ピクセルまたは要素を含む、請求項３に記載の視覚的場面に関連する複数の距離マップを処理する方法。
10. 前記視覚的場面内の前記少なくとも１つの対象物を種類分け、または前記視覚的場面内の少なくとも１つの対象物への応答を提供するために、前記コンポジット距離マップを処理する操作が、
    ａ．前記コンポジット距離マップから前記少なくとも１つの対象物の少なくとも１つの輪郭を抽出すること；
    ｂ．前記少なくとも１つの輪郭の対応する中心を決定すること；
    ｃ．前記対応する中心から前記対応する中心に応答および中心を通る複数の角度における前記少なくとも一つの輪郭への複数の距離を含む測定ベクトルを決定すること；
    ｄ．前記測定ベクトルを、少なくとも一つの参照対象物の種類を表す少なくとも一つの記憶されたベクトルと比較すること；および
    ｅ．前記少なくとも一つの対象物が、前記測定ベクトルを前記少なくとも一つの記憶されたベクトルと比較する操作に応答する前記少なくとも一つの参照対象物に対応するかどうかを決定すること；
    を含む、請求項３に記載の視覚的場面に関連する複数の距離マップを処理する方法。

Images