JP2023511454A - 車両走行路内のデブリの検出 - Google Patents

Abstract

いくつかの例では、１つまたは複数のプロセッサは、道路の少なくとも１つの画像を受信することができ、画像内の画素の少なくとも１つの候補画素グループを、道路上のデブリに対応する可能性があるものとして決定することができる。１つまたは複数のプロセッサは、候補画素グループに対して少なくとも２つの高さベースの特徴を決定することができる。例えば、少なくとも２つの高さベースの特徴は、道路表面に対して候補画素グループに関連付けられた最大高さ、および道路表面に対して候補画素グループに関連付けられた平均高さ、を含むことができる。さらに、１つまたは複数のプロセッサは、少なくとも２つの高さベースの特徴をそれぞれの閾値と比較することに基づいて少なくとも１つの重み係数を決定することができ、少なくとも比較に基づいて候補画素グループがデブリに対応するかどうかを判定することができる。【選択図】図１

Description

先進運転支援システム（ＡＤＡＳ）、ならびに半自律型車両システム、自動運転システム、またはその他の自動運転（ＡＤ）システムは、安全性の向上、ナビゲーションの自動化などを目的に、車両制御を自動化または強化するシステムである。これらのシステムは一般的に、衝突を回避するために、道路内の他の車両、大きな障害物、歩行者などを認識する機能を含んでいる。しかしながら、車両の走行経路内のデブリを検出して回避することは、一般にデブリのサイズが小さいこと、また、考えられるデブリの種類のばらつきが大きいことなどによって、もっと大きい障害物を検出することよりも困難であり得る。最近の調査によると、米国において２０１１年から２０１４年の間の約２０万件の衝突事故がデブリに関与したもので、結果として約５００人が死亡している。したがって、車道上のデブリを検出し回避することにより、車両の安全性を向上させ、事故を減らし、車両の損傷を軽減する、などのことが可能になる。

いくつかの実装形態では、１つまたは複数のプロセッサは、道路の少なくとも１つの画像を受信することができ、画像内の画素の少なくとも１つの候補グループを、道路上のデブリに対応する可能性のあるものとして決定することができる。１つまたは複数のプロセッサは、画素の候補グループに対して少なくとも２つの高さベースの特徴を決定することができる。例えば、少なくとも２つの高さベースの特徴は、道路表面に対して候補画素グループに関連付けられた最大高さ、および道路表面に対して候補画素グループに関連付けられた平均高さ、を含むことができる。さらに、１つまたは複数のプロセッサは、少なくとも２つの高さベースの特徴をそれぞれの閾値と比較することに基づいて少なくとも１つの重み係数を決定することができ、少なくとも比較に基づいて画素グループがデブリに対応するかどうかを判定することができる。

図１は、いくつかの実装形態による、車両経路内のデブリを検出するように構成された例示的なデブリ検出システムを示す。 図２は、いくつかの実装形態による、車両に含まれ得るデブリ検出および車両制御のシステムの例示的なアーキテクチャを示す。 図３は、いくつかの実装形態による、車両に含まれ得るデブリ検出および車両制御のシステムの例示的なアーキテクチャを示す。 図４は、いくつかの実装形態による、上述のシステムによって実行され得るデブリを検出するためのアルゴリズムを説明する例示的なプロセスを示すフロー図である。 図５は、いくつかの実装形態による、カメラシステム１０８を使用して左右の画像をキャプチャする例を示す。 図６は、いくつかの実施態様による、車線情報、視差画像、およびエッジ画像を決定する例を示す。 図７は、いくつかの実施態様による、閾値視差画像を生成するための例示的なプロセスを示すフロー図である。 図８は、いくつかの実施態様による、候補抽出を実行することによってデブリ候補およびノイズを決定する例を示す。 図９は、いくつかの実施態様による、デブリ候補からノイズを分離するための例示的なプロセスを示すフロー図である。 図１０は、いくつかの実施態様による、路面平面を推定するための例示的なプロセスを示すフロー図である。 図１１は、いくつかの実施態様による、画素検証の例示的なプロセスを示すフロー図である。 図１２は、いくつかの実装形態による、行列形式の選択された候補の一例を示す。 図１３は、いくつかの実装形態による、行列形式の３Ｄマップとして、図１２の選択された候補の一例を示す。 図１４は、いくつかの実装形態による、ステップサイズ選択の一例を示す。 図１５は、いくつかの実装形態による、上り勾配および下り勾配を推定する例を示す。 図１６は、いくつかの実装形態による、画素検証の前後の選択された候補のマスク行列の一例を示す。 図１７は、いくつかの実装形態による、特徴および対応する特徴強度を含む例示的なデータ構造を示す。 図１８は、いくつかの実装形態による、図１７に関して上述した、デブリ検出と特徴に関する路面偽陽性との対比の一例を示す。 図１９は、いくつかの実装形態による、例示的な強分類器アルゴリズムを示す。 図２０は、いくつかの実装形態による、実行され得る弱分類器アルゴリズムの一例を示す。

本明細書のいくつかの実施態様は、例えばＡＤＡＳおよびＡＤコントローラを支援するために、ならびに車両乗員の安全性および快適性を改善するために、車両の走行経路内の小さな障害物および他の種類のデブリを検出することが可能な技術および構成に関する。例えば、デブリ検出システムは、カメラからの入力のみを使用して、走行経路内のデブリの位置および高さをリアルタイムで検出することが可能であり得る。一例として、カメラは画像データを提供することができ、これを使用して、システムは、道路エッジを決定し、デブリ認識用の候補を抽出するための視差マップを生成することができる。さらに、システムは、画素検証技術を使用して複数の特徴を抽出することができ、強と弱の特徴ベースの分類器を使用して、従来技術よりも低コストでリアルタイムにデブリを検出することができる。例えば、従来技術では、カメラ、レーダ、ＬＩＤＡＲ、およびフュージョンテクノロジなどの複数の異なるタイプのセンサを使用して、デブリ検出システムを提供することができるが、このシステムは、必要なハードウェアと必要な計算能力の両方において高価であり得る。

さらに、歩行者検出、車両検出、および障害物検出などの従来のＡＤＡＳおよびＡＤ技術によって検出される障害物の高さは、一般に、通常の車道のデブリよりも比較的高くなっている。したがって、本明細書のいくつかの例では、検出されるデブリは、路面上にあって、車両または車両の乗員に危険であり得るか、そうでなければ車両の乗員に不快感をもたらす可能性のある、あらゆる小さな障害物または異物を含み得る。例えば、他の車両からの物体の落下、事故、道路工事などによりデブリが発生するかもしれない。車道上のデブリは、車両に損傷を与える可能性があり、場合によっては、運転者または他の車両乗員を危険にさらす可能性がある。例えば、デブリは、タイヤのパンクまたは他のタイヤ損傷を引き起こしたり、車両のサスペンションの損傷の原因となったり、運転者による急ブレーキを招いたりなど、する可能性がある。その結果、本明細書の実装形態は、早期にデブリを検出して、それにより、車両の走行に調整を加えてデブリを回避することができるように構成される。

本明細書のいくつかの例は、車両走行経路内の小さな障害物、破片、ゴミ、車両部品、および他の様々な種類のデブリを検出するためのカメラベースのシステムを含む。本明細書のシステムによって決定されたデブリ検出情報を使用して、車両制御システムがデブリを回避するために車両制御調整を行うこと、または検出されたデブリに基づいて適応することができるように、様々な車両制御システムを支援するか、あるいはそれらシステムに情報を提供することができる。さらに、本明細書に記載の自動デブリ検出技術は、ＡＤＡＳおよび／またはＡＤ車両システムによって車両乗員の安全性および運転快適性の向上を可能にするための大きな利点をもたらすことができる。

さらに、いくつかの実施態様では、本明細書のシステムを使用して、道路の窪みを検出し、窪みの回避を可能にすることもできる。例えば、以下に説明する分類器機能によって使用される重みを変更することによって、システムは、舗装上面に上向きに延びるデブリを検出するのと同様の方法で、舗装の穴を検出することができる。本明細書の開示の利益を有する当業者には、多数の他の変形形態が明らかになるであろう。

場合によっては、検出されたデブリおよびデブリの位置に関する情報は、サーバまたは他のサービスコンピューティングデバイスにアップロードされてもよく、デブリ情報は、その後、他の車両に提供されてもよい。したがって、位置情報を使用することによって、他の車両は、デブリが検出されたルートまたは特定の車線を回避することができ、それによって他の車両に起こり得る損傷を回避することができる。さらに、サービスコンピューティングデバイスにアップロードされたデブリ検出情報は、道路管理作業員などによって使用され、路面をより迅速にきれいするためにデブリを見つけて除去することができる。したがって、本明細書に記載のデブリ検出システムは、センサとして１つまたは複数のカメラのみを使用してデブリを正確に検出することができ、車両の安全性を向上させ、車両の損傷を防止し、車両の乗員の快適性を向上させるための大きな利点をもたらすことができる。

議論の目的で、いくつかの例示的な実装形態は、車両の走行経路内のデブリを検出するために、画像をキャプチャし分析する環境において説明される。しかしながら、本明細書の実施態様は、提供される特定の例に限定されず、本明細書の開示に照らして当業者には明らかなように、他のタイプのカメラ、他のタイプの検知デバイス、他のタイプの車両、他のタイプの障害物、他のタイプのデブリ、窪みなどのような他のタイプの視認性の低い危険物など、に拡大され得る。

図１は、いくつかの実装形態による、車両１０２の経路内のデブリを検出するために構成された例示的なデブリ検出システム１００を示す。この例では、車両１０２は、矢印１０６で示す方向で、車道または他の走行経路１０４を移動している。本明細書のデブリ検出システム１００は、車両１０２に取り付けられ得る少なくとも１つのカメラシステム１０８を含むことができる。図示の例では、カメラシステム１０８はステレオカメラを含むことができるが、他の例では、カメラシステム１０８は、例えば、１つのモノカメラまたは複数のモノおよび／またはステレオのカメラを含むことができる。カメラ視野１１０は、車両１０２の前方の道路または他の走行経路１０４をキャプチャするのに十分な広さであり得る。場合によっては、カメラシステム１０８は、視野１１０の画像を連続的に、例えば毎秒１５フレーム、毎秒３０フレーム、毎秒６０フレーム、または他の所望の頻度でキャプチャすることができ、この頻度は、回避行動を取るのに、あるいはデブリ１１２に適応にするのに間に合うよう、走行経路１０４内のデブリ１１２の識別を可能にするのに十分な速さで画像を提供する頻度である。さらに、いくつかの例では、カメラシステム１０８のキャプチャ頻度は、車速が増加するにつれて増加し得る。

車両１０２は、以下でさらに説明するように、１つまたは複数の車両コンピューティングデバイス１１４を含むことができる。車両コンピューティングデバイス１１４は、デブリ検出プログラム１１６および車両制御プログラム１１８を実行することができる。場合によっては、デブリ検出プログラム１１６は、カメラシステム１０８のカメラによってキャプチャされた画像を受信し、画像に対して解析を実行して、デブリ１１２が車両１０２の現在の走行経路１０４内にあるかどうかを判定することができる。デブリ検出プログラム１１６は、検出されたデブリ１１２に関するデブリ情報を車両制御プログラム１１８に提供することができ、車両制御プログラムは、デブリ情報に基づいて１つまたは複数のアクション、例えば、運転者への警告、車両１０２のブレーキ、車両１０２のステアリングなどを開始することができる。

場合によっては、カメラシステム１０８は、デブリ検出プログラム１１６を実行する少なくとも１つの車両コンピューティングデバイス１１４を含むことができる。他の場合には、車両コンピューティングデバイス１１４はカメラシステム１０８とは別個であってもよく、車両１０２の他の場所に配置されてデブリ検出プログラム１１６を実行してもよい。いずれの場合も、車両コンピューティングデバイス１１４は、カメラシステム１０８から画像を受信することができ、画像を分析してデブリ１１２を検出することができる。

いくつかの例では、デブリ検出プログラム１１６は、例えば、モノカメラ画像、ステレオカメラ画像、または複数のカメラから撮影された画像を使用して、受信した画像からパララックスマップを生成することができる。モノカメラを使用する場合、訓練された機械学習モデルを使用して深度マップを計算することができる。例えば、最初に、単眼画像のセットおよびそれらの対応するグランドトゥルースパララックスマップをキャプチャし、機械学習モデルを訓練するために使用することができる。続いて、機械学習モデルを使用して、新たにキャプチャした画像に応じてパララックスマップの近似値を予測することができる。

あるいは、ステレオカメラまたは複数のカメラの場合、画像は２つまたは３つ以上のカメラによってキャプチャされてもよい。キャプチャした画像を使って、セミグローバルブロックマッチングまたは任意の他の適切な技術などの、ブロックマッチング技術を使用してパララックスを計算することができる。本明細書のいくつかの例では、いくつかの例示的な実装形態を説明するための例示的なシステムとしてステレオカメラシステムが使用されているが、当業者であれば、単一のモノカメラまたは複数のモノカメラを有するシステムを使用して同様の構成および技術を適用し得ることも理解するであろう。

図２～図４、図７、図９～図１１、図１９および図２０の少なくとも一部は、いくつかの実装形態による例示的なアルゴリズムまたは他のプロセスを示すフロー図を含む。プロセスは、一連の動作を表す論理フロー図のブロックの集合として示されており、その一部または全部は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実施することができる。ソフトウェアの文脈では、ブロックは、１つまたは複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表すことができ、この命令は、１つまたは複数のプロセッサによって実行されると、列挙した動作を実行するようにプロセッサをプログラムする。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックを記述する順序は、限定として解釈されるべきではない。記述したブロックの任意の数を、任意の順序で、および／または並列に組み合わせて、前記プロセスまたは代替プロセスを実施することができ、すべてのブロックを実行する必要はない。議論の目的で、前記プロセスは、本明細書の例に記載されている環境、フレームワーク、およびシステムを参照して説明されているが、前記プロセスは、多種多様な他の環境、フレームワーク、およびシステムにおいて実施されてもよい。

図２は、いくつかの実装形態による、車両１０２に含まれ得るデブリ検出および車両制御システム２００の例示的なアーキテクチャを示す。各車両コンピューティングデバイス１１４は、１つまたは複数のプロセッサ２０２、１つまたは複数のコンピュータ可読媒体２０４、および１つまたは複数の通信インターフェース（Ｉ／Ｆ）２０６を含むことができる。いくつかの例では、車両コンピューティングデバイス１１４は、１つまたは複数のＥＣＵ（電子制御ユニット）、または様々な他のタイプのコンピューティングデバイスのいずれかを含むことができる。例えば、コンピューティングデバイス１１４は、ナビゲーション、ブレーキ、ステアリング、加速、減速などのＡＤＡＳおよび／またはＡＤタスクを実行するために重要な車両システムを制御するための１つまたは複数のＡＤＡＳ／ＡＤ ＥＣＵを含むことができる。コンピューティングデバイス１１４はまた、他の車両システムを制御するための他のＥＣＵも含むことができる。

ＥＣＵは、車両内のシステム、サブシステム、または構成要素、のうちの１つまたは複数を制御する、任意の組み込みシステムの総称である。デブリ検出プログラム１１６および車両制御プログラム１１８などのソフトウェアは、１つまたは複数のＥＣＵによって実行されてもよく、ＥＣＵが組み込みシステムとして動作可能なように、それぞれのＥＣＵに関連するコンピュータ可読媒体２０４（例えば、プログラムＲＯＭ）の一部に格納されてもよい。ＥＣＵは、通常、ビークルバスプロトコルにしたがってビークルバス２０８を介して互いに通信することができる。一例として、コントローラエリアネットワークバス（ＣＡＮバス）プロトコルは、ＥＣＵならびに他の車両デバイスおよびシステムがホストコンピュータなしで相互に通信することを可能にするビークルバスプロトコルである。ＣＡＮバスは、少なくとも２つの異なるタイプを含むことができる。例えば、高速ＣＡＮは、バスが環境の端から端まで延びるアプリケーションで使用され得るが、フォールトトレラントＣＡＮは、ノードグループが互いに接続される場合に使用されることが多い。

各ＥＣＵまたは他の車両コンピューティングデバイス１１４は、１つまたは複数のプロセッサ２０２を含むことができ、これには、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイス、のうちの１つまたは複数が含まれ得る。一例として、プロセッサ２０２は、本明細書に記載のアルゴリズムおよび他のプロセスを実行するように特別にプログラムまたは構成された、任意の適切なタイプの１つまたは複数のハードウェアプロセッサおよび／または論理回路を含み得る。プロセッサ２０２は、コンピュータ可読媒体２０４に格納されたコンピュータ可読命令をフェッチして実行するように構成されてもよく、この命令は、本明細書に記載の機能を実行するようにプロセッサ２０２をプログラムすることができる。

コンピュータ可読媒体２０４は、コンピュータ可読命令、データ構造、プログラム、プログラムモジュール、および他のコードまたはデータなどの情報を格納するための任意のタイプの技術で実装された、揮発性および不揮発性メモリ、および／またはリムーバブルおよび非リムーバブル媒体を含むことができる。例えば、コンピュータ可読媒体２０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、光学ストレージ、ソリッドステートストレージ、磁気ディスク、クラウドストレージ、または所望の情報を格納するために使用されコンピューティングデバイスによってアクセスされ得る任意の他の媒体を含むことができるが、これらに限定されない。車両コンピューティングデバイス１１４の構成に応じて、コンピュータ可読媒体２０４は、言及されている場合、非一時的コンピュータ可読媒体からエネルギー、搬送波信号、電磁波、および／または信号自体などの媒体を除外した範囲内において有形の非一時的媒体であってもよい。場合によっては、コンピュータ可読媒体２０４は車両コンピューティングデバイス１１４と同じ場所にあってもよいが、他の例では、コンピュータ可読媒体２０４は車両コンピューティングデバイス１１４から部分的に離れていてもよい。

コンピュータ可読媒体２０４は、プロセッサ２０２によって実行可能な任意の数の機能コンポーネントを格納するために使用され得る。多くの実装形態では、これらの機能コンポーネントは、プロセッサ２０２によって実行可能な命令またはプログラムを含み、これらが実行されると、本明細書では車両コンピューティングデバイス１１４に起因するアクションを行うように、プロセッサ２０２を特別にプログラムする。コンピュータ可読媒体２０４に格納された機能コンポーネントは、デブリ検出プログラム１１６および車両制御プログラム１１８を含むことができ、それらの各々は、１つまたは複数のコンピュータプログラム、アプリケーション、実行可能コード、またはこれらの一部を含むことができる。さらに、この例ではこれらのプログラムが一緒に図示されているが、使用中、これらのプログラムの一部またはすべては、別個の車両コンピューティングデバイス１１４上で実行されてもよい。

さらに、コンピュータ可読媒体２０４は、本明細書に記載の機能とサービスを実行するために使用されるデータ、データ構造、および他の情報を格納することができる。例えば、コンピュータ可読媒体２０４は、デブリ情報２１２、車両データ２１４、画像データ２１６、１つまたは複数の機械学習モデル２１８などを格納することができる。さらに、この例ではこれらのデータおよびデータ構造は一緒に示されているが、使用中、これらのデータおよび／またはデータ構造の一部またはすべては、別個の車両コンピューティングデバイス１１４に格納されてもよい。コンピューティングデバイス１１４はまた、他の機能コンポーネントおよびデータを含むかまたは維持することもでき、これらには、プログラム、ドライバなど、および機能コンポーネントによって使用または生成されるデータが含まれ得る。さらに、コンピューティングデバイス１１４は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、そのうちの上記のものは、本明細書の議論に関連する単なる例示にすぎない。

１つまたは複数の通信インターフェース２０６は、ＣＡＮバス２０８および／または１つまたは複数のネットワーク２２０などを介して様々な他のデバイスとの通信を可能にするための、１つまたは複数のソフトウェアおよびハードウェアコンポーネントを含むことができる。例えば、通信インターフェース２０６は、本明細書の他の箇所にさらに列挙されているように、ＬＡＮ、インターネット、ケーブルネットワーク、セルラネットワーク、無線ネットワーク（例えば、Ｗｉ－Ｆｉ）および有線ネットワーク（例えば、ＣＡＮ、ファイバチャネル、光ファイバ、イーサネット）、直接接続、ならびにＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離通信のうちの１つまたは複数を介した通信を可能にすることができる。

コンピューティングデバイス１１４は、ＣＡＮバス２０８、直接接続、またはカメラシステム１０８から画像データ２１６を受信するための任意の他の種類の接続を介して、カメラシステム１０８と通信することが可能であり得る。例えば、以下で詳細に説明するように、デブリ検出プログラムは、カメラシステム１０８から画像データ２１６を受信することができ、画像内に存在するあらゆるデブリを検出することができる。図２の例では、受信画像情報は、実質的な処理を行わずに生画像データとして受信されてもよい。あるいは、他の例では、例えば図３に関して以下でさらに説明するように、カメラシステム１０８は、生画像データ２１６を車両コンピューティングデバイス１１４へ送信するのではなく、デブリ検出を実行してもよい。

さらに、コンピューティングデバイス１１４は、車両内の他のシステムおよび／または他のセンサから車両データ２１４を受信することができる。例えば、車両は、車両制御プログラム１１８によって使用されるセンサ情報を提供できるカメラシステム１０８に加えて、複数の他のセンサ２２２を含むことができる。他のセンサのいくつかの非網羅的な例には、レーダ、ＬＩＤＡＲ、超音波、全地球測位システム（ＧＰＳ）受信機、および、例えば他の方角に向いている他のカメラなどが含まれ得る。さらに、車両制御プログラム１１８によって使用される車両データ２１４には、例えば、サスペンションシステムに関連するサスペンションコントローラ２２４、ステアリングシステムに関連するステアリングコントローラ２２６、制動および加速システムに関連する車速コントローラ２２８など、様々な車両システムから受信された、またはそれらに関連した情報が含まれ得る。

一例として、２３０に示すように、デブリ検出プログラム１１６は、例えば、車両が動いている間にカメラシステム１０８が車両の走行経路の画像をキャプチャしながら、カメラシステム１０８から画像データ２１６を連続的に受信することができる。さらに、２３２において、デブリ検出プログラム１１６は、受信画像におけるデブリの長さ、幅、高さなどのデブリのサイズ、デブリの位置、表面粗さなどを決定することができる。デブリ検出プログラム１１６は、デブリの検出に応答して１つまたは複数のアクションを取ることができる車両制御プログラム１１８に、サイズ、位置など、任意の検出デブリに関するデブリ情報を提供することができる。

例えば、２３４において、車両制御プログラム１１８は、ルールベースおよび／または人工知能ベースの制御アルゴリズムを使用して、車両制御用のパラメータを決定することができる。例えば、車両制御プログラム１１８は、ブレーキ、ステアリング、減速などの適切なアクションを決定するために、機械学習モデル２１８のうちの１つまたは複数を適用することができる。さらに、２３６に示すように、車両制御プログラム１１８は、検出されたデブリに応答して１つまたは複数の制御信号２３８を１つまたは複数の車両システムに送信することができる。例えば、車両制御プログラム１１８は、サスペンションコントローラ２２４、ステアリングコントローラ２２６、および／または車速コントローラ２２８に、制御信号２３８を送信することができる。例えば、制御信号２３８は、サスペンションコントローラ２２４に送信される特定のばね係数および／または減衰制御情報、ステアリングコントローラ２２６に送られる特定のステアリング角度、および／または車速コントローラ２２８に送信される特定のブレーキ制御情報もしくは減速制御情報を含むことができる。

それに加えて、またはその代わりに、車両が人間運転者の制御下にある場合などにおいて、車両制御プログラム１１８は、制御信号２３８をディスプレイ２４０に送信して、および／または可聴もしくは視覚の警告デバイスなどの１つ以上の警告デバイス２４２に送信して、警報を提示することができる。警告デバイス２４２の例には、可聴警報を生成することができるスピーカ、振動または他の種類の触覚警報を（例えば、シートまたはハンドルにおいて）生成することができる触覚デバイス、および／または視覚警報を生成することができる視覚信号デバイスが含まれる。

さらに、デブリ検出プログラム１１６はまた、デブリ情報２１２を、１つまたは複数のネットワーク２２０を介して１つまたは複数のサービスコンピューティングデバイス２５０に提供するように構成されてもよい。サービスコンピューティングデバイス２５０は、様々な方法で具現化することができる、１つまたは複数のサーバまたは他の種類のコンピューティングデバイスを含むことができる。例えば、サーバの場合、プログラム、他の機能コンポーネント、およびデータは、単一のサーバ、一群のサーバ、サーバファームまたはデータセンタ、クラウドホストコンピューティングサービスなどに実装されてもよいが、他のコンピュータアーキテクチャが追加的または代替的に使用されてもよい。

さらに、図は、サービスコンピューティングデバイス２５０の機能コンポーネントとデータを単一の場所に存在するものとして示しているが、これらのコンポーネントとデータは、代替的に、任意の方法で異なるコンピューティングデバイスおよび異なる場所に分散されてもよい。その結果、機能は、１つまたは複数のサービスコンピューティングデバイスによって実装されてもよく、本明細書に記載の様々な機能は、異なるコンピューティングデバイスにまたがって様々な方法で分散される。複数のサービスコンピューティングデバイス２５０は、一緒にまたは別々に配置されてもよく、例えば、仮想サーバ、サーババンク、および／またはサーバファームとして編成されてもよい。記載されている機能は、単一のエンティティまたは企業のサーバによって提供されてもよいし、または複数の異なるエンティティまたは企業のサーバおよび／またはサービスによって提供されてもよい。

図示の例では、各コンピューティングデバイス２５０は、１つまたは複数のプロセッサ２５２、１つまたは複数のコンピュータ可読媒体２５４、および１つまたは複数の通信インターフェース２５６を含むことができる。各プロセッサ２５２は、単一の処理ユニットまたはいくつかの処理ユニットであってもよく、単一もしくは複数のコンピューティングユニットまたは複数の処理コアを含んでもよい。プロセッサ２５２は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装することができる。例えば、プロセッサ２５２は、本明細書に記載のアルゴリズムおよび他のプロセスを実行するように特別にプログラムまたは構成された、任意の適切なタイプの１つまたは複数のハードウェアプロセッサおよび／または論理回路であり得る。プロセッサ２５２は、コンピュータ可読媒体２５４に格納されたコンピュータ可読命令をフェッチして実行するように構成されてもよく、この命令は、本明細書に記載の機能を実行するようにプロセッサ２５２をプログラムすることができる。

コンピュータ可読媒体２５４は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するための、任意の種類の技術で実装された揮発性および不揮発性メモリおよび／またはリムーバブルおよび非リムーバブル媒体を含むことができる。このようなコンピュータ可読媒体２５４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、光学ストレージ、ソリッドステートストレージ、磁気テープ、磁気ディスクストレージ、ＲＡＩＤストレージシステム、ストレージアレイ、ネットワーク接続型ストレージ、ストレージエリアネットワーク、クラウドストレージ、または所望の情報を格納するために使用されコンピューティングデバイスによってアクセスされ得る任意の他の媒体を含むことができるが、これらに限定されない。サービスコンピューティングデバイス２５０の構成に応じて、コンピュータ可読媒体２５４は、コンピュータ可読記憶媒体の一種であってもよいし、および／または本明細書で言及されている場合、非一時的なコンピュータ可読媒体は、エネルギー、搬送波、電磁波、および信号自体などの媒体を除いた範囲内において有形の非一時的な媒体であってもよい。

コンピュータ可読媒体２５４は、プロセッサ２５２によって実行可能な任意の数の機能コンポーネントを格納するために使用されてもよい。多くの実装形態では、これらの機能コンポーネントは、プロセッサ２５２によって実行可能な命令またはプログラムを含み、これらが実行されると、サービスコンピューティングデバイス２５０に起因するアクションを実行するように、１つまたは複数のプロセッサ２５２を特別にプログラムする。コンピュータ可読媒体２５４に格納された機能コンポーネントは、通信プログラム２５８を含むことができ、通信プログラムを実行することで、サービスコンピューティングデバイス２５０がデブリ情報を受信してデブリ情報データ構造２６０に格納するように構成することができる。加えて、通信プログラム２５８はさらに、サービスコンピューティングデバイス２５２が、デブリ情報データ構造２６０からデブリ情報を検索し、デブリ情報を、デブリが検出された走行経路を走行する別の車両に送信するように構成することができる。

追加的または代替的に、通信プログラム２５８は、デブリ情報データ構造２６０内のデブリ情報を、デブリが識別された道路位置からデブリを除去している道路整備員などに提供することができる。いくつかの例では、サービスコンピューティングデバイス２５０は、同じ走行経路を通過する複数の車両からデブリ情報２１２を受信することができ、複数の車両からのデブリ情報を集約して、検出されたデブリの詳細な位置、ならびに検出されたデブリのサイズおよび形状をより正確に識別することができる。

さらに、コンピュータ可読媒体２５４は、本明細書に記載の動作を実行するために使用されるデータを格納することができる。したがって、コンピュータ可読媒体２５４は、上述のようにデブリ情報データ構造２６０を含むことができる。さらに、コンピューティングデバイス２５０はまた、図２には明確に示されていない他の機能的コンポーネントおよびデータを含むか、または維持することができ、これらには、プログラム、ドライバなど、および機能コンポーネントによって使用または生成されるデータが含まれ得る。加えて、コンピューティングデバイス２５０は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、そのうちの上述したものは、本明細書の議論に関連する単なる例示にすぎない。

さらに、図２は、サービスコンピューティングデバイス２５０のコンポーネントとデータを単一の場所に存在するものとして示しているが、これらのコンポーネントとデータは、代替的に、任意の方法で異なるコンピューティングデバイスおよび異なる場所に分散されてもよい。その結果として、機能は、１つまたは複数のサービスコンピューティングデバイスによって実装されてもよく、上述の様々な機能は、異なるコンピューティングデバイスにまたがって様々な方法で分散される。

通信インターフェース２５６は、例えばネットワーク２２０を介して、様々な他のデバイスとの通信を可能にするための１つまたは複数のインターフェースおよびハードウェアコンポーネントを含むことができる。例えば、通信インターフェース２５６は、本明細書の他の箇所にさらに列挙されているように、１つまたは複数のインターネット、ケーブルネットワーク、セルラネットワーク、無線ネットワーク（例えば、Ｗｉ－Ｆｉ）および有線ネットワーク（例えば、光ファイバおよびイーサネット）を介した通信を可能にすることができ、また、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＢＬＵＥＴＯＯＴＨ（登録商標）ローエナジーなどの近距離通信を可能にすることができる。

１つまたは複数のネットワーク２２０は、任意の適切なネットワークを含むことができ、これには、セルラネットワークなどの無線ネットワーク、インターネットなどの広域ネットワーク、イントラネットなどのローカルエリアネットワーク、Ｗｉ－Ｆｉなどのローカル無線ネットワーク、ＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離無線通信、光ファイバおよびイーサネットを含む有線ネットワーク、これらの任意の組み合わせ、または任意の他の適切な通信ネットワークが含まれ得る。このような通信技術に使用されるコンポーネントは、ネットワークタイプまたは選択された環境またはその両方に、少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルは周知であり、本明細書では詳細に説明しない。

図３は、いくつかの実装形態による、車両１０２に含まれ得るデブリ検出および車両制御システム３００の例示的なアーキテクチャを示す。この例では、カメラシステム１０８は、車両コンピューティングデバイス１１４とは独立してデブリ情報２１２を決定するための処理機能を含むことができる。したがって、カメラシステム１８０は、１つまたは複数のプロセッサ３０２、１つまたは複数のコンピュータ可読媒体３０４、および１つまたは複数の通信インターフェース３０６を含む。１つまたは複数のプロセッサ３０２は、図２に関して上述したプロセッサ２０２、または本明細書に記載の動作を実行するための他の適切なプロセッサであってもよいし、またはこれらを含んでいてもよい。さらに、１つまたは複数のコンピュータ可読媒体３０２は、図２に関して上述したコンピュータ可読媒体２０４、または他の適切なコンピュータ可読媒体であってもよいし、またはこれらを含んでいてもよい。同様に、通信インターフェース３０６は、図２に関して上述した通信インターフェース２０６、または他の適切な通信インターフェースのいずれかであってもよいし、またはこれらを含んでいてもよい。

さらに、カメラシステム１０８は画像キャプチャハードウェア３０８を含み、これには、当技術分野で知られているように、１つまたは複数のレンズ、１つまたは複数の焦点調整システム、および１つまたは複数の画像センサが含まれ得る。この例では、カメラシステム１０８は、１つまたは複数のプロセッサ３０２上でデブリ検出プログラム１１６を実行することができる。したがって、画像キャプチャハードウェア３０８は、カメラシステム１０８の視野内の画像をキャプチャすることができ、キャプチャした画像３１０をコンピュータ可読媒体３０４に格納することができる。

３１４において、デブリ検出プログラム１１６は、キャプチャした画像を画像キャプチャハードウェアから受信する。例えば、デブリ検出プログラム１１６は、画像がキャプチャされると、キャプチャ画像した３１０を画像キャプチャハードウェア３０８から連続的に受信することができる。３１６において、デブリ検出プログラム１１６は、以下でさらに詳細に説明するように、デブリのサイズ、場所、表面粗さなどを決定することができる。次いで、デブリ検出プログラム１１６は、デブリ情報２１２または任意の識別デブリを車両コンピューティングデバイス１１４に送信することができる。次いで、車両制御プログラム１１８は、図２に関して上述したように、および以下でさらに説明するように、車両を制御するためにデブリ情報を処理することができる。さらに、デブリ検出プログラム１１６または車両制御プログラム１１８の少なくとも一方は、デブリ情報データ構造２６０に格納するために、ネットワーク２２０を介してサービスコンピューティングデバイス２５０にデブリ情報２１２を送信することができる。

図４は、いくつかの実装形態による、上述のシステム２００、３００によって実行され得るデブリを検出するためのアルゴリズムを示す例示的なプロセス４００を示すフロー図である。いくつかの例では、プロセス４００は、デブリ検出プログラム１１６を実行することで、上述したシステム２００または３００によって実行され得る。図示の例では、プロセス４００は、入力４０２を受信すること、抽出４０４を実行すること、選択４０６を実行すること、検出４０８を実行すること、トラッキング４１０を実行すること、結果４１２を適用すること、を含む。例えば、最初に、パララックスおよび／または視差が、例えばステレオカメラシステム１０８などによって撮影された画像から、計算され得る。画像内の関心領域（ＲＯＩ）を検出することができ、これには、小さな障害物または他のデブリを含む路面が含まれてもよく、画像からはデブリ候補を抽出することができる。制御決定論理の適用に基づいて、最初に抽出された候補から、有力候補が選択される。選択された有力候補は、有効画素ベースで強弱特徴ベースの分類器を使用して分類することができる。さらに、トラッキング技術を実行して、トラッキングと位置特定の目的で、次の画像フレーム内のデブリ位置を予測する。加えて、プロセス４００の結果は、結果に基づいて少なくとも１つのアクションを実行するためにシステム２００、３００によって使用され得る。

この例では、受信した入力４０２には、上述したカメラシステム１０８から受信した画像、ならびに他の入力が含まれてもよい。入力４０２の例は、カメラシステム１０８から受信することができる左および／または右の画像４１４、車線情報４１６、閾値視差画像４１８、エッジ画像４２０、および車両データ４２２を含み得る。車線情報４１６、閾値視差画像４１８、およびエッジ画像４２０は、以下でさらに説明するように決定され得る。

抽出４０４の間に、左／右の画像４１４および車線情報４１６から関心領域（ＲＯＩ）４２４を決定することができる。さらに、４２６において、プロセスは、関心領域４２４、閾値視差画像４１８、およびエッジ画像４２０に基づいて、デブリと見込まれる候補を抽出することができる。４３０に示すように、選択４０６の間、プロセスは、例えば、幅および高さ制限などの寸法制限に基づいて、候補道路デブリを選択することができる。

検出４０８の間、４３２で示すように、プロセスは、選択された有力候補道路デブリから有効画素を抽出することができ、４３４で、プロセスは、以下でさらに説明するように、強／弱の分類器を使用するなどして、強および／または弱の特徴を抽出することができる。４３６において、プロセスは、例えば有効画素ベースの高さ、幅および距離に基づいて、デブリ寸法を推定することができる。さらに、４３８において、プロセスは、道路平面を推定することができる。４４０において、推定された道路平面４３８および推定されたデブリ寸法に基づいて、プロセスは有効画素を分類することができる。

トラッキング４１０の間、プロセスは、４４２において、分類された有効画素に基づいて、さらに車両データ４２２に基づいて、次のフレーム内のデブリの位置を予測することを含む。さらに、プロセスは、４４４において、次のフレーム内の予測デブリ位置およびエッジ画像４２０に基づいて、予測補正を実行することができる。予測補正に続いて、プロセスは、４４６において、トラッキングデータ構造を照合し更新することができ、４４８において、デブリを決定するために候補をマージすることができる。結果４１２を適用する場合、プロセスは、４５０に示すように、デブリの高さ、幅および距離などの結果を出力することができ、４５２に示すように、結果に基づいて少なくとも１つのアクションを実行することができる。プロセス４００の各ステージ４０２～４１２については、以下でさらに詳しく説明する。

図５は、いくつかの実装形態による、カメラシステム１０８を使用して左右の画像をキャプチャする例５００を示す。この例では、カメラシステム１０８は、例えば右カメラ５０２および左カメラ５０４などの、２つのカメラを含むステレオカメラを含むことができる。左右のカメラ５０２および５０４は、互いに対して固定され、２つの異なる画角で同じシーンを観察するように配置される。したがって、カメラシステム１０８は、左画像５０６および右画像５０８をキャプチャすることができ、これらの各々は、それぞれの画像５０６、５０８内に同じデブリ５１０を含むことができる。さらに、本明細書のいくつかの実施態様ではステレオカメラが使用されているが、他の例では、本明細書の開示の利益を有する当業者には明らかなように、代わりにモノカメラが使用されてもよい。例えば、モノカメラを機械学習モデル２１８のうちの一方と共に使用して、連続画像の受信に基づいて、および／または車両の現在速度の受信に基づいて、カメラからの画像にある任意のポイントの距離を決定することができる。

図６は、いくつかの実施態様による、車線情報、視差画像、およびエッジ画像を決定する例６００を示す。例えば、受信した左右の画像５０６および５０８に基づいて、システムは、デブリ検出プログラム１１６を実行して、線６０４で示すように車線情報を含む車線情報画像６０２などの追加の画像を生成することができる。場合によっては、道路標識、道路エッジ、道路サイズ情報などを使用して、車線情報６０４を決定することができる。

さらに、車線情報に基づいて、破線６０５で示すように、関心領域（ＲＯＩ）６０３を決定することができる。例えば、ＲＯＩ６０３は、カメラからの規定距離に基づいて決定されてもよく、これはデフォルトの距離であってもよい。場合によっては、例えば、車速が増加するにつれて規定距離を拡大させ、車速が減少するにつれて規定距離を縮小させることによって、車両の速度に基づいて規定距離を調整することができる。

場合によっては、ＲＯＩ６０３を検出する場合、道路エッジおよび／または車線マーカ検出は、画像６０２全体のすべての画素行において左右の車線境界を計算するために、受信画像６０２上の数メートルごと、または数十センチメートルごとに、対応する画素行で実行されてもよい。ＲＯＩ６０３の上側境界および下側境界を検出するための規定の範囲距離は、関心領域６０３を決定するための車線情報画像６０２に適用され得る。いくつかの非限定的な例として、ＲＯＩ６０３を指定するために、下方範囲は３～１０メートルであってもよく、上方範囲は３０～５０メートルであってもよいが、一方、左右の境界は車線境界に対応してもよい。ＲＯＩ６０３が決定された後、ＲＯＩ６０３内のデブリ候補が検出され得るが、ＲＯＩ６０３の外側のデブリ候補は無視され得る。特に、いくつかの例では、全体的なプロセスをリアルタイム処理に適合させる助けとするために、入力画像（例えば、エッジ画像、視差マップ画像、および閾値視差画像）を、ＲＯＩに対してのみ処理することができ、したがって、これら画像の他の部分を処理するための余分な時間がかからない。したがって、いくつかの実施態様では、エッジ画像および閾値視差画像の画素は、それらの画素が検出されたＲＯＩ６０３に属する場合にのみ抽出され得る。

さらに、システムは、左右の画像５０６および５０８を使用して、視差マップ画像６０６と呼ばれるパララックス画像を決定することができる。例えば、システムは、ブロックマッチング法に基づいて、２つのステレオ左右画像５０６および５０８を使用して視差マップ画像６０６を計算することができる。一例として、当技術分野で知られているように、左画像５０６内のポイントＰＬ＝（ｕ１、ｖ１）の場合、右画像５０８内の対応するポイントＰＲ＝（ｕ２、ｖ２）は、ＰＬと同じ高さにあってもよく、すなわち、共通のベースラインから測定して、ｖ１＝ｖ２であってもよい。したがって、パララックス測定は、パララックスを以下のように定義することができる単純なステレオカメラ理論を使用して決定することができる。

視差は対応するパララックスに反比例するので、決定されたパララックスに基づいて、本明細書の実施態様は、パララックスから３Ｄポイントの深度情報を決定することによって視差画像６０６を決定することができる。したがって、深度は、例えば、以下のように、左右の画像および実際の視差を使用して計算することができる。

ここで、Ｚはカメラ軸に沿った距離（深度）、ｆは画素単位の焦点距離、ｂはメートル単位のベースライン、ｄは画素単位の視差である。

さらに、エッジ画像６０８は、当技術分野で知られている様々なエッジ検出技術のいずれかを使用して、左または右の画像５０６または５０８の少なくとも一方から決定されてもよい。例えば、この例では、エッジ画像６０８は、右画像５０８から決定されてもよく、右画像５０８内で識別されたエッジを示すことができる。例えば、エッジ画像６０８について決定されたエッジ情報は、以下でさらに説明するように、後続の処理中に視差画像６０６からどれだけのノイズを除去するかを決定するのに役立ち得る。

図７は、いくつかの実施態様による、閾値視差画像７０１を生成するための例示的なプロセス７００を示すフロー図である。いくつかの例では、プロセス７００は、デブリ検出プログラム１１６の実行により、上述したシステム２００または３００によって実行され得る。例えば、図６に関して上述した視差画像６０８を計算した後、システムは、エッジ画像６１０を使用して、無効な視差値を有する画素を視差画像から除去して、閾値視差画像を取得することができる。例えば、エッジ画像６１０内のエッジ情報の量は、視差画像から除去するノイズの量および／または閾値視差画像に含める視差情報の量を制御することができる。

７０２において、システムは、新たに決定されたエッジ画像を受信し、７０４において、システムは、新たに決定された視差画像を受信する。例えば、エッジ画像および視差画像は、図６に関して上述したように決定することができる。

７０６において、システムは、エッジ画像内の各画素について、選択された現画素のエッジ値がエッジ閾値ＥＴＨより大きいかどうかを判定することができる。大きくない場合、プロセスは７０８に進む。大きい場合、プロセスは７１０に進む。一例として、エッジ閾値ＥＴＨは、大型の画像データセットに関する統計分析を使用して導出され得る。例えば、画像データは、異なる路面状況（例えば、アスファルトまたはコンクリートのような異なる路面色）、気象状況、時刻などの様々なシナリオをカバーすることができる。また、エッジ閾値ＥＴＨは、天候や路面状況に基づいて更新されてもよい。

７０８において、画素のエッジ値がエッジ閾値ＥＴＨ以下である場合、システムはその画素の視差値を破棄することができる。

７１０において、画素のエッジ値がエッジ閾値ＥＴＨより大きい場合、システムは、現画素の視差値が視差閾値ＤＴＨより大きいかどうかを判定することができる。一例として、視差閾値ＤＴＨは、大型の画像データセットに関する統計分析を使用して導出され得る。例えば、画像データは、異なる路面状況（例えば、アスファルトまたはコンクリートのような異なる路面色）、気象状況、時刻などの様々なシナリオをカバーすることができる。さらに、視差閾値ＤＴＨは、天候および路面状況に基づいて更新されてもよい。システムは、７０４において受信された視差画像内の対応する画素位置から視差値を決定することができる。画素の視差値が視差閾値ＤＴＨ以下である場合、プロセスは７１６に進む。画素の視差値が視差閾値ＤＴＨより大きい場合、プロセスは７１２に進む。

７１２において、現画素の視差値が視差閾値ＤＴＨより大きい場合、システムは、現画素の画素視差値を一時的なメモリ位置に格納することができる。

７１４において、システムは、現画素の視差値を閾値視差画像７０１に格納することができる。

７１６において、画素の視差値が視差閾値ＤＴＨ以下である場合、システムは、一時的なメモリ位置から、以前に処理した画素（例えば、隣接画素）の以前に格納した画素視差値を検索し、検索した画素視差値を、現画素の視差値の代わりに閾値視差画像７０１に格納することができる。

図８は、いくつかの実施態様による、候補抽出を実行することによってデブリ候補およびノイズを決定する例８００を示す。この例において、ＲＯＩ６０３および閾値視差画像７０１の決定に続いて、本明細書のいくつかの例は、連結成分ラベリング（ＣＣＬ）アルゴリズムを使用して、ＲＯＩ６０３内の閾値視差画像７０１からデブリ候補およびノイズを抽出することができる。例えば、当技術分野で知られているように、ＣＣＬアルゴリズムは、デジタル画像内の連結領域の検出を含むことができる。特に、ＣＣＬアルゴリズムは、例えば明／暗値の差に基づいて、周囲の画素から区別可能な連結画素ブロブを識別し抽出することができる。ＣＣＬアルゴリズムを使用した抽出の結果として、画像８０４の破線円８０２の内側に示すように、候補のデブリおよびノイズがＲＯＩにおいて識別され得る。図９に関して以下で説明するように、抽出されたノイズは、その後、制御決定論理を使用してデブリ候補から分離され得る。

図９は、いくつかの実施態様による、デブリ候補からノイズを分離するための例示的なプロセス９００を示すフロー図である。プロセス９００は、デブリ検出プログラム１１６を実行するシステム２００または３００によって実行されてもよい。

９０２において、システムは、抽出された候補のうちの１つを処理用に選択することができる。例えば、上述したように、ＣＣＬアルゴリズムは、ＲＯＩ６０３内の視差画像７０１から複数のブロブを抽出することができる。抽出されたブロブの各々を処理して、ブロブを廃棄するか、またはデブリ候補としてブロブを保持するかを決定することができる。

９０４において、システムは、ブロブサイズがブロブサイズスペシャルよりも小さいかどうかを判定することができる。例えば、ブロブは、規定のサイズよりも小さいオブジェクトが無視され得るように、例えばセンチメートルのような最小の高さおよび幅の要件を満たす必要があり得る。さらに、ブロブサイズ閾値は、カメラからブロブまでの推定距離に基づいて可変であり得る。例えば、カメラからさらに離れている、例えば４０メートル離れている、と推定されるブロブは、カメラにより近いと推定されるブロブ、例えば２０メートル未満の近さにあるブロブ、よりも小さいブロブサイズ閾値であり得る。ブロブサイズがブロブサイズ閾値よりも小さい場合、プロセスは９０６に進む。小さくない場合、プロセスは９０８に進む。

９０６において、選択された候補が破棄され、プロセスは９１４に進み、すべての候補が処理されたかどうかが判定される。

９０８において、ブロブサイズがブロブサイズ閾値以上である場合、システムは、選択された候補の画素数が最小画素数閾値ＰＣＭＩＮよりも大きく、最大画素数閾値ＰＣＭＡＸよりも小さいかどうかを判定することができる。例えば、ブロブ内の画素数が最小閾値ＰＣＭＩＮ未満である場合、候補ブロブは、小さすぎてデブリとは見なされない可能性がある。さらに、ブロブ内の画素数が最大閾値ＰＣＭＡＸより大きい場合、ブロブがデブリであるとは全く見なされない場合があり、障害物検出アルゴリズムなどに頼ることで、障害物との衝突を回避し得る。したがって、このステップは、大きなノイズ候補と併せて小さなノイズを除去することができる。さらに、説明したブロブサイズ検出ステップ９０４と同様に、画素数閾値は、カメラからのブロブまでの距離に依存し得る。例えば、カメラから遠いブロブは、カメラに近いブロブよりも最小および最大画素数閾値が小さい場合がある。選択された候補が最小画素数閾値と最大画素数閾値との間にある場合、プロセスは９１０に進む。そうでない場合、プロセスは９０６に進み、選択された候補を破棄する。

９１０において、システムは、選択された候補と車線エッジとの間の距離が最小距離ＤＭＩＮ未満であるかどうかを判定することができる。例えば、道路脇の候補は、車両に脅威を与える可能性が低く、したがって無視することができる。候補と車線エッジとの間の距離が最小距離未満である場合、プロセスは９０６に進み、選択された候補を破棄する。未満ではない場合、プロセスは９１２に進む。

９１２において、選択された候補がブロブサイズ閾値を超え、最小画素数と最大画素数との間の画素数を有し、道路エッジからの最小距離よりも大きいと判定されたため、選択された候補が保持される。

９１４において、システムは、すべての候補が処理されているかどうかを判定することができる。処理されていなければ、プロセスは９０２に戻り、次の処理候補を選択する。処理されている場合、残っている候補は、ノイズを除去した後に長方形９１８内の画像９１６に示された３つの候補に対応し得る。さらに、他の例では、プロセス９００のすべてのブロックが実行されるわけではない。例えば、いくつかの例では、リアルタイム処理速度を向上させるために、動作９０４、９０８、または９１０のうち１つしか実行されなくてもよい。

図１０は、いくつかの実施態様による、路面平面を推定するための例示的なプロセス１０００を示すフロー図である。例えば、図５～図９に関して上述したように、１つまたは複数の候補が選択された後、システムは、各候補のデータを分析することができ、デブリと他のすべての候補（路面など）とを区別するために固有の特徴を抽出することができる。その後、各候補は、抽出された特徴に基づいて、デブリまたは非デブリとして分類され得る。検出フェーズは、３つのパート、すなわち、画素検証、特徴抽出、および強／弱特徴ベース分類器を使用した分類、に分割することができる。

しかしながら、画素検証および他の検出動作が実行される前に、本明細書の実装形態は、路面平面推定を実行して道路平面を推定し、上述した視差マップ画像を使用して各画素のＸ、Ｙ、Ｚ（実際の座標値）を計算することができる。各候補は個別に検討されてもよく、すべての画素はＵＶ座標空間から地上空間（ＸＹＺ）座標に変換されてもよい。次いで、システムは、デブリ候補ごとに別々に路面平面を推定し、推定された路面平面に対してＸ、Ｙ、Ｚを計算することができる。

１００２において、システムは、道路平面推定のための候補の１つを選択することができる。

１００４において、システムは、すべての画素をＵＶ座標空間から地上空間座標、例えばＸＹＺ座標、に変換することができる。

１００６において、システムは、選択された候補ごとに別々に路面平面を推定することができる。

１００８において、システムは、路面を計算するときに、選択された候補画素を無視しながら、路面のＸ、Ｙ、Ｚを計算することができる。

１０１０において、システムは、すべての候補が処理されたかどうかを判定することができる。処理されている場合、プロセスは１０１２に進むことができる。処理されていなければ、プロセスは１００２に戻り、次の処理候補を選択する。

１０１２において、すべての候補が処理された場合、システムは、以下にさらに説明するように、画素検証プロセスを進めることができる。

図１１は、いくつかの実施態様による、画素検証の例示的なプロセス１１００を示すフロー図である。この例では、Ｘ、Ｙ、Ｚ値を計算した後、現在のシーンにおける画素の幾何学的特性を使用して、各画素有効性の有効性を決定することができる。このプロセスではまた、セグメント化された候補領域を再定義して、小さな障害物または他のデブリの正確な形状と寸法の管理を抽出することができる。また、抽出された候補を０または１の値で表し、デブリ候補に属する画素と、路面などの周辺領域の画素とを区別することができる。

１１０２において、システムは、画素ごと候補ごとに、推定済み３Ｄデータを有する候補を選択することができる。

１１０４において、システムは、下り勾配、上り勾配、または高さ変位のうちの少なくとも１つのステップサイズを計算することができる。

１１０６において、システムは、下り勾配ＳＤを計算することができる。

１１０８において、システムは、上り勾配ＳＵを計算することができる。

１１１０において、システムは、高さ変位Ｈを計算することができる。

１０１２において、システムは、下り勾配ＳＤが上り勾配ＳＵよりも大きいかどうかを判定することができる。大きい場合、プロセスは１１１４に進む。大きくない場合、プロセスは１１１６に進む。

１１１４において、下り勾配が上り勾配よりも大きい場合、システムは、下り勾配ＳＤと等しい勾配を設定する。

１１１６において、下り勾配が上り勾配よりも大きくない場合、システムは、上り勾配ＳＵと等しい勾配を設定する。

１１１８において、システムは、勾配Ｓが第１閾値よりも大きいかどうかを判定する。大きい場合、プロセスは１１２０に進む。大きくない場合、プロセスは１１２２に進む。

１１２０において、勾配が第１閾値よりも大きいとき、システムは、高さ変位が第２閾値よりも大きいかどうかを判定する。大きい場合、画素は有効であり、プロセスは１１２４に進む。大きくない場合、画素は無効であり、プロセスは１１２６に進む。

１１２２において、勾配が第１閾値よりも大きくないとき、システムは、高さ変位が第３閾値よりも大きいかどうかを判定する。大きい場合、画素は有効であり、プロセスは１１２４に進む。大きくない場合、画素は無効であり、プロセスは１１２６に進む。

１１２４において、画素は有効であると判定されている。したがって、システムは、画素を有効な画素として保持することができる。

１１２６において、画素は無効であると判定されている。したがって、システムは、デブリ画像の一部としての画素を含んでいない。

したがって、従来のデブリ検出とは異なり、本明細書の実施態様は、最大勾配、平均勾配などの検出されたデブリの勾配を考慮して、デブリを検出するための検出距離を増加させることができる。さらに、画素検証アルゴリズムで使用するための上記の第１、第２、第３の閾値は、カメラシステムによってキャプチャされた既知のデブリのデータで訓練された１つまたは複数のモデルを使用する統計分析に基づいて、または様々な他の経験的技術のいずれかによって、決定され得る。

図１２は、いくつかの実装形態による、行列形式の選択された候補の一例を示す。例えば図９に関して上述したように、以前に決定された画像９１６からの候補１２０２のうちの１つが画素検証のために選択されていると仮定する。選択された候補１２０２は、周囲領域と共に行列１２０４で表され、行列内の各数字は、デブリ候補に属する画素と隣接領域に属する画素とを区別するために０または１の値を有する画素を表す。特に、この例では、１は、デブリ候補１２０２に対応し得る白色領域に属する画素を示し、一方、０を有する画素は、路面などに属し得るような白色領域に隣接する領域に対応し得る。したがって、候補１２０２は、破線１２０６で囲まれた行列１２０４内の領域によって表される。

図１３は、いくつかの実装形態による、行列形式の３Ｄマップとして、図１２の選択済み候補１２０２の一例１３００を示す。この例では、図１２の選択された候補１２０２は、Ｘ、Ｙ、Ｚ値を有する３Ｄマップを提供する複数の行列１３０２、１３０４、１３０６によって表されてもよく、すなわち、行列１３０２はＸＹＺ座標系のＸ軸を表すことができ、行列１３０４はＹ軸を表すことができ、行列１３０６はＺ軸を表すことができる。一例として、Ｘ座標は横方向位置（右または左）情報を提供することができ、Ｙ座標は高さ情報を提供することができ、Ｚ座標は（例えば、進行方向の）距離情報を提供することができる。

視差マップと座標変換行列を用いて、画素毎にＸ、Ｙ、Ｚの値を算出する。例えば、各画素をｕ－ｖ座標の画像平面からＸＹＺ座標の実世界３Ｄ平面に変換することができる。これらのＸ、Ｙ、Ｚ値を使用して、道路平面の推定を実行することができ、道路が平坦であるか勾配があるか（例えば、正の勾配または負の勾配）などに関する詳細な情報を提供する。道路平面を推定した後、推定した路面平面に基づいてＹ座標（すなわち、高さ情報）を更新することができる。Ｘ、Ｙ、Ｚ値を使用して、上り／下りの高さおよび勾配を推定することができる。ＸＹＺ値を行列形式で配置して、行列１３０２、１３０４、１３０６を提供することができる。

破線１３０８は、上り／下り計算に使用され得るＸＹＺ情報を示す。図１２に関して上述した選択済み候補１２０２は、例えば、それぞれの行列１３０２、１３０４、１３０６上の破線領域１３０８に対応し得る。例えば、３Ｄマップは、画素ごとに視差画像を用いて推定された、上り勾配、下り勾配、上り勾配高さ、および下り勾配高さを表すことができる。

図１４は、いくつかの実装形態による、ステップサイズ選択の一例１４００を示す。この例では、選択された候補は、図１２に関して上述したように行列１２０４に表される。前の画素（ｎ－１）から現在の画素（ｎ）までと、現在から次の画素（ｎ＋１）までとの間のステップサイズは、カメラパラメータと車両からの現候補の距離とに基づいて、動的に推定することができる。例えば、行列１２０４の破線１４０２で示される領域１４０２では、ステップサイズ選択は１である。

現在選択している画素が行列１２０４の（４，４）にあると仮定する。ステップサイズが１の場合、前の画素（ｎ－１）は（３，４）に位置し、次の画素（ｎ＋１）は（５，４）に位置する。あるいは、１４０４に示すように、前の画素（ｎ－１）が（２，４）に位置し、次の画素（ｎ＋１）が（６，４）に位置する場合、ステップサイズ２を使用することができる。

図１５は、いくつかの実装形態による、上り勾配および下り勾配を推定する例１５００を示す。この例では、１５０２に示すように、デブリ候補１２０２の表面の上り勾配は、カメラ１５０４によってキャプチャされたときに、画素ごとに決定され得る。例えば、現在の画素がＰ１であると仮定すると、図１４に関して上述したように、次行の画素はＰ２’であり、前行の画素はＰ２”である。この例では、上り勾配ＳＵは、以下の式を使用して決定され得る。

同様に、１５０６に示すように、デブリ候補１２０２の表面の下り勾配も決定することができる。この例では、現在の画素がＰ１であると仮定すると、図１４に関して上述したように、次行の画素はＰ２’であり、前行の画素はＰ２”である。したがって、下り勾配ＳＤは、以下の式を使用して決定され得る。

さらに、上りの高さＨＤおよび下りの高さＨＵは、以下の式に基づいて画素ごとに決定され得る。

図１６は、いくつかの実装形態による、画素検証の前後の選択済み候補のマスク行列の一例１６００を示す。選択済み候補の画素ごとに上り勾配、下り勾配および高さを計算した後、各画素を閾値と比較することができる。一例として、閾値は、統計分析または経験的技術を使用して選択されてもよい。この出力に基づいて、各画素を有効または無効として分類することができ、その分類をその後の特徴抽出に使用することができる。画素が有効か無効であるか判定されたことに基づいて、候補マスクを行列１２０４内で更新することができる。

この例では、元の候補マスク１６０２が行列１２０４の上側の例に示され、更新された候補マスク１６０４が行列１２０４の下側の例に示されている。元の候補マスク１６０２では、元の候補内の画素は、行列１２０４の行４、５、６の部分を占有した。画素検証の後、行６の画素はすべて無効である、すなわちデブリ候補に含まれない、と判定されたが一方、１６０６の行３の複数画素および行４の１つの画素（斜線アミで表示）はデブリ候補に含まれると判定された。さらに、矢印１６０８によって示すように、行４と５のいくつかの元の画素が有効であると判定された。

図１７は、いくつかの実装形態による、特徴および対応する特徴強度を含む例示的なデータ構造１７００を示す。例えば、上述のようにデブリ候補の画素を検証した後、特徴を抽出し、候補をデブリとして、またはデブリではないとして、正確に分類するために使用することができる。本明細書の例では、様々な異なる特徴を使用して、デブリと、車道またはデブリではない様々な他の画像異常と、を区別することができる。データ構造１７００は、特徴１７０２、各特徴に対応する閾値１７０４、各特徴の偽陽性率１７０６、および各特徴の真陽性率１７０８を含む。

この例では、候補をデブリに分類するのに役立つ５つの主な特徴が指定されているが、他の例では、追加のまたは代替の特徴が使用されてもよい。この例の特徴は、デブリ候補の平均高さ１７１０、デブリ候補の最大高さ１７１２、デブリ候補の平均勾配１７１４、デブリ候補の最大勾配１７１６、および勾配＞５などの画素割合に対応し得るピーク勾配割合１７１８を含む。したがって、本明細書の実施態様は、２つの高さベースの特徴および３つの勾配ベースの特徴を使用することができる。

場合によっては、閾値１７０４は、大型の画像データセットに関する統計分析を使用して決定され得る。例えば、画像データは、異なる路面状況（例えば、アスファルトまたはコンクリートのような路面色）、気象状況、時刻などの様々なシナリオをカバーすることができる。したがって、閾値１７０４は、天候および路面状況に基づいて更新されてもよい。

さらに、各特徴の偽陽性率１７０６および真陽性率１７０８は、高さベースの特徴が勾配ベースの特徴よりも正確である傾向があることを示す。したがって、高さベースの特徴１７１０および１７１２は、強特徴１７２０であると考えられ、勾配ベースの特徴１７１４、１７１６、１７１８は、弱特徴１７２２であると考えられる。例えば、強特徴１７２０は、重み乗数を減らして偽陽性を低減し、それによって検出精度を改善することができる。さらに、弱特徴１７２２は、重み乗数を増やすのに役立ち、それによって検出距離を改善することができる。

図１８は、いくつかの実装形態による、図１７に関して上述した、デブリ検出と特徴に関する路面偽陽性との対比の一例を示す。例えば、候補をデブリとして、またはデブリではないとして、分類するのに使用される特徴を候補ごとに抽出することができる。各特徴は、路面とデブリの区別を実現することができる。各特徴を他の特徴と比較して解析することができる。ノイズ／偽陽性に対する分離および免除に基づいて、図１７に関して上述したように、特徴は、強特徴と弱特徴とに分類される。図１８は、真陽性検出の総数とその特徴の偽陽性の総数との対比を含む各特徴の比較を示す。例えば、従来の技術は、画像の分析を実行するために画像内のすべての画素を使用することができるが、本明細書の実施態様は、まず使用する画素を検証し、検証した画素のみを、その後の特徴抽出および分類に使用することができ、これにより、検出したデブリについて有効な平均高さ、有効な最大高さ、有効な距離、および有効な幅情報を提供することができる。

図１８の例では、平均高さには、１８０２で示されるように多数の真陽性結果が有り、偽陽性結果は無いことが示されている。同様に、最大高さには、多数の真陽性結果１８０２、および道路の一部がデブリとして誤って識別された２つの偽陽性結果１８０４があることが示されている。さらに、最大勾配特徴を有する画素の割合には、４つの偽陽性結果１８０４があることが示され、平均勾配特徴には、２つの偽陽性結果１８０４があることが示され、最大勾配特徴には、３つの偽陽性結果１８０４があることが示されている。さらに、１８０６、１８０８、１８１０に示すように、３つの勾配ベースの特徴の偽陽性結果１８０４のいくつかは、同じデブリ候補に対して発生し、結果的にその特定のデブリ候補に対して共通の偽陽性をもたらした。

図１９は、いくつかの実装形態による、例示的な強特徴分類器アルゴリズム１９００を示す。例えば、強分類器アルゴリズム１９００は、図１～図３に関して上述したように、システム２００または３００上のデブリ検出プログラムによって実行され得る。例えば、選択された候補からすべての特徴が抽出された後、特徴は、図２０に関して以下でさらに説明するように、最初に強特徴分類器アルゴリズム１９００に適用され、次いで弱分類器子アルゴリズムに適用される。強特徴分類器および弱特徴分類器の組み合わせを使用して、デブリ候補を、高精度で、デブリとして分類することもできるし、デブリとして分類しないこともできる。以下の動作では、一例として、重み（例えば、Ｗ１、Ｗ２、Ｗ３、Ｗ４）は、それぞれの特徴の真陽性率に少なくとも部分的に基づいて決定されてもよく、閾値は、例えば、図１７に関して上述したように決定されてもよい。

１９０２において、システムは、強特徴を処理するための候補を受信する。

１９０４において、システムは、平均高さが平均高さ閾値よりも大きいかどうかを判定する。大きい場合、プロセスは１９１０に進む。大きくない場合、プロセスは１９０８に進む。

１９０６において、システムはまた、候補に関連付けられた最大高さが最大高さ閾値よりも大きいかどうかを判定する。大きい場合、プロセスは１９１０に進む。大きくない場合、プロセスは１９０８に進む。

１９０８において、受信した候補の平均高さが平均高さ閾値以下である場合、または受信した候補の最大高さが最大高さ閾値以下である場合、受信した候補はデブリではないと分類され、システムは別の候補に対してアルゴリズム１９００を開始することができる。

１９１０において、システムは、平均高さが第１閾値よりも大きいかどうか、最大高さが第２閾値よりも大きいかどうかを判定することができ、大きい場合、プロセスは１９１２に進む。大きくない場合、プロセスは１９１４に進む。

１９１２において、１９１０での条件が満たされた場合、システムは、重みＷＧを第１重みＷ１に等しく設定することができ、ブロック１９２４に進むことができる。

１９１４において、システムは、平均高さが第３閾値よりも大きいかどうか、最大高さが第４閾値よりも大きいかどうかを判定することができる。大きい場合、プロセスは１９１６に進む。大きくない場合、プロセスは１９１８に進む。

１９１６において、１９１４での条件が満たされた場合、システムは、重みＷＧを第２重みＷ２に等しく設定することができ、ブロック１９２４に進むことができる。

１９１８において、システムは、平均高さが第３閾値よりも大きいかどうか、最大高さが第５閾値よりも大きいかどうかを判定することができる。大きい場合、プロセスは１９２０に進む。大きくない場合、プロセスは１９２２に進む。

１９２０において、１９１８での条件が満たされた場合、システムは、重みＷＧを第３重みＷ３に等しく設定することができ、ブロック１９２４に進むことができる。

１９２２において、ブロック１９１８の条件が満たされない場合、システムは、重みＷＧを第４重みＷ４に等しく設定することができ、これはデフォルトの重み値でもあり得る。

１９２４において、システムは、選択された候補をさらに処理するために、重みＷＧを弱特徴分類器に送信することができる。

図２０は、いくつかの実装形態による、実行され得る弱分類器アルゴリズム２０００の一例を示す。例えば、弱分類器アルゴリズム２０００は、例えば、図１～図３に関して上述したように、デブリ検出プログラム１１６によって実行され得る。この例では、候補が路面候補の大部分を除去する強特徴分類器１９００を通過した後、強特徴アルゴリズム１９００によって決定された候補および対応する重みＷＧは、弱特徴アルゴリズム２０００によって受信され得る。例えば、強特徴に基づいて、重みＷＧが計算されてもよく、弱特徴の乗数として使用されてもよい。以下でさらに説明するように、弱特徴のいくつかまたはすべてからトータルの総計重みを合計し、候補をデブリとしてまたはデブリではないとして最終的に分類するために、１つまたは複数の閾値と比較することができる。以下の動作では、一例として、重み（例えば、第１重み、第２重み、第３重み）は、それぞれの特徴の真陽性率に少なくとも部分的に基づいて決定されてもよく、各閾値は、例えば、図１７に関して上述したように決定されてもよい。上述したように、閾値は、天候、路面状況などに基づいて変化し得る。

２００２において、弱特徴分類器アルゴリズム２０００を実行するシステムは、図１９に関して上述した強特徴分類器アルゴリズム１９００から、重みＷＧおよび関連する候補の表示を受信する。

２００４において、システムは、平均勾配にＷＧを乗算したものが平均勾配閾値より大きいかどうかを判定する。大きい場合、プロセスは２００６に進む。大きくない場合、プロセスは２００７に進む。

２００６において、２００４での条件が満たされると、システムは、ブロック２０１６に、重みＷＧと平均勾配特徴に関連付けられた別の重みとの積であり得る第１Ｗｔを（例えば、平均勾配特徴の真陽性率に少なくとも部分的に基づいて）提供する。

２００７において、２００４での条件が満たされないとき、システムは、第１Ｗｔを０に等しく設定し、この値をブロック２０１６に提供する。

２００８において、システムは、最大勾配に重みＷＧを乗算したものが最大勾配閾値より大きいかどうかを判定することができる。大きい場合、プロセスは２０１０に進む。大きくない場合、プロセスは２０１１に進む。

２０１０において、２００８での条件が満たされると、システムは第２Ｗｔをブロック２０１６に提供する。例えば、第２Ｗｔは、（例えば、最大勾配特徴の真の陽性率に少なくとも部分的に基づいて）重みＷＧと最大勾配特徴に関連する重みとの積であってもよい。

２０１１において、２００８での条件が満たされないとき、システムは、第２Ｗｔを０に等しく設定し、この値をブロック２０１６に提供する。

２０１２において、システムは、ピーク勾配割合に重みＷＧを乗算したものが、ピーク勾配割合閾値より大きいかどうかを判定する。大きい場合、プロセスは２０１４に進む。大きくない場合、プロセスは２０１５に進む。

２０１４において、２０１２での条件が満たされると、システムは第３Ｗｔを２０１６のブロックに提供する。例えば、第３Ｗｔは、重みＷＧにピーク勾配割合に関連する重みを（例えば、最大勾配特徴の真陽性率に少なくとも部分的に基づいて）乗算したものであってもよい。

２０１５において、２０１２での条件が満たされないとき、システムは、第３Ｗｔを０に等しく設定し、この値をブロック２０１６に提供する。

２０１６において、システムは、ブロック２００４、２００８、２０１２で行われた決定にそれぞれ基づいて、受信した第１Ｗｔ、第２Ｗｔ、第３Ｗｔを合計することによって総計重みを決定する。

２０１８において、システムは、総計重みが総計重み閾値より大きいかどうかを判定する。大きくない場合、プロセスは２０２０に進む。大きい場合、プロセスは２０２２に進む。

２０２０において、総計重みが総計重み閾値未満である場合、候補はデブリなしとして分類される。

２０２２において、総計重みが総計重み閾値を超えた場合、候補はデブリとして分類される。

１つまたは複数の候補が検出され、デブリとして分類された後、残りのフレームについてデブリがトラッキングされてもよく、対応する寸法情報が表示されるか、そうでなければ出力に関連付けられてもよい。一例として、識別されたデブリを含み、さらにデブリのサイズおよび距離情報を含む画像は、デブリの強調表示、警告信号の鳴動などを含めて、ディスプレイ上で車両の運転者に提示される道路の画像内に提示されてもよい。あるいは、ＡＤまたはＡＤＡＳ車両の場合、例えば図１～図４に関して上述したように、デブリ位置およびサイズ情報が車両制御プログラム１１８に提供され得る。車両速度、デブリの位置およびサイズ、ならびに他の条件に基づいて、システムは、デブリを回避するために１つまたは複数の車両システムに送信する１つまたは複数の制御信号を決定することができる。

さらに、図１～図３に関して上述したように、デブリに関する位置、サイズおよび他の情報は、デブリ情報データ構造に格納するためにクラウドサーバまたは他のネットワークコンピュータデバイスにアップロードされてもよい。クラウド上のデブリ情報は、ネットワークコンピューティングデバイスで維持されるデブリ情報の精度を向上させるために、他の車両から受信した他のデブリ情報と集約されてもよい。さらに、他の車両は、リアルタイムでデブリ情報を受信することができ、受信したデブリ情報に基づいてデブリを回避することができる。さらに、車両または運転者によって計画されたすべてのルートについて、サービスコンピューティングデバイスは、特定された位置において車両走行経路内にデブリが残っていると判定している間に、デブリに関連する情報、デブリの位置、デブリのサイズ、優先ルート、および他の情報を提供することができる。

本明細書に記載の例示的なプロセスは、単に議論の目的で提供するプロセス例にすぎない。本明細書の開示に照らすと、当業者には、多数の他の変形形態が明らかであろう。さらに、本明細書の開示は、プロセスを実行するための適切なフレームワーク、アーキテクチャ、および環境のいくつかの例を記載しているが、本明細書の実装形態は、図示および説明された特定の例に限定されない。さらに、本開示は、記載されるように、また図面に示されるように、様々な例示的な実施態様を提供する。しかしながら、本開示は、本明細書に記載および図示された実施態様に限定されず、当業者に知られているように、または当業者に知られることになるように、他の実施態様に拡張することができる。

本明細書で説明される様々な命令、プロセス、および技術は、例えば、コンピュータ可読媒体に格納され、本明細書のプロセッサによって実行されるコンピュータプログラムおよびアプリケーションといった、コンピュータ実行可能命令の一般的な文脈で考慮され得る。一般に、プログラムおよびアプリケーションという用語は同義で使用されてもよく、特定のタスクを実行するため、または特定のデータタイプを実装するための、命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行可能コードなどを含んでもよい。これらのプログラム、アプリケーションなどは、ネイティブコードとして実行されてもよいし、仮想マシンまたは他のジャストインタイムコンパイル実行環境などで、ダウンロードおよび実行されてもよい。典型的には、プログラムおよびアプリケーションの機能は、様々な実施態様において所望に応じて組み合わされてもよいし、または分散されてもよい。これらのプログラム、アプリケーション、および技術の実装は、コンピュータ記憶媒体に格納されてもよいし、または何らかの形態の通信媒体を介して送信されてもよい。

主題は、構造的特徴および／または方法論的行為に特有の言語で記載されているが、添付の特許請求の範囲で定義される主題は、記載された特定の特徴または行為に必ずしも限定されないことを理解されたい。むしろ、特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。

Claims (20)

1. システムであって、
   １つ以上のプロセッサと、
   実行可能命令を含む１つまたは複数の非一時的コンピュータ可読媒体であって、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
   道路の少なくとも１つの画像を受信することと、
   前記道路上のデブリに対応する可能性があるものとして前記画像内の画素の少なくとも１つの候補画素グループを決定することと、
   前記候補画素グループのための少なくとも２つの高さベースの特徴を決定することであって、前記少なくとも２つの高さベースの特徴は、前記道路の表面に対して前記候補画素グループに関連付けられた最大高さと、前記道路の表面に対して前記候補画素グループに関連付けられた平均高さとを含む、決定することと、
   前記少なくとも２つの高さベースの特徴をそれぞれの閾値と比較することに基づいて、少なくとも１つの重み係数を決定することと、
   前記候補画素グループと関連付けられた１つまたは複数の勾配ベースの特徴を決定することと、
   総計重みを決定するために、前記少なくとも１つの重み係数を、前記１つまたは複数の勾配ベースの特徴のうちの少なくとも１つに関連付けられた少なくとも１つの重みに適用することと、
   前記総計重みに少なくとも基づいて、前記候補画素グループがデブリに対応するかどうかを判定することと、
   を含む動作を行わせる非一時的コンピュータ可読媒体とを含むシステム。
2. 前記動作がさらに、少なくとも前記候補画素グループ内の個々の画素が前記道路の表面を表すかどうかの判定に基づいて、前記候補画素グループ内の前記画素の有効性を判定することを含む、請求項１に記載のシステム。
3. 前記画素の前記有効性の判定がさらに、前記画素のグループ内の前記個々の画素について、
   隣接する画素に対して個々の画素に関連付けられた上り勾配、
   前記隣接する画素に対して前記個々の画素に関連付けられた下り勾配、または、
   隣接する画素に対して前記個々の画素に関連付けられた高さ、
   のうち少なくとも１つを決定することに基づく、請求項２に記載のシステム。
4. 前記動作がさらに、前記候補画素グループ内の前記画素の有効性を判定する前に、道路表面の道路平面推定を決定することを含む、請求項２に記載のシステム。
5. 前記動作がさらに、
   前記画像から決定された車線情報に少なくとも部分的に基づいて、前記画像内の関心領域を決定することと、
   前記少なくとも１つの候補画素グループが前記関心領域内に位置することを少なくとも決定することに基づいて、前記画像内の前記少なくとも１つの候補画素グループを決定することと、
   を含む請求項１に記載のシステム。
6. ステレオカメラから２つの画像が受信されると、前記動作がさらに、
   前記受信画像から視差画像を決定することと、
   前記受信画像のうちの少なくとも１つのエッジ情報を決定することと、
   前記視差画像と前記エッジ情報とに基づいて、修正された視差画像を決定することと、
   前記修正された視差画像から前記少なくとも１つの候補画素グループを決定することと、
   を含む請求項１に記載のシステム。
7. 前記１つまたは複数の勾配ベースの特徴は、少なくとも、
   隣接画素に対して個々の画素に関連付けられた平均勾配、
   個々の画素に関連付けられた最大勾配、または
   規定値を超える勾配に関連付けられた前記候補画素グループ内の画素の割合、
   のうちの１つを含む請求項１に記載のシステム。
8. 前記動作がさらに、前記候補画素グループがデブリに対応するという判定に基づいて少なくとも１つの制御信号を送信することを含み、前記少なくとも１つの制御信号は、
   車両に前記デブリを回避させるように前記車両を制御するための命令と、
   警報を発生させる命令と、
   前記デブリに関する情報をディスプレイに表示させる命令と、
   のうち少なくとも１つを含む請求項１に記載のシステム。
9. 前記動作がさらに、
   前記候補画素グループがデブリに対応するという判定に基づいて、前記デブリに関連するデブリ情報をネットワークを介してコンピューティングデバイスに送信して、前記コンピューティングデバイスに、少なくとも部分的に前記デブリ情報をデータ構造に格納させることと、
   前記コンピューティングデバイスから追加のデブリ情報を受信することであって、前記デブリ情報が別の道路における追加のデブリの位置を示す、受信することと、
   少なくとも前記追加のデブリ情報に基づいて、目的地までのルートを決定することと、を含む請求項１に記載のシステム。
10. 方法であって、
    １つまたは複数のプロセッサによって、道路の少なくとも１つの画像を受信することと、
    前記道路上のデブリに対応する可能性のあるものとして前記画像内の画素の少なくとも１つの候補画素グループを決定することと、
    前記候補画素グループに対して少なくとも２つの高さベースの特徴を決定することであって、前記少なくとも２つの高さベースの特徴は、前記道路の表面に対して前記候補画素グループに関連付けられた最大高さと、前記道路の表面に対して前記候補画素グループに関連付けられた平均高さとを含む、決定することと、
    前記少なくとも２つの高さベースの特徴をそれぞれの閾値と比較することに基づいて、少なくとも１つの重み係数を決定することと、
    少なくとも前記比較することに基づいて、前記候補画素グループがデブリに対応するかどうかを判定することと、
    を含む方法。
11. 前記方法がさらに、候補画素グループに関連付けられた１つまたは複数の勾配ベースの特徴を決定することを含み、前記１つまたは複数の勾配ベースの特徴は、
    隣接画素に対して個々の画素に関連付けられた平均勾配、
    個々の画素に関連付けられた最大勾配、または、
    規定値を超える勾配に関連付けられた前記候補画素グループ内の画素の割合、
    のうちの少なくとも１つを含む請求項１０に記載の方法。
12. 前記方法がさらに、
    前記少なくとも２つの高さベースの特徴をそれぞれの閾値と比較することに基づいて、少なくとも１つの重み係数を決定することと、
    総計重みを決定するために、前記少なくとも１つの重み係数を、前記１つまたは複数の勾配ベースの特徴のうちの少なくとも１つに関連付けられた少なくとも１つの重みに適用することと、
    前記総計重みに少なくとも基づいて、前記候補画素グループがデブリに対応するかどうかを判定することと、
    を含む請求項１１に記載の方法。
13. 前記方法がさらに、少なくとも前記候補画素グループ内の個々の画素が前記道路の表面を表すかどうかという判定に基づいて、前記候補画素グループ内の前記画素の有効性を判定することを含む、請求項１０に記載の方法。
14. さらに、前記画像から決定された車線情報に少なくとも部分的に基づいて前記画像内の関心領域を決定することと、
    前記少なくとも１つの候補画素グループが前記関心領域内に位置することを決定することに少なくとも基づいて、前記画像内の前記少なくとも１つの候補画素グループを決定することと、
    を含む請求項１０に記載の方法。
15. ステレオカメラから２つの画像が受信されると、さらに、
    受信した画像から視差画像を決定することと、
    受信した画像のうちの少なくとも１つのエッジ情報を決定することと、
    前記視差画像と前記エッジ情報とに基づいて、修正された視差画像を決定することと、
    前記修正された視差画像から前記少なくとも１つの候補画素グループを決定することと、
    を含む請求項１０に記載の方法。
16. システムであって、
    １つ以上のプロセッサと、
    実行可能命令を含む１つまたは複数の非一時的コンピュータ可読媒体であって、前記１つまたは複数のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    車両が走行する道路の少なくとも１つの画像を受信することと、
    前記道路上のデブリに対応する可能性があるものとして前記画像内の画素の少なくとも１つの候補画素グループを決定することと、
    前記候補画素グループに関連付けられた複数の勾配ベースの特徴を決定することであって、前記勾配ベースの特徴は、
    隣接する画素に対して個々の画素に関連付けられた平均勾配、
    前記個々の画素に関連付けられた最大勾配、または
    規定値を超える勾配に関連付けられた候補画素グループ内の画素の割合のうちの少なくとも１つを含む、決定することと、
    総計重みを決定するために、前記複数の勾配ベースの特徴のうちの少なくとも１つに関連する少なくとも１つの重みに少なくとも１つの重み係数を適用することと、
    少なくとも前記総計重みに基づいて、前記候補画素グループがデブリに対応するかどうかを判定することと、
    を含む動作を行わせる非一時的コンピュータ可読媒体を含むシステム。
17. 前記動作がさらに、少なくとも前記候補画素グループ内の個々の画素が前記道路の表面を表すかどうかを判定することに基づいて、前記候補画素グループ内の前記画素の有効性を判定することを含む、請求項１６に記載のシステム。
18. 前記動作がさらに、
    前記候補画素グループについての１つまたは複数の高さベースの特徴を決定することであって、前記１つまたは複数の高さベースの特徴は、
    前記道路の表面に対して前記候補画素グループに関連付けられた最大高さ、または
    前記道路の表面に対して前記候補画素グループに関連付けられた平均高さ、のうちの少なくとも１つを含む、決定することと、
    前記高さベースの特徴のうちの少なくとも１つを閾値と比較することに基づいて、前記少なくとも１つの重み係数を決定することと、
    を含む請求項１６に記載のシステム。
19. 前記動作がさらに、
    前記画像から決定された車線情報に少なくとも部分的に基づいて、前記画像内の関心領域を決定することと、
    前記少なくとも１つの候補画素グループが前記関心領域内に位置することを決定することに少なくとも基づいて、前記画像内の前記少なくとも１つの候補画素グループを決定することと、
    を含む請求項１６に記載のシステム。
20. ステレオカメラから２つの画像が受信されると、前記動作がさらに、
    受信した画像から視差画像を決定することと、
    受信した画像のうちの少なくとも１つに関するエッジ情報を決定することと、
    前記視差画像と前記エッジ情報とに基づいて、修正された視差画像を決定することと、
    前記修正された視差画像から前記少なくとも１つの候補画素グループを決定することと、
    を含む請求項１６に記載のシステム。

Images