JP2021098492A - 衝突検出方法、装置、電子デバイス、記憶媒体、及びプログラム - Google Patents

Abstract

【課題】自動運転分野に関し、衝突検出方法、装置、電子デバイス、記憶媒体、及びプログラムを提供する。【解決手段】衝突検出方法は、予め設定された時間帯における障害対象を含む複数のビデオフレームを取得することと、当該複数のビデオフレームを解析して、障害対象の当該予め設定された時間帯における履歴移動軌跡を取得することと、当該履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、障害対象の少なくとも１つの予測移動軌跡を取得することと、自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡を用いて、衝突検出を行うことと、を含む。本発明によれば、衝突検出の正確性を向上することができる。【選択図】図１

Description

本発明は、自動運転の分野に関し、特に衝突検出方法、装置、電子デバイス、記憶媒体、及びプログラムに関する。

自動運転技術の発展に伴い、自動運転車両を研究対象とする運動経路計画問題はますます注目を受けている。障害物回避経路計画は、自動運転車両において重要な一部であり、自動運転車両の研究に対して重大な意味を持つ。自動運転車両の走行中に、障害物を正確に回避するのが基本の要求である。優れた衝突検出及び障害物回避経路計画アルゴリズムは、障害物を安全かつリアルタイムに回避し、乗り心地をより一層高めるため、移動効率を向上することができる。現在、伝統的な自動運転では、衝突検出及び障害物回避において、通常、幾何学的位置重ね合わせ、カルマンフィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）等の技術が採用されているが、これらの技術は、正確性が低いため、車両の急ブレーキが頻繁に発生し、さらに乗客の乗車体験及び道路安全運転に悪影響を与える可能性がある。

本発明は、従来技術における１つ又は複数の技術的問題を解決するために、衝突検出方法、装置、電子デバイス及び記憶媒体を提供する。

第１態様において、本発明の実施形態は、衝突検出方法を提供し、当該方法は、
予め設定された時間帯における障害対象を含む複数のビデオフレームを取得することと、
当該複数のビデオフレームを解析して、当該予め設定された時間帯における障害対象の履歴移動軌跡を取得することと、
当該履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、障害対象の少なくとも１つの予測移動軌跡を取得することと、
自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行うことと、を含む。

本発明の実施形態では、障害対象のビデオフレームを解析してその履歴移動軌跡を取得し、履歴移動軌跡に基づいて予測を行って予測移動軌跡を取得し、予測移動軌跡及び自動運転車両の計画軌跡に基づいて、自動運転車両と障害対象との衝突リスクを予測することができる。これにより、衝突検出の正確性を高めることができる。

１つの実施形態において、当該複数のビデオフレームを解析して当該予め設定された時間帯における、障害対象の履歴移動軌跡を取得することは、
各ビデオフレームを三次元画像にそれぞれ変換することと、
各三次元画像を用いて、各ビデオフレームにおける障害対象の空間位置を位置決めすることと、
各前記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける障害対象の移動速度及び移動方向を決定することと、
移動速度及び移動方向を用いて、予め設定された時間帯における障害対象の履歴移動軌跡を決定することと、を含む。

ビデオフレームを三次元画像に予め変換するため、三次元画像に基づいて障害対象の空間位置を正確に位置決めすることができる。これにより、履歴移動軌跡を正確に決定し、さらに軌跡予測の正確性を高めるため、衝突検出の正確性を高める目的を達成することができる。

１つの実施形態において、当該軌跡予測モデルは、複数のサンプルデータを用いるトレーニングによって得られたものであり、当該サンプルデータは、障害対象と同じ種類である他の障害対象の移動軌跡である。

同じ種類の障害対象の移動軌跡をトレーニングサンプルとして使用することにより、予めトレーニングされた軌跡予測モデルを当該障害対象に適用して障害対象の予測移動軌跡を取得することができる。

１つの実施形態において、自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行うことは、少なくとも１つの予測移動軌跡と計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断すること、を含み、
当該方法は、衝突リスクが存在すると判断した場合、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正すること、をさらに含む。

本発明の実施形態では、少なくとも１つの予測移動軌跡を用いて衝突検出及び計画経路の補正を行うことにより、１つの予測移動軌跡のみを用いないため、自動運転車両の運転安全を高めることができる。

１つの実施形態において、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正することは、
少なくとも１つの予測移動軌跡を用いて安全範囲を決定することと、
当該安全範囲内において上記計画軌跡を補正することと、を含み、
当該安全範囲は、自動運転車両の車頭位置に接し、且つ当該少なくとも１つの予測移動軌跡を排除した範囲である。

本発明の実施形態では、予測された少なくとも１つの予測移動軌跡を用いて安全範囲を決定するため、計画経路の補正がしやすくなる。

第２態様において、本発明の実施形態は、衝突検出装置を提供し、当該装置は、
予め設定された時間帯における障害対象を含む複数のビデオフレームを取得するための取得モジュールと、
当該複数のビデオフレームを解析して、予め設定された時間帯における当該障害対象の履歴移動軌跡を取得するための解析モジュールと、
当該履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、障害対象の少なくとも１つの予測移動軌跡を取得するための予測モジュールと、
自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行うための検出モジュールと、を備える。

１つの実施形態において、当該解析モジュールは、
各ビデオフレームを三次元画像にそれぞれ変換するための変換ユニットと、
各三次元画像を用いて、各ビデオフレームにおける障害対象の空間位置を位置決めするための位置決めユニットと、
各上記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける障害対象の移動速度及び移動方向を決定するための移動特徴決定ユニットと、
移動速度及び移動方向を用いて、予め設定された時間帯における障害対象の履歴移動軌跡を決定するための履歴軌跡決定ユニットと、を備える。

１つの実施形態において、当該検出モジュールは、少なくとも１つの予測移動軌跡と計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断することに用いられ、
当該装置は、衝突リスクが存在すると判断した場合、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正するための補正モジュールを、更に備える。

１つの実施形態において、当該補正モジュールは、
少なくとも１つの予測移動軌跡を用いて安全範囲を決定するための排除ユニットと
当該安全範囲内において上記計画軌跡を補正するための補正ユニットと、を備え、
当該安全範囲は、自動運転車両の車頭位置に接し且つ当該少なくとも１つの予測移動軌跡を排除した範囲である。

第３態様において、本発明の実施形態は、電子デバイスを提供する。当該電子デバイスは、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサと通信可能に接続されるメモリと、を備え、
前記メモリには、前記１つ又は複数のプロセッサにより実行可能なコマンドを記憶しており、前記１つ又は複数のプロセッサが、前記１つ又は複数のコマンドを実行する場合、上記の方法を実行させる。

第４態様において、本発明の実施形態は、コンピュータコマンドが記憶された非一過性のコンピュータ可読記憶媒体を提供する。当該コンピュータコマンドが上述の方法を実行させるために用いられる。

上記出願における１つの実施例は、下記のメリット及び有益的な効果を有する。

本発明では、障害対象のビデオフレームを解析してその履歴移動軌跡を取得し、履歴移動軌跡に基づいて予測を行って予測移動軌跡を取得し、予測移動軌跡及び自動運転車両の計画軌跡に基づいて、自動運転車両と障害対象との衝突リスクを予測することができる。これにより、衝突検出の正確性を高めることができる。

上記の選択可能な実施形態によるその他の効果については、具体的な実施形態とあわせて後述する。

添付図面は、本開示の理解を促すためのものであり、いかなる限定をも目的としない。
本発明の実施形態に係る衝突検出方法を示すフローチャートである。 本発明の実施形態に係る衝突検出方法を示すフローチャートである。 本発明の実施形態に係る衝突検出方法を示すフローチャートである。 本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。 本発明の実施形態に係る解析モジュールの構成を示すブロック図である。 本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。 本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。 本発明の実施形態に係る衝突検出電子デバイスを示すブロック図である。

以下、図面を参照しながら本発明の例示的な実施形態を説明するが、本発明の実施形態の様々な細部がより理解を促すために含まれており、それらは単なる例示的と考えられるべきである。したがって、当業者は、本発明の範囲および旨から逸脱することなく、本発明明細書に記載された実施形態に対して様々な変更および修正を行うことができることを理解すべきである。同様に、以下の説明では、公知な機能および構造についての説明は、明瞭かつ簡明のために省略される。

本発明の１つの適用場面として、自動運転車両の制御中において、自動運転車両の撮像範囲に進入した障害対象のビデオフレームを取得し、ビデオフレームを解析して履歴移動軌跡を取得し、履歴移動軌跡を用いて将来出現する可能性のある移動軌跡を予測した後、予測移動軌跡に基づいて回避対策を生成する。勿論、本発明は、当該自動運転車両制御分野に限定されなく、衝突が発生する可能性があり、衝突回避が必要である、いかなる場面にも適用することができる。

図１は、本発明の実施形態に係る衝突検出方法を示すフローチャートである。図１に示すように、当該衝突検出方法は、下記のステップステップＳ１１、ステップＳ１２、ステップＳ１３、ステップＳ１４を含む。

ステップＳ１１において、予め設定された時間帯における障害対象を含む複数のビデオフレームを取得する。

具体的に、障害対象は、自動運転車両と衝突可能ないかなる物体でもよく、例えば、歩行者、ペット、自動車、非自動車等である。

障害対象の複数のビデオフレームを取得すると同時に、又は取得した後に、さらに以下の操作を行うことができる。一方、これらのビデオフレームにおける同じフレームに対する重複排除操作を行うことにより、計算複雑度を減少させ、処理効率を向上させる。他方、情報が欠失するビデオフレーム、特に対象の重要部位が欠失するビデオフレームについて、補償アルゴリズムを用いて補償を行うことにより、計算正確性を向上させる。例えば、あるビデオフレームにおいて、歩行者の移動速度が速すぎるため、ビデオ収集デバイスの感度が不足し、高運動速度により映像のぼやけたビデオフレームが発生する可能性があり、このとき、当該ビデオフレームの時系列付近の若干のフレームをあわせて当該フレームを修復することにより、障害対象の輪郭をより鮮明に且つ正確に体現し、後期の歩行者軌跡の予測のための基盤を築くことができる。

ステップＳ１２において、当該複数のビデオフレームを解析して、当該予め設定された時間帯における障害対象の履歴移動軌跡を取得する。

具体的に、複数のビデオフレームが時系列の関係を有するため、障害対象は複数のビデオフレームからなる系列に存在している。各ビデオフレームにおける障害対象の空間位置と、各ビデオフレームの収集時間とを組み合わせることにより、障害対象の履歴移動軌跡を算出することができる。

さらに、履歴移動軌跡は、障害対象の移動途中における経路情報だけでなく、移動速度、移動方向等移動情報を含む。そして、移動速度は、移動速度、加速度のような基本的な移動データだけでなく、平均速度、最大速度、最小速度等のような統計的速度も含み、移動方法は、移動角度だけでなく、角速度、角加速度、角変位のような角度変化パラメータも含む。

本発明の実施形態では、ビデオフレームを解析する前に、まず自然法則に基づいて誤識別したビデオフレームを除去してもよい。例えば、ある障害対象の物理的な位置が急変した場合、自然法則を満たさない。そこで、当該障害対象を含むビデオフレームは、誤識別したビデオフレームに属するため、除去されてもよい。

算出された障害対象の履歴移動軌跡については、本発明の実施形態において、自然法則に基づいてエラーメッセージを除去してもよい。例えば、歩行者の歩行速度は約３ｍ／ｓであるが、算出された歩行者の履歴移動軌跡により当該歩行者の歩行速度が３ｍ／ｓを遥かに越えることを示す場合、当該履歴移動軌跡はエラーメッセージとして除去されてもよい。

ステップＳ１３において、当該履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、障害対象の少なくとも１つの予測移動軌跡を取得する。

具体的に、予めトレーニングされた軌跡予測モデルは、機械学習モデルであってもよく、例えば、時間再帰型ニューラルネットワーク（ＲＮＮ，Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）であり、好ましくは、長短期記憶（ＬＳＴＭ，Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）モデルである。長短期記憶モデルは、特別な時間再帰型ニューラルネットワークであり、主に長い系列のトレーニングにおける勾配消失及び勾配爆発という問題を解決するためである。簡単に言えば、ＬＳＴＭは、普段のＲＮＮと比べ、より長い系列において優れた効果を奏することができる。従って、障害対象の移動軌跡予測について、ＬＳＴＭを用いることにより予測の正確性を向上させることができる。

そして、障害対象の履歴移動軌跡に基づいて予測した予測移動軌跡は複数の異なる移動軌跡でもよいため、障害対象は異なる確率でこれらの移動軌跡から１つを選んで進行する可能性がある。従って、少なくとも１つの予測移動軌跡を総合的に検討することにより、自動運転車両と障害対象との衝突を最大限に回避するすることができる。

１つの実施形態において、当該軌跡予測モデルは複数のサンプルデータを用いるトレーニングによって得られたものであり、当該サンプルデータは障害対象と同じ種類である他の障害対象の移動軌跡である。

具体的に、予測モデルにとって、トレーニングサンプルが多ければ多いほど、トレーニングの効果がよくなり、後期予測する際に取得した正確性も高くなる。従って、当該軌跡予測モデルのトレーニングにおいて、複数のサンプルデータによりトレーニングする必要がある。

また、軌跡予測モデルをトレーニングする際に、障害対象と同じ種類である他の障害対象を用いてトレーニングしてもよい。例えば、歩行者を年長者、子供及び青年等の類型に分類し、異なる類別の歩行者の移動軌跡をサンプルデータとして用いて、当該類別の歩行者に対応する軌跡予測モデルをトレーニングすることができる。実際の予測において、障害対象が年長者であれば、年長者に対応する軌跡予測モデルを用いて予測を行い、障害対象が他の類別の歩行者であれば、同様に対応する軌跡予測モデルを用いて予測を行うことにより、予測の正確性を向上させることができる。

ステップＳ１４において、自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行う。

具体的に、衝突検出において、障害対象の予測移動軌跡を考えることだけでなく、自動運転車両の計画軌跡も考えるべきであり、両者が交差しない場合のみ、衝突が発生しない。モデルトレーニングにより得られた予測移動軌跡は複数であり、これらの予測移動軌跡はいずれも一定の確率で自動運転車両と衝突する可能性がある。従って、１つの例において、統計学の方法を用いて、全ての予測移動軌跡における一部を選択し、選択された予測移動軌跡の確信度を確率の極大値（例えば９９．９％）とし、自動運転車両の計画軌跡とこの部分である予測移動軌跡とを比べて、衝突検出を行うことにより、衝突検出の効率を向上させることができる。

図２は、本発明の実施形態に係る衝突検出方法を示すフローチャートである。図２に示すように、１つの実施形態において、当該複数のビデオフレームを解析して、当該予め設定された時間帯における障害対象の履歴移動軌跡を取得することは、下記のステップＳ１２１、Ｓ１２２、Ｓ１２３、Ｓ１２４を含む。

ステップＳ１２１において、各ビデオフレームを三次元画像にそれぞれ変換する。

具体的に、各ビデオフレームは、二次元画像として理解でき、さらに深度マップに基づく三次元効果合成技術、または構造再構成（Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ，ＳＦＭ）技術により当該二次元画像を三次元シーンに変換させることができる。深度マップに基づく三次元合成過程は、主に初期画像解析、深度情報抽出、深度マップ生成、新画面合成、立体画面合成という５つのステップに分けられる。ＳＦＭ技術は、図面集のマッチングポイントにより、三次元静止シーンにおいて、運動カメラの内外パラメータと当該シーンとが参照座標系における構造関係を推定するものである。

ステップＳ１２２において、各三次元画像を用いて、各ビデオフレームにおける障害対象の空間位置を位置決めする。

具体的に、各ビデオフレームにおける障害対象の空間位置を位置決めすることにより、歩行者の移動意図をより正確に解析、推断することができ、例えば歩行者の履歴フレームデータを変換して得られた三次元画像から、歩行者胴体の速度及び方向を取得することができるため、歩行者の腕、脚の揺れによる干渉を回避することができる。

ステップＳ１２３において、各上記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける障害対象の移動速度及び移動方向を決定する。

具体的に、各収集時間における障害対象の空間位置を用いて、運動学の方法により、障害対象の移動速度及び移動方向を算出することができる。同様に、移動軌跡をより正確に予測するために、さらに平均速度、最大速度、最小速度などのような統計的速度、及び角速度、角加速度、角変位のような角変化パラメータを算出することができる。

ステップＳ１２４において、移動速度及び移動方向を用いて、予め設定された時間帯における障害対象の履歴移動軌跡を決定する。

具体的に、予め設定された時間帯における障害対象の位置に対しフィッティングを行うことにより、当該時間帯における障害対象の履歴移動軌跡を取得することができる。

図３は、本発明の実施形態に係る衝突検出方法を示すフローチャートである。図３に示すように、１つの実施形態において、ステップＳ１４は、
少なくとも１つの予測移動軌跡と計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断すること、を含む。

当該方法は、以下のステップＳ１５をさらに含む。

ステップＳ１５において、衝突リスクが存在すると判断した場合、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正する。

１つの実施形態において、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正することは、
少なくとも１つの予測移動軌跡を用いて安全範囲を決定することと、
当該安全範囲内で、上記計画軌跡を補正することと、を含み、
当該安全範囲は、自動運転車両の車頭位置に接し、且つ当該少なくとも１つの予測移動軌跡を排除した範囲である。

１つの例において、複数の予測された予測軌跡に対し、累加により、これらの予測軌跡から１つの進入禁止領域を形成することができる。道路において、進入禁止領域と交通規則による進入禁止領域（例えば、閉鎖道路、逆方向の車線、施工領域等、）を排除すれば、安全領域を取得することができる。なお、進入禁止領域の形状は、時間が経つにつれて変化し、且つ時点ごとにおいて対象移動速度、方向の変化に従って異なる形状を形成し、異なる位置にあるものである。退避対策を生成する際には、進入禁止領域の形状、位置を参照して退避する必要がある。

図４は、本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。図４に示すように、当該衝突検出装置は、
予め設定された時間帯における障害対象を含む複数のビデオフレームを取得するための取得モジュール４１と、
当該複数のビデオフレームを解析して、当該予め設定された時間帯における障害対象の履歴移動軌跡を取得するための解析モジュール４２と、
当該履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、障害対象の少なくとも１つの予測移動軌跡を取得するための予測モジュール４３と、
自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行うための検出モジュール４４と、を備える。

図５は、本発明の実施形態に係る解析モジュールの構成を示すブロック図である。図５に示すように、当該解析モジュール４２は、
各ビデオフレームを三次元画像にそれぞれ変換するための変換ユニット４２１と、
各三次元画像を用いて、各ビデオフレームにおける障害対象の空間位置を位置決めするための位置決めユニット４２２と、
各上記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける障害対象の移動速度及び移動方向を決定するための移動特徴決定ユニット４２３と、
移動速度及び移動方向を用いて、予め設定された時間帯における障害対象の履歴移動軌跡を決定するための履歴軌跡決定ユニット４２４と、を備える。

図６は、本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。図６に示すように、当該検出モデル４４は、少なくとも１つの予測移動軌跡と計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断することに用いられる。

当該衝突検出装置は、衝突リスクが存在すると判断した場合、少なくとも１つの予測移動軌跡に基づいて、計画軌跡を補正するための補正モジュール４５を、更に備える。

図７は、本発明の実施形態に係る衝突検出装置の構成を示すブロック図である。図７に示すように、当該補正モジュール４５は、
少なくとも１つの予測移動軌跡を用いて安全範囲を決定するための排除ユニット４５１と、
当該安全範囲内に上記計画軌跡を補正するための補正ユニット４５２と、を備え、
当該安全範囲は、自動運転車両の車頭位置に接し且つ当該少なくとも１つの予測移動軌跡を排除した範囲である。

本発明の実施形態による各装置における各モジュールの機能については、上述方法における対応の説明を参照してもよく、ここでは説明を省略する。

本発明は、電子デバイス及び読み取り可能な記憶媒体を更に提供する。

図８に示すように、本発明の実施形態に係る衝突検出方法を実現する電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことができる。また、電子デバイスはパーソナルデジタル処理、携帯電話、スマートフォン、装着可能デバイス、およびその他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。ここで示した構成要素、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本明細書に説明されたものおよび／または要求される本発明の実施を制限する意図がない。

図８に示すように、当該電子デバイスは、１つ又は複数のプロセッサ８１と、メモリ８２と、各構成要素を接続するための高速インターフェースと低速インターフェースとを含むインターフェースとを含む。各構成要素は、異なるバスを用いて互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、また、外部入出力デバイス（例えば、インターフェースに接続された表示デバイス）にグラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ，ＧＵＩ）を表示するための、メモリまたはメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスを複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各デバイスは、部分的に必要な動作（例えば、サーバアレイ、ブレードサーバのセット、またはマルチプロセッサシステムとして）を提供する。図８においてプロセッサ８１を例とする。

プロセッサ８２は、本発明にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本発明で提供される衝突検出方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行されることができる命令を記憶する。本発明における非一過性のコンピュータ可読記憶媒体は、本発明で提供された衝突検出方法をコンピュータに実行させるためのコンピュータ命令を記憶する。

メモリ８２は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本発明の実施形態における衝突検出方法に対応するプログラム命令／モジュールのようなものである。プロセッサ８１は、メモリ８２に記憶されている非一過性のソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの様々な機能アプリケーションおよびデータ処理、すなわち上述した方法に関する実施形態に係る衝突検出方法を実行する。

メモリ８２は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、衝突検出方法に係る電子デバイスの使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ８２は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態では、メモリ８２はオプションとして、プロセッサ８１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して衝突検出方法に係る電子デバイスに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワークおよびその組み合わせを含むが、これらに限定されない。

衝突検出方法の電子デバイスは、入力装置８３及び出力装置８４を更に備える。プロセッサ８１、メモリ８２、入力装置８３および出力装置８４は、バス又は他の方式を通じて接続されており、図８はバスを通じて接続されている場合を例とする。

入力装置８３は、入力された数字または文字を受信し、衝突検出方法に係る電子デバイスのユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つまたは複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置８４は、表示装置、補助照明装置（例えばＬＥＤ）、および触覚フィードバック装置（例えば、振動モータ）などを含むことができる。この表示装置は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本発明におけるシステムおよび技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムにおいて実装されてもよく、この１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、および／または解釈されてもよく、このプログラマブルプロセッサは、専用または汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置より、データと命令を受信し、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置に、データと命令を送信する。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう）は、プログラマブルプロセッサのマシン命令を含み、プロセス指向および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。

ユーザとのイントラクションを提供するために、本発明で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、またはタッチ入力を含む）で受信されてもよい。

本発明で説明されているシステムおよび技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、または中間部構成要素を含む計算システム（例えば、アプリケーションサーバ）、または、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェースまたはネットワークブラウザを介して本発明で説明されたシステムおよび技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ）に実行されてもよく、または、このようなバックグラウンド構成要素、中間部構成要素、またはフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ，ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ，ＷＡＮ）およびインターネットを含む。

コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。

本発明の実施形態によれば、ビデオフレームを三次元画像に変換して、障害対象の移動軌跡を予測することにより、障害対象の動きが大き過ぎて移動軌跡の予測が不正確になることを効率的に回避するとともに、少なくとも１つの移動軌跡で安全範囲を決定し、安全範囲に基づいて計画軌跡を補正することにより、障害対象が複数の移動軌跡を有する可能性による技術的問題を効率的に解決することができる。ビデオフレームから三次元画像への変換、安全範囲の決定等の技術手段を用いるため、伝統的な衝突検出において正確性が不足するという技術的問題を解決することができる。

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。

上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本発明の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (12)

1. 予め設定された時間帯における障害対象を含む複数のビデオフレームを取得することと、
   前記複数のビデオフレームを解析して、前記予め設定された時間帯における前記障害対象の履歴移動軌跡を取得することと、
   前記履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、前記障害対象の少なくとも１つの予測移動軌跡を取得することと、
   自動運転車両の計画軌跡及び前記少なくとも１つの予測移動軌跡により、衝突検出を行うことと、を含む、
   ことを特徴とする衝突検出方法。
2. 前記複数のビデオフレームを解析して、前記予め設定された時間帯における前記障害対象の履歴移動軌跡を取得することは、
   各前記ビデオフレームを三次元画像にそれぞれ変換することと、
   各前記三次元画像を用いて、各ビデオフレームにおける前記障害対象の空間位置を位置決めすることと、
   各前記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける前記障害対象の移動速度及び移動方向を決定することと、
   前記移動速度及び移動方向を用いて、前記予め設定された時間帯における前記障害対象の履歴移動軌跡を決定することと、を含む、
   ことを特徴とする請求項１に記載の衝突検出方法。
3. 前記軌跡予測モデルは、複数のサンプルデータを用いるトレーニングによって得られたものであり、前記サンプルデータは、前記障害対象と同じ種類である他の障害対象の移動軌跡である、
   ことを特徴とする請求項１または請求項２に記載の衝突検出方法。
4. 前記自動運転車両の計画軌跡及び少なくとも１つの予測移動軌跡により、衝突検出を行うことは、前記少なくとも１つの予測移動軌跡と前記計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断すること、を含み、
   前記方法は、衝突リスクが存在すると判断した場合、前記少なくとも１つの予測移動軌跡に基づいて、前記計画軌跡を補正すること、をさらに含む、
   ことを特徴とする請求項１または請求項２に記載の衝突検出方法。
5. 前記少なくとも１つの予測移動軌跡に基づいて、前記計画軌跡を補正することは、
   前記少なくとも１つの予測移動軌跡を用いて安全範囲を決定することと、前記安全範囲内において前記計画軌跡を補正することと、を含み、
   前記安全範囲は、前記自動運転車両の車頭位置に接し、且つ前記少なくとも１つの予測移動軌跡を排除した範囲である、
   ことを特徴とする請求項４に記載の衝突検出方法。
6. 予め設定された時間帯における障害対象を含む複数のビデオフレームを取得する取得モジュールと、
   前記複数のビデオフレームを解析して、前記予め設定された時間帯における前記障害対象の履歴移動軌跡を取得する解析モジュールと、
   前記履歴移動軌跡を予めトレーニングされた軌跡予測モデルに入力して、前記障害対象の少なくとも１つの予測移動軌跡を取得する予測モジュールと、
   自動運転車両の計画軌跡及び前記少なくとも１つの予測移動軌跡により、衝突検出を行う検出モジュールと、を備える、
   ことを特徴とする衝突検出装置。
7. 前記解析モジュールは、
   各前記ビデオフレームを三次元画像にそれぞれ変換する変換ユニットと、
   各前記三次元画像を用いて、各ビデオフレームにおける前記障害対象の空間位置を位置決めする位置決めユニットと、
   各前記空間位置及び各ビデオフレームの収集時間を用いて、各ビデオフレームにおける前記障害対象の移動速度及び移動方向を決定する移動特徴決定ユニットと、
   前記移動速度及び移動方向を用いて、前記予め設定された時間帯における前記障害対象の履歴移動軌跡を決定する履歴軌跡決定ユニットと、を備える、
   ことを特徴とする請求項６に記載の衝突検出装置。
8. 前記検出モジュールは、前記少なくとも１つの予測移動軌跡と前記計画軌跡との最短距離が予め設定された閾値よりも小さい場合、衝突リスクが存在すると判断することに用いられ、
   前記装置は、衝突リスクが存在すると判断した場合、前記少なくとも１つの予測移動軌跡に基づいて、前記計画軌跡を補正する補正モジュールを、更に備える、
   ことを特徴とする請求項６または請求項７に記載の衝突検出装置。
9. 前記補正モジュールは、
   前記少なくとも１つの予測移動軌跡を用いて安全範囲を決定する排除ユニットと、
   前記安全範囲内において前記計画軌跡を補正する補正ユニットと、を備え、
   前記安全範囲、前記自動運転車両の車頭位置に接し、且つ前記少なくとも１つの予測移動軌跡を排除した範囲である、
   ことを特徴とする請求項８に記載の衝突検出装置。
10. １つ又は複数のプロセッサと、
    前記１つ又は複数のプロセッサに通信接続されるメモリと、を備え、
    前記メモリには、前記１つ又は複数のプロセッサにより実行可能なコマンドを記憶しており、
    前記１つ又は複数のプロセッサが、前記１つ又は複数のコマンドを実行する場合、請求項１〜５のいずれか１項に記載の衝突検出方法を実行させる、
    ことを特徴とする電子デバイス。
11. 請求項１〜５のいずれか１項に記載の衝突検出方法をコンピュータに実行させるためのコンピュータコマンドを記憶した非一過性のコンピュータ可読記憶媒体。
12. コンピュータにおいて、プロセッサにより実行される場合、請求項１〜５のいずれか１項に記載の衝突検出方法を実現することを特徴とするプログラム。
    

Images