JP2024037165A - オブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法 - Google Patents

Abstract

【課題】オブジェクトに対するモデリングを実現し、モデリングの精細度を向上させ、さらにオブジェクトの運動状態を正確に決定するオブジェクトをモデリングする方法、機器、記憶媒体及び車両制御方法を提供する。【解決手段】方法は、感知システムによって収集された周囲環境に関連する点群を取得し、点群からオブジェクトの各部分にそれぞれ対応する点をそれぞれ識別し、さらにオブジェクト全体及びそれが含む各部分に対して対応する表示をそれぞれ生成することにより、オブジェクトに対するモデリングを実現し、モデリングの精細度を向上させ、さらにオブジェクトの運動状態を正確に決定する。【選択図】図２

Description

本願はセンサデータの処理に関し、特に、オブジェクトをモデル化するための方法、機器、記憶媒体及び車両制御方法に関する。

自動運転技術の発展に伴い、自動運転車両は貨物輸送、乗用などの分野で既に応用されている。自動運転車両は、走行時に、一般的に自体のセンサ、例えば光検出及び測距（ＬＩＤＡＲ）システム、カメラなどによって周囲環境を感知する。自動運転車両における自動運転システムは、センサが感知したデータに基づいて、環境におけるオブジェクトの表示（例えば、バウンディングボックス）を生成して、オブジェクトの姿勢及び／又は範囲を表現し、オブジェクトの運動状態を決定する。続いて、自動運転システムは自動運転車両の走行に対して意思決定及び計画を行い、最終的に、自動運転車両を対応する意思決定及び計画に従って走行するように制御する。

計画を合理的に行うために、自動運転システムは、オブジェクトの運動状態を正確に決定するように、環境におけるオブジェクトの正確な表示を生成することを必要とする。

本願は、車両（特に自動運転車両）の周囲環境におけるオブジェクトの正確な表示を生成することにより、オブジェクトの運動状態を正確に決定するために用いられる、オブジェクトをモデリングするための方法、機器、記憶媒体及びプログラム製品を提供する。

第１の側面において、本願は、
感知システムによって収集された周囲環境に関連する点群を取得するステップと、
前記点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップと、を含むオブジェクトをモデリングするための方法を提供する。

第２の側面において、本願は、
感知システムによって収集された周囲環境に関連する点群を取得するステップと、
周囲環境における第１のオブジェクトに関連する前記点群における第１の組の点、及び周囲環境における第２のオブジェクトに関連する第２の組の点を決定するステップと、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップと、
前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有することに応答して、前記第１のオブジェクト及び第２のオブジェクトの第１の表示、前記第１のオブジェクトの第２の表示、並びに前記第２のオブジェクトの第３表示を生成するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップと、を含むオブジェクトをモデリングするための方法を提供する。

第３の側面において、本願は、
感知システムによって収集された周囲環境に関連する点群を取得するための取得モジュールと、
前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するための決定モジュールと、
第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するための信頼度モジュールと、
前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成するための生成モジュールであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する生成モジュールと、を含むオブジェクトをモデリングするための装置を提供する。

第４の側面において、本願は、
感知システムによって収集された周囲環境に関連する点群を取得するための取得モジュールと、
周囲環境における第１のオブジェクトに関連する前記点群における第１の組の点、及び周囲環境における第２のオブジェクトに関連する第２の組の点を決定するための決定モジュールと、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するための判断モジュールと、
前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有することに応答して、前記第１のオブジェクト及び第２のオブジェクトの第１の表示、前記第１のオブジェクトの第２の表示、並びに前記第２のオブジェクトの第３表示を生成するための生成モジュールであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する生成モジュールと、を含むオブジェクトをモデリングするための装置を提供する。

第５の側面において、本願は、プロセッサと、前記プロセッサに通信可能に接続されるメモリと、を含み、
前記メモリはプログラム命令を記憶しており、
前記プロセッサは前記メモリに記憶されたプログラム命令を実行して、第１の側面又は第２の側面に記載の方法を実現する電子機器を提供する。

第６の側面において、本願は、プロセッサにより実行される時に、第１の側面又は第２の側面に記載の方法を実現するためのプログラム命令を記憶しているコンピュータ可読記憶媒体を提供する。

第７の側面において、本願は、プロセッサにより実行される時に、第１の側面又は第２の側面に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

第８の側面において、本願は、
車両のコンピューティング機器により、第１の側面又は第２の側面に記載の方法に基づいて環境におけるオブジェクトの階層表示を生成するステップと、
前記コンピューティング機器により、オブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成するステップと、
前記コンピューティング機器により、車両を生成した経路（又は軌跡）に沿って走行するように制御するステップと、を含む車両を制御するための方法を提供する。

本願にて提供されるオブジェクトをモデリングするための方法、機器、記憶媒体及び車両制御方法は、感知システムによって収集されたその周囲環境に関連する点群を取得し、点群から環境におけるオブジェクトの各部分にそれぞれ対応する点をそれぞれ識別し、さらにオブジェクト全体、及びそれが含む各部分に対して対応する表示をそれぞれ生成することにより、オブジェクトに対するモデリングを実現し、モデリングの精細度を向上させ、さらにオブジェクトの運動状態を正確に決定することができる。

明細書に組み込まれ、本明細書の一部として構成されたた図面は、本願に合致する実施例を示し、さらに明細書とともに本願の原理を説明するために用いられる。
本願の１つの例示的なシーンを示す。 本願の例示的な実施例による車両の概略図である。 本願の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。 本願の別の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。 図２及び図３に示す方法における１つのステップの具体的な実現プロセスである。 本願の実施例にて提供されるＢＥＶに基づくターゲット検出方法の概略図である。 本願の実施例にて提供される視錐台に基づくターゲット検出方法の概略図である。 本願の別の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。 本願の実施例にて提供されるオブジェクトが第１の状態にある時の階層表示である。 本願の実施例にて提供されるオブジェクトが第２の状態にある時の階層表示である。 本願の実施例によるオブジェクトの階層表示のツリー図である。 本願の実施例にて提供される車両を制御するための方法のフローチャートである。 本願の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。 本願の別の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。 本願の実施例にて提供される電子機器の構造図である。 本願の明確な実施例は、上記図面により示されており、以下により詳細に説明される。これらの図面及び文字による説明は、本願の概念の範囲を任意の形態で限定するためのものではなく、特定の実施形態を参照することにより当業者に本願の概念を説明するためのものである。

ここで、例示的な実施例について詳細に説明し、その例を図面において表示する。以下の説明が図面にかかわる場合、特に断りのない限り、異なる図における同一の数字は同一又は類似の要素を表す。以下の例示的な実施例において説明される実施形態は、本願に一致するすべての実施形態を代表するものではない。これに対して、それらは、添付の特許請求の範囲に詳しく記載されるような、本願のいくつかの態様に一致する装置及び方法の例に過ぎない。

自動運転車両は、車両の周囲環境に対応するセンサデータを取り込むために、複数のセンサを含むことができる。環境には、一般的に複数のオブジェクトを含むことができる。ターゲット検出タスクにおいて、バウンティングボックスでオブジェクトの位置及びサイズを識別することができ、すなわち、バウンディングボックスで環境におけるオブジェクトを表すことができる。例えば、地面に平行な二次元表示では、矩形のバウンティングボックスを環境におけるオブジェクトの占有面積及び形状に近似させることにより、環境におけるオブジェクトを表示することができる。従来技術では、一般的に１つのバウンディングボックスで環境における１つのオブジェクトを表示する。

環境におけるオブジェクトは関節物体であってもよく、関節物体は互いに接続される少なくとも２つの部分を含み、これらの部分は互いが相対的に回転できる。関節物体の一例は牽引車及びトレーラを含むトラックである。本願の発明者は、単一のバウンディングボックス（例えば、単一の矩形バウンディングボックス）で関節物体を表示すれば、関節物体の正確な運動状態を取得できないことで、関節物体の運動状態の誤った推定を引き起こすことに気付いた。例えば、トラックが旋回する時に、牽引車とトレーラとの間に角度が形成され、単一のバウンディングボックスでトラックを表示する場合に、バウンディングボックスの領域はトラックの実際の占有面積に対応しないことで、トラックの占有面積の過大推定を引き起こす可能性がある。特に、トラックが実際に１つのレーンしか占めていない場合に、トラックのバウンディングボックスは地図中の２つのレーンを占める可能性がある。

バウンディングボックスの領域が関節物体の実際の占有面積に対応しないことを解決するために、関節物体の各部分を、１つの独立したオブジェクトとみなし、１つのバウンディングボックスで表示することができる。例えば、トラックの牽引車及びトレーラを、互いに独立した異なるオブジェクトとみなし、異なるバウンディングボックスで表示することができる。そのような表現はより簡単であるが、関節物体の運動規則を正確に表現できず、関節物体の運動状態（例えば、軌跡）推定の難易度を増加させる。例えば、トラックの牽引車は動力を有し、トレーラは動力を有さないため、牽引車とトレーラの運動モデルは同じはずではなく、トレーラの運動は牽引車の運動によって制約されることを必要とする。不正確な運動モデルを用いると、牽引車及びトレーラの軌跡を予測する時に、牽引車とトレーラの軌跡が互いに大きくずれることを引き起こす。

本開示に記載される技術は、センサデータを処理して、環境におけるオブジェクトの階層表示を生成することにより、オブジェクトを精確に表示し、それにより、車両（例えば、自動運転車両）を環境において前進し、環境における関連オブジェクト（例えば、環境における他の車両）を回避するようにナビゲートするために用いることができる。

要すると、本願はオブジェクトをモデリングするための方法（すなわち、オブジェクトの階層表示を生成する方法）を提供し、感知システムによって収集されたその周囲環境に関連する点群を取得し、点群からオブジェクト全体及びオブジェクトの各部分にそれぞれ対応する点をそれぞれ識別し、さらにオブジェクト全体、及びそれが含む各部分に対して対応する表示をそれぞれ生成することにより、オブジェクトに対するモデリングを実現し、モデリングの精細度を向上させ、さらにオブジェクトの運動状態を正確に決定することができる。

本願にて提供されるオブジェクトをモデル化する方法（すなわち、オブジェクトの階層表示を生成する方法）は車両を制御するために用いることができる。車両の感知システムは周囲環境に関連する点群を収集し、車両のコンピューティング機器は感知システムによって収集された周囲環境に関連する点群を取得する（例えば、コンピューティング機器は感知システムから点群を受信してもよい）。コンピューティング機器は点群におけるオブジェクト（すなわち、当該周囲環境におけるオブジェクト）に関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成し、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。コンピューティング機器はオブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成し、車両を生成した経路（又は軌跡）に沿って走行するように制御する。

図１ａは１つの例示的なシーンを示す。図１ａに示すように、車両１００は道路上の１つのレーンを走行し、トラック１１２はその前方で走行し、トラック１１４はその後方で走行している。トラック１１３、１１５及び小型乗用車１１６は近くの別のレーンを走行している。車両１００は自動運転車両であってもよく、自動運転車両１００は走行経路（又は軌跡）を計画する時にトラック１１２、１１３、１１４、１１５及び小型乗用車１１６の運動状態を考慮することを必要とする。さらに、図１ａはトラック１１２、１１３が牽引車及び２つのトレーラを含み、トラック１１４、１１５が牽引車及び１つのトレーラを含むことも示す。

図１ｂは本願の例示的な実施例による車両（例えば、図１ａに示す車両１００）の概略図を示す。図１ｂに示すように、車両１００は感知システム１０１及びコンピューティング機器１０２を含む。感知システム１０１はセンサシステムとも呼ばれ、例えば、慣性測定ユニット（ＩＭＵ）、全地球航法衛星システム（ＧＮＳＳ）受信機（例えば、全地球測位システム（ＧＰＳ）受信機）、無線検知・測距装置（ＲＡＤＡＲ）システム、レーザ検知・測距（ＬＩＤＡＲ）システム、音響センサ、超音波センサ、及びカメラのうちの１つ又は複数といった複数のセンサを含むことができる。

感知システム１０１は車両１００の周囲環境（すなわち、感知システム１０１の周囲環境）に関連するセンサデータを収集する。例えば、感知システム１０１におけるＬＩＤＡＲは車両１００の周囲環境に関連する点群を収集し、感知システム１０１におけるカメラは車両１００の周囲環境に関連する画像を収集するとともに、感知システム１０１におけるＬＩＤＡＲとカメラは重なる視野を有してもよく、このように、同一の時刻又はほぼ同一の時刻で、カメラが収集した画像とＬＩＤＡＲが収集した点群は同じオブジェクトについてのデータを有する。

感知システム１０１はこれらのセンサデータをコンピューティング機器１０２に伝送することができ、コンピューティング機器１０２は車両１００の周囲環境におけるオブジェクトに関連するコンテンツをセンサデータから検出又は識別することができる。例えば、コンピューティング機器１０２は車両１００の周囲環境のオブジェクト（例えば、図１ａのトラック１１２、１１３、１１４若しくは１１５、又は小型乗用車１１６）に関連する点をＬＩＤＡＲが収集した点群から検出又は識別する。関節物体のようなオブジェクトに対して、コンピューティング機器１０２はオブジェクト全体及びオブジェクトの各部分にそれぞれ対応する点を点群から検出又は識別し、さらにオブジェクト全体及びそれが含む各部分に対して対応する表示をそれぞれ生成し、これにより、オブジェクトの階層表示１０３を生成する。例えば、関節物体は互いが相対的に回転できる第１の部分と第２の部分を含む場合、オブジェクトの階層表示１０３はオブジェクトの第１の表示、第１の部分の第２の表示、及び第２の部分の第３の表示を含み、第２の部分は互いが相対的に回転できる第３の部分と第４の部分をさらに含む場合、オブジェクトの階層表示１０３は第３の部分の第４の表示及び第４の部分の第５の表示をさらに含む。オブジェクトの表示及びオブジェクトの各部分の表示の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。これによりオブジェクトの精確なモデリングが実現される。例えば、関節物体がトラックの場合、生成したトラックの階層表示はトラック全体に対応する第１の表示、トラックの牽引車に対応する第２の表示、トラックのトレーラに対応する第３の表示を含む。コンピューティング機器１０２は、オブジェクトを精確にモデリングする上で、オブジェクトの運動状態を正確に決定することができる。

図２は本願の例示的な実施例のオブジェクトをモデリングするための方法のフローチャートである。本実施例にて提供されるオブジェクトをモデリングするための方法はオブジェクトの階層表示を生成するために用いられる。その実行主体は任意の電子機器であり、例えば、図１ｂに示すコンピューティング機器１０２である。

図２に示すように、ステップＳ２０１において、感知システムによって収集された周囲環境に関連する点群を取得する。

車両（例えば、図１ａ及び図１ｂに示す車両１００）は、走行時に、感知システム（例えば、図１ｂに示す感知システム１０１）を用いて車両１００の周囲環境（すなわち、感知システム１０１の周囲環境）に関連するセンサデータを収集することができる。感知システムによって収集されたセンサデータは、例えば、感知システムにおけるＬＩＤＡＲによって収集された車両１００の周囲環境に関連する点群、感知システムにおけるカメラによって収集された車両１００の周囲環境に関連する画像を含む。感知システム１０１はＬＩＤＡＲによって収集された点群をコンピューティング機器１０２に送信することができる。点群に加えて、感知システム１０１はカメラによって収集された画像又は他のセンサによって収集されたデータをコンピューティング機器１０２に送信することができる。コンピューティング機器１０２は感知システム１０１から受信したセンサデータ（例えば、点群）に基づいて、車両１００の周囲環境に含まれるオブジェクトをモデリングして、オブジェクトの階層表示を生成することができる。

環境におけるいくつかのオブジェクト（例えば、図１ａのトラック１１２、１１３、１１４及び１１５）は関節物体であってもよく、別のオブジェクトは非関節物体（例えば、図１ａの小型乗用車１１６）であってもよい。関節物体は相対的に回転できる少なくとも２つの部分を含む。例を挙げると、当該関節物体は、牽引車と、牽引車上の特定の点に対して回転可能なトレーラとを含むトラックである。トラックが複数のトレーラを含む場合、一方のトレーラは他方のトレーラ上の特定の点に対して回転可能である。

ステップＳ２０２において、前記点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する。

コンピューティング機器１０２は感知システム１０１から点群を含むセンサデータを受信した後、点群から車両の周囲環境におけるオブジェクトに関連する１組の点を決定し、当該組の点の複数のサブセット、例えば第１のサブセット及び第２のサブセットを決定することができる。

コンピューティング機器１０２は様々なターゲット検出方法を用いて点群に対してターゲット検出を行うことができ、コンピューティング機器１０２は、点群中のどの点が環境における同じオブジェクトがＬＩＤＡＲの光を反射して形成されたものであるか、点群中のどの点が当該オブジェクトの構成要素がＬＩＤＡＲの光を反射して形成されたものであるかをターゲット検出により決定することができる。これにより、当該オブジェクトに関連する１組の点及び当該組の点の１つ又は複数のサブセットを決定し、この組の点に基づいて当該オブジェクトの表示（例えば、バウンディングボックス）を生成し、この組の点のサブセットに基づいて当該オブジェクトの１つ又は複数の部分の表示（例えば、バウンディングボックス）を生成する。コンピューティング機器１０２が用いるターゲット検出方法の例としては、ＢＥＶ（鳥瞰図、ｂｉｒｄ'ｓ ｅｙｅ ｖｉｅｗ）に基づくターゲット検出方法及び視錐台（Ｆｒｕｓｔｕｍ）に基づくターゲット検出方法が含まれる。

ＢＥＶに基づくターゲット検出方法を用いる場合、コンピューティング機器１０２は、まず点群に対して特徴検出を行って環境オブジェクトに関連する１組の点を決定し、次に当該点群に対して特徴検出を行い（例えば、関心領域プーリング（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ ｐｏｏｌｉｎｇ）を用いる）、第１のサブセット及び第２のサブセットを決定する。以下、図５に合わせて、ＢＥＶに基づくターゲット検出方法について詳細に説明する。

上記したように、感知システム１０１におけるＬＩＤＡＲは車両１００の周囲環境に関連する点群を収集することができ、感知システム１０１におけるカメラは車両１００の周囲環境に関連する画像を収集し、感知システム１０１におけるＬＩＤＡＲとカメラは重なる視野を有してもよい。視錐台に基づくターゲット検出方法を用いる場合、コンピューティング機器１０２はカメラによって収集された画像を検出することにより、画像中の環境のオブジェクトに関連する内容を決定し、例えば、矩形ボックスで画像中の環境のオブジェクトに関連する内容を表してもよい。さらに当該画像内容に基づいて、点群の一部分を決定し、前記点群の当該部分に対して特徴検出を行い、点群における当該環境のオブジェクトに関連する１組の点、この組の点の第１のサブセット及び第２のサブセットを決定する。以下、図６に合わせて、視錐台（Ｆｒｕｓｔｕｍ）に基づくターゲット検出方法について詳細に説明する。

ステップＳ２０３において、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する。

一方では、車両１００の周囲環境におけるオブジェクトは関節物体を含む可能性もあり、非関節物体を含む可能性もある。非関節物体の一例として、車体が基本的に剛性の小型自動車が挙げられる。他方では、車両１００と周囲の関節物体が特定の相対位置にある場合、車両１００上のセンサは関節物体の一部しか感知しない可能性がある。例えば、図１に示すように、車両１００はトラック１１４の真正面にあり、トラック１１４の牽引車はトレーラを完全に遮断しており、このとき、車両１００のセンサはトラック１１４の牽引車しか感知できず、トラック１１４のトレーラを感知しない。他の状況では、車両１００の近くのトラックのトレーラは他の車両、木、又は建物などに遮断されることがあり、その結果、車両１００のセンサはトラックの牽引車しか感知しない可能性もある。

コンピューティング機器１０２は点群における環境のオブジェクトに関連する１組の点を決定し、また、この組の点のサブセット（例えば、第１のサブセット及び第２のサブセット）を決定する時、コンピューティング機器１０２はこの組の点の信頼度（すなわち、環境において当該オブジェクトが存在する信頼度）を同時に決定し、第１のサブセット及び第２のサブセットに対応する信頼度（すなわち、第１のサブセットに対応する第１の信頼度及び第２のサブセットに対応する第２の信頼度）を決定することができる。

コンピューティング機器１０２は点群における環境のオブジェクトに関連する１組の点を決定し、また、この組の点のサブセット（例えば、第１のサブセット及び第２のサブセット）を決定した後、この組の点に対応する信頼度（すなわち、環境においてオブジェクトが存在する信頼度）を決定し、第１のサブセット及び第２のサブセットに対応する信頼度（すなわち、第１のサブセットに対応する第１の信頼度及び第２のサブセットに対応する第２の信頼度）を決定することができる。

この組の点に対応する信頼度が所定の閾値よりも低い場合は、検出結果が不正確であることを示し、当該検出結果を廃棄する。この組の点に対応する信頼度が所定の閾値よりも高い場合だけが、関連するオブジェクトが検出される（或いは環境において当該オブジェクトが存在する）ことを示す。この組の点の信頼度が所定の閾値よりも高い場合、コンピューティング機器１０２は第１のサブセットに対応する第１の信頼度（すなわち、オブジェクトが第１のサブセットに関連する第１の部分を含む信頼度）及び第２のサブセットに対応する第２の信頼度（すなわち、オブジェクトが第２のサブセットに関連する第２の部分を含む信頼度）をさらに判断する。

第１の信頼度及び第２の信頼度の一方が低い（例えば、所定の閾値よりも低い）場合は、当該組の点に対応するオブジェクトが関節物体ではないか、又は関節物体が部分的に遮断されることを示す。

ステップＳ２０４において、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成し、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

上記したように、第１の信頼度及び第２の信頼度の一方が所定の閾値よりも低い場合は、感知システム１０１が感知したオブジェクトが非関節物体であるか、又は感知システム１０１が感知した物体が関節物体であるが、部分的に遮断されることを示すことができる。第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高い場合だけが、感知システム１０１が関節物体を感知し、且つ感知システム１０１が関節物体の少なくとも２つの部分を感知することを示す。このとき、コンピューティング機器１０２は、オブジェクトの表示（すなわち、オブジェクト全体の表示）、及び感知したオブジェクトの各部分の表示を含むオブジェクトの階層表示を生成し、オブジェクトの各部分の表示は少なくとも一部がオブジェクトの表示内に位置する。オブジェクトの表示及びオブジェクトの各部分の表示の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。

本願にて提供されるオブジェクトをモデリングする方法は、感知システムによって収集された周囲環境に関連する点群を取得し、前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定し、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成し、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。点群からオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定し、さらにオブジェクト及びオブジェクトが含む第１の部分と第２の部分に対して対応する表示をそれぞれ生成することにより、オブジェクトに対するモデリングを実現し、モデリングの精細度を向上させ、さらにオブジェクトの運動状態を正確に決定することができる。

図３は本願の別の実施例にて提供されるオブジェクトをモデリングするための方法（すなわち、オブジェクトの階層表示を生成するための方法）のフローチャートを示し、それは関節物体が３つ又はそれ以上の相対的に回転可能な部分を含まれる状況を考慮する。図３に示す方法の実行主体は、例えば、図１ｂに示すコンピューティング機器１０２のような任意の電子機器である。図３のステップＳ３０１～Ｓ３０４は、図２のステップＳ２０１～Ｓ２０４と基本的に同じであるため、以下、これらのステップについて詳細な説明は省略する。図３に示すように、ステップＳ３０１において、感知システムによって収集された周囲環境に関連する点群を取得する。ステップＳ３０２において、前記点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する。ステップＳ３０３において、第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定する。ステップＳ３０４において、前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成し、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

図３に示すように、ステップＳ３０５において、ステップＳ３０２で生成された１組の点の第２のサブセットが含む第３のサブセット及び第４のサブセットを決定する。

ステップＳ３０４の後に、コンピューティング機器１０２は、ステップＳ３０２で決定された１つのサブセット、例えば第２のサブセットに対して、第２のサブセットの複数のサブセット、例えば第３のサブセット及び第４のサブセットを決定することができる。

ステップＳ３０６において、第３のサブセット及び第４のサブセットに基づいて、前記オブジェクトが前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定する。

本開示のオブジェクトをモデリングするための方法がＢＥＶに基づくターゲット検出方法を用いる場合、コンピューティング機器１０２は第１のサブセット及び第２のサブセットのうちの１つに対して、例えば第２のサブセットに対して特徴検出を行って（例えば、関心領域プーリングを用いる）第３のサブセットと第４のサブセット、及び第３のサブセットと第４のサブセットにそれぞれ対応する信頼度を決定することができる。

本開示のオブジェクトをモデリングするための方法が視錐台に基づくターゲット検出方法を用いる場合、第１のサブセット及び第２のサブセットを決定した後、第１のサブセット及び第２のサブセットのうちの１つ、例えば第２のサブセットに対して、特徴検出を行って（例えば、関心領域プーリングを用いる）第３のサブセットと第４のサブセット、及び第３のサブセットと第４のサブセットにそれぞれ対応する信頼度を決定することができる。

第３の信頼度及び第４の信頼度の一方が低い（例えば、所定の閾値よりも低い）ことを決定した場合、当該関節物体が２つの部分のみを含むか、又は関節物体が部分的に遮断される可能性がある。

ステップＳ３０７において、前記第３の信頼度及び第４の信頼度がいずれも所定の閾値よりも高いことに応答して、前記第３の部分の第４の表示、及び前記第４の部分の第５の表示を生成し、前記第４の表示及び第５の表示は少なくとも一部が第３の表示内に位置する。

上記したように、第３の信頼度及び第４の信頼度の一方が所定の閾値よりも低い場合は、感知システム１０１が感知した関節物体が２つの部分（すなわち、第１の部分及び第２の部分）のみを含むか、又は関節物体が部分的に遮断されることを示すことができる。第３の信頼度及び第４の信頼度がいずれも所定の閾値よりも高い場合だけが、感知システム１０１が、関節物体が少なくとも３つの部分、すなわち、第１の部分、第３の部分及び第４の部分（関節物体の第２の部分は第３の部分及び第４の部分から構成される）を含むことを感知することを示す。コンピューティング機器１０２が生成したオブジェクトの階層表示は、オブジェクトの表示、及び感知したオブジェクトの各部分（オブジェクトの第１の部分、オブジェクトの第２の部分、オブジェクトの第３の部分、オブジェクトの第４の部分）の表示を含み、オブジェクトの各部分の表示は少なくとも一部がオブジェクトの表示内に位置し、オブジェクトの第３の部分及び第４の部分の表示は少なくとも一部がオブジェクトの第２の部分の表示内に位置する。オブジェクトの表示及びオブジェクトの各部分の表示の例は、例えば、矩形のバウンディングボックスのようなバウンディングボックスである。

なお、オブジェクトの第２部分が第３の部分、第４の部分に加えて、さらに多くの部分を含めば、残りの部分も上記と同じプロセスを用いて対応する表示を生成することができ、ここで、重複する説明は省略する。また、オブジェクトの第１の部分も異なる部分を含めば、上記と同じプロセスを用いて対応する表示を生成することもできる。

いくつかの実施例では、前記第１の表示は第１の幾何学的形状を有し、前記第２の表示は第２の幾何学的形状を有し、前記第３の表示は第３の幾何学的形状を有し、前記第４の表示は第４の幾何学的形状を有し、前記第５の表示は第５の幾何学的形状を有する。ここで、第１の幾何学的形状、第２の幾何学的形状、第３の幾何学的形状、第４の幾何学的形状、第５の幾何学的形状はオブジェクト及び／又はオブジェクトの各部分に基づいて任意の幾何学的形状を選択して、オブジェクト及び／又はオブジェクトの各部分の輪郭を表すために用いることができ、例えば、三次元空間でモデリングすれば、第１の幾何学的形状、第２の幾何学的形状、第３の幾何学的形状、第４の幾何学的形状、第５の幾何学的形状のうち１つ又は複数は直方体であってもよく、また、例えば、二次元空間でモデリングすれば、第１の幾何学的形状、第２の幾何学的形状、第３の幾何学的形状、第４の幾何学的形状。第５の幾何学的形状のうち１つ又は複数は矩形であってもよい。

いくつかの実施例では、図４に示すように、図２のステップＳ２０２及び図３のステップＳ３０２において、前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップは、
当該点群に基づいて前記オブジェクトのカテゴリを決定するステップＳ４０１と、
前記オブジェクトのカテゴリが所定のカテゴリであることに応答して、当該組の点の第１のサブセットと第２のサブセットを決定するステップＳ４０２と、を含む。

図２のステップＳ２０２及び図３のステップＳ３０２において、前記点群におけるオブジェクトに関連する１組の点を決定した後、当該組の点に基づいて前記オブジェクトのカテゴリを決定する。前記オブジェクトのカテゴリが関節物体であると決定した場合、当該組の点の第１のサブセット及び第２のサブセットを決定する。

例えば、ＢＥＶに基づくターゲット検出方法を用いる場合、コンピューティング機器１０２はオブジェクトに関連する１組の点を決定した後、この組の点に基づいてオブジェクトのカテゴリを識別し、当該オブジェクトのバウンディングボックスを決定する。オブジェクトが関節物体であると識別した場合だけが、当該オブジェクトの第１の部分に関連する当該組の点の第１のサブセット、当該オブジェクトの第２の部分に関連する当該組の点の第２のサブセットをさらに決定する。

以下、図５に合わせて点柱（ＰｏｉｎｔＰｉｌｌａｒｓ）アルゴリズムモデル（以下ＰｏｉｎｔＰｉｌｌａｒｓと略称する）を例としてＢＥＶに基づくターゲット検出方法を説明する。当業者であれば理解できるように、ＰｏｉｎｔＰｉｌｌａｒｓに加えて、ＢＥＶに基づくターゲット検出方法は他のニューラルネットワーク又はアルゴリズムモデルを用いて実現することができる。

従来のＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャは入力ネットワーク、特徴抽出ネットワーク、検出ヘッド及び出力ネットワークを含む。図５は本開示によるＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャを示す。図５に示すように、本開示のＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャは従来のネットワークアーキテクチャに比べて、関心領域プーリング（ＲＯＩプーリングと略称する）を行う検出ヘッド、例えば検出ヘッド５０４及び検出ヘッド５０５をさらに含む。当業者であれば理解できるように、図５はＲＯＩプーリングを行う２つの検出ヘッドを示すが、ＰｏｉｎｔＰｉｌｌａｒｓのネットワークアーキテクチャはそれ以上、又はそれ以下のＲＯＩプーリングを行う検出ヘッドを含んでもよい。

図５に示すように、入力ネットワーク５０１は、例えば図１ｂの感知システム１０１によって収集された点群のような点群を受信し、受信した点群を特徴抽出ネットワーク５０２に伝送するために用いられる。特徴抽出ネットワーク５０２は入力ネットワーク５０１から受信した点群を複数の柱（Ｐｉｌｌａｒ）単位に分割することにより、点群を疑似画像に変換し、畳み込みニューラルネットワークを用いて疑似画像上で特徴を抽出することができる。検出ヘッド５０３は特徴抽出ネットワーク５０２によって抽出された特徴に基づいてターゲット検出を行い、それにより、前記点群における車両（例えば、車両１００）の周囲環境におけるオブジェクトに関連する１組の点を決定し、それに応じてオブジェクトの表示（例えば、バウンディングボックス）を生成し、当該組の点に対応する信頼度（すなわち、オブジェクトが存在する信頼度）を生成する。続いて、検出ヘッド５０４はこの組の点に対してＲＯＩプーリング操作を行い、この組の点の複数のサブセット（例えば、第１のサブセット及び第２のサブセット）を決定して、オブジェクトの複数の部分、例えば、前記第１のサブセットに関連する第１の部分及び前記第２のサブセットに関連する第２の部分を予測し、第１の部分及び第２の部分のバウンディングボックス、並びに第１の部分及び第２の部分に対応する信頼度（すなわち、オブジェクトが第１の部分を含む信頼度、及び第２の部分を含む信頼度）を生成する。続いて、検出ヘッド５０５は、検出ヘッド５０４によって決定された複数のサブセットのうち少なくとも１つのサブセット（例えば、第２のサブセット）に対してＲＯＩプーリング操作を行い、第２のサブセットの複数のサブセット（例えば、第３のサブセット及び第４のサブセット）を決定して、オブジェクトの第２の部分の複数の部分、例えば、前記第３のサブセットに関連する第３の部分及び前記第４のサブセットに関連する第４の部分を予測し、第３の部分及び第４の部分のバウンディングボックス、並びに第３の部分及び第４の部分に対応する信頼度（すなわち、オブジェクトが第３の部分を含む信頼度、及び第４の部分を含む信頼度）を生成する。出力ネットワーク５０６は上記各信頼度に基づいてバウンディングボックスで構成されるオブジェクトの階層表示を出力する。

いくつかの実施例では、検出ヘッド５０３はターゲット検出を行った後に、検出したオブジェクトのカテゴリを決定し、検出したオブジェクトが関節物体であれば、検出ヘッド５０３の検出結果を検出ヘッド５０４に提供してＲＯＩプーリング操作を行わせる。検出したオブジェクトが関節物体でなければ、検出結果を検出ヘッド５０４に提供せず、検出結果を出力ネットワーク５０６に直接提供して出力させる。

以下、図６に合わせて、視錐台に基づくターゲット検出方法について詳細に説明する。従来の視錐台に基づくターゲット検出方法のネットワークアーキテクチャは入力ネットワーク、特徴抽出ネットワーク、検出ヘッド及び出力ネットワークを含む。図６は本開示による視錐台に基づくターゲット検出方法のネットワークアーキテクチャを示す。本開示のネットワークアーキテクチャは、検出ヘッド（例えば、図６の検出ヘッド６０３）を複数のブランチに分割する一方で、検出ヘッドを追加する（例えば、図６の検出ヘッド６０４を追加する）という点で、従来のネットワークアーキテクチャの検出ヘッドに対して改良されている。

上記したように、感知システム１０１（図１ｂ参照）におけるＬＩＤＡＲとカメラは重なる視野を有することができ、視錐台に基づくターゲット検出方法はＬＩＤＡＲとカメラの視野が重なるという特徴を利用し、カメラが収集した画像及びＬＩＤＡＲが収集した点群に合わせてターゲット検出を行う。

図６に示すように、入力ネットワーク６０１は、例えば、感知システム１０１のＬＩＤＡＲが収集した点群及び感知システム１０１のカメラが収集した画像のような点群及び画像を受信するために用いられる。入力ネットワーク６０１は画像内でオブジェクトのバウンディングボックスを検出し、続いてカメラを原点とし、バウンディングボックス方向に沿って延伸して１つの錐体を形成する。入力ネットワーク６０１はカメラとＬＩＤＡＲの相対姿勢に基づいて、点群におけるどの点がこの錐体内に位置するかを決定する。

特徴抽出ネットワーク６０２は入力ネットワーク６０１によって決定された錐体内の点に対して特徴抽出を行うために用いられる。特徴抽出ネットワーク６０２の一例として、ＰｏｉｎｔＮｅｔネットワークが挙げられる。検出ヘッド６０３は特徴抽出ネットワーク６０２によって抽出された特徴に基づいてターゲット検出を行い、検出ヘッド６０３は複数（例えば３つ）のブランチを含む。１つのブランチは点群における車両（例えば、車両１００）の周囲環境におけるオブジェクトに関連する１組の点を決定し、それに応じて当該オブジェクトの表示（例えば、バウンディングボックス）を生成し、当該組の点に対応する信頼度（すなわち、オブジェクトが存在する信頼度）を生成する。検出ヘッド６０３の他のブランチは当該組の点の複数のサブセットを決定して（例えば、第１のサブセット及び第２のサブセットが挙げられ、ここで、各ブランチは１つのサブセットを決定する）、オブジェクトの複数の部分、例えば、前記第１のサブセットに関連する第１の部分及び前記第２のサブセットに関連する第２の部分を予測し（ここで、各ブランチは１つの部分を予測する）、第１の部分及び第２の部分のバウンディングボックス、並びに第１の部分及び第２の部分に対応する信頼度（すなわち、オブジェクトが第１の部分を含む信頼度、及び第２の部分を含む信頼度）を生成する。検出ヘッド６０４は、検出ヘッド６０３によって決定された複数のサブセットのうち少なくとも１つのサブセット、例えば、第２のサブセットに対して、第２のサブセットの複数のサブセット（例えば、第３のサブセット及び第４のサブセット）を決定して、オブジェクトの第２の部分の複数の部分、例えば、前記第３のサブセットに関連する第３の部分及び前記第４のサブセットに関連する第４の部分を予測し、第３の部分及び第４の部分のバウンディングボックス、並びに第３の部分及び第４の部分に対応する信頼度（すなわち、オブジェクトが第３の部分を含む信頼度、及び第４の部分を含む信頼度）を生成する。出力ネットワーク６０５は上記各信頼度に基づいてバウンディングボックスで構成されるオブジェクトの階層表示を出力する。

図７は本願の別の実施例にて提供されるオブジェクトをモデリングするための方法のフローチャートである。本実施例は、オブジェクトの階層表示を生成するために用いられる、オブジェクトをモデリングするための方法を提供する。その実行主体は任意の電子機器であり、例えば、図１ｂに示すコ車両１００のンピューティング機器１０２である。

図７に示すように、ステップＳ７０１において、感知システムによって収集された周囲環境に関連する点群を取得する。

ステップＳ７０２は図２におけるステップＳ２０１と同様であるため、ここで重複する説明は省略する。

ステップＳ７０２において、前記点群における周囲環境における第１のオブジェクトに関連する第１の組の点、及び周囲環境における第２のオブジェクトに関連する第２の組の点を決定する。

本実施例では、点群から第１のオブジェクトに関連する第１の組の点、及び第２のオブジェクトに関連する第２の組の点を識別することができる。具体的には、点群に対してオブジェクト識別を行うには、ニューラルネットワークなど、機械学習モデル、又は他のモデルを用いることができ、ここでは限定しない。

ステップＳ７０３において、前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断する。

本実施例では、第１の組の点及び第２の組の点により決定された、いくつかのパラメータに基づいて、第１のオブジェクトと第２のオブジェクトが関連関係を有するか否かを判断することができる。ここで、パラメータは第１の組の点及び第２の組の点に基づいて決定された第１のオブジェクト及び第２のオブジェクトの位置、大きさ、速度などを含むがこれらに限定されない。

選択可能に、決定木などの方式を用いて当該パラメータ及び予め設定されたルールに基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断することができる。

ステップＳ７０４において、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有することに応答して、前記第１のオブジェクト及び第２のオブジェクトの第１の表示、前記第１のオブジェクトの第２の表示、並びに前記第２のオブジェクトの第３表示を含む第１のオブジェクト及び第２のオブジェクトの階層表示を生成し、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

本実施例では、第１のオブジェクトと第２のオブジェクトが関連関係を有すると決定すると、第１のオブジェクト及び第２のオブジェクトを１つの全体として第１の表示を生成し、第１のオブジェクトに対して第２の表示を単独で生成し、第２のオブジェクトに対して第３の表示を単独で生成し、第１の表示は第１のオブジェクト及び第２のオブジェクトが１つの全体とすることに対応する表示であるため、第２の表示及び第３の表示は少なくとも一部が第１の表示内に位置する。

例を挙げると、第１のオブジェクトは牽引車であり、第２のオブジェクトはトレーラであり、牽引車とトレーラが関連関係を有すると決定すると、それらは同一のトラックに属すると判断でき、このとき、トラックの牽引車及びトラックのトレーラを１つの全体として第１の表示を生成し、トラックの牽引車に対して第２の表示を単独で生成し、トラックのトレーラに対して第３の表示を単独で生成することができ、第２の表示及び第３の表示は少なくとも一部が第１の表示内に位置する。

上記実施例の上で、選択可能に、Ｓ７０３において前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、具体的には、
前記第１の組の点に基づいて前記第１のオブジェクトのカテゴリを判断するステップと、
前記第２の組の点に基づいて前記第２のオブジェクトのカテゴリを判断するステップと、
前記第１のオブジェクトのカテゴリ及び前記第２のオブジェクトのカテゴリに基づいて、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップと、を含む。

本実施例では、前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクト及び前記第２のオブジェクトのカテゴリをそれぞれ識別し、続いて第１のオブジェクト及び第２のオブジェクトのカテゴリに基づいて、第１のオブジェクトと第２のオブジェクトが関連関係を有するか否かを判断する。例えば、前記第１の組の点及び第２の組の点に基づいて、前記第１のオブジェクト及び第２のオブジェクトのカテゴリがそれぞれ牽引車及びトレーラであることを識別し、牽引車は一般的にトレーラに関連する。しかし、カテゴリのみに基づいて判断すると、一定の誤判断が存在し、例えば、２台のトラックが隣接すれば、２台のトラックの牽引車とトレーラに誤った関連関係を誤って確立する可能性があり、しかし、現フレームの点群において１台のトラックのみがあれば、カテゴリのみに基づいて牽引車とトレーラに関連関係を確立することができる。

上記実施例の上で、選択可能に、Ｓ７０３において前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、具体的には、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係を判断するステップと、
前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあることに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するステップと、を含む。

本実施例では、第１の組の点と第２の組の点との間の距離（すなわち、第１の組の点に対応する第１のオブジェクトと第２の組の点に対応する第２のオブジェクトとの間の距離）が所定の距離範囲内にあれば、第１のオブジェクトと第２のオブジェクトが関連関係を有すると決定し、ここで、選択可能に、距離は横方向距離及び縦方向距離を含むことができ、第２のオブジェクトを参照として、第２のオブジェクトに対する第１のオブジェクトの横方向距離及び縦方向距離を取得することができ、横方向距離及び縦方向距離が所定の距離範囲を満たせば、第１のオブジェクトと第２のオブジェクトが関連関係を有すると決定する。

第１のオブジェクトが牽引車であり、第２のオブジェクトがトレーラであり、牽引車とトレーラの対向する縁（又は距離の最も近い縁）が平行又は略平行であれば、牽引車及びトレーラのうち１つに座標系を確立し、さらに両者間の横方向距離及び縦方向距離を決定することができ、横方向距離及び縦方向距離が所定の距離範囲を満たせば、牽引車とトレーラが同一のトラックに属すると決定し、牽引車の縁とトレーラの対向する縁（又は距離の最も近い縁）が一定の角度をなせば、牽引車とトレーラの対向する縁の中間点間の距離、及び／又は牽引車とトレーラの対向する縁の最も近い距離、及び／又は牽引車とトレーラの対向する縁の最も遠い距離を取得することができ、所定の距離範囲を満たせば、牽引車とトレーラは同一のトラックに属すると決定する。

上記実施例の上で、前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係及び前記第１のオブジェクトと前記第２のオブジェクトとの速度関係を判断するステップと、
前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあり且つ前記第１のオブジェクトと前記第２のオブジェクトとの速度の差が所定の閾値よりも小さいことに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するステップと、を含む。

本実施例では、第１のオブジェクトと第２のオブジェクトが関連関係を有すれば、第１のオブジェクトと第２のオブジェクトは距離が近接するだけでなく、さらに速度が近接するはずであると考えられるため、第１のオブジェクトと第２のオブジェクトの位置関係及び速度関係に同時に基づいて、第１のオブジェクトと第２のオブジェクトが関連関係を有するか否かを決定することができる。ここで、第１のオブジェクトと第２のオブジェクトの速度関係は、図１ｂに示す車両１００の感知システム１０１によって収集された点群、画像のうちの１つ又は複数に基づいて決定されてもよく、又は他の手段によって決定されてもよい。

図８ａ及び図８ｂは本開示の例示的な実施例による感知システム（例えば、図１ｂに示す車両１００の感知システム１０１）が異なる時刻で収集したセンサデータにより生成された同じオブジェクト（例えば、トラックのような関節物体）の階層表示（例えば、図１ｂ、図２、図３、図５、図６及び図７を参照して上述した階層表示）の例を示す。図８ａは感知システムが第１の時刻で収集したセンサデータに基づいて生成されたオブジェクト（例えば、トラック）の階層表示を示す。図８ｂは感知システムが第１の時刻と異なる第２の時刻で収集したセンサデータに基づいて生成された当該オブジェクトの階層表示を示す。図８ａから分かるように、トラックが旋回する時に、牽引車とトレーラとの間に角度がある。図８ｂから分かるように、トラックが直進する時に、牽引車とトレーラがほぼ一直線上にある。

オブジェクトが異なる状態にある場合、オブジェクトの異なる部分には異なる相対位置関係が存在する可能性がある。例えば、図８ａに示すように、トラックが旋回する時に、トラックの牽引車とトレーラは異なる姿勢（例えば、向き）を有し、例えば、図８ｂに示すように、トラックが直進する時に、トラックの牽引車とトレーラは同じ姿勢（例えば、向き）を有する。

図８ａに示すように、トラックの階層表示８００はバウンディングボックス８０１を含む。バウンディングボックス８０１は点群におけるトラックに関連する１組の点によって決定される。バウンディングボックス８０１の形状及びサイズはトラック全体の形状及びサイズに対応する。すなわち、バウンディングボックス８０１の形状及びサイズはトラックの形状及びサイズに近似する。

トラックの階層表示はバウンディングボックス８０２をさらに含む。バウンディングボックス８０２はトラックに関連する１組の点のサブセット（すなわち、点群における牽引車に関連する点のセット）によって決定される。バウンディングボックス８０２の形状及びサイズは牽引車の形状及びサイズに対応する。つまり、バウンディングボックス８０２の形状及びサイズは牽引車の形状及びサイズに近似する。

トラックの階層表示はバウンディングボックス８０３をさらに含む。バウンディングボックス８０３はトラックに関連する１組の点のサブセット（すなわち、点群におけるトレーラに関連する点のセット）によって決定される。バウンディングボックス８０３の形状及びサイズはトレーラの形状及びサイズに対応する。すなわち、バウンディングボックス８０３の形状及びサイズはトレーラの形状及びサイズに近似する。図８ａでは、バウンディングボックス８０２及びバウンディングボックス８０３は大部分がバウンディングボックス８０１内に位置するが、他の実施例では、バウンディングボックス８０１をより大きいサイズを有するようにしてもよく、それにより、バウンディングボックス８０２及びバウンディングボックス８０３は完全にバウンディングボックス８０１内に位置する。

トラックが複数のトレーラ（例えば、トレーラ１及びトレーラ２）を含む場合、トラックの階層表示はバウンディングボックス８０４及び８０５をさらに含む。バウンディングボックス８０４及び８０５はトレーラに関連する点のセットのサブセット（すなわち、点群におけるトレーラ１に関連する点及び点群におけるトレーラ２に関連する点）によって決定される。バウンディングボックス８０４及び８０５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに対応する。すなわち、バウンディングボックス８０４及び８０５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに近似する。図８ａでは、バウンディングボックス８０４及びバウンディングボックス８０５は大部分がバウンディングボックス８０３内に位置するが、他の実施例では、バウンディングボックス８０３をより大きいサイズを有するようにしてもよく、それにより、バウンディングボックス８０４及びバウンディングボックス８０５は完全にバウンディングボックス８０３内に位置する。

図８ｂに示すように、トラックの階層表示８１０はバウンディングボックス８１１を含む。バウンディングボックス８１１は点群におけるトラックに関連する１組の点によって決定される。バウンディングボックス８１１の形状及びサイズはトラック全体の形状及びサイズに対応する。すなわち、バウンディングボックス８１１の形状及びサイズはトラックの形状及びサイズに近似する。

トラックの階層表示はバウンディングボックス８１２をさらに含む。バウンディングボックス８１２はトラックに関連する１組の点のサブセット（すなわち、点群における牽引車に関連する点のセット）によって決定される。バウンディングボックス８１２の形状及びサイズは牽引車の形状及びサイズに対応する。つまり、バウンディングボックス８１２の形状及びサイズは牽引車の形状及びサイズに近似する。

トラックの階層表示はバウンディングボックス８１３をさらに含む。バウンディングボックス８１３はトラックに関連する１組の点のサブセット（すなわち、点群におけるトレーラに関連する点のセット）によって決定される。バウンディングボックス８１３の形状及びサイズはトレーラの形状及びサイズに対応する。すなわち、バウンディングボックス８１３の形状及びサイズはトレーラの形状及びサイズに近似する。図８ｂでは、バウンディングボックス８１２及びバウンディングボックス８１３は完全にバウンディングボックス８１１内に位置する。

トラックが複数のトレーラ（例えば、トレーラ１及びトレーラ２）を含む場合、トラックの階層表示はバウンディングボックス８１４及び８１５をさらに含む。バウンディングボックス８１４及び８１５はトレーラに関連する点のセットのサブセット（すなわち、点群におけるトレーラ１に関連する点及び点群におけるトレーラ２に関連する点）によって決定される。バウンディングボックス８１４及び８１５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに対応する。すなわち、バウンディングボックス８１４及び８１５の形状及びサイズはトレーラ１及びトレーラ２の形状及びサイズに近似する。図８ｂでは、バウンディングボックス８１４及びバウンディングボックス８１５は完全にバウンディングボックス８１３内に位置する。

図８ａに示すように、トラックが旋回する時に、バウンディングボックス８０２及びバウンディングボックス８０３は大部分がバウンディングボックス８０１内に位置し、バウンディングボックス８０４及びバウンディングボックス８０５は大部分がバウンディングボックス８０３内に位置する。図８ｂに示すように、トラックが直進する時に、バウンディングボックス８１２及びバウンディングボックス８１３は完全にバウンディングボックス８１１内に位置し、バウンディングボックス８１４及びバウンディングボックス８１５は完全にバウンディングボックス８１３内に位置する。また、図８ａ及び図８ｂから分かるように、バウンディングボックス８０１のサイズはバウンディングボックス８１１のサイズよりも大きく、バウンディングボックス８０３のサイズはバウンディングボックス８１３のサイズよりも大きい。

図８ｃは本開示の例示的な実施例による関節物体（例えば、トラック）の階層表示（例えば、図８ａに示す階層表示８００及び図８ｂに示す階層表示８１０）のツリー図である。図８ｃのツリー図８２０に示すように、第１の階層は、例えば、図８ａ中のバウンディングボックス８０１及び図８ｂ中のバウンディングボックス８１１のようなトラック全体の表示に対応するノード８２１を含む。つまり、トラック全体の表示はトラックの階層表示の第１の階層にある。第２の階層は、例えば、図８ａ中のバウンディングボックス８０２、８０３及び図８ｂ中のバウンディングボックス８１２、８１３のような牽引車の表示及びトレーラ全体の表示にそれぞれ対応するノード８２２及びノード８２３を含む。つまり、牽引車の表示及びトレーラ全体の表示はトラックの階層表示の第２の階層にある。第３の階層のノード８２４及びノード８２５は、例えば、図８ａ中のバウンディングボックス８０４、８０５及び図８ｂ中のバウンディングボックス８１４、８１５のような異なるトレーラ（例えば、トレーラ１及びトレーラ２）の表示にそれぞれ対応する。つまり、トレーラ１及びトレーラ２の表示はトラックの階層表示の第３の階層にある。トラックが牽引車と、例えば、トレーラ１及びトレーラ２のような２つのトレーラとを含み、車両１００の近くに位置するとする。車両１００の感知システム１０１が当該トラックの牽引車及び２つのトレーラを感知できる場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、図８ｃに示すように、３つの階層を含む。車両の感知システム１０１は当該トラックを完全に観測できず、例えば、当該トラックの牽引車及び１つのトレーラしか感知できない場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、第１の階層及び第２の階層の２つの階層を含む。車両の感知システム１０１は当該トラックを完全に観測できず、例えば、当該トラックの牽引車しか感知できない場合、車両１００のコンピューティング機器１０２が当該トラックのために生成した階層表示は、第１の階層の１つの階層のみを含む。

図９は車両（例えば、図１ａ及び図１ｂ中の車両１００）を制御するための方法のフローチャートを示し、この方法は、例えば、図１ｂのコンピューティング機器１０２によって実行することができる。

ステップＳ９０１において、コンピューティング機器は車両の周囲環境におけるオブジェクトの階層表示を生成する。車両１００上のコンピューティング機器１０２は感知システム１０１によって収集された周囲環境に関連するデータ（例えば、点群及び／又は画像）に基づいて、車両１００の周囲環境におけるオブジェクトの階層表示を生成することができる。

コンピューティング機器１０２は上述した方法のいずれか（例えば、図２、図３及び図７に示す方法）を用いてオブジェクトの階層表示を生成することができる。このように、いくつかの実施例では、ステップＳ９０１は図２中のステップＳ２０１～Ｓ２０４を含み、いくつかの実施例では、ステップＳ９０１は図３中のステップＳ３０１～Ｓ３０７を含み、いくつかの実施例では、ステップＳ９０１は図７中のステップＳ７０１～Ｓ７０４を含む。

ステップＳ９０２において、コンピューティング機器は少なくとも部分的にオブジェクトの階層表示に基づいて車両が走行する経路（又は軌跡）を生成する。コンピューティング機器１０２はオブジェクトの階層表示を利用し、例えばＧＰＳトランシーバのデータ、ＲＡＤＡＲデータ、ＬＩＤＡＲデータ、カメラデータのような感知システム１０１からのデータ及び／又は他の車両システムからのデータを結合して、車両１００の走行経路又は軌跡を決定することができる。

ステップＳ９０３において、コンピューティング機器は車両を生成した経路（又は軌跡）に沿って走行するように制御する。コンピューティング機器１０２は制御命令を生成し、車両１００の制御システムに送信し、車両がステップ９０２で生成された経路（又は軌跡）に沿って走行するように、車両１００及びその部材（又はユニット）に対する操作を制御するために用いることができる。車両の制御システムは、例えば、ステアリングユニット、動力制御ユニット、制動ユニットなど、様々なユニットを含むことができる。

図１０は本願の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。本実施例にて提供されるオブジェクトをモデリングするための装置は任意の電子機器群に設けられ、オブジェクトをモデリングするための方法の実施例にて提供される処理フローを実行することができ、図１０に示すように、前記オブジェクトをモデリングするための装置１０００は、取得モジュール１００１、決定モジュール１００２、信頼度モジュール１００３及び生成モジュール１００４を含む。

取得モジュール１００１は感知システムによって収集された周囲環境に関連する点群を取得するために用いられ、
決定モジュール１００２は前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するために用いられ、
信頼度モジュール１００３は第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するために用いられ、
生成モジュール１００４は前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成するために用いられ、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

本願の１つ又は複数の実施例では、決定モジュール１００２は、さらに、当該組の点の前記第２のサブセットが含む第３のサブセット及び第４のサブセットを決定するために用いられ、
信頼度モジュール１００３は、さらに、第３のサブセット及び第４のサブセットに基づいて、前記オブジェクトが前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定するために用いられ、
生成モジュール１００４は、さらに、前記第３の信頼度及び第４の信頼度がいずれも所定の閾値よりも高いことに応答して、前記第３の部分の第４の表示、及び前記第４の部分の第５の表示を生成するために用いられ、前記第４の表示及び第５の表示は少なくとも一部が前記第３の表示内に位置する。

本願の１つ又は複数の実施例では、前記第１の表示は第１の幾何学的形状を有し、前記第２の表示は第２の幾何学的形状を有し、前記第３の表示は第３の幾何学的形状を有し、前記第４の表示は第４の幾何学的形状を有し、前記第５の表示は第５の幾何学的形状を有する。

本願の１つ又は複数の実施例では、前記第１の幾何学的形状、前記第２の幾何学的形状、前記第３の幾何学的形状、前記第４の幾何学的形状及び前記第５の幾何学的形状のうち少なくとも１つは矩形である。

本願の１つ又は複数の実施例では、前記決定モジュール１００２は前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する時に、
当該点群に基づいて前記オブジェクトのカテゴリを決定し、
前記オブジェクトのカテゴリが所定のカテゴリであることに応答して、当該組の点の第１のサブセットと第２のサブセットを決定するために用いられる。

本願の１つ又は複数の実施例では、前記決定モジュール１００２は前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する時に、
前記点群に対して特徴検出を行い、前記点群における前記オブジェクトに関連する１組の点を決定し、
当該組の点に対して特徴検出を行い、前記第１の部分に関連する当該組の点の第１のサブセット、及び前記第２の部分に関連する当該組の点の第２のサブセットを決定するために用いられる。

本願の１つ又は複数の実施例では、前記決定モジュール１００２は前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定する時に、
前記オブジェクトに関連する画像データに基づいて、前記点群の一部分を決定し、
前記点群の当該部分に対して特徴検出を行い、前記点群における前記オブジェクトに関連する１組の点、前記第１の部分に関連する当該組の点の第１のサブセット、及び前記第２の部分に関連する当該組の点の第２のサブセットを決定するために用いられる。

本願の１つ又は複数の実施例では、前記第２の表示と第３の表示は前記オブジェクトが第１の状態にある時に第１の位置関係を有し、前記オブジェクトが第２の状態にある時に第２の位置関係を有し、前記第１の位置関係は第２の位置関係と異なる。

本願の１つ又は複数の実施例では、前記オブジェクトが第１の状態にある時、前記第の表示は第１のサイズを有するとともに、前記第２の表示及び第３の表示は前記第１の表示内に位置し、前記オブジェクトが第２の状態にある時、前記第１の表示は第２のサイズを有するとともに、前記第２の表示及び第３の表示は前記第１の表示内に位置する。

本願の１つ又は複数の実施例では、前記オブジェクトはトラックを含み、前記第１の部分は牽引車を含み、前記第２の部分はトレーラを含む。

本願の実施例のオブジェクトをモデリングするための装置は上記図２～図４に示す方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理及び技術的効果は類似するため、ここで重複する説明は省略する。

図１１は本願の実施例にて提供されるオブジェクトをモデリングするための装置の構造図である。本実施例にて提供されるオブジェクトをモデリングするための装置は任意の電子機器群に設けられ、オブジェクトをモデリングするための方法の実施例にて提供される処理フローを実行することができ、図１１に示すように、前記オブジェクトをモデリングするための装置１１００は、取得モジュール１１０１、決定モジュール１１０２、判断モジュール１１０３及び生成モジュール１１０４を含む。

取得モジュール１１０１は感知システムによって収集された周囲環境に関連する点群を取得するために用いられ、
決定モジュール１１０２は周囲環境における第１のオブジェクトに関連する前記点群における第１の組の点、及び周囲環境における第２のオブジェクトに関連する第２の組の点を決定するために用いられ、
判断モジュール１１０３は前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するために用いられ、
生成モジュール１１０４は前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有することに応答して、前記第１のオブジェクト及び第２のオブジェクトの第１の表示、前記第１のオブジェクトの第２の表示、並びに前記第２のオブジェクトの第３表示を生成するために用いられ、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置する。

本願の１つ又は複数の実施例では、前記判断モジュール１１０３は前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断する時に、
前記第１の組の点に基づいて前記第１のオブジェクトのカテゴリを判断し、
前記第２の組の点に基づいて前記第２のオブジェクトのカテゴリを判断し、
前記第１のオブジェクトのカテゴリ及び前記第２のオブジェクトのカテゴリに基づいて、前記判断モジュール１１０３は前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するために用いられる。

本願の１つ又は複数の実施例では、前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断する時に、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係を判断し、
前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあることに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するために用いられる。

本願の１つ又は複数の実施例では、前記判断モジュール１１０３は前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断する時に、
前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係及び前記第１のオブジェクトと前記第２のオブジェクトとの速度関係を判断し、
前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあり且つ前記第１のオブジェクトと前記第２のオブジェクトとの速度の差が所定の閾値よりも小さいことに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するために用いられる。

本願の実施例のオブジェクトをモデリングするための装置は上記図７に示す方法の実施例の技術的解決手段を実行するために用いることができ、その実現原理及び技術的効果は類似するため、ここで重複する説明は省略する。

図１２は本願の実施例にて提供される電子機器のハードウェア構造の概略図を示す。図１２に示すように、当該電子機器１２００は、上記方法の実施例のいずれかにおける対応する電子機器（例えば、図１ｂに示すコンピューティング機器１０２）を実現するために用いられ、本実施例の電子機器１２００は、メモリ１２０１、プロセッサ１２０２及び通信インタフェース１２０３を含むことができる。

メモリ１２０１はコンピュータプログラムを記憶するために用いられる。当該メモリ１２０１は高速ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を含む可能性があり、例えば少なくとも１つの磁気ディスクメモリのような不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ、ＮＶＭ）をさらに含む可能性もあり、さらにＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ、磁気ディスク又は光ディスクなどであってもよい。

プロセッサ１２０２は、メモリに記憶されたコンピュータプログラムを実行して、上記任意の実施例における方法を実現するために用いられ、具体的には前記方法の実施例における関連説明を参照することができる。当該プロセッサ１２０２は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）などであってもよい。汎用プロセッサはマイクロプロセッサであってもよく、又は当該プロセッサは任意の一般的なプロセッサなどであってもよい。発明に合わせて開示された方法のステップは、ハードウェアのプロセッサによって実行して完了され、又はプロセッサにおけるハードウェアとソフトウェアモジュールとの組み合わせを用いて実行して完了されるように具現化することができる。

選択可能に、メモリ１２０１は独立していてもよく、プロセッサ１２０２と集積化されていてもよい。メモリ１２０１がプロセッサ１２０２から独立したデバイスである場合、電子機器１２００はバスをさらに含むことができる。当該バスはメモリ１２０１とプロセッサ１２０２を接続するために用いられる。当該バスは、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、周囲機器相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バス、又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バスはアドレスバス、データバス、制御バスなどに分けることができる。説明を容易にするために、本願の図面におけるバスはただ１本のバス又は１種類のバスに限定されるものではない。

通信インタフェース１２０３は各種のデータ及び／又は命令を受信又は送信するために用いられる。

本実施例にて提供される電子機器は上記実施例における方法を実行するために用いることができ、その実現方式及び技術的効果は類似し、本実施例は、ここで、重複する説明を省略する。

また、本実施例は、プロセッサにより実行されて上記実施例のいずれかに記載の方法を実現するコンピュータプログラムを記憶しているコンピュータ可読記憶媒体をさらに提供する。

また、本実施例は、プロセッサにより実行されて上記実施例のいずれかに記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品をさらに提供する。

本願の実施例にて提供されるいくつかの実施例では、開示される装置及び方法は、他の方式により実現することができることを理解されたい。例えば、以上説明された装置の実施例は単に例示的なものであり、例えば、前記ユニットの分割は、単に論理機能の分割であり、実際に実現する時に他の分割方式にしてもよく、例えば複数のユニット又はコンポーネントは結合してもよいし、別のシステムに集積化されてもよく、又はいくつかの特徴は無視されてもよいし、実行されなくてもよい。一方、表示又は議論された相互間の結合、直接結合又は通信可能な接続はいくつかのインタフェース、装置又はユニットを介した間接結合又は通信可能な接続であってもよく、電気的、機械的又は他の形態であってもよい。

分離部材として説明された前記ユニットは物理的に分離しても、しなくてもよく、ユニットとして表示された部材は物理的ユニットであってもなくてもよく、すなわち１つの場所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてユニットの一部又は全部を選択して本実施例の解決手段の目的を達成することができる。

また、本願の実施例の各実施例における各機能ユニットは、１つの処理ユニットに集積化されてもよく、各ユニットが単独で物理的に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに集積化されてもよい。上記集積化されたユニットはハードウェアの形態で実現されてもよく、ハードウエアプラスソフトウェア機能ユニットの形態で実現されてもよい。

ソフトウェア機能ユニットの形態で実現される集積化したユニットは１つのコンピュータ可読記憶媒体に記憶することができる。上記ソフトウェア機能ユニットは１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本願の実施例の各実施例に記載の方法のステップの一部を実行させるための複数の命令を含む。前述した記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

当業者であれば明らかに分かるように、説明の利便性及び簡潔性のために、単に上記各機能モジュールの分割を例に挙げて説明し、実際に利用する際に、ニーズに応じて上記機能を異なる機能モジュールに割り当てて完成させることができ、すなわち、装置の内部構造を異なる機能モジュールに分割することで、以上説明した機能の全部又は一部を完成する。上記説明した装置のモジュールの具体的な動作プロセスは、前記方法の実施例における対応するプロセスを参照することができ、ここで重複する説明は省略する。

以上の各実施例は本願の実施例の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照して本願の実施例を詳細に説明したが、当業者であれば、依然として前記各実施例に記載の技術的解決手段を修正し、又はその技術的特徴の一部又は全部を同等に置換することができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させないことを理解すべきである。

当業者は、明細書を考慮し、ここで開示された発明を実施すると、本願の他の実施形態を容易に想到し得る。本願は本願の任意の変形、用途又は適応的変化をカバーすることを意図しており、これらの変形、用途又は適応的変化は本願の一般的な原理に従い、本願に開示されていない本技術分野における周知の知識又は慣用技術手段を含む。明細書及び実施例は単に例示的なものとして見なされ、本願の真の範囲及び趣旨は特許請求の範囲によって示される。

本願は、以上説明され図面において示された精確な構造に限定されるものではなく、その範囲から逸脱せず、様々な補正及び変化を行うことができることを理解されたいであろう。本願の範囲は、添付の特許請求の範囲のみによって制限される。

Claims (17)

1. 感知システムによって収集されたその周囲環境に関連する点群を取得するステップと、
   前記点群におけるオブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップと、
   第１のサブセット及び第２のサブセットに基づいて、前記オブジェクトが前記第１のサブセットに関連する第１の部分を含む第１の信頼度、及び前記第２のサブセットに関連する第２の部分を含む第２の信頼度を決定するステップと、
   前記第１の信頼度及び第２の信頼度がいずれも所定の閾値よりも高いことに応答して、オブジェクトの第１の表示、前記第１の部分の第２の表示、及び前記第２の部分の第３の表示を含む前記オブジェクトの階層表示を生成するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップと、を含むオブジェクトをモデリングするための方法。
2. 当該組の点の前記第２のサブセットが含む第３のサブセット及び第４のサブセットを決定するステップと、
   第３のサブセット及び第４のサブセットに基づいて、前記オブジェクトが前記第３のサブセットに関連する第３の部分を含む第３の信頼度、及び前記第４のサブセットに関連する第４の部分を含む第４の信頼度を決定するステップと、
   前記第３の信頼度及び第４の信頼度がいずれも所定の閾値よりも高いことに応答して、前記第３の部分の第４の表示、及び前記第４の部分の第５の表示を生成するステップであって、前記第４の表示及び第５の表示は少なくとも一部が前記第３の表示内に位置するステップと、をさらに含む請求項１に記載の方法。
3. 前記第１の表示は第１の幾何学的形状を有し、前記第２の表示は第２の幾何学的形状を有し、前記第３の表示は第３の幾何学的形状を有し、前記第４の表示は第４の幾何学的形状を有し、前記第５の表示は第５の幾何学的形状を有する請求項２に記載の方法。
4. 前記第１の幾何学的形状、前記第２の幾何学的形状、前記第３の幾何学的形状、前記第４の幾何学的形状及び前記第５の幾何学的形状のうち少なくとも１つは矩形である請求項３に記載の方法。
5. 前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップは、
   当該点群に基づいて前記オブジェクトのカテゴリを決定するステップと、
   前記オブジェクトのカテゴリが所定のカテゴリであることに応答して、当該組の点の第１のサブセットと第２のサブセットを決定するステップと、を含む請求項１に記載の方法。
6. 前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップは、
   前記点群に対して特徴検出を行い、前記点群における前記オブジェクトに関連する１組の点を決定するステップと、
   当該組の点に対して特徴検出を行い、前記第１の部分に関連する当該組の点の第１のサブセット、及び前記第２の部分に関連する当該組の点の第２のサブセットを決定するステップと、を含む請求項１に記載の方法。
7. 前記点群における前記オブジェクトに関連する１組の点及び当該組の点の第１のサブセットと第２のサブセットを決定するステップは、
   前記オブジェクトに関連する画像データに基づいて、前記点群の一部分を決定するステップと、
   前記点群の当該部分に対して特徴検出を行い、前記点群における前記オブジェクトに関連する１組の点、前記第１の部分に関連する当該組の点の第１のサブセット、及び前記第２の部分に関連する当該組の点の第２のサブセットを決定するステップと、を含む請求項１に記載の方法。
8. 前記第２の表示と第３の表示は前記オブジェクトが第１の状態にある時に第１の位置関係を有し、前記オブジェクトが第２の状態にある時に第２の位置関係を有し、前記第１の位置関係は第２の位置関係と異なる請求項１に記載の方法。
9. 前記オブジェクトが第１の状態にある時、前記第１の表示は第１のサイズを有するとともに、前記第２の表示及び第３の表示は前記第１の表示内に位置し、前記オブジェクトが第２の状態にある時、前記第１の表示は第２のサイズを有するとともに、前記第２の表示及び第３の表示は前記第１の表示内に位置する請求項８に記載の方法。
10. 前記オブジェクトはトラックを含み、前記第１の部分は牽引車を含み、前記第２の部分はトレーラを含む請求項１に記載の方法。
11. 感知システムによって収集されたその周囲環境に関連する点群を取得するステップと、
    周囲環境における第１のオブジェクトに関連する前記点群における第１の組の点、及び周囲環境における第２のオブジェクトに関連する第２の組の点を決定するステップと、
    前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップと、
    前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有することに応答して、前記第１のオブジェクト及び第２のオブジェクトの第１の表示、前記第１のオブジェクトの第２の表示、並びに前記第２のオブジェクトの第３表示を生成するステップであって、前記第２の表示及び第３の表示は少なくとも一部が前記第１の表示内に位置するステップと、を含むオブジェクトをモデリングするための方法。
12. 前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、
    前記第１の組の点に基づいて前記第１のオブジェクトのカテゴリを判断するステップと、
    前記第２の組の点に基づいて前記第２のオブジェクトのカテゴリを判断するステップと、
    前記第１のオブジェクトのカテゴリ及び前記第２のオブジェクトのカテゴリに基づいて、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップと、を含む請求項１１に記載の方法。
13. 前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、
    前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係を判断するステップと、
    前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあることに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するステップと、を含む請求項１１に記載の方法。
14. 前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有するか否かを判断するステップは、
    前記第１の組の点及び第２の組の点に基づいて前記第１のオブジェクトと前記第２のオブジェクトとの位置関係及び前記第１のオブジェクトと前記第２のオブジェクトとの速度関係を判断するステップと、
    前記第１のオブジェクトが前記第２のオブジェクトの所定の距離範囲内にあり且つ前記第１のオブジェクトと前記第２のオブジェクトとの速度の差が所定の閾値よりも小さいことに応答して、前記第１のオブジェクトと前記第２のオブジェクトが関連関係を有すると判断するステップと、を含む請求項１１に記載の方法。
15. 請求項１に記載の方法に基づいてオブジェクトの階層表示を生成するステップと、
    少なくとも部分的にオブジェクトの階層表示に基づいて車両が走行する軌跡を生成するステップと、
    車両を生成した軌跡に沿って走行するように制御するステップと、を含む車両を制御するための方法。
16. プロセッサ及びメモリを含み、前記メモリはプログラム命令を記憶しており、前記プロセッサは前記プログラム命令を実行して、請求項１～１５のいずれか一項に記載の方法を実現する電子機器。
17. プロセッサにより実行される時に、請求項１～１５のいずれか一項に記載の方法を実現するためのプログラム命令を記憶しているコンピュータ可読記憶媒体。