JP7436670B2 - 路車協調における目標検出方法、装置及び路側機器 - Google Patents

Description

関連出願の相互参照

本願は、２０２１年０６月２８日に中国特許庁に提出された、出願番号が２０２１１０７２１８５３．４であり、発明の名称が「路車協調における目標検出方法、装置及び路側機器」である中国特許出願に基づき優先権を主張し、その全ての内容が援用により本願に組み込まれる。

本開示は、高度道路交通技術分野に関し、特に画像検出技術分野に関する。

路車協調Ｖ２Ｘ（Vehicle to everything、車両用無線通信技術）による道路監視や車
両の経路計画等の適用シナリオにおいて、画像収集装置により収集された画像を取得した後、画像内の人物、動物、車両等の目標を検出することで画像内の目標を位置決める必要があり、さらに、上記目標に対する処理操作をトリガーし、又は上記目標を結び付けて車両の経路計画等を行う。そのため、画像内の目標を検出するための路車協調における目標検出方法が必要である。

本開示は、路車協調における目標検出方法、装置及び路側機器を提供する。

本開示の一様態では、路車協調における目標検出方法を提供する。前記方法は、
画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することと、
候補目標領域間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、物体検出における評価指標）と候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新することと、
更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出することと、を含む。

本開示の一様態では、路車協調における目標検出装置を提供する。前記装置は、
画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得するための情報取得モジュールと、
候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新するための信頼度値更新モジュールと、
更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出するための目標検出モジュールと、を含む。

本開示の別の様態では、電子デバイスを提供する。前記電子デバイスは、
少なくとも１つのプロセッサーと、
前記少なくとも１つのプロセッサーと通信しているメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサーによって実行される命令が記憶されており、前記命令が前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに路車協調における目標検出方法を実現させる。

本開示の別の様態では、コンピューター命令が記憶されている非一時的なコンピューター可読記憶媒体を提供する。前記コンピューター命令は、前記コンピューターに路車協調における目標検出方法を実行させるために用いられる。

本開示の別の様態では、コンピュータープログラム製品を提供する。前記コンピュータープログラム製品は、コンピュータープログラムを含み、前記コンピュータープログラムがプロセッサーによって実行されると、路車協調における目標検出方法を実現する。

本開示の別の様態では、上記電子デバイスを含む路側機器を提供する。

本開示の別の様態では、上記電子デバイスを含むクラウドコントロールプラットフォームを提供する。

上記から分かるように、本開示の実施例による技術案を用いて目標検出を行う際に、まず、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新し、次に、更新された信頼度値に基づいて、候補目標領域から画像内の目標を検出する。候補目標領域間のＩｏＵが各候補目標領域間の重複度を反映でき、候補目標領域の被遮蔽度が候補目標領域の遮蔽される程度を反映できるため、上記のＩｏＵと被遮蔽度とに基づいて、候補目標領域の信頼度値を更新する際に目標領域間の重なり具合を参考でき、候補目標領域の更新された信頼度値をより実際の状況に近づけることで、更新された信頼度値により画像に対して目標検出を行い、目標検出の精度を高めることができる。

この部分で記述された内容は、本開示の実施例の要旨又は重要な特徴を特定することを意図しておらず、本開示の範囲に対しても限定しないことを理解できる。本開示の他の特徴は、以下の細書によって容易に理解される。

以下の図面は、本技術案をより理解するためのものであり、本開示に対する限定にならない。
図１は、本開示の実施例による路車協調における目標検出方法の概略フローチャートである。 図２は、本開示の実施例による画像の模式図である。 図３ａは、本開示の実施例によるネットワークモデルの構造の模式図である。 図３ｂは、本開示の実施例による別のネットワークモデルの構造の模式図である。 図４は、本開示の実施例による路車協調における目標検出装置の構造の模式図である。 図５は、本開示の実施例による電子機器の構造の模式図である。

以下、図面を参照しながら、本開示の例示的な実施例を説明する。本開示の実施例の様々な詳細は、本開示を理解し易いために含まれており、単に例示的なものとみなされるべきである。そのため、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを理解できる。また、以下の説明では、明確且つ簡潔にするために、公知の機能や構造に関する説明を省略する。

本開示の実施例は、路車協調における目標検出方法、装置及び路側機器を提供する。

本開示の一実施例では、路車協調の目標検出方法を提供する。当該方法は、
画像に対して目標検出を行い、画像内の候補目標領域と、候補目標領域の信頼度値と、
候補目標領域の被遮蔽度とを取得することと、
候補目標領域間のＩｏＵ（Intersection over Union、オーバーラップ率とも呼ばれる
）と候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新することと、
更新された信頼度値に基づいて、候補目標領域から画像内の目標を検出することと、
を含む。

候補目標領域間のＩｏＵは各候補目標領域間の重複度を反映でき、候補目標領域の被遮蔽度は候補目標領域の遮蔽される程度を反映できるため、上記のＩｏＵと被遮蔽度とに基づいて候補目標領域の信頼度値を更新する際に、候補目標領域の更新された信頼度値がより実際の状況に近づくように、目標領域間の重なり具合を参考できることで、更新された信頼度値により画像に対して目標検出を行い、目標検出の精度を高めることができる。

以下、本開示の実施例に係る実行主体を説明する。

本開示の実施例に係る実行主体は、目標検出機能が搭載された電子機器であってよい。ここで、上記電子機器は、卓上型コンピュ-タ、ノートパソコン、サーバー、画像収集装
置等であってよい。そのうち、画像収集装置は、ビデオカメラ、カメラ、ドライブレコーダー等を含んでよい。

本開示の実施例による技術案は、路車協調Ｖ２Ｘによる道路監視、車両の経路計画等の適用シナリオにおいて収集された画像に対して目標検出を行うことに用いられる。

また、本開示の実施例による技術案は、他のシナリオにおいて収集された画像に対して目標検出を行うことにも用いられる。例えば、上記した他のシナリオは、地下鉄駅、デパート、コンサートなどの人混みの多いシナリオであってよい。このようなシナリオに対して画像の収集を行うと、収集された画像に含まれる人が密集する場合が多く、一部の人の顔が他の人の顔によって遮られることが発生し易い。また、上記シナリオは、博物館の入り口、銀行のロビーなどの人が比較的に密集するシナリオでもよい。このようなシナリオに対して画像収集を行うと、収集された画像において、人の顔が他の人又は建物等によって遮られる可能性がある。

上記は、本開示の実施例に係る適用シナリオの一例に過ぎず、本開示を限定するものではない。

上記目標は、人の顔、動物、車両等でよい。

以下、具体的に本開示の実施例による路車協調における目標検出方法を説明する。

図１を参照すると、図１は、本開示の実施例による路車協調の目標検出方法の概略フローチャートであり、上記方法は、以下のステップＳ１０１～ステップＳ１０３を含む。

ステップＳ１０１では、画像に対して目標検出を行い、画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得する。

上記画像は、具体的なシナリオに対する画像収集によって取得された画像であってよい。上記シナリオは、車両走行シナリオや駐車場のシナリオ等を含んでよく、この場合、上記目標は、車両であってよい。上記シナリオは、さらに、地下鉄駅や高速鉄道駅等の公共空間のシナリオを含んでよく、この場合、上記目標は、人であってよい。

目標検出を行う場合、一実施形態では、予め設定された目標検出アルゴリズムを用いて
画像に対して目標検出を行い、画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得してよい。

上記予め設定された目標検出アルゴリズムは、異なる種類の目標に対して採用される検出アルゴリズムであってよい。例えば、目標が人である場合、顔検出アルゴリズムや人体検出アルゴリズム等を採用してよい。目標が車両である場合、車両検出アルゴリズムや番号プレート検出アルゴリズム等を採用してよい。

目標検出を行う他の実施形態については、後述の実施例を参照すればよく、ここでは詳述しない。

候補目標領域とは、目標検出により目標が存在する可能性があると判断された領域を指す。図２を例とすると、図２における各矩形枠で囲まれた領域は、画像に対して動物検出を行うことで得られた候補目標領域である。

候補目標領域の信頼度値は、候補目標領域に目標が存在する可能性の大きさを反映している。上記信頼度値は、小数、パーセント等で表してよい。信頼度値の値が大きいほど、候補目標領域に目標が存在する可能性が高いことを示す。

例えば、目標が人である場合、候補目標領域Ａの信頼度値が候補目標領域Ｂの信頼度値より大きいことは、候補目標領域Ａに人が存在する可能性が候補目標領域Ｂに人が存在する可能性より高いことを示す。

候補目標領域の被遮蔽度は、候補目標領域が遮蔽される程度を反映している。上記被遮蔽度は、小数、パーセント等で表してもよく、被遮蔽レベル番号で表してもよい。例えば、被遮蔽レベル番号には１、２、３を含む場合、番号１は被遮蔽レベルが重度の遮蔽であること表し、番号２は被遮蔽レベルが中度の遮蔽であること表し、番号３は被遮蔽レベルが軽度の遮蔽であることを表してよい。

ステップＳ１０２では、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新する。

候補目標領域間のＩｏＵは、２つの候補目標領域の間の重複度を表すためのものである。ＩｏＵが高いほど、２つの候補目標領域の間の重複度が高いことを示す。ＩｏＵが低いほど、２つの候補目標領域の間の重複度が低いことを示す。

具体的に、２つの候補目標領域の間の重なり面積を計算して第１面積を取得し、２つの候補目標領域の面積の合計を計算して第２面積を取得し、そして、第２面積と第１面積の差を計算して第３面積を取得し、第１面積と第３面積の比を候補目標領域間のＩｏＵとして確定する。

例えば、候補目標領域Ａの面積が４８であり、候補目標領域Ｂの面積が３２である場合、候補目標領域Ａと候補目標領域Ｂの重なり面積が１６であり、即ち、第１面積が１６である。候補目標領域Ａの面積と候補目標領域Ｂの面積の合計が（４６+３２）＝８０であ
り、即ち、第２面積が８０である。第２面積と第１面積の差を計算した結果が（８０－１６）＝６４であり、即ち、第３面積が６４である。第１面積と第３面積の比を計算した結果が１６／６４＝０．２５であり、この０．２５が候補目標領域間のＩｏＵである。

一実施形態では、各候補目標領域から基準領域を選択し、各候補目標領域における基準領域以外の他の候補目標領域のそれぞれに対して、当該他の候補目標領域と基準領域のＩ
ｏＵを計算し、計算によって得られたＩｏＵを、当該候補目標領域の信頼度値を更新するためのＩｏＵとして確定することができる。

上記基準領域は、各候補目標領域において、信頼度値が最も大きい領域であってよい。

別の実施形態では、候補目標領域のそれぞれに対して、当該候補目標領域と他の各候補目標領域の間のＩｏＵから１つのＩｏＵを選択し、選択されたＩｏＵを、当該候補目標領域の信頼度値を更新するためのＩｏＵとして確定することもできる。

例えば、上記複数のＩｏＵから、最大ＩｏＵ、平均ＩｏＵ、中央ＩｏＵ、又は最小ＩｏＵ等を選択してよい。

候補目標領域の信頼度値を更新する場合に、一実施形態では、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、予め設定された第１重み及び第２重みに従って調整係数を計算し、計算によって得られた調整係数に基づいて、候補目標領域の信頼度値を更新してよい。

具体的に、候補目標領域間のＩｏＵと第１重みの間の積を計算し、候補目標領域の被遮蔽度と第２重みの間の積を計算し、計算によって得られた２つの積の合計を調整係数とする。

例えば、候補目標領域間のＩｏＵが８０％であり、候補目標領域の被遮蔽度が５０％であり、予め設定された第１重みが０．８であり、予め設定された第２重みが０．２である場合、候補目標領域間のＩｏＵと第１重みの間の積を計算した結果が０．８*８０％＝６
４％であり、候補目標領域の被遮蔽度と第２重みの間の積を計算した結果が０．２*５０
％＝１０％であり、計算によって得られた２つの積の合計が６４％+１０％＝７４％であ
るため、調整係数が７４％であることが得られる。

計算によって調整係数が得られた後、調整係数と候補目標領域の信頼度値の間の積を計算して、候補目標領域の更新された信頼度値としてよい。

候補目標領域の信頼度値を更新する他の実施形態については、後述の実施例を参照すればよく、ここでは詳述しない。

ステップＳ１０３では、更新された信頼度値に基づいて、候補目標領域から画像内の目標を検出する。

本開示の一実施例では、更新された信頼度値が予め設定された信頼度閾値より大きい候補目標領域を選択し、選択された候補目標領域における目標を画像内の目標として確定してよい。

上記予め設定された信頼度閾値は、操作者により経験に基づいて設定される。例えば、信頼度値をパーセントで表す場合、予め設定された信頼度閾値が９０％、９５％等であってよい。

一例を挙げて、上記目標を確定する過程を説明する。仮に、更新された各候補目標領域の信頼度値が、それぞれ、８０％、７０％、９０％、９５％であり、予め設定された信頼度閾値が８５％であり、８５％より大きい更新された信頼度値が９０％、９５％であり、ここで、領域１の更新された信頼度値が９０％であり、領域２の更新された信頼度値が９５％であるとすると、領域１における目標及び領域２における目標が画像内の目標である
。

このように、信頼度値が予め設定された信頼度閾値より大きい候補目標領域について、これらの候補目標領域に目標が含まれる可能性は、他の候補目標領域に目標が含まれる可能性より高い。このため、信頼度値が予め設定された信頼度閾値より大きい候補目標領域における目標を、画像内の目標として確定し、得られた目標の正確度が高くなる。

本開示の一実施例では、更新された信頼度値が最も高い候補目標領域をプリセットした数で選択し、選択された候補目標領域における目標を画像内の目標として確定してもよい。

上記プリセットした数は、操作者によって経験に基づいて設定してよい。例えば、上記プリセットした数が１つ、３つ、５つ等であってよい。

一例を挙げて、上記目標を確定する過程を説明する。仮に、目標領域の信頼度値がそれぞれ８０％、７０％、９０％、９５％であり、プリセットした数が３個であるとすると、更新された信頼度値が最も大きい順に並べる上位３個は、それぞれ、９５％、９０％、８０％であり、更新された信頼度値が９５％、９０％、８０％である候補目標領域における目標を画像内の目標として確定する。

このように、信頼度値が最も大きいものから始まるプリセットした数の候補目標領域について、これらの候補目標領域に目標が含まれる可能性は他の候補領域に目標が含まれる可能性より高い。このため、信頼度値が最も大きいものから始まるプリセットした数の候補目標領域における目標を画像内の目標として確定し、得られた目標の正確度が高くなる。

上記から分かるように、本開示の実施例による技術案を用いて目標検出を行う際に、まず、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新し、次に、更新された信頼度値に基づいて、候補目標領域から画像内の目標を検出する。候補目標領域間のＩｏＵが各候補目標領域間の重複度を反映でき、候補目標領域の被遮蔽度が候補目標領域の遮蔽される程度を反映できるため、上記のＩｏＵと被遮蔽度とに基づいて、候補目標領域の信頼度値を更新する際に、候補目標領域間の重なり具合を参考でき、候補目標領域の更新された信頼度値がより実際の状況に近づけることで、更新された信頼度値に基づいて画像に対して目標検出を行い、目標検出の精度を高めることができる。

なお、例えば人が密集しているシナリオや車両が密集しているシナリオ等のような密集シナリオでは、目標が遮蔽された状況は特に深刻である。これらの密集シナリオにおける画像について、各候補目標領域の被遮蔽度が高いため、候補目標領域内の目標が不完全であり、得られた候補目標領域の信頼度値には大きい誤差がある。候補目標領域の被遮蔽度によって候補目標領域の信頼度値を更新することにより、各候補目標領域が遮蔽された時に信頼度値への誤差の影響を効果的に除去できるため、更新された信頼度値の正確度を高めて、さらに、検出によって正確な目標を取得することができる。そのため、本開示の実施例による技術案は、密集シナリオにおいて遮蔽される場合によりよく適用されることができ、目標検出の正確度を高めることができる。

候補目標領域の信頼度値に対する更新を正確に行うために、本開示の一実施例では、領域セットから信頼度値が最も高い第１領域を選択し、領域セットにおける他の領域と第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、他の領域の信頼度値を更新し、そして一回の信頼度値更新操作を完了する。領域セットには１つの領域が含まれるまで上
記操作を繰り返して行う。一回の信頼度値更新操作を1サイクルと称してよい。

上記領域セットには、候補目標領域内の選択されていない領域を含む。具体的に、第１サイクルの開始時に、領域セットにはステップＳ１０１で得られた各候補目標領域を含む。各サイクルで領域セットから第１領域を選択した後、既に選択された第１領域が領域セットに含まれなくなる。

第１サイクルの開始時に、第１領域は、ステップＳ１０１で得られた各候補目標領域における信頼度値が最も高い領域である。後続の各サイクルにおいて、第１領域は、前回のサイクルによって得られた更新された各領域における信頼度値が最も高い領域である。

上記他の領域とは、領域セットにおける第１領域以外の領域である。例えば、領域セットには、領域１、領域２、領域３を含み、ここで、領域１が第１領域であり、領域２、領域３が第１領域以外の領域である場合、領域２、領域３が他の領域である。

各サイクルでは、領域セットにおける各領域に亘って、各領域の信頼度値を高いものから低いものへ並び替えて、信頼度値が最も高い領域を第１領域として確定してよい。また、第１領域を予測セットに保存してよく、サイクル数の増加に伴って、予測セットに保存されている第１領域の数も増加する。

以下、具体的な例を参照しながら、上記サイクルの過程を説明する。

仮に、ステップＳ１０１で得られた各候補目標領域がｂ１、ｂ２、ｂ３、…ｂｎである。

第１サイクルの開始時に、領域セットＢ＝{ｂ１、ｂ２、ｂ３、…、ｂｎ}である。ここで、各候補目標領域における信頼度値が最も高い領域は領域ｂ１であるため、領域ｂ１を第１領域とする。領域セットＢにおける領域ｂ１以外の領域がｂ２、ｂ３、…、ｂｎであるため、{ｂ２、ｂ３、…、ｂｎ}が他の領域である。

他の領域{ｂ２、ｂ３、…、ｂｎ}と領域ｂ１との間のＩｏＵと、他の領域{ｂ２、ｂ３
、…、ｂｎ}の被遮蔽度とに基づいて、他の領域{ｂ２、ｂ３、…、ｂｎ}の信頼度値を更
新する。そして、第１領域ｂ１を予測セットＤに追加してよく、追加された予測セットＤ＝{ｂ１}である。

第２サイクルの開始時に、領域ｂ１が第１領域として既に選択されているため、領域セットＢには領域ｂ１を含んでおらず、領域セットＢ＝{ｂ２、ｂ３、…、ｂｎ}である。ここで、更新された{ｂ２、ｂ３、…、ｂｎ}における信頼度値が最も高い領域が領域ｂ２であるため、領域ｂ２を第１領域とする。領域セットＢにおける領域ｂ２以外の領域がｂ３、…、ｂｎであるため、{ｂ３、…、ｂｎ}が他の領域である。

他の領域{ｂ３、…、ｂｎ}と領域ｂ２との間のＩｏＵと、他の領域{ｂ３、…、ｂｎ}の被遮蔽度とに基づいて、他の領域{ ｂ３、…、ｂｎ}の信頼度値を更新する。そして、第
１領域ｂ２を予測セットＤに追加してよく、追加された予測セットＤ＝{ｂ１、ｂ２}である。

第３サイクルの開始時に、領域ｂ１、領域ｂ２が第１領域として既に選択されているため、領域セットＢ＝{ ｂ３、…、ｂｎ }である。ここで、更新された{ ｂ３、…、ｂｎ}
における信頼度値が最も高い領域が領域ｂ３であるため、領域ｂ３を第１領域とする。領域セットＢにおける領域ｂ３以外の領域がｂ４、…、ｂｎであるため、{ｂ４、…、ｂｎ}
が他の領域である。

他の領域{ｂ４、…、ｂｎ}と領域ｂ３との間のＩｏＵと、他の領域{ｂ４、…、ｂｎ}の被遮蔽度とに基づいて、他の領域{ ｂ４、…、ｂｎ}の信頼度値を更新する。そして、第
１領域ｂ３を予測セットＤに追加してよく、追加された予測セットＤ＝{ｂ１，ｂ２，ｂ
３}である。

類似な方式によって、領域セットＢにおける領域の数が１になるまで、上記処理を繰り返し、領域セットＢにおける唯一の領域を直接に予測セットＤに追加し、サイクルが終わり、更新された各領域の信頼度値を取得した。

このように、各サイクルでは、領域セットにおける他の領域と第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、領域セットにおける領域の信頼度値を更新する。ここで、他の領域の被遮蔽度が他の領域の遮蔽される程度を反映しており、領域が遮蔽された時に、検出によって得られた領域の信頼度値の正確度が低いため、他の領域の被遮蔽度を導入することで、更新された候補目標領域の信頼度値の正確度を高めることができる。そして、他の領域と第１領域との間のＩｏＵは他の領域と第１領域との間の重複度を反映しており、且つ、第１領域は信頼度値が最も高い領域であるため、信頼度値が最も高い領域との間の重複度によって、他の領域の信頼度値を効果的に調整することもできる。このため、各サイクルでは、上記ＩｏＵと被遮蔽度とに基づいて、他の領域の信頼度値を効果的に更新することができる。そして、更新の過程を繰り替えすことで、更新された信頼度値の正確度をさらに高めることができる。

本開示の一実施例では、サイクル毎に他の領域の信頼度値を更新する際に、以下のステップＡ１－ステップＡ４によって実現することができる。

ステップＡ１では、領域セットにおける他の領域と第１領域との間のＩｏＵを計算する。
具体的に、まず、他の領域と第１領域との間の重なり面積を計算し、他の領域と第１領域の面積の合計を計算する。次に、上記面積の合計と重なり面積との差を計算して目標面積を取得し、重複面積と目標面積との間の比を候補目標領域間のＩｏＵとして確定する。

ステップＡ２では、ＩｏＵと予め設定されたＩｏＵ閾値とに基づいて、第１信頼度調整値を確定する。
上記予め設定されたＩｏＵ閾値は、操作者により経験に基づいて設定することができる。例えば、ＩｏＵ閾値が９０％、９５％等であってよい。

一実施形態では、ＩｏＵが予め設定されたＩｏＵ閾値より小さいか否やかを判断し、ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、第１信頼度値調節値を第１プリセット値として確定し、ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、第１信頼度調整値を第２プリセット値として確定してよい。
上記第１プリセット値及び第２プリセット値は、いずれも操作者により経験に基づいて設定されたものである。

本開示の一実施例では、ＩｏＵが予め設定されたＩｏＵ閾値より小さいか否やかを判断し、ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、第１信頼度調整値を１として確定し、ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、第１信頼度調整値を１とＩｏＵの差として確定してよい。
例えば、仮に、予め設定されたＩｏＵ閾値が９０％であるとすると、他の領域と第１領域との間のＩｏＵが９５％である場合、ＩｏＵ９５％が予め設定されたＩｏＵ閾値９０％
より大きいため、第１信頼度調整値が１－９５％＝５％であると確定し、他の領域と第１領域との間のＩｏＵが５０％である場合、ＩｏＵ５０％が予め設定されたＩｏＵ閾値９０％より小さいため、第１信頼度調整値を１として確定する。

このように、ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、他の領域と第１領域との間の重複度が小さいことを示し、他の領域における小部分の画像の内容が遮蔽され、検出によって得られた当該他の領域の信頼度値の正確度が高いことを意味し、この場合、当該他の領域の信頼度値を調整しなくてもよい。第１信頼度調整値を１に設定することで、領域の信頼度値を調整しないことを実現できる。ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、他の領域と第１領域との間の重複度が大きいことを示し、他の領域における大部分の画像の内容が遮蔽され、検出によって得られた当該他の領域の信頼度値の正確度が低いことを意味し、この場合、他の領域の信頼度値を調整する必要があり、第１信頼度調整値を１とＩｏＵの差として設定することで、調整された信頼度値を実際の状況に近づけることができる。

ステップＡ３では、他の領域の被遮蔽度に基づいて、第２信頼度調整値を確定する。

一実施形態では、他の領域の被遮蔽度と予め設定された調整係数との間の積を計算して、第２信頼度調整値とする。

上記予め設定された調整係数は、操作者により経験に基づいて設定してよく、例えば、予め設定された調整係数が１．２、１．５等であってよい。

本開示の一実施例では、以下の式に従って第２信頼度調整値ｇ(ｏｃｃ＿ｐｒｅｄ)を確定することもできる。
ここで、ｏｃｃ_ｐｒｅｄが他の領域の被遮蔽度であり、αが予め設定された常数であ
り、α＞１である。

α＞１であるため、第２信頼度調整値ｇ(ｏｃｃ＿ｐｒｅｄ)は、他の領域の被遮蔽度が増加するにつれて増加する。

領域の被遮蔽度が高い場合、当該領域の信頼度値の正確度が低いため、当該領域の信頼度値を大幅に調整することで、調整された信頼度値を実際の状況に近づけることが必要である。また、第２信頼度調整値ｇ(ｏｃｃ＿ｐｒｅｄ)が他の領域の被遮蔽度が増加するにつれて増加し、即ち他の領域の被遮蔽度が高いほど、第２信頼度調整値が大きいため、当該他の領域の信頼度値を大幅に調整することで、調整された他の領域の信頼度値実際の状況に近づけることができる。

ステップＡ４では、第１信頼度調整値と第２信頼度調整値とを用いて、他の領域の信頼度値を調整する。

本開示の一実施例では、以下の式に従って他の領域の信頼度値を調整することができる。
Ｓ’＝Ｓ*Ｔ１*Ｔ２
ここで、Ｓ’は調整された他の領域の信頼度値を表し、Ｓは調整される前の他の領域の信頼度値を表し、Ｔ１は第１信頼度調整値を表し、Ｔ２は第２信頼度調整値を表す。

このように、調整された信頼度値は、第１信頼度調整値と、第２信頼度調整値と、他の領域の信頼度値との間の積であるため、また、第１信頼度調整値、第２信頼度調整値は、異なる角度から他の領域の遮蔽される状況を反映しているため、上記調整された信頼度値が他の領域の遮蔽される状況を参考することで、調整された信頼度値をさらに実際の状況に近づける。

他の一実施形態では、第１信頼度調整値と、第２信頼度調整値と、他の領域の信頼度値との間の積を計算して参考信頼度値とし、予め設定された信頼度値誤差値によって上記参考信頼度値を調整して、調整された参考信頼度値を取得して、他の領域の調整された信頼度値とすることもできる。
具体的に、予め設定された信頼度値誤差値とパラメータ信頼度値の間の積を計算し、計算によって得られた積を他の領域の調整された信頼度値として確定することができる。

このように、第１信頼度調整値が他の領域と第１領域との間のＩｏＵとによって確定され、ＩｏＵが他の領域と第１領域の重複度を反映しているため、且つ、第２信頼度調整値が他の領域の被遮蔽度によって確定され、被遮蔽度が他の領域の遮蔽される程度を反映しているため、第１信頼度調整値と第２信頼度調整値はいずれも、異なる角度から他の領域の遮蔽される状況を反映できる。このため、第１信頼度調整値と第２信頼度調整値とを用いて他の領域の信頼度値を調整する時に、第１信頼度調整値と第２信頼度調整値は、異なる角度から他の領域の遮蔽される状況を反映しているため、第１信頼度調整値と第２信頼度調整値とを用いて調整すると、より正確な他の領域の遮蔽される状況に基づいて信頼度値を調整することで、調整された信頼度値をさらに実際の状況に近づける。

以下、１つの具体的な実現過程によって、上記サイクルで信頼度値を更新する方式について説明する。

仮に、各候補目標領域がｂ１、ｂ２、ｂ３であり、予め設定されたＩｏＵ閾値Ｎｔが９０％であり、各候補目標領域の信頼度値及び被遮蔽度が以下の表１に示すとする。

第１サイクルの開始時に、領域セットＢ＝{ｂ１、ｂ２、ｂ３}であり、ここで、領域ｂ１の信頼度値Ｃｖ１が最も高く、領域ｂ１が第１領域であり、領域ｂ２、領域ｂ３が他の領域である。

領域ｂ２に対して、領域ｂ２と領域ｂ１との間のＩｏＵを計算し、上記ＩｏＵと予め設定されたＩｏＵ閾値９０％とに基づいて、第１信頼度調整値を確定する。領域ｂ２の被遮蔽度Ｃｏ２に基づいて、第２信頼度調整値を確定する。第１信頼度調整値と第２信頼度調整値とに基づいて、領域ｂ２の信頼度値Ｃｖ２を調整し、更新された信頼度値がＣｖ２１である。

領域ｂ３に対して、領域ｂ３と領域ｂ１との間のＩｏＵを計算し、上記ＩｏＵと予め設
定されたＩｏＵ閾値９０％とに基づいて、第１信頼度調整値を確定する。領域ｂ３の被遮蔽度Ｃｏ３に基づいて、第２信頼度調整値を確定する。第１信頼度調整値と第２信頼度調整値とに基づいて、領域ｂ３の信頼度値Ｃｖ３を調整し、更新された信頼度値がＣｖ３１である。

第１サイクルで得られた更新された各候補目標領域の信頼度値は、以下の表２に示す。

第２サイクルの開始時に、領域ｂ１が既に選択されたため、領域セットＢ＝{ｂ２、ｂ
３}である。ここで、領域ｂ２の信頼度値Ｃｖ２１が最も高く、領域ｂ２が第１領域であ
り、領域ｂ３が他の領域である。

領域ｂ３に対して、領域ｂ３と領域ｂ２との間のＩｏＵを計算し、上記ＩｏＵと予め設定されたＩｏＵ閾値９０％とに基づいて、第１信頼度調整値を確定する。領域ｂ３の被遮蔽度Ｃｏ３に基づいて、第２信頼度調整値を確定する。第１信頼度調整値と第２信頼度調整値とに基づいて、領域ｂ３の信頼度値Ｃｖ３１を調整し、更新された信頼度値がＣｖ３１１である。

領域ｂ１、領域ｂ３が既に選択されたため、領域セットＢ＝{ｂ３}であり、１つの領域を含み、サイクルが終わる。

最終的に得られた更新された各候補目標領域の信頼度値は、以下の表３に示す。

本開示の一実施例では、上記ステップＳ１０１で異なる目標尺度ごとに、画像に対して目標検出を行い、画像内の異なる尺度の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することができる。

目標尺度とは、目標の寸法を指す。
目標尺度は、予め設定された尺度値であってよく、例えば、目標尺度は、１６ｘ１６、３２ｘ３２、６４ｘ６４であってよい。

具体的に、画像に対して多層特徴抽出を行って、そして、異なる特徴に対して特徴融合を行って、異なる尺度の特徴を取得してよい。異なる尺度の特徴を用いて画像に対して目
標検出を行い、異なる尺度の候補目標領域を取得し、異なる尺度の候補目標領域の信頼度値及び被遮蔽度を取得する。

このように、異なる尺度の候補目標領域に含まれる画像特徴情報が異なるため、画像内の異なる尺度の候補目標領域を取得することで、候補目標領域の異なる尺度における特徴情報を強化した。

本開示の一実施例では、予め訓練によって得られた目標検出モデルに画像を入力して、目標検出モデルによって出力された画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することができる。

上記目標検出モデルには、画像内の候補目標領域を検出するための目標検出層と、候補目標領域の被遮蔽度を予測するための遮蔽度予測層と、を含む。

一実施形態では、目標検出層は、画像内の候補目標領域を検出することに加えて、候補目標領域の信頼度値を計算することもできる。この場合、目標検出モデルのネットワーク構造は、図３ａのように示す。目標検出モデルには、目標検出層と遮蔽度予測層とを含む。

具体的に、画像が目標検出モデルに入力された後、モデルにおける目標検出層は、画像内の候補目標領域を検出し、候補目標領域の信頼度値を計算し、検出結果を遮蔽度予測層に伝送する。遮蔽度予測層は、各候補目標領域の被遮蔽度を予測する。目標検出モデルは、候補目標領域と、候補目標領域の信頼度値及び被遮蔽度とを出力する。

前述した実施例から分かるように、画像に対して目標検出を行う際に、目標尺度ごとに、異なる尺度の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得する。この場合、上記ネットワークモデルの上にＦＰＮ（Ｆｅａｔｕｒｅ Ｐｙｒ
ａｍｉｄ Ｎｅｔｗｏｒｋｓ）を追加してよく、ＦＰＮは、各種の異なる尺度の候補目標
領域と、候補目標領域の信頼度値及び被遮蔽度とを取得するために用いられる。

ＦＰＮを追加したネットワークモデルのネットワーク構造は、図３ｂのように示す。図３ｂに示すネットワーク構造は、バックボーン（Ｂａｃｋｂｏｎｅ）とＦＰＮとを含む。
ここで、バックボーンは、画像に対して特徴抽出を行い、画像内の異なる層の画像特徴を取得し、異なる層の画像特徴をＦＰＮに入力するために用いられる。

例えば、バックボーンが畳み込みニューラルネットワークである場合、畳み込みニューラルネットワークの各畳み込み層は、いずれも画像に対して畳み込み操作を行うことで、異なる層の画像特徴を取得することができる。

ＦＰＮは、異なる層の画像特徴に対して特徴融合を行い、異なる尺度の画像特徴を取得し、異なる尺度の画像特徴に基づいて目標検出を行い、異なる尺度の候補目標領域を取得し、候補目標領域の信頼度値及び被遮蔽度を取得するために用いられ、異なる層の画像特徴に対して分割統治処理を行うことを実現する。

目標検出際に、サンプル画像を訓練サンプルとし、サンプル画像内の真の候補目標領域及び真の被遮蔽度を訓練ラベルとして、訓練終了条件が満たされるまで、予め設定されたニューラルネットワークモデルに対して訓練を行い、訓練済み目標検出モデルを取得する。

上記予め設定されたニューラルネットワークモデルは、ＣＮＮ（Ｃｏｎｖ Ｎｅｕｒａ
ｌ Ｎｅｔｗｏｒｋ）モデル、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒ
ｋ）モデル、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル等であってよい。

具体的に、予め設定されたニューラルネットワークモデルにサンプル画像が入力された後、上記予め設定されたニューラルネットワークモデルは、サンプル画像に対して目標検出を行い、サンプル画像内の候補目標領域及び被遮蔽度を取得し、候補目標領域と真の目標領域との間の差と、候補目標領域の被遮蔽度と真の被遮蔽度との間の差を計算し、計算によって得られた差に基づいてニューラルネットワークモデルのパラメータを調整し、予め設定された訓練終了条件を満たすまで、パラメータの調整を繰り返す。

上記訓練終了条件は、訓練回数が予め設定された回数に達すること、モデルパラメータが予め設定されたモデルパラメータの収束条件を満たすこと等であってよい。

目標検出モデルが大量の訓練サンプルによって訓練されたものであるため、訓練過程において、目標検出モデルは、サンプル画像内の目標領域の特徴及び遮蔽された特徴を学習した。そのため、目標検出モデルが高いロバスト性を有するため、目標検出モデルにより画像に対して目標検出を行うと、正確な候補目標領域と、候補目標領域の信頼度値及び被遮蔽度とを出力することができる。

上記ステップＳ１０１では、目標検出モデルにより画像に対して目標検出を行うことに加えて、画像を複数の領域に区画して、領域ごとに当該領域における画像特徴を抽出し、画像特徴に基づいて領域から候補目標領域を確定する。

上記画像特徴は、テクスチャ特徴、色特徴、エッジ特徴等を含む。

各候補目標領域を取得した後、各候補目標領域の画像特徴に基づいて、各目標候補の信頼度値を予測する。

そして、各候補目標領域が属する層及び位置情報に基づいて、各候補目標領域の被遮蔽度を計算することもできる。

具体的に、候補目標領域が属する層及び位置間の相対関係に基づいて、候補目標領域の間に遮蔽が発生するか否やかを確定し、遮蔽された面積と遮蔽された領域の面積の間の比を計算して、候補目標領域の被遮蔽度とする。

例えば、候補目標領域Ａが前景層にあり、候補目標領域Ｂが背景層にあり、且つ候補目標領域Ａの位置情報と候補目標領域Ｂの位置情報との間に重なる場合、候補目標領域Ｂが遮蔽されていると確定することができ、候補目標領域Ｂの遮蔽された面積と候補目標領域Ｂの面積の比を計算し、候補目標領域Ｂの被遮蔽度とする。

上記路車協調における目標検出方法に対応し、本開示の実施例は、路車協調における目標検出装置をさらに提供する。

図４を参照すると、図４は、本開示の実施例による路車協調における目標検出装置の構造の模式図であり、上記装置は、以下のモジュール４０１－４０３を含む。
情報取得モジュール４０１は、画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得するためのものである。
信頼度値更新モジュール４０２は、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新するためのものである。
目標検出モジュール４０３は、更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出するためのものである。

上記から分かるように、本開示の実施例による技術案を用いて目標検出を行う際に、まず、候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新し、次に、更新された信頼度値に基づいて、候補目標領域から画像内の目標を検出する。候補目標領域間のＩｏＵが各候補目標領域間の重複度を反映でき、候補目標領域の被遮蔽度が候補目標領域の遮蔽される程度を反映できるため、上記のＩｏＵと被遮蔽度とに基づいて、候補目標領域の信頼度値を更新する際に目標領域間の重なり具合を参考でき、候補目標領域の更新された信頼度値をより実際の状況に近づける。このため、更新された信頼度値により画像に対して目標検出を行い、目標検出の精度を高めることができる。

本開示の一実施例では、前記信頼度値更新モジュール４０２は、具体的に、領域セットから信頼度値が最も高い第１領域を選択し、領域セットにおける他の領域と前記第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、他の領域の信頼度値を更新することを、前記領域セットに１つの領域が含まれるまで繰り返すために用いられる。ここで、前記領域セットには、候補目標領域における選択されていない領域を含む。

このように、各サイクルでは、領域セットにおける他の領域と第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、領域セットにおける領域の信頼度値を更新する。ここで、他の領域の被遮蔽度が他の領域の遮蔽される程度を反映しており、領域が遮蔽された時に、検出によって得られた領域の信頼度値の正確度が低いため、他の領域の被遮蔽度を導入することで、更新された候補目標領域の信頼度値の正確度を高めることができる。そして、他の領域と第１領域との間のＩｏＵが他の領域と第１領域との間の重複度を反映しており、且つ、第１領域が信頼度値が最も高い領域であるため、信頼度値が最も高い領域との間の重複度によって、他の領域の信頼度値を効果的に調整することもできる。このため、各サイクルでは、上記ＩｏＵと被遮蔽度とに基づいて、他の領域の信頼度値を効果的に更新することができる。そして、更新の過程を繰り替えすことで、更新された信頼度値の正確度をさらに高めることができる。

本開示の一実施例では、前記信頼度値更新モジュール４０２は、
領域セットにおける他の領域と前記第１領域との間のＩｏＵを計算するためのＩｏＵ計算手段と、
前記ＩｏＵと予め設定されたＩｏＵ閾値とに基づいて、第１信頼度調整値を確定するための第１調整値確定手段と、
他の領域の被遮蔽度に基づいて、第２信頼度調整値を確定するための第２調整値確定手段と、
前記第１信頼度調整値と第２信頼度調整値とを用いて、他の領域の信頼度値を調整するための信頼度値調整手段と、を含む。

このように、第１信頼度調整値が他の領域と第１領域との間のＩｏＵとによって確定され、ＩｏＵが他の領域と第１領域の重複度を反映しているため、且つ、第２信頼度調整値が他の領域の被遮蔽度によって確定され、被遮蔽度が他の領域の遮蔽される程度を反映しているため、第１信頼度調整値と第２信頼度調整値はいずれも、異なる角度から他の領域の遮蔽される状況を反映できる。このため、第１信頼度調整値と第２信頼度調整値とを用いて他の領域の信頼度値を調整する時に、第１信頼度調整値、第２信頼度調整値は、異なる角度から他の領域の遮蔽される状況を反映しているため、第１信頼度調整値と第２信頼度調整値とを用いて調整すると、より正確な他の領域の遮蔽される状況に基づいて信頼度値を調整することで、調整された信頼度値をさらに実際の状況に近づける。

本開示の一実施例では、前記第１調整値確定手段は、具体的に、前記ＩｏＵが予め設定されたＩｏＵ閾値より小さいか否やかを判断することと、前記ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、第１信頼度調整値を１として確定することと、前記ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、前記第１信頼度調整値を１と前記ＩｏＵの差として確定することと、に用いられる。

このように、ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、他の領域と第１領域との間の重複度が小さいことを示し、他の領域における小部分の画像の内容が遮蔽され、検出によって得られた当該他の領域の信頼度値の正確度が高いことを意味し、この場合、当該他の領域の信頼度値を調整しなくてもよい。第１信頼度調整値を１に設定することで、領域の信頼度値を調整しないことを実現できる。ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、他の領域と第１領域との間の重複度が大きいことを示し、他の領域における大部分の画像の内容が遮蔽され、検出によって得られた当該他の領域の信頼度値の正確度が低いことを意味し、この場合、他の領域の信頼度値を調整する必要があり、第１信頼度調整値を１とＩｏＵの差として設定することで、調整された信頼度値を実際の状況に近づけることができる。

本開示の一実施例では、前記第２調整値確定手段は、具体的に、以下の式に従って第２信頼度調整値ｇ(ｏｃｃ＿ｐｒｅｄ)を確定することに用いられる。
ここで、ｏｃｃ_ｐｒｅｄが他の領域の被遮蔽度であり、αが予め設定された常数であ
り、α＞１である。

領域の被遮蔽度が高い場合、当該領域の信頼度値の正確度が低いため、当該領域の信頼度値を大幅に調整することで、調整された信頼度値を実際の状況に近づけることが必要である。また、第２信頼度調整値ｇ(ｏｃｃ＿ｐｒｅｄ)が他の領域の被遮蔽度が増加するにつれて増加し、即ち他の領域の被遮蔽度が高いほど、第２信頼度調整値が大きいため、当該他の領域の信頼度値を大幅に調整することで、調整された他の領域の信頼度値実際の状況に近づけることができる。

本開示の一実施例では、前記信頼度値調整手段は、具体的に、以下の式に従って他の領域の信頼度値を調整することに用いられる。
Ｓ’＝Ｓ*Ｔ１*Ｔ２
ここで、Ｓ’は調整された他の領域の信頼度値を表し、Ｓは調整される前の他の領域の信頼度値を表し、Ｔ１は前記第１信頼度調整値を表し、Ｔ２は前記第２信頼度調整値を表す。

このように、調整された信頼度値は、第１信頼度調整値と、第２信頼度調整値と他の領域の信頼度値との間の積であるため、また、第１信頼度調整値、第２信頼度調整値は、異なる角度から他の領域の遮蔽される状況を反映しているため、上記調整された信頼度値が他の領域が遮蔽される状況を参考することで、調整された信頼度値をさらに実際の状況に近づける。

本開示の一実施例では、前記目標検出モジュール４０３は、具体的に、更新された信頼度値が予め設定された信頼度閾値より大きい候補目標領域を選択し、選択された候補目標
領域における目標を前記画像内の目標として確定すること、又は、更新された信頼度値が最も高い候補目標領域プリセットした数で選択し、選択された候補目標領域における目標を前記画像内の目標として確定することに用いられる。

このように、信頼度値が予め設定された信頼度閾値より大きい候補目標領域について、これらの候補目標領域に目標が含まれる可能性が他の候補目標領域に目標が含まれる可能性より高い。このため、信頼度値が予め設定された信頼度閾値より大きい候補目標領域における目標を画像内の目標として確定する場合、得られた目標正確度が高い。信頼度値が最も大きいものから始まるプリセットした数の候補目標領域について、これらの候補目標領域に目標が含まれる可能性が他の候補領域に目標が含まれる可能性より高い。このため、信頼度値が最も大きいものから始まるプリセットした数の候補目標領域における目標を画像内の目標として確定する場合、得られた目標の正確度が高い。

本開示の一実施例では、前記情報取得モジュール４０１は、具体的に、異なる目標尺度ごとに、画像に対して目標検出を行い、前記画像内の異なる尺度の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することに用いられる。

このように、異なる尺度の候補目標領域に含まれる画像特徴情報が異なるため、画像内の異なる尺度の候補目標領域を取得することで、候補目標領域の異なる尺度における特徴情報を強化にした。

本開示の一実施例では、前記情報取得モジュール４０１は、具体的に、予め訓練によって得られた目標検出モデルに画像を入力して、前記目標検出モデルによって出力された前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することに用いられる。ここで、前記目標検出モデルには、画像内の候補目標領域を検出するための目標検出層と、候補目標領域の被遮蔽度を予測するための遮蔽度予測層と、を含む。

このように、目標検出モデルが大量の訓練サンプルによって訓練されたものであるため、訓練過程において、目標検出モデルは、サンプル画像内の目標領域の特徴及び遮蔽された特徴を学習した。そのため、目標検出モデルが高いロバストを有するため、目標検出モデルにより画像に対して目標検出を行うと、正確な候補目標領域と、候補目標領域の信頼度値及び被遮蔽度とを出力することができる。

本開示の技術案において、ユーザーの個人情報に対する収集、保存、使用、加工、伝送、提供及び開示等の処理は、いずれも関連する法律および規制に準拠しており、公序良俗に違反することではない。

本開示の実施例によれば、本開示は、デバイス、可読記憶媒体、及びコンピュータープログラム製品をさらに提供する。

本開示の一実施例では、電子デバイスを提供する。
前記電子デバイスは、
少なくとも１つのプロセッサーと、
前記少なくとも１つのプロセッサーと通信しているメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサーによって実行される命令が記憶されており、前記命令が前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに前述した方法の実施例の何れか１つの路車協調における目標検出方法を実行させることができる。

本開示の一実施例では、コンピューター命令が記憶されている非一時的なコンピューター可読記憶媒体を提供する。前記コンピューター命令は、前記コンピューターに前述した方法の実施例の何れか１つの路車協調における目標検出方法を実行させるために用いられる。

本開示の一実施例では、コンピュータープログラム製品を提供する。前記コンピュータープログラム製品は、コンピュータープログラムを含み、前記コンピュータープログラムがプロセッサーによって実行されると、前述した方法の実施例の何れか１つの路車協調における目標検出方法を実現する。

本開示の一実施例では、上記電子デバイスを含む路側機器を提供する。

本開示の一実施例では、上記電子デバイスを含むクラウドコントロールプラットフォームを提供する。

図５は、本開示の実施例を実施するための例示の電子デバイス５００の模式的なブロック図を示す。電子デバイスとしては、例えば、ラップトップパソコン、デスクトップパソコン、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレームコンピューター、及び他の適当なコンピューターなど、様々な形態のデジタルコンピューターである。電子デバイスとしては、さらに、例えば、パーソナルデジタルアシスタント、セルフォン、スマートフォン、ウェアラブル機器、及び他の類似の計算装置など、様々な形態のモバイル装置である。本明細書に記載のコンポーネント、その接続関係、及びその機能は例示的なものに過ぎず、本開示の実施に関して本明細書に記載及び／又は主張された内容に限定するものではない。

図５に示すように、デバイス５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されているコンピュータープログラム、又は記憶手段５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータープログラムによって、各種の適当な動作や処理を実行する、計算手段５０１を含む。ＲＡＭ ５０３には、さらに、デバイス５０
０を操作するための各種のプログラムやデータが記憶されていることもできる。計算手段５０１、ＲＯＭ ５０２及びＲＡＭ ５０３は、それぞれ、バス５０４によって接続する。入力／出力（Ｉ／Ｏ）インターフェース５０５も、バス５０４に接続されている。

デバイス５００における複数のコンポーネントは、Ｉ／Ｏインターフェース５０５に接続されている。前記複数のコンポーネントは、キーボード、マウス等の入力手段５０６と、各種の型のディスプレー、スピーカー等の出力手段５０７と、ディスク、光ディスク等の記憶手段５０８と、通信手段５０９、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段５０９と、を含む。通信手段５０９によって、デバイス５００は、例えばインターネット等のコンピューターネットワーク、及び／又は各種の通信ネットワークを介して、他のデバイスと情報／データを交換することが可能である。

計算手段５０１は、処理及び計算能力を有する、各種の汎用な及び／又は専用な処理コンポーネントであってよい。計算手段５０１のいくつかの例示は、中央処理ユニット（ＣＰＵ）、画像処理ユニット（ＧＰＵ）、各種の専用な人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する各種の演算ユニット、デジタルシグナルプロセッサー（ＤＳＰ）、及び任意の適当なプロセッサー、コントローラ、マイクロコントローラ等を含むが、これに限定されない。計算手段５０１は、上述した各方法や処理、例えば路車協調の目標検出方法を実行する。例えば、いくつかの実施例では、路車協調の目標検出方法は、コンピューターソフトウェアプログラムとして実現されることができ、例えば記憶手段５０８等の機械可読媒体に有形的に含まれている。いくつかの実施例では、コンピュー
タープログラムの部分又は全部は、ＲＯＭ ５０２及び／又は通信手段５０９を介して、
デバイス５００にロード及び／又はインストールされている。コンピュータープログラムは、ＲＡＭ ５０３にロードされ、計算手段５０１によって実行されると、上述した路車
協調の目標検出方法の１つ又は複数のステップを実行することができる。選択的に、他の実施例では、計算手段５０１は、他の任意の適当な方式によって（例えば、ファームウェアによって）、実行路車協調の目標検出方法を実行するように構成されてよい。

本明細書において、上述したシステムや技術の各種実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、コンピューターハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現できる。これらの各種実施形態は、次のものを含んでもよい。１つ以上のコンピュータープログラムにおいて実施されており、当該１つ以上のコンピュータープログラムは、少なくとも１つのプログラマブルプロセッサーを含むプログラマブルシステムにおいて実行及び／又は解釈されてよく、当該プログラマブルプロセッサーは、専用又は汎用のプログラマブルプロセッサーであってよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送してよい。

好ましくは、路側機器は、電子デバイスを含むことのほか、通信コンポーネント等をさらに含んでよい。電子デバイスは、通信コンポーネントと一体化させてもよく、別々に構成されてもよい。電子デバイスは、感知デバイス（例えば、路側カメラ）のデータ、例えばピクチャーやビデオ等を取得することで、画像ビデオ処理及びデータ計算を行うことをできる。好ましくは、電子デバイス自体は、感知データを取得する機能や通信機能を有するものであってよく、例えば、ＡＩカメラである。電子デバイスは、取得した感知データに基づいて、直接に画像ビデオ処理やデータ計算を行うことができる。

好ましくは、クラウドコントロールプラットフォームは、クラウド側で処理を実行する。クラウドコントロールプラットフォームに含まれる電子デバイスは、感知デバイス（例えば、路側カメラ）のデータ、例えばピクチャーやビデオ等を取得することで、画像ビデオ処理及びデータ計算を行うことをできる。クラウドコントロールプラットフォームは、路車協調管理プラットフォーム、エッジ計算プラットフォーム、クラウド計算プラットフォーム、センターシステム、クラウド側サーバー等と称してもよい。

本開示の方法を実施するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせを用いて編集してよい。これらのプログラムコードは、汎用コンピューター、専用コンピューター又は他のプログラマブルデータ処理装置のプロセッサー又はコントローラに提供されることで、プログラムコードがプロセッサー又はコントローラによって実行されると、フローチャート図及び／又はブロック図で規定された機能／操作を実施されることができる。プログラムコードは、完全的に機械で実行されることができ、部分的に機械で実行されることができ、独立なパッケージソフトウェアとして部分的に機械で実行され且つ部分的にリモート機械で実行される、又は完全的にリモート機械やサーバーで実行されることができる。

本開示の文脈では、機械可読媒体は、命令実行システム、装置又はデバイスが使用され、又は、命令実行システム、装置又はデバイスと結合して使用されるプログラムを含み又は記憶されている、有形の媒体であってよい。機械可読媒体は、機械可読シグナル媒体、又は機械可読記憶媒体であってよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又はこれらの任意の適当な組み合わせを含
んでよいが、これに限定されない。。機械可読記憶媒体のより具体的な例示としては、１本以上のワイヤに基づく電気接続、携帯型コンピューターディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの任意の適当な組み合わせを含んでよい。

ユーザーとのインタラクションを提供するために、上述したシステム及び技術は、コンピューターで実施することができる。当該コンピューターは、ユーザーに情報を表示することに用いられる表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニター）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザーは、当該キーボード及び当該ポインティングデバイスによって、コンピューターに入力情報を提供することができる。ユーザーとのインタラクションを提供するために、他の種類の装置も使える。例えば、ユーザーに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってよい。また、任意の形式（音入力、音声入力、触覚入力を含む）によって、ユーザーからの入力を受信してよい。

ここで記述したシステム及び技術は、バックグラウンドコンポーネントを含む計算システム（例えば、データサーバーとして）、又は中間コンポーネントを含む計算システム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含む計算システム（例えば、グラフィカルユーザーインタフェース又はウェブブラウザーを備えるユーザーコンピューターであって、ユーザーは、当該グラフィカルユーザーインタフェース又は当該ウェブブラウザーによってここで記述したシステム及び技術の実施形態とインタラクションを行うことができる）、又はこのようなバックグラウンドコンポーネント、中間コンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含む計算システムで、実施することができる。任意の形式又は媒体によるデジタルデータ通信（例えば、通信ネットワーク）を介して、システムのコンポーネントを互いに接続することができる。通信ネットワークの例示としては、ローカル領域ネットワーク（ＬＡＮ）と、ワイド領域ネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピューターシステムは、クライアントとサーバーとを含んでよい。クライアントとサーバーとは、通常、互いに離れており、通信ネットワークを介してインタラクションを行う。対応するコンピューターにおいて互いにクライアント－サーバー関係を有するコンピュータープログラムを実行することで、クライアントとサーバーとの関係を確立する。サーバーは、クラウドサーバー、分散システムのサーバー、又はブロックチェーンを結合したサーバーであってよい。

なお、上記の様々なプロセスを踏まえて、ステップを並べ替え、追加、又は削除することができる。例えば、本開示に記載の各ステップは同時に実行されてもよいし、順に実行されてもよいし、他の順番で実行されてもよく、本開示の技術的解決手段の所望の結果を得られるものであれば、本明細書では特に限定しない。

上記具体的な実施形態は、本開示の保護範囲を限定するものと見なされない。当業者が理解したように、設計上の要件や他の要素に基づいて、様々な修正や、組み合わせ、置き換えを行うことができる。本開示の趣旨においてなされた修正、同等な置き換えや改善等は、いずれも本開示の保護範囲に含まれる。

Claims (21)

1. 画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することと、
   候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新することと、
   更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出することと、を含み、
   前記候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新することは、
   領域セットから信頼度値が最も高い第１領域を選択し、領域セットにおける他の領域と前記第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、他の領域の信頼度値を更新することを、前記領域セットに１つの領域が含まれるまで繰り返すこと、を含み、
   前記領域セットには、候補目標領域における選択されていない領域を含む、
   路車協調における目標検出方法。
2. 前記領域セットにおける他の領域と前記第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、他の領域の信頼度値を更新することは、
   領域セットにおける他の領域と前記第１領域との間のＩｏＵを計算することと、
   前記ＩｏＵと予め設定されたＩｏＵ閾値とに基づいて、第１信頼度調整値を確定することと、
   他の領域の被遮蔽度に基づいて、第２信頼度調整値を確定することと、
   前記第１信頼度調整値と第２信頼度調整値とを用いて、他の領域の信頼度値を調整することと、を含む、
   請求項１に記載の方法。
3. 前記ＩｏＵと予め設定されたＩｏＵ閾値とに基づいて、第１信頼度調整値を確定することは、
   前記ＩｏＵが予め設定されたＩｏＵ閾値より小さいか否やかを判断することと、
   前記ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、第１信頼度調整値を１として確定することと、
   前記ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、前記第１信頼度調整値を１と前記ＩｏＵの差として確定することと、を含む、
   請求項２に記載の方法。
4. 前記他の領域の被遮蔽度に基づいて、第２信頼度調整値を確定することは、
   以下の式に従って第２信頼度調整値ｇ(occ＿pred)を確定することを含み、
   ここで、occ＿predが他の領域の被遮蔽度であり、αが予め設定された常数であり、α＞１である、
   請求項２に記載の方法。
5. 前記第１信頼度調整値と第２信頼度調整値とを用いて、他の領域の信頼度値を調整することは、
   以下の式に従って、他の領域の信頼度値を調整することを含み、
   Ｓ’＝Ｓ*Ｔ１*Ｔ２
   ここで、Ｓ’は調整された他の領域の信頼度値を表し、Ｓは調整される前の他の領域の信頼度値を表し、Ｔ１は前記第１信頼度調整値を表し、Ｔ２は前記第２信頼度調整値を表す、
   請求項２－４のいずれか１つに記載の方法。
6. 前記更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出することは、
   更新された信頼度値が予め設定された信頼度閾値より大きい候補目標領域を選択し、選択された候補目標領域における目標を前記画像内の目標として確定すること、
   又は、
   更新された信頼度値が最も高い候補目標領域をプリセットした数で選択し、選択された候補目標領域における目標を前記画像内の目標として確定すること、を含む、
   請求項１－４のいずれか１つに記載の方法。
7. 前記画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することは、
   異なる目標尺度ごとに、画像に対して目標検出を行い、前記画像内の異なる尺度の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得すること、を含む、
   請求項１－４のいずれか１つに記載の方法。
8. 前記画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することは、
   予め訓練によって得られた目標検出モデルに画像を入力して、前記目標検出モデルによって出力された前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得し、ここで、前記目標検出モデルには、画像内の候補目標領域を検出するための目標検出層と、候補目標領域の被遮蔽度を予測するための遮蔽度予測層とを含むこと、を含む、
   請求項１－４のいずれか１つに記載の方法。
9. 画像に対して目標検出を行い、前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得するための情報取得モジュールと、
   候補目標領域間のＩｏＵと候補目標領域の被遮蔽度とに基づいて、候補目標領域の信頼度値を更新するための信頼度値更新モジュールと、
   更新された信頼度値に基づいて、候補目標領域から前記画像内の目標を検出するための目標検出モジュールと、を含み、
   前記信頼度値更新モジュールは、領域セットから信頼度値が最も高い第１領域を選択し、領域セットにおける他の領域と前記第１領域との間のＩｏＵと他の領域の被遮蔽度とに基づいて、他の領域の信頼度値を更新することを、前記領域セットに１つの領域が含まれるまで繰り返すことに用いられ、
   前記領域セットには、候補目標領域における選択されていない領域を含む、
   路車協調における目標検出装置。
10. 前記信頼度値更新モジュールは、
    領域セットにおける他の領域と前記第１領域との間のＩｏＵを計算するためのＩｏＵ計算手段と、
    前記ＩｏＵと予め設定されたＩｏＵ閾値とに基づいて、第１信頼度調整値を確定するための第１調整値確定手段と、
    他の領域の被遮蔽度に基づいて、第２信頼度調整値を確定するための第２調整値確定手段と、
    前記第１信頼度調整値と第２信頼度調整値とを用いて、他の領域の信頼度値を調整するための信頼度値調整手段と、を含む、
    請求項９に記載の装置。
11. 前記第１調整値確定手段は、前記ＩｏＵが予め設定されたＩｏＵ閾値より小さいか否やかを判断することと、前記ＩｏＵが予め設定されたＩｏＵ閾値より小さい場合、第１信頼度調整値を１として確定することと、前記ＩｏＵが予め設定されたＩｏＵ閾値以上の場合、前記第１信頼度調整値を１と前記ＩｏＵの差として確定することと、に用いられる、
    請求項１０に記載の装置。
12. 前記第２調整値確定手段は、以下の式に従って第２信頼度調整値ｇ(occ＿pred)を確定することに用いられ、
    ここで、occ_predが他の領域の被遮蔽度であり、αが予め設定された常数であり、α＞１である、
    請求項１０に記載の装置。
13. 前記信頼度値調整手段は、以下の式に従って、他の領域の信頼度値を調整することに用いられ、
    Ｓ’＝Ｓ*Ｔ１*Ｔ２
    ここで、Ｓ’は調整された他の領域の信頼度値を表し、Ｓは調整される前の他の領域の信頼度値を表し、Ｔ１は前記第１信頼度調整値を表し、Ｔ２は前記第２信頼度調整値を表す、
    請求項１０－１２のいずれか１つに記載の装置。
14. 前記目標検出モジュールは、
    更新された信頼度値が予め設定された信頼度閾値より大きい候補目標領域を選択し、選択された候補目標領域における目標を前記画像内の目標として確定すること、
    又は、
    更新された信頼度値が最も高い候補目標領域をプリセットした数で選択し、選択された候補目標領域における目標を前記画像内の目標として確定すること、に用いられる、
    請求項９－１２のいずれか１つに記載の装置
15. 前記情報取得モジュールは、異なる目標尺度ごとに、画像に対して目標検出を行い、前記画像内の異なる尺度の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することに用いられる、
    請求項９－１２のいずれか１つに記載の装置。
16. 前記情報取得モジュールは、予め訓練によって得られた目標検出モデルに画像を入力して、前記目標検出モデルによって出力された前記画像内の候補目標領域と、候補目標領域の信頼度値と、候補目標領域の被遮蔽度とを取得することに用いられ、
    前記目標検出モデルには、画像内の候補目標領域を検出するための目標検出層と、候補目標領域の被遮蔽度を予測するための遮蔽度予測層と、を含む、
    請求項９－１２のいずれか１つに記載の装置。
17. 少なくとも１つのプロセッサーと、
    前記少なくとも１つのプロセッサーと通信しているメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサーによって実行される命令が記憶されており、前記命令が前記少なくとも１つのプロセッサーによって実行されることで、前記少なくとも１つのプロセッサーに請求項１－８のいずれか１つに記載の方法を実行させる、
    電子デバイス。
18. コンピューター命令が記憶されている非一時的なコンピューター可読記憶媒体であって、前記コンピューター命令は、前記コンピューターに請求項１－８のいずれか１つに記載の方法を実行させることに用いられる、
    非一時的なコンピューター可読記憶媒体。
19. プロセッサーによって実行されると、請求項１－８のいずれか１つに記載の方法を実現する、
    コンピュータープログラム。
20. 請求項１７に記載の電子デバイスを含む、路側機器。
21. 請求項１７に記載の電子デバイスを含む、クラウド側サーバー。