JP2022522071A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本開示は、少なくとも２つの目標画像を取得することと、前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定することと、各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む画像処理方法及び装置、電子機器並びに記憶媒体に関する。【選択図】図１

Description

本開示は、コンピュータビジョン技術に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。

コンピュータビジョンは、コンピュータ及び関連装置を用いて生物学的視覚をシミュレートする技術であり、取得された画像又は動画を処理することにより、対応シーンの三次元情報を取得することができる。コンピュータビジョンの一応用において、取得された画像又は動画を用いて目標検出を行って、目標対象の画像での位置を決定することができる。

本開示は、画像処理の技術的解決手段を提供する。

本開示の一方面によれば、
少なくとも２つの目標画像を取得することと、
前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定することと、
各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む画像処理方法を提供する。

可能な一実施形態では、前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の注意画像を決定することは、
各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定することと、
目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定することと、を含む。

可能な一実施形態では、目標画像における第１画像領域及びこの目標画像における第１画像領域以外の画像領域によって、この目標の注意画像を決定することは、
画像サイズが前記目標画像に合う初期画像を取得することと、
前記初期画像における、前記第１画像領域に対応する第１目標画像領域中の画素点の画素値を第１画素値とすることと、
前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得ることと、を含む。

可能な一実施形態では、各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得ることと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む。

可能な一実施形態では、各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得ることは、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得ること、又は、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して各被処理画像を得ることを含む。

可能な一実施形態では、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることは、
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることを含む。

可能な一実施形態では、各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得ることと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することと、を含む。

可能な一実施形態では、前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定することと、を含む。

可能な一実施形態では、前記方法は、
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定することを更に含む。

可能な一実施形態では、前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることであって、マッチングが実行される目標は、別々の目標画像に属することと、を含む。

可能な一実施形態では、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることは、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定することと、を含む。

可能な一実施形態では、前記方法は、
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定することを更に含む。

可能な一実施形態では、前記少なくとも２つの目標画像は、異なる視角で同一シーンを同期撮影して得られたものである。

本開示の別の方面によれば、
少なくとも２つの目標画像を取得するための取得モジュールと、
前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定するための第１決定モジュールと、
各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第２決定モジュールと、を含む画像処理装置を提供する。

可能な一実施形態では、前記第１決定モジュールは、
各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定するための第１決定サブモジュールと、
目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定するための第２決定サブモジュールと、を含む。

可能な一実施形態では、前記第２決定サブモジュールは、
画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
前記初期画像における、前記第１画像領域に対応する第１目標画像領域中の画素点の画素値を第１画素値とするための第１設置ユニットと、
前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得るための第２設置ユニットと、を含む。

可能な一実施形態では、前記第２決定モジュールは、
各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含む。

可能な一実施形態では、前記融合サブモジュールは、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得るための繋ぎ合わせユニット、又は、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して各被処理画像を得るための加算ユニットを含む。

可能な一実施形態では、前記特徴抽出サブモジュールは、
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための分岐ユニットを含む。

可能な一実施形態では、前記特徴抽出サブモジュールは、
前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含む。

可能な一実施形態では、前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第１対応付けサブユニットと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第１決定サブユニットと、を含む。

可能な一実施形態では、前記装置は、
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第２決定サブユニットを更に含む。

可能な一実施形態では、前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第２対応付けサブユニットと、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は、別々の目標画像に属するマッチングサブユニットと、を含む。

可能な一実施形態では、前記マッチングサブユニットは、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定することとに用いられる。

可能な一実施形態では、前記マッチングサブユニットは、更に、
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定するために用いられる。

可能な一実施形態では、前記少なくとも２つの目標画像は、異なる視角で同一シーンを同期撮影して得られたものである。

本開示の一方面によれば、
プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、上記画像処理方法を実行するように構成される電子機器を提供する。

本開示の一方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体において、前記コンピュータプログラムコマンドがプロセッサによって実行されると、上記画像処理方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、コンピュータ読み取り可能なコードが電子機器上で作動すると、電子機器のプロセッサが指示を出して上記画像処理方法を実行するコンピュータプログラムを提供する。

本開示の実施例では、少なくとも２つの目標画像を取得し、続いて少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の注意画像を決定し、次に各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することができる。このようにして、得られた対応付け結果に基づいて、別々の複数の目標画像における目標を対応付けて、複数の画像取得装置で撮影されたシーンでの目標間の関連を確立して、視野の範囲を増加して、シーンのより全面的な情報を取得することができる。

以上の一般な説明と以下の詳細な説明は、例示的及び説明的なものに過ぎず、本開示を制限しないものではないと理解すべきである。

以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。

ここの図面は、明細書の一部として組み込まれて、本開示に適合する実施例を示すものであって、明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例に係る画像処理方法のフローチャートを示す。 本開示の実施例に係る画像処理の一例のフローチャートを示す。 本開示の実施例においてニューラルネットワークを用いて２つの目標の対応付け結果を得る一例のブロック図を示す。 本開示の実施例に係る画像処理装置のブロック図を示す。 本開示の実施例に係る電子機器の例のブロック図を示す。 本開示の実施例に係る電子機器の例のブロック図を示す。

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および方面を詳細に説明する。図面において、同じ符号が同じまたは類似する機能の要素を表す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例も他の実施例より好ましい又は優れるものであると理解すべきではない。

本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組合を示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、何らかの具体的な詳細がなくても、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者に既知の方法、手段、要素および回路について、詳細な説明を行わない。

本開示の実施例で提供される画像処理手段は、少なくとも２つの目標画像を取得し、続いて少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定することができる。続いて、各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標間に対応関係が存在するか否かについての対応付け結果を得ることができる。このようにして、得られた対応付け結果に基づいて、別々の目標画像における１つ又は複数の目標を対応付けて、撮影された目標のより完全な情報を得ることができ、例えば、同一目標の上面図と側面図を対応付けて、該目標のより全面的な情報を取得することができる。

関連技術において、一般的には、複数の目標画像における目標を共通ベクトル空間に投影し、共通ベクトル空間での別々の目標の投影間の距離を計算することにより、別々の目標画像において互いに対応する目標を決定する。このような目標対応付け方式では、目標を共通ベクトル空間に投影する時に、投影のための投影行列のキャリブレーションを行う必要があるが、投影行列が画像取得装置の姿勢に影響され、即ち、画像取得装置の姿勢が変化すると投影行列のずれが発生するため、得られる対応付け結果に大きい誤差が生じてしまう。本開示の実施例で提供される画像処理手段は、各目標画像及び各目標画像における目標の注意画像に基づいて、別々の目標画像における複数の目標間に対応関係が存在するか否かについての対応付け結果を得ることで、目標の共通ベクトル空間への投影、投影行列のキャリブレーションを行う必要がなく、画像取得装置の姿勢による影響が小さく、目標間の対応付けの正確性を高めることができる。

本開示の実施例は、例えば、対象マーキングや画像対応付け等の拡張のシーンに利用可能であり、例えば、同じシーンで異なる視角から取得された複数の画像を対応付けることができ、更に例えば、複数の画像における同じ対象をマーキングすることができる。本開示は特定の応用シーンに限定されない。以下、実施例によって本開示の実施例で提供される画像処理手段を説明する。

図１に本開示の実施例に係る画像処理方法のフローチャートを示す。この画像処理方法は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置、ウエアラブル装置等の端末装置、サーバ又は他の情報処理装置により実行されてよい。いくつかの可能な実施形態では、この画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能なコマンドを呼び出すことで実現されてもよい。以下、画像処理装置を実行主体とする例として本開示の実施例の画像処理手段を説明する。

図１に示すように、前記画像処理方法は、以下のステップを含む。

ステップＳ１１、少なくとも２つの目標画像を取得する。

本開示の実施例では、画像取得装置により取得された少なくとも２つの目標画像を取得してよい。別々の目標画像は、同一の画像取得装置からのものであってもよいし、別々の画像取得装置からのものであってもよい。目標画像は、別々に取得された１つの画像であってもよいし、取得されたビデオストリームにおける１フレームの画像であってもよい。ここで、目標画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）との３色を重ね合わせた画像と理解されるカラー画像であってよい。

ステップＳ１２、前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定する。

本開示の実施例では、少なくとも２つの目標画像に対して、それぞれ目標検出を行って各目標画像の目標検出結果を得て、続いて各目標画像の目標検出結果に基づいて、各目標画像における１つ又は複数の対象物の注意画像を得るようにしてよい。ここで、目標検出結果は、目標の目標画像での投影に対する検出結果であってよく、検出枠で表されてよい。例を挙げると、交通シーンでは、目標は、歩行者、自動車又は非自動車等の交通道路を通行可能な物体で、目標検出結果は、目標画像において目標の投影をマーキングする検出枠であってよい。ここで、１つの注意画像は１つの目標の目標画像での位置を示してよく、この位置は画像位置であってよい。

ここで、複数の目標がある場合に、複数の目標から１つの目標を選択し、この目標について１つの注意画像を取得するようにしてよい。このようにして、複数の目標間の干渉を低減することができる。

可能な一実施形態では、各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定し、続いて目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定するようにしてよい。

この実施形態では、いずれか１つの目標画像について、この目標画像の目標検出結果に対応する検出枠に基づいて、この検出枠によってマーキングした目標の、目標画像での第１画像領域を決定するようにしてよく、この第１画像領域は閉鎖画像領域であってよい。続いて、目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定するようにしてよい。例えば、第１画像領域中の画素点の画素値をコピーし、且つ第２画像領域の画素値を変更するか、コピーした第１画像領域の画素値を増加又は減少することで、第１画像領域の画素値と第２画像領域の画素値が明らかに異なるようにして、この目標画像における１つの目標の注意画像を得るようにしてよい。このようにして、注意画像において目標の存在する画像領域を他の画像領域から区別して、別々の目標画像の目標間の対応付け結果の正確性を高めることができる。

この実施形態の一例において、画像サイズが前記目標画像に合う初期画像を取得し、前記初期画像における、第１目標画像領域中の画素点の画素値を第１画素値とし、前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得るようにしてよい。

この例において、１つの初期画像を生成してもよく、又は、目標画像をコピーして初期画像を得てもよい。この初期画像の画像サイズが目標画像に合う。即ち、初期画像は目標画像と画像サイズが同じ、例えば、目標画像の画像サイズが３×３ｃｍであれば、初期画像の画像サイズも３×３ｃｍであると理解されてよい。初期画像は第１目標画像領域を含み、第１目標画像領域の初期画像での画像位置は第１画像領域の目標画像での画像位置と同じ、第１目標画像領域の画素値は第１画素値とされ、第１画素値は第１画像領域中の画素点の画素値と同じ、即ち、第１目標画像領域はカラーの画像領域であるようにしてよい。又は、第１画素値は所定値、例えば、白色に対応する画素値とされてもよい。第２目標画像領域は、初期画像における、第１目標画像領域が含まらない画像領域であり、第２画像領域の画素値は第２画素値とされるようにしてよい。第２画素値は予め設定された画素値、例えば、黒色に対応する画素値されてもよい。第２画素値と第１画素値とが異なるので、第２画像領域と第１画像領域を画素点の画素値で区別することができる。このような方式によれば、目標に対応する画像領域を表示し、即ち目標の位置を示す、目標に対応する注意画像を取得でき、別々の目標画像における目標間の対応付け結果の正確性を高めることができる。

例を挙げると、目標画像が１つのチャネルに対応する場合に、初期画像の第１目標画像領域中の画素点の画素値を１に直接設置し、第２目標画像領域中の画素点の画素値を０に設置して、注意画像を得るようにしてよい。目標画像が３つのチャネルに対応する場合に、目標画像の第１画像領域中の画素点の画素値を初期画像の目標画像領域にコピーし、第２画像領域中の画素点の画素値を０に設置して、注意画像を得るようにしてよい。

ステップＳ１３、各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定する。

本開示の実施例では、訓練されたニューラルネットワークを用いて、各目標画像及びこの目標画像における１つの目標の注意画像に対して特徴抽出を行って、複数の目標画像に対応する特徴マップを得るようにしてよい。続いて、各目標画像に対応する特徴マップに基づいて、別々の目標画像における目標間に対応関係が存在するか否かについての対応付け結果を得るようにしてよい。ここの対応関係は、別々の目標画像における目標が同一目標であると理解されてよい。ここで、ニューラルネットワークは少なくとも２つの分岐ネットワークを含んでよく、１つの目標画像及びこの目標画像における１つの目標の注意画像を１つの分岐ネットワークの入力としてよい。別々の目標画像の目標検出結果間の対応付け結果をこのニューラルネットワークの出力としてもよく、又は、ニューラルネットワークの出力に対して特徴処理を行って、例えば、出力結果に対して比較、正規化等の処理を行って、別々の目標画像の目標検出結果間の対応付け結果を得てもよい。

ここで、目標しかを含まない画像に比べて、目標画像をニューラルネットワークの入力とする場合に、目標画像に更に目標の周囲の画像を含むので、より全面的な画像特徴を得ることができる。また、目標に対応する注意画像もニューラルネットワークの入力とされるので、目標の位置情報を提供でき、得られる目標間の対応付け結果がより正確になる。

可能な一実施形態では、各目標画像とこの目標画像における１つの目標の注意画像を融合して各被処理画像を得て、続いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得て、更に、各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定する。

この実施形態では、各目標画像とこの目標画像における１つの目標の注意画像を融合して複数の被処理画像を得るようにしてよい。続いて、複数の被処理画像をニューラルネットワークの入力情報として、ニューラルネットワークを用いて各被処理画像に対して特徴抽出を行って、最終的には別々の目標画像における目標間の対応付け結果を得るようにしてよい。各目標画像とこの目標画像における１つの目標の注意画像を融合することによって、２つの画像からの画像情報をより好適に融合することができ、抽出された画像特徴がより正確になる。

一例において、各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得るか、又は、各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して各被処理画像を得る。

この例において、各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせることは、例えば、各目標画像とこの目標画像における１つの目標の注意画像を、画像の長さ、画像の幅、又は、深度次元、即ちチャネル次元（例えば、ＲＧＢとの３つのチャネル）で繋ぎ合わせると理解されてよい。深度次元で繋ぎ合わせることを例とすると、目標画像と注意画像を深度次元で繋ぎ合わせて６チャネルの画像を形成し、得られた被処理画像の画像サイズは目標画像と注意画像の所定次元でのサイズの和であってよい。ここで、目標画像と注意画像の深度が同じの場合に、注意画像は目標の位置情報だけでなく、目標の画像特徴も提供でき、ニューラルネットワークによる特徴マップはより正確且つ全面的な画像特徴を有するようになる。

この例において、各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算することは、各目標画像とこの目標画像における１つの目標の注意画像を深度次元、即ちチャネル次元で加算するようにしてよい。ここで、チャネル数が画像の深度次元に対応する。各目標画像とこの目標画像の注意画像は同じチャネル数を有してよく、例えば、目標画像と注意画像は共にＲＧＢ画像であり、共に３つのチャネルを有する。又は、各目標画像とこの目標画像における１つの目標の注意画像は、チャネル数が異なってもよく、例えば、目標画像が３つのチャネルを有し、注意画像が１つのチャネルを有する。目標画像及びこの目標画像の注意画像を深度次元で加算し、例えば、２つの画像の対応位置での画素点のＲ値、Ｇ値、Ｂ値をそれぞれ加算し、又は、目標画像が３チャネルを有し、注意画像が１チャネルを有する場合に、対応位置での目標画像の画素点のＲ値に注意画像の画素点の画素値を加算することにより、被処理画像を得るようにしてよい。被処理画像のチャネル数が目標画像のチャネル数と同じである。

一例において、ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るようにしてよい。

この例において、ニューラルネットワークの分岐ネットワークを用いて各被処理画像に対して特徴抽出処理を行ってよく、例えば、入力された各被処理画像に対して、畳み込み、プーリング、チャネル数低減等の特徴抽出を行って、各分岐ネットワークの特徴マップを得る。分岐ネットワーク同士のネットワーク結果は同じ、各分岐ネットワークはネットワークパラメータを共用するようにしてよく、それによって、ニューラルネットワークの複雑度を低減する。

一例において、前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得て、続いて、前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するようにしてよい。

この例において、複数の被処理画像のうちの任意２つの被処理画像に対応する特徴マップに対して特徴対応付けを行って、１つの対応付け特徴マップを得るようにしてよい。次に、ニューラルネットワークを用いて、得られた対応付け特徴マップに対して特徴抽出を行い、例えば、得られた対応付け特徴マップに対して、複数回の畳み込み、バッチ標準化、正規化線形、全結合等の特徴抽出を行って、ニューラルネットワークの出力を取得し、このニューラルネットワークの出力を上記任意２つの被処理画像に対応する目標画像における目標間の対応付け結果としてよい。或いは、ニューラルネットワークの出力を更に処理して、例えば、正規化、標準化等の処理を行って、上記任意２つの被処理画像に対応する目標画像における目標間の対応付け結果を取得するようにしてもよい。この実施形態では、任意２つの被処理画像の特徴マップに対して特徴対応付けを行うことによって、別々の目標画像における目標を比較して目標間の対応付け結果を得ることができる。

一例において、前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得て、前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するようにしてよい。

この例において、ニューラルネットワークを用いて対応付け特徴マップに対して特徴抽出を行って、例えば、得られた対応付け特徴マップに対して、複数回の畳み込み、バッチ標準化、正規化線形、全結合等の特徴抽出操作を行って、上記の任意の被処理画像に対応する目標画像における目標間の対応スコアを取得するようにしてよい。この対応スコアは上記の任意の被処理画像に対応する目標画像における任意２つの目標間の対応程度を示すものであってよく、例えば、対応スコアが高いほど、２つの目標間の対応程度が大きいことを示し、対応スコアが低いほど、２つの目標間の対応程度が小さいことを示す。この例において、対応スコアと予め設定されたスコア閾値を比較して、得られた対応スコアがスコア閾値より大きければ、２つの目標間に潜在的な対応性があり、即ち、２つの目標が同一目標である可能性があると考えられる。このような方式によれば、目標間の対応スコアに基づいて、２つの目標画像から対応関係がある可能な目標を迅速に選び出すことができる。

一例において、前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定する。

この例において、得られた対応スコアが予め設定されたスコア閾値以下であれば、２つの目標間に対応関係がなく、即ち、２つの目標が同一目標でないと考えられる。このような方式によれば、任意２つの目標間の対応スコアに基づいて、２つの目標が同一目標であるか否かを迅速に決定することができる。

可能な一実施形態では、前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得て、続いて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得る。ここで、マッチングが実行される目標は、別々の目標画像に属する。

この実施形態では、各目標画像のそれぞれに複数の目標を含んでよいので、１つの目標画像におけるある目標が別の１つの目標画像における複数の目標検出結果に対して潜在的な対応性を有する可能性があるが、実は１つの目標画像におけるある目標が別の１つの目標画像における１つの目標に対応するため、被処理画像に対応する目標画像における目標間の対応スコアに基づいて、別々の目標画像における目標の一対一のマッチングを実行して、１つの目標画像における１つの目標を別の１つの目標画像における１つの目標とマッチングさせて、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得て、別々の目標画像における複数の目標間のグローバルマッチングを実現するようにしてよい。ここで、更にマッチングしている目標をマーキングし、例えば、マッチングしている目標に対して、同じ番号でマーキングしたり、同じ色又はラベルでマーキングしたりする等ことにより、同じ目標を識別しやすくするようにしてよい。

この実施形態の一例では、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定し、続いて前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定して前記マッチング結果を得るようにしてよい。

この例において、各目標間の対応スコアの対応スコア総和を計算することによって、２つの目標画像における目標のマッチングを実行してよい。即ち、第１目標画像における複数の目標と第２目標画像における複数の目標に対して、一対一にマッチングを実行し、続いてマッチングが実行された目標対の対応スコアを計算することによって、対応スコアの総和を得る。対応スコアの総和が最大の場合に、第１目標画像における目標と第２目標画像における目標のマッチングが最適であると考えられ、この最大の対応スコアの総和が予め設定された総和スコア閾値より大きければ、第１目標画像における複数の目標と第２目標画像における複数の目標に対応関係が存在し、第１目標画像と第２目標画像が同一シーンを撮影して得られた画像であると考えられる。

この例において、前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定する。

ここで、この最大の対応スコアの総和が予め設定された総和スコア閾値以下であれば、第１目標画像における目標と第２目標画像における目標のマッチングが最適であるが、最大の対応スコアの総和が予め設定された総和スコア閾値に到達しておらず、第１目標画像における複数の目標と第２目標画像における複数の目標に対応関係がなく、第１目標画像と第２目標画像が同一シーンを撮影して得られた画像でないと考えられ、例えば、第１目標画像と第２目標画像に含まれる目標は一部で同じで、一部で異なり、又は第１目標画像と第２目標画像に含まれる目標のすべては異なる。

例を挙げると、第１目標画像にそれぞれＡ、Ｂ及びＣとなる３つの目標が存在し、第２目標画像にそれぞれａ、ｂ及びｃとなる３つの目標が存在すると仮定する。第１目標画像におけるＡと第２目標画像におけるａの間の対応スコアをＡａで表して良い。各目標間の対応スコアの総和は、第１目標画像における３つの目標と第２目標画像における３つの目標をランダムにペアリングして、ペアリングされた２つ目標間の対応スコアを加算して得られるものであってよく、ランダムにペアリングするたびに、第１目標画像における１つの目標に第２目標画像における１つの目標が割り当てられる。即ち、Ａａ、Ｂｂ、Ｃｃが１回のランダムペアリングに対応し、Ａａ、Ｂｃ、Ｃｂが１回のランダムペアリングに対応し、Ａｂ、Ｂａ、Ｃｃが１回のランダムペアリングに対応し、Ａｂ、Ｂｃ、Ｃａが１回のランダムペアリングに対応し、Ａｃ、Ｂａ、Ｃｂが１回のランダムペアリングに対応し、Ａｃ、Ｂｂ、Ｃａが１回のランダムペアリングに対応し、ここで、対応スコアの和の最も大きい１回のランダムペアリングを選択し、このランダムペアリングの目標対の対応スコアの和を最大の対応スコアの総和としてよい。

説明したいのは、本開示では、別々の目標画像における目標をペアリングする時の具体的な割り当て方法が限定されない。ここで、例えば、貪欲法のような関連アルゴリズムを用いて、１つの目標画像における複数の目標と別の１つの目標画像における複数の目標とをペアリングして、対応スコアの総和の最も大きいペアリングを得て、別々の目標画像における目標間の最適なマッチングを得るようにしてよい。

本開示の実施例で提供された画像処理手段によれば、各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標間の正確な対応付け結果を取得でき、得られた対応付け結果に基づいて、別々の目標画像における目標を対応付けて、複数の画像取得装置により取得した目標画像間の関連を確立することができ、視野の範囲を大きくして、現在シーンのより全面的な情報を取得することができる。

図２に本開示の実施例に係る画像処理の一例のフローチャートを示す。

本開示の実施例の一例は、更に、複数の画像取得装置によって異なる視角で同一シーンを同期撮影して得られた少なくとも２つの目標画像を対応付ける応用シーンを提供する。図２に示すように、以下のステップを含んで良い。
ステップＳ２１、複数の画像取得装置によって異なる視角で同一シーンを同期撮影して得られた少なくとも２つの目標画像を取得し、ここで、別々の目標画像が別々の画像取得装置に対応する。
ステップＳ２２、前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の注意画像を決定する。
ステップＳ２３、各目標画像及びこの目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標間に対応関係が存在するか否かについての対応付け結果を得る。

この例において、複数の画像取得装置により異なる視角で同一シーンを同期撮影することができるので、画像取得装置のそれぞれの撮影角度と位置が異なり、異なる角度で同一シーンを撮影した目標画像、例えば、同一物体の正面図と上面図を取得できる。別々の目標画像の目標間の対応付け結果に基づいて、複数の画像取得装置によって同期撮影した目標画像における同一目標のマッチングを実行でき、例えば、別々の目標画像において同じ目標に同じ番号、色又は形状等を付けて、別々の目標画像において同一の目標を対応付けることを達成する。

以下、この例について、２つの目標画像の目標を対応付ける過程によって説明する。

図３に本開示の実施例においてニューラルネットワークを用いて２つの目標の対応付け結果を得る一例のブロック図を示す。

複数の画像取得装置は異なる視角で同一シーンを同期撮影でき、複数の画像取得装置のうちの任意２つの画像取得装置により取得した目標画像を、第１画像取得装置による第１画像と第２画像取得装置による第２画像としてよい。第１画像と第２画像に対して、それぞれ目標検出を行って、第１画像と第２画像のそれぞれに含まれる目標を決定し、各目標画像において目標が複数含まれてよい。各目標画像における複数の目標からいずれか１つの目標を選択して、選択された目標について、ニューラルネットワークを用いて２つの目標間の対応付け結果を決定するようにしてよい。第１画像に第１目標を含み、第１目標によって得られた注意画像を第１注意画像としてよい。第２画像に第２目標を含み、第２目標によって得られた注意画像を第２注意画像としてよい。

上記ニューラルネットワークは２つの分岐ネットワーク、即ち、第１分岐ネットワークと第２分岐ネットワークを含んで良い。第１画像と第１注意画像を第１分岐ネットワークに入力し、且つ第２画像と第２注意画像を第２分岐ネットワークに入力するようにしてよい。第１分岐ネットワークによる処理過程を例とすると、第１画像と第１注意画像を深度次元で繋ぎ合わせて入力画像を得るようにしてよく、ここで、第１画像が３つのチャネルに対応し、第１注意画像が３つのチャネルに対応し、入力画像が６つのチャネルに対応し、各チャネルがそれぞれ１つの深度に対応する。続いて、第１分岐ネットワークを用いて入力画像に対して畳み込み処理を行って、入力画像のチャネル数を６から３に低減し、続いて、チャネル数が低減された入力画像に対して、特徴抽出を行って第１分岐ネットワークによる特徴マップを得るようにしてよく、この特徴マップは３つの次元の特徴を有するテンソルであってよく、３つの次元の特徴は長さ特徴、幅特徴及び深度特徴を含んで良い。特徴抽出を行う時に、チャネル数が低減された初期特徴マップに対して複数回の畳み込み処理を行って良い。第２分岐ネットワークの特徴マップも、同様な方式によって得ることができる。

続いて、ニューラルネットワークの対応付け層によって第１分岐ネットワークによる特徴マップと第２分岐ネットワークによる特徴マップを対応付け、１つの対応付け特徴マップを得るようにしてよい。第１分岐ネットワークによる特徴マップと第２分岐ネットワークによる特徴マップを対応付ける時に、以下の対応付け式（１）を利用してよい。

ただし、

は対応付け特徴マップであり、

であり、そのうち、

は実数の集合を表す。

は第１分岐ネットワークによる特徴マップの特徴ベクトルであり、

は第２分岐ネットワークによる特徴マップの特徴ベクトルであり、ｉは特徴マップの行を表し、特徴マップの長さ特徴に対応し、ｊは特徴マップの列を表し、特徴マップの幅特徴に対応し、ｉとｊは共に正整数であり、ｋは行と列に対応するインデックスを表し、例えば、

である。

続いて、この対応付け特徴マップに対して、グローバル回帰処理を行って第１目標と第２目標の間の対応スコアを取得するようにしてよい。ここのグローバル回帰処理は、複数回の畳み込み処理、バッチ標準化処理、正規化線形処理及び全結合層の処理を含んで良い。同様な方式によって、第１画像と第２画像の任意２つの目標間の対応スコアを取得できる。続いて、複数の目標対の対応スコアに基づいて、マッチングした複数の目標対の対応スコアの総和が最も大きいように、複数の第１目標と複数の第２目標の一対一のマッチングを実行するようにしてよい。マッチングした目標対を決定した後、第１画像と第２画像においてマッチングした目標対をマーキングしてよい。

上記の画像処理手段によれば、目標画像に目標の存在する画像領域の画像特徴だけでなく、目標の周囲の画像領域の画像特徴も含むので、目標画像からより全面的な画像特徴を取得できる。注意画像に目標の位置情報と画像特徴を含むため、更に目標の位置情報と画像特徴に基づいて、２つの目標が対応するか否かについての対応付け結果を得ることができる。

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきであり、ページ数に限りがあるので、本開示では詳細な説明を省略する。

また、本開示は画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムを更に提供し、それらはいずれも本開示で提供される画像処理方法のいずれか１つを実現することに利用可能であり、対応する技術的解決手段及び説明については方法部分の対応する記載を参照すればよく、ここで詳細な説明を省略する。

当業者であれば、具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスの何の制限にもならなく、各ステップの具体的な実行順序はその機能と可能な内在的論理に依存することが理解すべきである。

図４は本開示の実施例に係る画像処理装置のブロック図を示し、図４に示すように、前記画像処理装置は、
少なくとも２つの目標画像を取得するための取得モジュール４１と、
前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定するための第１決定モジュール４２と、
各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第２決定モジュール４３と、を含む。

可能な一実施形態では、前記第１決定モジュール４２は、
各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定するための第１決定サブモジュールと、
目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定するための第２決定サブモジュールと、を含む。

可能な一実施形態では、前記第２決定サブモジュール４２は、
画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
前記初期画像における、前記第１画像領域に対応する第１目標画像領域中の画素点の画素値を第１画素値とするための第１設置ユニットと、
前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得るための第２設置ユニットと、を含む。

可能な一実施形態では、前記第２決定モジュール４２は、
各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
各被処理画像に対して、それぞれ特徴抽出を行って、各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含む。

可能な一実施形態では、前記融合サブモジュールは、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて、各被処理画像を得るための繋ぎ合わせユニット、又は、
各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して、各被処理画像を得るための加算ユニットと、を含む。

可能な一実施形態では、前記特徴抽出サブモジュールは、
ニューラルネットワークの、被処理画像に対して一対一に特徴抽出を行い且つ同じネットワーク構造とネットワークパラメータを有する各分岐ネットワークを用いて、各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための分岐ユニットを含む。

可能な一実施形態では、前記特徴抽出サブモジュールは、
前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含む。

可能な一実施形態では、前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第１対応付けサブユニットと、
前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第１決定サブユニットと、を含む。

可能な一実施形態では、前記装置は、
前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第２決定サブユニットを更に含む。

可能な一実施形態では、前記決定ユニットは、
前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第２対応付けサブユニットと、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は、別々の目標画像に属するマッチングサブユニットと、を含む。

可能な一実施形態では、前記マッチングサブユニットは、
特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定することと、
前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定することとに用いられる。

可能な一実施形態では、前記マッチングサブユニットは、更に、
前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定するために用いられる。

可能な一実施形態では、前記少なくとも２つの目標画像は、異なる視角で同一シーンを同期撮影して得られたものである。

いくつかの実施例では、本開示の実施例で提供された装置に備える機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は割愛する。

本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体において、前記コンピュータプログラムコマンドがプロセッサによって実行されると、上記方法を実現するコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は非揮発性コンピュータ読み取り可能な記憶媒体であってよい。

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは上記方法を実行するように構成される電子機器を更に提供する。

電子機器は、端末、サーバ又は他の形態の装置として提供されてよい。

図５は例示的な一実施例に基づいて示した電子機器８００のブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってよい。

図５を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェイス８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどのあらゆるタイプの揮発性または非揮発性記憶装置またはそれらの組み合わせによって実現できる。

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インターフェイスを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび後面カメラは固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、マイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

Ｉ／Ｏインターフェイス８１２は処理コンポーネント８０２と周辺インターフェイスモジュールとの間でインターフェイスを提供し、上記周辺インターフェイスモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

センサコンポーネント８１４は電子機器８００の各面での状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドであるコンポーネントの相対的画像処理を検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標／ＢＴ）技術および他の技術によって実現できる。

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体又は揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。

図６は例示的な一実施例に基づいて示した電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図６を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインターフェイス１９５０、および入出力（Ｉ／Ｏ）インターフェイス１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標）ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体又は揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令が有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。

コンピュータ読み取り可能な記憶媒体は命令実行装置により使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインターフェイスはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることが理解すべきである。

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

本願は、２０１９年１２月３０日に提出された、発明の名称が「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ，ＥＬＥＣＴＲＯＮＩＣ ＤＥＶＩＣＥ，ＡＮＤ ＳＴＯＲＡＧＥ ＭＥＤＩＵＭ」であるシンガポール特許出願１０２０１９１３７５４Ｘ号の優先権を主張する。これらの出願の全ての内容が参照によって本願に組み込まれる。

Claims (20)

1. 少なくとも２つの目標画像を取得することと、
   前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定することと、
   各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする画像処理方法。
2. 前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の注意画像を決定することは、
   各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定することと、
   目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定することと、を含むことを特徴とする請求項１に記載の方法。
3. 目標画像における第１画像領域及びこの目標画像における第１画像領域以外の画像領域によって、この目標の注意画像を決定することは、
   画像サイズが前記目標画像に合う初期画像を取得することと、
   前記初期画像における、前記第１画像領域に対応する第１目標画像領域中の画素点の画素値を第１画素値とすることと、
   前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得ることと、を含むことを特徴とする請求項２に記載の方法。
4. 各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
   各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得ることと、
   各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得ることと、
   各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする請求項１～３のいずれか一項に記載の方法。
5. 各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得ることは、
   各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得ること、又は、
   各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して各被処理画像を得ることを含むことを特徴とする請求項４に記載の方法。
6. 各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定することは、
   前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して、特徴対応付けを行って対応付け特徴マップを得ることと、
   前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することと、を含むことを特徴とする請求項４に記載の方法。
7. 前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
   前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
   前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定することと、
   前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定することと、を含むことを特徴とする請求項６に記載の方法。
8. 前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定することは、
   前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得ることと、
   特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることであって、マッチングが実行される目標は別々の目標画像に属することと、を含むことを特徴とする請求項６に記載の方法。
9. 特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得ることは、
   特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定することと、
   前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定することと、
   前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定することと、を含むことを特徴とする請求項８に記載の方法。
10. 少なくとも２つの目標画像を取得するための取得モジュールと、
    前記少なくとも２つの目標画像のうちの各目標画像の目標検出結果に基づいて、各目標画像における少なくとも１つの目標の、１つの目標の目標画像での位置を示すための注意画像を決定するための第１決定モジュールと、
    各目標画像及び各目標画像における少なくとも１つの目標の注意画像に基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための第２決定モジュールと、を含むことを特徴とする画像処理装置。
11. 前記第１決定モジュールは、
    各目標画像における１つの目標について、各目標画像の目標検出結果に基づいて、この目標の存在する第１画像領域を決定するための第１決定サブモジュールと、
    目標画像における第１画像領域及びこの目標画像における第１画像領域以外の第２画像領域によって、この目標の注意画像を決定するための第２決定サブモジュールと、を含むことを特徴とする請求項１０に記載の装置。
12. 前記第２決定サブモジュールは、
    画像サイズが前記目標画像に合う初期画像を取得するための取得ユニットと、
    前記初期画像における、前記第１画像領域に対応する第１目標画像領域中の画素点の画素値を第１画素値とするための第１設置ユニットと、
    前記初期画像における、前記第２画像領域に対応する第２目標画像領域中の画素点の画素値を前記第１画素値に等しくない第２画素値として、この目標の注意画像を得るための第２設置ユニットと、を含むことを特徴とする請求項１１に記載の装置。
13. 前記第２決定モジュールは、
    各目標画像とこの目標画像における１つの目標の注意画像を融合して、各被処理画像を得るための融合サブモジュールと、
    各被処理画像に対して、それぞれ特徴抽出を行って各被処理画像の特徴マップを得るための特徴抽出サブモジュールと、
    各被処理画像の特徴マップに基づいて、別々の目標画像における少なくとも一部の目標の間に対応関係が存在するか否かについての対応付け結果を決定するための判断サブモジュールと、を含むことを特徴とする請求項１０～１２のいずれか一項に記載の装置。
14. 前記融合サブモジュールは、
    各目標画像とこの目標画像における１つの目標の注意画像を所定次元で繋ぎ合わせて各被処理画像を得るための繋ぎ合わせユニット、又は、
    各目標画像とこの目標画像における１つの目標の注意画像を所定次元で加算して各被処理画像を得るための加算ユニットと、を含むことを特徴とする請求項１３に記載の装置。
15. 前記特徴抽出サブモジュールは、
    前記被処理画像のうちの任意２つの被処理画像の特徴マップに対して特徴対応付けを行って対応付け特徴マップを得るための対応付けユニットと、
    前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応関係が存在するか否かについての対応付け結果を決定するための決定ユニットと、を含むことを特徴とする請求項１３に記載の装置。
16. 前記決定ユニットは、
    前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第１対応付けサブユニットと、
    前記対応スコアがスコア閾値より大きい場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に潜在的な対応性があると決定するための第１決定サブユニットと、
    前記対応スコアが前記スコア閾値以下である場合に、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間に対応性がないと決定するための第２決定サブユニットと、を含むことを特徴とする請求項１５に記載の装置。
17. 前記決定ユニットは、
    前記対応付け特徴マップに基づいて、特徴マップが対応付けられた２つの被処理画像に対応する目標画像における目標間の対応スコアを得るための第２対応付けサブユニットと、
    特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、別々の目標画像における目標のマッチングを実行して、別々の目標画像における各目標間に対応関係が存在するか否かについての対応付け結果を得るためのものであって、マッチングが実行される目標は別々の目標画像に属するマッチングサブユニットと、を含むことを特徴とする請求項１５に記載の装置。
18. 前記マッチングサブユニットは、
    特徴マップが対応付けられた２つの被処理画像に対応する目標画像における各目標間の対応スコアに基づいて、前記別々の目標画像のうちの第１目標画像における各目標と前記別々の目標画像のうちの第２目標画像における各目標との対応スコアの総和を決定することと、
    前記対応スコアの総和が最も大きく且つ予め設定された総和スコア閾値より大きい場合に、前記第１目標画像における目標と前記第２目標画像における目標が一対一にマッチングすると決定することと、
    前記対応スコアの総和のうちの最大の対応スコアの総和が前記総和スコア閾値以下である場合に、前記第１目標画像における目標と前記第２目標画像における目標がマッチングしないと決定することとに用いられることを特徴とする請求項１７に記載の装置。
19. プロセッサと、
    プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
    前記プロセッサは、前記メモリに記憶されているコマンドを呼び出して請求項１～９のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。
20. コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体において、前記コンピュータプログラムコマンドがプロセッサによって実行されると、請求項１～９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。

Images