JP7246427B2 - 画像を処理するための方法と装置、電子機器、コンピュータ可読記憶媒体及びコンピュータープログラム - Google Patents

Description

本開示は、概して、コンピュータビジョンの技術に関し、より具体的には、三次元画像再構成における画像処理技術に関する。

三次元画像の高精度再構成は多くの分野で重要な役割を果たしている。大量の二次元画像から三次元画像を高精度で再構成するために、大量の二次元画像に対して特徴マッチング計算を行う必要がある。特徴マッチング計算は異なる画像同士のピクセルをマッチングする必要があるため、計算量が非常に膨大で、時間やリソースがかかるプロセスである。

本開示は画像を処理するための方法と装置、電子機器、コンピュータ可読記憶媒体及びコンピュータープログラムを提供する。

本開示の一態様によれば、画像処理方法を提供し、複数の画像シーケンスを含む画像シーケンスセットを取得するステップと、画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するステップと、第１類似度尺度に基づいて、画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるステップと、各画像シーケンスサブセットにおいて、１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定するステップと、を含む。

本開示の他の態様によれば、画像処理装置を提供し、複数の画像シーケンスを含む画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュールと、画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するように構成される類似度尺度決定モジュールと、第１類似度尺度に基づいて、画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるように構成される画像シーケンスセット区分モジュールと、各画像シーケンスサブセットにおいて、１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定するように構成される画像関連性決定モジュールと、を備える。

本開示のさらに他の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、該命令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに本開示の一態様における方法を実行させることができることを特徴とする。

本開示のまたさらに他の態様によれば、コンピュータ命令が記憶される非一時的コンピュータ可読記憶媒体を提供し、該コンピュータ命令はコンピュータに本開示の一態様における方法を実行させることに用いられることを特徴とする。
本開示のまたさらに他の態様によれば、コンピュータプログラムを提供し、該コンピュータプログラムがプロセッサによって実行される際、本開示の一態様における方法を実現する。

本願の技術によれば、三次元画像再構成における計算量を減少させ、計算効率を向上させる。

理解されるように、ここで説明される内容は、本開示の実施例のキー又は重要な特徴を特定したり、本開示の範囲を限定したりするものではない。本開示の他の特徴は以下の明細書を通して理解され易くなる。

図面は本技術案をよりよく理解するためのものであり、本願を限定しない。
本願の実施例を実現できる例示的な環境の模式図である。 本願の実施例に係る画像処理方法の模式図である。 本願の実施例に係る画像シーケンスセットの模式図である。 本願の実施例に係る複数の画像シーケンスサブセットの模式図である。 本願の実施例に係る画像シーケンスサブセット中の２つの画像シーケンスの模式図である。 本願の実施例に係る画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分ける方法の模式図である。 本願の実施例に係る画像シーケンスセットの模式図である。 本願の実施例に係る画像シーケンスセットの模式図である。 本開示の実施例に係る画像処理装置の模式的なブロック図である。 本願の実施例における画像処理方法を実現するための電子機器のブロック図である。

以下、図面を参照しながら本願の例示的な実施例を説明し、理解を助けるために本願の実施例の種々の詳細が含まれているが、単に例示的なものとみなされるべきできる。従って、当業者であれば、本願の範囲及び主旨を逸脱せずに、ここで説明される実施例に対して種々の変形や変更を行うことができると理解できる。同様に、明瞭さ及び簡潔さのために、以下の説明では公知の機能及び構造についての説明を省略する。

三次元画像の高精度再構成は多くの分野で重要な役割を果たしている。例えば、自律運転分野で、再構成される高精度三次元地図は、自律運転車両の計算プラットフォームが正確な運転決定、経路計画等を行うことに寄与できる。しかしながら、大量の画像から高精度の三次元地図を高精度で再構成するために、大量の画像に対して特徴マッチング計算を行う必要がある。特徴マッチング計算は異なる画像同士のピクセルをマッチングする必要があるため、計算量が非常に大きく、時間やリソースがかかるプロセスである。

特徴マッチング計算を行う前に、画像間の関連性を決定することは、特徴マッチングための計算量を減少させ、計算効率を向上させることに寄与する。それは関連する画像のみに対して特徴マッチングを行なえばよいためである。

現在、三次元画像再構成における特徴マッチングを行う前に、収集される画像シーケンス又はビデオの位置情報及び収集時間に応じて画像シーケンスセットをクラスタリングするだけであり、その後、クラスタ中のビデオ画像に対して特徴マッチング計算を行う。しかしながら、このようにしても、必要な特徴マッチングの計算量が依然として非常に膨大である。

本開示の実施例では、画像処理の技術案を提供する。該技術案では、画像シーケンス間の類似度に応じて、画像シーケンスセットを含む画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分け、その後、各画像シーケンスサブセットにおいて１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定する。このようにして、高関連性を有する画像を効果的に決定でき、決定される高関連性の画像のみに対して後続の時間やリソースがかかる特徴マッチング計算を行うことができ、それによって、計算量を減少させ、計算効率を向上させる。

図１は本願の実施例を実現できる例示的な環境１００の模式図である。図１に示すように、例示的な環境１００は画像処理機器１１０及び画像取得機器１２０－１～１２０－３（画像取得機器１２０と総称される）を備える。画像取得機器１２０は画像シーケンス１３０－１～１３０－３（画像シーケンス１３０と総称される）を取得し、画像シーケンス１３０を画像処理機器１１０に伝送することができる。画像処理機器１１０は画像シーケンス１３０から画像間の関連性を決定することができる。いくつかの実施例では、画像処理機器１１０はコンピュータ、仮想マシン、サーバ等であってもよい。画像取得機器１２０はカメラ、ビデオカメラ等であってもよい。画像処理機器１１０と画像取得機器１２０はネットワークによって互いに通信できる。ネットワークはインターネット、イントラネット等であってもよい。

理解されるように、例示の目的から例示的な環境１００を説明したが、本開示の範囲に対する何らかの制限を暗示しない。例えば、本開示の実施例はさらに例示的な環境１００と異なる環境に適用されてもよい。理解されるように、上記各機器の具体的な数は、単に説明を目的とするが、本開示の範囲に対する何らかの制限を暗示しない。例えば、本開示の実施例はさらにより多くの画像処理機器１１０、より多くの又はより少ない画像取得機器１２０に適用されてもよい。又は、本開示の実施例はさらに画像処理機器１１０及び画像取得機器１２０を同じ機器に集積してもよい。

図２は本願の実施例に係る画像処理方法２００の模式図である。いくつかの実施例では、方法２００は、図１に示される画像処理機器１１０において実現できる。理解の便宜上、以下の説明に係る具体的なデータは例示的であり、本開示の保護範囲を限定するものではない。

Ｓ２０１では、画像処理機器１１０は複数の画像シーケンスを含む画像シーケンスセットを取得してもよい。

いくつかの実施例では、画像処理機器１１０は異なる画像取得機器１２０から画像シーケンスセットを取得してもよい。付加的には又はオプションとして、他のいくつかの実施例では、画像処理機器１１０は同じ画像取得機器１２０から画像シーケンスセットを取得してもよい。付加的には、いくつかの実施例では、画像取得機器１２０は車両における視覚情報収集機器であってもよく、車両の計算プラットフォームは車両のバス制御システムにおける情報を取得することによって、車両の視覚情報収集機器による画像収集を制御し、処理済みの画像シーケンスを画像処理機器１１０に伝送するようにしてもよい。例えば、車両の計算プラットフォームは車輪の回転速度情報を取得することによって、車両のビデオ情報収集機器を、車輪が０．３３回転するごとに１つの画像を収集するように制御し、時間順で並べ替えた画像シーケンスを画像処理機器１１０に伝送するようにしてもよい。

いくつかの実施例では、画像取得機器１２０は画像を収集すると同時に、画像が収集される地理的位置情報、例えばＧＰＳ情報、及び画像が収集される時間情報を記録してもよい。従って、いくつかの実施例では、画像シーケンスセットは近接する地理的位置で収集される画像シーケンスセットであってもよい。例えば、同じ道路セクション、隣接する道路セクション等で収集される画像シーケンスセットが挙げられる。付加的には又はオプションとして、画像シーケンスセットは同じ期間内に収集される画像シーケンスセットであってもよい。例えば、同じ季節、同じ月、同じ週等に収集される画像シーケンスセットが挙げられる。

Ｓ２０２では、画像処理機器１１０は、画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定してもよい。

いくつかの実施例では、画像処理機器１１０は、まず、画像シーケンスセット中の各画像に対応する特徴ベクトルを決定し、その後、画像の特徴ベクトルに応じて画像シーケンス間の類似度を決定するようにしてもよい。例えば、１０００個の画像を有する画像シーケンス１に対して、画像処理機器１１０はこれら１０００個の画像のそれぞれに対応する１０００個の特徴ベクトルを決定してもよい。同様に、２０００個の画像を有する画像シーケンス２に対して、画像処理機器１１０はこれら２０００個の画像のそれぞれに対応する２０００個の特徴ベクトルを決定してもよい。その後、画像シーケンス１と画像シーケンス２との類似度を表すように、画像処理機器１１０は、画像シーケンス１に対応する１０００個の特徴ベクトルと画像シーケンス２に対応する２０００個の特徴ベクトルとの間ベクトル距離、例えば、ユークリッド距離、マンハッタン距離、チェビシェフ距離、コサイン距離等を計算してもよい。

理解されるように、画像シーケンス中の画像数、類似度を表すベクトル距離等を例示的に示したが、本開示に対する制限を暗示しない。例えば、様々な方法を用いて画像の特徴ベクトルを計算してもよく、さらに他のベクトル距離を用いて画像シーケンス間の類似度を表してもよい。これらについて本開示は制限しない。

Ｓ２０３で、画像処理機器１１０は、第１類似度尺度に応じて画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けてもよい。

以下、図３を参照して図２を説明する。図３Ａは本願の実施例に係る画像シーケンスセットの模式図３０１である。図３Ｂは本願の実施例に係る複数の画像シーケンスサブセットの模式図３０２である。図３Ａに示すように、取得される７個の画像シーケンスはそれぞれ番号１～７で示される。各画像シーケンス中の画像数は同じであってもよく、異なってもよい。従来の三次元画像再構成の技術案では、２つごとの画像シーケンスの画像の間、いずれも特徴マッチング計算を行う必要がある。図３Ｂに示すように、これら７個の画像シーケンスを、３個の画像シーケンスサブセットに分けられ、画像シーケンス１、２及び４は１つの画像シーケンスサブセットであり、画像シーケンス１、３及び６は１つの画像シーケンスサブセットであり、画像シーケンス１、５及び７は１つの画像シーケンスサブセットである。画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分ける詳細について、以下、図５を参照して詳しく説明する。

現在、図２に戻る。Ｓ２０４では、画像処理機器１１０は、各画像シーケンスサブセットにおいて１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定してもよい。

例えば、いくつかの実施例では、画像処理機器１１０は、各画像の特徴ベクトルを決定し、その後、特徴ベクトル間のベクトル距離を計算することによって、１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定してもよい。例えば、図３Ｂを参照し続けて、画像シーケンス１、２及び４から構成される画像シーケンスサブセットに対して、画像処理機器１１０は、画像シーケンス１中の画像と画像シーケンス２又は画像シーケンス４中の画像との関連性を決定してもよい。

付加的には、いくつかの実施例では、画像処理機器１１０は、画像の関連性に応じて各画像シーケンスサブセット中の関連する画像を決定し、三次元画像再構成のために、関連する画像の特徴マッチングを計算してもよい。付加的には、いくつかの実施例では、画像処理機器１１０は、決定される関連する画像に応じて画像の関連グラフを構築して、異なる画像シーケンスからの高い関連性を有する画像を指示する。図４は、本願の実施例に係る画像シーケンスサブセット中の２つの画像シーケンスの模式図４００である。図４に示すように、画像処理機器１１０は、上側の画像シーケンス中の４番目の画像と下側の画像シーケンス中の１番目の画像との関連性が高く、上側の画像シーケンス中の５番目の画像と下側の画像シーケンス中の２番目の画像との関連性が高いことを決定し、以下同様である。このようにして、本願の技術案では、各画像シーケンスサブセット中の関連する画像のみに対して特徴マッチング計算を行なえばよい。

上記例示的な実施例では、画像シーケンス間の類似度に応じて、画像シーケンスセットを含む画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分け、その後、各画像シーケンスサブセットにおいて１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定することで、高関連性を有する画像を効果的に決定でき、決定される高関連性の画像のみに対して後続の時間やリソースがかかる特徴マッチング計算を行うことができ、それによって、計算量を減少させ、計算効率を向上させる。

また、上記例示的な実施例では、画像シーケンスセットが１つ又は複数の画像シーケンスサブセットに分けられるため、並行する特徴マッチング計算を実行するように、異なる画像シーケンスサブセットを異なる計算機器に割り当てることができる。このようにして、計算リソースを十分に利用し、計算時間をさらに減少させ、計算効率を向上させることができる。

図５は本願の実施例に係る画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分ける方法５００の模式図である。いくつかの実施例では、方法５００は、図１に示される画像処理機器１１０において実現されてもよい。理解の便宜上、以下の説明に係る具体的なデータはいずれも例示的であり、本開示の保護範囲を限定するものではない。

Ｓ５０１では、画像処理機器１１０は、画像シーケンスセットから基本画像シーケンスを決定してもよく、基本画像シーケンスに対応する第２類似度尺度は画像シーケンスセット中の他の画像シーケンスに対応する第２類似度尺度以上であり、第２類似度尺度は第１類似度尺度に基づいて決定される。

例えば、いくつかの実施例では、画像処理機器１１０は、まず、各画像シーケンスと他の画像シーケンスとの間の各第１類似度尺度に応じて第１類似度尺度の合計を第２類似度尺度として計算してもよい。その後、画像処理機器１１０は最も高い第２類似度尺度を有する画像シーケンスを基本画像シーケンスとして決定する。オプションとして、他のいくつかの実施例では、２つ以上の画像シーケンスが最も高い第２類似度尺度を有する場合、これら２つ以上の画像シーケンスから１つの画像シーケンスを基本画像シーケンスとして選択する。理解されるように、例示的な目的のために、第１類似度尺度から第２類似度尺度を決定する方法を示したが、他の方式を使用して第２類似度尺度を決定してもよく、これについて本開示は制限しない。

Ｓ５０２では、画像処理機器１１０は、各画像シーケンスサブセットが基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含むように、画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けてもよい。好ましくは、基本画像シーケンスと少なくとも１つの他の画像シーケンスとの第１類似度尺度は閾値類似度尺度よりも高い。

いくつかの実施例では、画像処理機器１１０は、まず、閾値類似度尺度に応じて、基本画像シーケンスとの類似度が閾値類似度尺度よりも高い画像シーケンスを決定してもよい。付加的には、画像処理機器１１０は、相互間の類似度が閾値類似度尺度よりも高い画像シーケンスを決定してもよい。いくつかの実施例では、該閾値類似度尺度は予め決定されてもよい。オプションとして、他のいくつかの実施例では、該閾値類似度尺度は各画像シーケンスに対応する各第１類似度尺度に応じて決定されてもよい。例えば、画像処理機器１１０は、各画像シーケンスに対応する各第１類似度尺度をソートし、その後、Ｎ番目にランク付けされた類似度を閾値類似度尺度として決定してもよい。

現在、図６を参照して図５を説明する。図６Ａ及び図６Ｂは、本願の実施例に係る画像シーケンスセットの模式図である。図６Ａでは、画像シーケンス１は基本画像シーケンスとして決定される。実線は画像シーケンス間の類似度が閾値類似度尺度よりも高いことを示し、破線は画像シーケンス間の類似度が閾値類似度尺度以下であることを示す。図６Ａに示すように、画像処理機器１１０は、互いに実線で連結される画像シーケンス同士を１つの画像シーケンスサブセットとしてもよく、各画像シーケンスサブセットは基本画像シーケンス１を含む。例えば、画像処理機器１１０は画像シーケンス１、３及び６を１つの画像シーケンスサブセットとし、画像シーケンス１、６及び７を１つの画像シーケンスサブセットとし、画像シーケンス１及び２を１つの画像シーケンスサブセットとする等であってもよい。

付加的には、いくつかの実施例では、画像処理機器１１０は分けられた１つ又は複数の画像シーケンスサブセットを調整してもよい。

例えば、いくつかの実施例では、画像処理機器１１０は、各画像シーケンスサブセットが所定数の画像シーケンスを含むルールに応じて、１つ又は複数の画像シーケンスサブセットを調整してもよい。いくつかの実施例では、画像シーケンスサブセット中の画像シーケンスの数が所定数よりも少ない場合、他の画像シーケンスから１つの画像シーケンスを選択して該画像サブセットに追加する。図６Ｂに示すように、ルールとして各画像シーケンスサブセットが３個の画像シーケンスを含むが、画像処理機器１１０によって分けられた１つの画像シーケンスサブセットが画像シーケンス１及び２のみを含む場合、画像処理機器１１０は第１類似度尺度に応じて画像シーケンス４を該画像シーケンスサブセットに追加する。該実施例では、画像シーケンス２と画像シーケンス４との類似度は閾値類似度尺度よりも低い（図６Ａでは、破線で示される）が、画像シーケンス２と基本画像シーケンス１を除く他の画像シーケンスとの類似度以上である。従って、上記ルールでは、画像シーケンス４は画像シーケンス１及び２から構成される画像シーケンスサブセット（太い実線で示される）に含まれるように調整されてもよい。

付加的には又はオプションとして、いくつかの実施例では、画像処理機器１１０は、各画像シーケンスが１つのみの画像シーケンスサブセットに属するルールに応じて、１つ又は複数の画像シーケンスサブセットを調整してもよい。いくつかの実施例では、１つの画像シーケンスが複数の画像シーケンスサブセットに分けられる場合、画像処理機器１１０は該複数の画像シーケンスサブセットから１つの画像シーケンスサブセットを選択して該画像シーケンスを分けてもよい。図６Ｂを参照し続けて、例えば、画像シーケンス６が画像シーケンスサブセット１、３及び６並びに画像シーケンスサブセット１、６及び７（図６Ａ中では、いずれも実線で示される）に分けられる場合、画像処理機器１１０は画像シーケンス６を画像シーケンスサブセット１、３及び６に分けてもよく、従って、図６Ｂでは、画像シーケンス６及び７の間は破線で示される。

上記例示的な実施例では、画像シーケンスセット中の他の画像シーケンスと高類似度を有する基本画像シーケンスを決定し、画像シーケンスセットを基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含む１つ又は複数の画像シーケンスサブセットに分けることで、高関連性を有する画像を効果的に決定することができる。

また、上記例示的な実施例では、各画像シーケンスサブセットが異なる計算機器に割り当てられて特徴マッチング計算を行うことができるため、様々なルールによって、分けられる１つ又は複数の画像シーケンスサブセットを調整することで、計算リソースを十分かつ均等に利用できる。

図７は本開示の実施例に係る画像処理装置７００の模式的なブロック図である。図７に示すように、装置７００は、複数の画像シーケンスを含む画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュール７０１と、画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するように構成される類似度尺度決定モジュール７０２と、第１類似度尺度に基づいて、画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるように構成される画像シーケンスセット区分モジュール７０３と、各画像シーケンスサブセットにおいて、１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定するように構成される画像関連性決定モジュール７０４と、を備えてもよい。

いくつかの実施例では、類似度尺度決定モジュール７０２は、画像シーケンスセット中の各画像に対応する特徴ベクトルを決定するように構成される特徴ベクトル決定モジュール（図示せず）と、特徴ベクトルに基づいて、画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するように構成される第１類似度尺度決定モジュール（図示せず）と、を備える。

いくつかの実施例では、画像シーケンスセット区分モジュール７０３は、画像シーケンスセットから基本画像シーケンスを決定するように構成される基本画像シーケンス決定モジュール（図示せず）であって、基本画像シーケンスに対応する第２類似度尺度が画像シーケンスセット中の他の画像シーケンスに対応する第２類似度尺度以上であり、第２類似度尺度が第１類似度尺度に基づいて決定される基本画像シーケンス決定モジュールと、各画像シーケンスサブセットが基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含むように画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるように構成される第１画像シーケンスセット区分モジュール（図示せず）であって、基本画像シーケンスと少なくとも１つの他の画像シーケンスとの第１類似度尺度が閾値類似度尺度よりも高い第１画像シーケンスセット区分モジュールと、を備える。

いくつかの実施例では、第１画像シーケンスセット区分モジュール（図示せず）は、１つ又は複数の画像シーケンスを調整するように構成される画像シーケンスサブセット調整モジュール（図示せず）を備え、該調整は、各画像シーケンスサブセットが所定数の画像シーケンスを含むルール、及び各画像シーケンスが１つのみの画像シーケンスサブセットに属するルールのうちの少なくとも１つに基づいて行われる。

いくつかの実施例では、装置７００は、関連性に基づいて、各画像シーケンスサブセット中の関連する画像を決定するように構成される関連画像決定モジュール（図示せず）と、三次元画像再構成のために、関連する画像の特徴マッチングを計算するように構成される画像再構成モジュール（図示せず）と、をさらに備える。

本願の実施例に応じて、本願は電子機器及び可読記憶媒体をさらに提供する。

図８に示すように、本願の実施例に係る画像処理方法の電子機器のブロック図である。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの、様々な形式のデジタルコンピュータを表すことを目的としている。電子機器は、例えばパーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の同様の計算装置等の、様々な形式のモバイル装置を表すこともできる。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、ここで説明及び／又は必要とされる本出願の実現を制限することを意図したものではない。

図８に示すように、該電子機器は、１つ又は複数のプロセッサ８０１、メモリ８０２、及び各コンポーネントを接続するためのインターフェースを備え、インターフェースは高速インターフェース及び低速インターフェースを含む。各コンポーネントは、異なるバスにより互いに接続されており、パブリックメインボードに取り付けられてもよく、又は必要に応じて他の方式で取り付けられてもよい。プロセッサは、電子機器内において実行する命令を処理することができ、命令は、外部入力／出力装置（例えば、インターフェースに結合された表示機器など）にＧＵＩのグラフィック情報を表示するようにメモリ内又はメモリ上に記憶されている命令を含む。他の実施形態では、必要がある場合、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器が接続されてもよく、各電子機器は一部の必要な操作（例えば、サーバアレイ、一組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図８では１つのプロセッサ８０１を例とする。

メモリ８０２は本願に係る非一時的コンピュータ可読記憶媒体である。前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、このように、前記少なくとも１つのプロセッサが本願に係る画像処理方法を実行する。本願の非一時的コンピュータ可読記憶媒体は、コンピュータに本願に係る画像処理方法を実行させるためのコンピュータ命令を記憶する。

メモリ８０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム及びモジュールを記憶することに用いることができ、本願の実施例における画像処理方法に対応するプログラム命令／モジュール（例えば、図７に示される画像シーケンスセット取得モジュール７０１、類似度尺度決定モジュール７０２、画像シーケンスセット区分モジュール７０３及び画像関連性決定モジュール７０４）を記憶することに用いることができる。プロセッサ８０１はメモリ８０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における画像処理方法を実現する。

メモリ８０２はプログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は画像処理の電子機器の使用により作成されたデータ等を記憶することができる。また、メモリ８０２は高速ランダムアクセスメモリを含んでもよく、更に、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュ記憶装置、又は他の非一時的固体記憶装置などの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ８０２はプロセッサ８０１に対して遠隔的に設置されたメモリを含んでもよく、これらのリモートメモリはネットワークを介して画像処理の電子機器に接続されることができる。上記ネットワークの例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせが含まれるが、これらに限定されない。

画像処理方法の電子機器は、入力装置８０３及び出力装置８０４をさらに備えてもよい。プロセッサ８０１、メモリ８０２、入力装置８０３及び出力装置８０４はバス又は他の方式で接続することができ、図８では、バスによる接続を例とする。

入力装置８０３は、入力された数字又は文字情報を受信し、画像処理の電子機器のユーザー設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置が挙げられる。出力装置８０４は表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）等を含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。

ここで説明されるシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せにおいて実現できる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施されることを含んでもよく、該１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステムにおいて実行及び／又は解釈されてもよく、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができる。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）はプログラマブルプロセッサの機械命令を含み、且つハイレベル手順及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語でこれらの計算プログラムを実施することができる。本明細書で使用される用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。用語「機械可読信号」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

ユーザーとの対話を提供するために、ここで説明されるシステム及び技術をコンピュータにおいて実施でき、該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、キーボード及びポインティング装置（例えば、マウス又はトラックボール）を有し、ユーザーは該キーボード及び該ポインティング装置によって入力をコンピュータに提供することができる。他のタイプの装置もユーザーとの対話を提供でき、例えば、ユーザーに提供するフィードバックは任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（声入力、音声入力又は触覚入力を含む）を用いてユーザーからの入力を受信できる。
ここで説明されるシステム及び技術を、バックエンドコンポーネントを備える計算システム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備える計算システム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備える計算システム（例えば、グラフィカルユーザーインターフェース又はネットワークブラウザを有するユーザーコンピュータが挙げられ、ユーザーは該グラフィカルユーザーインターフェース又は該ネットワークブラウザによって、ここで説明されるシステム及び技術の実施形態と対話できる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組合せを備える計算システムに実施できる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを互いに接続することができる。通信ネットワークの例はローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムはクライアント及びサーバを備えてもよい。クライアント及びサーバは一般に互いに離間しており、通常、通信ネットワークによって対話する。対応するコンピュータにおいて実行され且つ互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。

本願の実施例の技術案によれば、画像シーケンス間の類似度に応じて、画像シーケンスセットを含む画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けて、その後、各画像シーケンスサブセットにおいて１つの画像シーケンス中の画像と画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定することで、高関連性を有する画像を効果的に決定でき、決定される高関連性の画像のみに対して後続の時間やリソースがかかる特徴マッチング計算を行うことができ、それによって、計算量を減少させ、計算効率を向上させる。また、画像シーケンスセットが１つ又は複数の画像シーケンスサブセットに分けるため、並行する特徴マッチング計算を実行するように、異なる画像シーケンスサブセットを異なる計算機器に割り当てることができる。このようにして、計算リソースを十分に利用し、計算時間をさらに減少させ、計算効率を向上させることができる。

理解されるように、上記様々なプロセスを使用して、ステップを並べ替え、追加又は削除してもよい。例えば、本願に記載の各ステップは並行して実行されてもよく順番実行されてもよく異なる順序で実行されてもよく、本願に開示される技術案の所望の結果を実現できればよく、本明細書では限定しない。
上記具体的な実施形態は、本願の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要素に応じて、種々の変更、組合せ、サブ組合せや代替を行うことができると理解すべきである。本願の精神及び原則を逸脱せずに行われる変更、同等置換や改良等はすべて本願の保護範囲に属する。

Claims (13)

1. 画像処理方法であって、
   複数の画像シーケンスを含む画像シーケンスセットを取得するステップと、
   前記画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するステップと、
   前記第１類似度尺度に基づいて、前記画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるステップと、
   各前記画像シーケンスサブセットにおいて、１つの画像シーケンス中の画像と前記画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定するステップと、を含む画像処理方法。
2. 前記画像シーケンスセット中の画像シーケンス間の前記第１類似度尺度を決定するステップは、
   前記画像シーケンスセット中の各画像に対応する特徴ベクトルを決定するステップと、
   前記特徴ベクトルに基づいて前記画像シーケンスセット中の画像シーケンス間の前記第１類似度尺度を決定するステップと、を含む請求項１に記載の方法。
3. 前記第１類似度尺度に基づいて前記画像シーケンスセットを前記１つ又は複数の画像シーケンスサブセットに分けるステップは、
   前記画像シーケンスセットから基本画像シーケンスを決定するステップであって、前記基本画像シーケンスに対応する第２類似度尺度が前記画像シーケンスセット中の他の画像シーケンスに対応する第２類似度尺度以上であり、前記第２類似度尺度は、前記画像シーケンスセットにおける画像シーケントと他の各画像シーケンスとの間の各第１類似度尺度の合計であるステップと、
   各前記画像シーケンスサブセットが前記基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含むように、前記画像シーケンスセットを前記１つ又は複数の画像シーケンスサブセットに分けるステップであって、前記基本画像シーケンスと前記少なくとも１つの他の画像シーケンスとの前記第１類似度尺度が閾値類似度尺度よりも高いステップと、を含む請求項１に記載の方法。
4. 各前記画像シーケンスサブセットが前記基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含むように、前記画像シーケンスセットを前記１つ又は複数の画像シーケンスサブセットに分けるステップは、
   前記１つ又は複数の画像シーケンスサブセットを調整するステップを含み、前記調整は、
   各前記画像シーケンスサブセットが所定数の画像シーケンスを含むルール、及び
   各前記画像シーケンスが１つのみの前記画像シーケンスサブセットに属するルールのうちの少なくとも１つに基づいて行われる請求項３に記載の方法。
5. 前記関連性に基づいて、各前記画像シーケンスサブセット中の関連する画像を決定するステップと、
   三次元画像再構成のために、前記関連する画像の特徴マッチングを計算するステップと、をさらに含む請求項１に記載の方法。
6. 画像処理装置であって、
   複数の画像シーケンスを含む画像シーケンスセットを取得するように構成される画像シーケンスセット取得モジュールと、
   前記画像シーケンスセット中の画像シーケンス間の第１類似度尺度を決定するように構成される類似度尺度決定モジュールと、
   前記第１類似度尺度に基づいて、前記画像シーケンスセットを１つ又は複数の画像シーケンスサブセットに分けるように構成される画像シーケンスセット区分モジュールと、
   各前記画像シーケンスサブセットにおいて、１つの画像シーケンス中の画像と前記画像シーケンスサブセット中の他の画像シーケンス中の画像との関連性を決定するように構成される画像関連性決定モジュールと、を備える画像処理装置。
7. 前記類似度尺度決定モジュールは、
   前記画像シーケンスセット中の各画像に対応する特徴ベクトルを決定するように構成される特徴ベクトル決定モジュールと、
   前記特徴ベクトルに基づいて前記画像シーケンスセット中の画像シーケンス間の前記第１類似度尺度を決定するように構成される第１類似度尺度決定モジュールと、を備える請求項６に記載の装置。
8. 前記画像シーケンスセット区分モジュールは、
   前記画像シーケンスセットから基本画像シーケンスを決定するように構成される基本画像シーケンス決定モジュールであって、前記基本画像シーケンスに対応する第２類似度尺度が前記画像シーケンスセット中の他の画像シーケンスに対応する第２類似度尺度以上であり、前記第２類似度尺度は、前記画像シーケンスセットにおける画像シーケンスと他の各画像シーケンスとの間の各第１類似度尺度の合計である、基本画像シーケンス決定モジュールと、
   各前記画像シーケンスサブセットが前記基本画像シーケンス及び少なくとも１つの他の画像シーケンスを含むように、前記画像シーケンスセットを前記１つ又は複数の画像シーケンスサブセットに分けるように構成される第１画像シーケンスセット区分モジュールであって、前記基本画像シーケンスと前記少なくとも１つの他の画像シーケンスとの前記第１類似度尺度が閾値類似度尺度よりも高い第１画像シーケンスセット区分モジュールと、を備える請求項６に記載の装置。
9. 前記第１画像シーケンスセット区分モジュールは、
   前記１つ又は複数の画像シーケンスサブセットを調整するように構成される画像シーケンスサブセット調整モジュールを備え、前記調整は、
   各前記画像シーケンスサブセットが所定数の画像シーケンスを含むルール、及び
   各前記画像シーケンスが１つのみの前記画像シーケンスサブセットに属するルールのうちの少なくとも１つに基づいて行われる請求項８に記載の装置。
10. 前記関連性に基づいて、各前記画像シーケンスサブセット中の関連する画像を決定するように構成される関連画像決定モジュールと、
    三次元画像再構成のために、前記関連する画像の特徴マッチングを計算するように構成される画像再構成モジュールと、をさらに備える請求項６に記載の装置。
11. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１－５のいずれか一項に記載の方法を実行させることを特徴とする電子機器。
12. コンピュータ命令が記憶される非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令がコンピュータに請求項１－５のいずれか一項に記載の方法を実行させることに用いられることを特徴とする非一時的コンピュータ可読記憶媒体。
13. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行される際、請求項１－５のいずれか一項に記載の方法を実現させる、コンピュータプログラム。

Images