JP2011517358A - 対話型多ラベル付け画像分割のための連結性類似度に基づくグラフ学習法 - Google Patents

Abstract

画像データ内の対象物を特定し抽出するための連結度に基づく画像処理のシステム及び方法に関する。方法の変形は、実時間処理を改善するために、反復局所平滑化オペレーション及び多様なアルゴリズム解法を含みうる。変形はまた、画像内の対象物に関するユーザ提供の情報に基づく、対象物抽出プロセスを含みうる。
【選択図】図１

Description

画像分割は、コンピュータビジョン及び画像処理における伝統的かつ重要な問題の１つである。その潜在的な利用法は、医療画像分析や個人の写真編集のようにとりわけ幅広い。完全な自動画像分割は可能ではあるが、局所画像特徴（例えば、色、エッジ、テクスチャ、局所的ヒストグラム）と高レベル意味論との間のギャップを克服するのが困難であることに主に起因し、エラーが生じやすい。そのかわりに、要件が低くまたより高精度であるため、近年では半自動の又はユーザ支援型の画像分割が、関心を集めている。

対話型画像分割には一般に、インダクティブ（inductive）アプローチとトランスダクティブ（transductive）アプローチという２つのアプローチがある。この２つのアプローチは、主に、ユーザガイダンスの使用法に違いがある。大抵のインダクティブアプローチにおいては、そのパラメータが、ユーザが提供するシード値から最大尤度又はＭＡＰ（すなわち、最大アプリオリ）推定法を介して得られる、特定の統計モデルから画像が描かれていると前提する。

トランスダクティブなグラフに基づく方法は、ノンパラメトリックなラベル伝搬を介して暗黙的な特徴モデリングを回避する。通常、画像は、２Ｄ格子トポロジでスパースグラフとしてモデリングされている。個別のピクセル又はオーバーラップした小さなパッチは、グラフノードとして取り扱われ、一方、隣接するピクセルは、構築されたグラフ内のエッジにより連結される。ユーザが提供する「シード」ピクセル又はパッチに対応するグラフノードは、そのラベルについて高い信頼度を有するグラフノードとしてみなされ、この情報は、重み付けられたグラフエッジに沿う遠隔ラベル付けされていないノードに反復して伝搬される。

トランスダクティブな、グラフに基づく分割は、グラフ構築及びグラフ伝搬においていくつか不備がある。現在のグラフ構築のアプローチは、全ての大域的な情報を落とす、ＲＧＢ色空間におけるＬ２距離などの局所比較に基づく。局所伝搬についての強度減衰効果のために、ユーザ指定のシードから離れた遠隔ノードの推定はエラーが生じやすくなっている。

上述したトランスダクティブな分割の欠点の解決策の実施形態のいくつかと一貫する特徴は、画像データの提供方法を含みうる。そのような方法は、画像中の対象物に関連する情報を特定することと、画像中の対象物に関連する特定された情報に基づきグラフを構築することとを含みうる。グラフ構築のいくつかの実施形態は、情報特定のプロセスの一部として、特定された情報の受取り、入力、生成又は選択を含みうる。さらなる実施形態は、特定された情報を画像データの一部として含みうる。さらなる実施形態は、特定された情報に、シードノード又はシードピクセルに関する情報をさらに含みうる。

本明細書に記載されるようなグラフ構築のアプローチの実施形態によって作成されるグラフは、グラフ中の複数のノードについての大域的なペアワイズ類似度の定義である連結性類似度（connectivity similarity）を含みうる。さらなる実施形態は、全てのグラフノードについての連結性類似度を有しうる。

構築された後、空間的に近いグラフノードの間で局所平滑化が行われうる。平滑化の後、局所平滑化オペレーションの結果得られる平滑化されたグラフに基づき、特定された対象物を表す画像データが提供されうる。そのような方法の実施形態は、実時間でより速い計算性能を実現するために、最少全域木アルゴリズムの変形などの計算効率の高い（すなわち多項式時間）アルゴリズムを採用しうる。

上記方法の実施形態におけるグラフ構築プロセスの一部は、２つのグラフノードの間の有効なパスについての有効距離を定義することと、２つのグラフノードの間のノード間距離として、有効距離の最小値を取ることを含みうる。これは、物理的に離れたノードを、短い有効距離したがって高い類似度に関連付けることができるため、大域的なペアワイズ類似度の一種である。

上記方法の実施形態におけるグラフ構築プロセスの別の一部は、グラフノードが連結するノードの数に対応する数のラベルでグラフノードをラベル付けすることを含みうる。そのようなラベル付けアプローチにおいて、ラベルは、グラフノードと連結されたノードとの間の連結性距離（connectivity distance）に関連づけられる。このラベル付けアプローチの実施形態は、上述した有効距離の定義と組み合わせられ、ノード間距離をラベルについての連結性距離として使用しうる。ラベル付けアプローチの特定の実施形態はまた、グラフノードが２つより多いラベルを有することを可能にする。

グラフ構築プロセスの実施形態はまた、特定のラベルに対するグラフノードの信頼度に対応した少なくとも１つの列ベクトルを有する連結性距離行列の作成を含みうる。そのような列ベクトル（又は複数のベクトル）は、統計的異常値であるベクトル中の１つ以上の値として表されるノイズを含みうる。空間的に近いグラフノードの間で行われた局所平滑化アプローチは、統計的異常値を取り除くことで、ノイズレベルを軽減又は低減させうる。局所平滑化に関する１つの可能な方法は、反復線形近傍伝播アルゴリズムを含む。そのようなアルゴリズムの１つの実施形態は、近傍ノードの平均信頼値に基づき、異常値を列ベクトルから特定し取り除く。別の可能な方法は、さらなる平滑化が必要かどうかを判定するために、平滑化の反復の前又は後にノイズ検出を行うアプローチを含む。そのような実施形態はまた、ノイズ検出プロセスにおいて特定のノイズ閾値レベルを含みうる。

グラフ構築プロセスの実施形態は、シード値又はシードノードの特定、決定、分析又は計算によって開始されうる。そのような値は、対象物と関連付けられた特定された情報から派生しうるか、又は、特定された情報そのものでありうる。特定された情報は、上述のグラフ構築プロセスの実施形態への入力の一部として受取られうるか、又は、グラフ構築の初期の部分として、もしくは本明細書に記載のグラフ構築プロセスの実施形態を採用するより広いアプリケーションにおいて、自動的又は対話形式で生成されうる。

上述の方法及び関連アプローチの実施形態は、局所的に記憶されているか、取り外し可能な記憶媒体に含まれるか、又は、変調信号としてコンピュータに搬送されたソフトウェアを実行するコンピュータデバイスによって実行されうる。さらなる実施形態は、画像からの対象物に関連付けられた画像データを提供する画像データ提供装置といったより特化した装置の使用により実現されうる。

上述の画像データ提供装置の実施形態は、画像内の対象物に関連付けられた情報を特定する特定ユニット、及び、画像内の対象物に関連付けられた特定された情報に基づきグラフを構築するグラフ作成器を含みうる。そのように構築されたグラフの実施形態は、グラフ中の複数のノードについての連結性類似度を含みうる。さらなる実施形態は、全てのグラフノードについての連結性類似度を可能にする。

この装置の実施形態はまた、空間的に近いグラフノードの間の局所平滑化を行うグラフ平滑化ユニットを含みうる。平滑化の後、グラフデータは、グラフ平滑化ユニットにより作成された平滑化されたグラフに基づく対象物を表す画像データを出力として提供する画像データ出力ユニットに引き渡される。上述の方法におけるように、グラフ作成器は、計算効率が高いグラフ作成アルゴリズムを採用しうる。

グラフ作成器は、２つのノードの間の有効なパスについての有効距離を定義し、また、有効距離の最小値を２つのグラフノードの間のノード間距離として設定する距離定義サブユニットを含みうる。

グラフ作成器はまた、グラフノードが連結するノードの数に相当する数のラベルをグラフノードにラベル付けし、グラフノードと、連結されたノードとの間の連結性距離とラベルを関連付けるノードラベル付けサブユニットを含みうる。グラフ作成器のさらなる実施形態はまた、特定のラベルに対するグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有する連結性距離行列を生成する、連結性距離行列生成サブユニットを含みうる。

そのような列ベクトル（又は複数のベクトル）は、統計的異常値であるベクトル内の１つ以上の値によって表されうるノイズを含みうる。空間的に近いグラフノードの間で行われた局所平滑化アプローチは、統計的異常値を取り除くことで、ノイズレベルを軽減又は低減しうる。それゆえ、画像データ提供装置の実施形態は、反復線形近傍伝搬アルゴリズムで、空間的に近いグラフノードの間の局所平滑化を行うグラフ平滑化ユニットを含みうる。そのようなアルゴリズムのひとつの実施形態は、近傍ノードの平均信頼値に基づき、列ベクトルから異常値を特定し取り除く。別の可能な方法は、さらなる平滑化が必要であるかを判定するために、平滑化の反復の前又は後にノイズ検出を行うアプローチを含む。グラフ平滑化ユニットの実施形態は、ノイズ検出プロセスにおける特定のノイズ閾値レベルを含みうる。

本明細書に記載されるような画像データ提供装置の実施形態は、グラフ作成器において、シード値又はシードノードの特定、決定、分析又は計算によってグラフ構築プロセスを開始する。そのような値は、対象物に関連付けられた特定された情報から派生されたか、又は、特定された情報そのものであるかもしれない。特定された情報は、上述の画像データ提供装置の実施形態への入力の一部として受取られうるか、又は、グラフ構築の初期の部分として、もしくは本明細書に記載の画像提供装置の実施形態を採用するより広範な装置において、自動的に又は対話形式で生成されうる。特定ユニットはまた、画像内の対象物の少なくとも一部の選択を可能にする、選択サブユニットを含みうる。対象物の選択された少なくとも一部又は選択された部分に関連付けられた情報は、特定された情報の少なくとも一部からなりうる。

グラフの実施形態は、少なくとも一部は、特定のラベルについてのグラフノードの信頼値に対応する少なくとも１つの列ベクトルを有する連結性距離行列によって表されうる。そのような行列において、グラフノードは、そのグラフノードが連結するノードの数に相当する数のラベルと関連付けられうる（いくつかの実施形態では、いくつかのノードは２つより多いラベルを有しうる。）。

いくつかのグラフ実施形態では、グラフノードに関連づけられたラベルは、グラフノードとそれに連結されるノードとの間の有効距離に関連付けられる。いくつかの実施形態では、２つのノードの間の有効距離は、これらのノードの間のノード間距離である。グラフの実施形態はまた、複数のノードについて連結性類似度を有し、そのノードは、反復線形近傍伝搬アルゴリズムによって局所平滑化されうる。さらなる実施形態は、全てのノードについて連結性類似度を有しうる。

グラフの実施形態は、本明細書に記載の画像データ提供オペレーションの実施形態の間、前、又はその結果の一部として、コンピュータ可読媒体にデータとして記憶されうるか、又は、変調信号として伝搬されうる。

前述は、要約であるので、必然的に単純化、一般化及び詳細の省略を含む。したがって、当業者には、要約が例示にすぎず限定を意図するものでないことが理解されるだろう。本明細書に記載の装置、並びに／又はプロセス及び／もしくは他の主題の他の態様、特徴及び利点は、本明細書に記載される教示において明らかとなろう。要約は、以下の詳細な説明にさらに記載されるコンセプトの選択を、簡略化した形式で導入するために設けられている。この要約は、クレームされた主題の主要な特徴又は本質的な特徴を特定することを意図しておらず、また、クレームされた主題の範囲の画定における補助として使用されるよう意図されてもいない。

本開示の前述の特徴及びその他の特徴は、以下の記載及び添付の請求の範囲並びに添付の図面からより十分に明らかになるであろう。図面は、本開示に従ういくつかの実施形態のみを示すものであり、それゆえその範囲を限定するものとみなされない。本開示は、添付の図面を用いてさらなる具体性と詳細さをもって説明される。図面において、
図１は、本明細書に記載の画像データ提供アプローチの実施形態をコンピュータに実行させるプログラムを実行することが可能なシステムを示す図である。 図２は、本明細書に記載の画像データ提供アプローチの実施形態の高レベルフローチャートを示す図である。 図３は、グラフ作成プロセスの実施形態のブロック図である。 図４は、グラフ上の有効距離の決定の実施形態を示す図である。 図５は、反復局所平滑化オペレーションの実施形態のブロック図である。 図６は、画像データ提供装置の実施形態のブロック図である。 図７は、平滑化ユニットを有する画像データ提供装置の実施形態のブロック図である。 図８は、距離の定義、ノードのラベル付け及び連結性距離行列生成サブユニットを有するグラフ作成器の実施形態のブロック図である。 本発明は、多様な変形及び代替形態を許容するものであるが、本発明の特定の実施形態が図面において例示的に示されており、本明細書において詳細に説明される。しかしながら、図面及びこれに関する詳細な説明は、開示された特定の形式に本発明を限定するよう意図されておらず、むしろ、本発明は、添付の請求の範囲により画定される本発明の精神及び範囲内にある全ての変形、同等物及び代替物を含むということが理解されるだろう。

以下の詳細な説明において、本明細書の一部をなす添付の図面を参照する。図面では、文脈が別途指示しない限り、同様の符号は通常、同様の構成要素を示す。詳細な説明、図面及び請求の範囲に記載される例示的な実施形態は、限定的であるようには意図されていない。本明細書に提示されている主題の精神又は範囲から逸脱することなく、他の実施形態が使用されてよく、また、他の変更がなされてもよい。本明細書において一般的に記載されかつ図示される本開示の態様が、多岐にわたる構成で配置され、置き換えられ、組合され、かつ設計されることができ、それらの全てが明確に意図され、本開示の一部をなすということが容易に理解されるだろう。

本開示は、とりわけ、画像処理に関する方法、装置、コンピュータプログラム、コンピュータプログラムを記憶するコンピュータ可読媒体及びシステムに関する。

図１は、本明細書中に記載される画像データ提供方法の実施形態を実行しうる汎用コンピュータデバイスを示す。このコンピュータは、主処理領域１０１０の他に、入力装置１１３０、及び出力装置１０９０、内部記憶装置１１５０及び取り外し可能な記憶装置１１１０を含む。入力及び出力装置１１３０、１０９０、並びに内部及び取り外し可能な記憶装置１１５０、１１００のそれぞれは、それぞれをマイクロプロセッサ１０７０に連結させるインターフェース１１２０、１０８０、１１４０及び１１００を有する。マイクロプロセッサ１０７０は、組み込みオペレーティングシステム（ＢＩＯＳ）１０３０、オペレーティングシステム１０６０、（記載された画像データ提供方法の実施形態を実行しうるプログラムを含みうる）アプリケーションプログラム１０５０及び（処理されるべき画像データを含みうる）プログラムデータ１０４０を含むシステムメモリ１０２０にアクセスすることができる。オペレーティングシステム１１８０、プログラムデータ１１７０及びアプリケーションプログラム１１６０はまた、後の検索又は使用のためにコンピュータの内部記憶装置１１５０又は取り外し可能な記憶装置１１１０上に（共に又は個別に）記憶されるか、又は、１つ以上の変調信号内のエンコードされた情報として、入力装置１１３０によって受取られうる。

画像データ提供方法の実施形態は、図２の高レベルフロー図に示される画像データ提供エンジンの形を取りうる。このようなエンジンは、入力２０１０として、少なくとも１つの対象物を含む画像データを受取りうる。エンジンは、画像のグラフ２０２０を構築し、グラフの局所平滑化２０３０を行い、平滑化したグラフに基づき、対象物を示す画像データ２０４０を特定し提供する。

画像データ提供エンジンの代替的な実施形態はまた、画像中の対象物に関する情報を入力として受け入れうる。そのような情報は、画像データ２０１０内で提供されうるか、又は、個別の入力データ又はメタデータとして提供されうる。いくつかの他の代替的実施形態では、そのような情報は、画像内の対象物に対応する、画像上の１つ以上の近似位置を示すユーザ提供データ点を含みうる。そのようなデータ点は、グラフ構築２０２０について、シード値を展開又は検索するために使用されうる。さらなる実施形態では、画像内の対象物に関する情報は、グラフ構築２０２０における即時の使用及び処理のために利用可能な状態のシード値の集合を含みうる。

グラフ構築
記載される画像データ提供方法の実施形態に従うグラフ生成アプローチの実施形態では、Ｘ＝｛ｘ_ｉ｜ｉはＩに属する｝は、画像配列を示し、Ｉは添字の集合である。また、本実施形態では、全体添字集合とラベル付き及びラベルなしのノードに関する添字集合との関係は、Ｉ＝Ｉ_Ｌ∪Ｉ_Ｕ及びＩ_Ｌ∩Ｉ_Ｕ＝０として表され、Ｉ_Ｌ、Ｉ_Ｕは、ラベル付き又はラベルなしのノードに関する添字集合である。グラフ生成の本実施形態において構築されたグラフは、Ｇ＝＜Ｖ；Ｅ＞として表されることができ、Ｖ、Ｅはグラフノードの集合とエッジの集合をそれぞれ表す。

グラフ生成アプローチの実施形態を図３に示す。示されるアプローチでは、最初のステップとしてシードノードが確立される３０１０。グラフ生成の実施形態では、シードノードは、画像上の特定の点の外部選択を通して確立されてもよい。この種の実施形態は、ユーザが、画像中の対象物の境界線と関連づけられた画像中の点を選択することを可能にする。特定のシードピクセルに関する情報が画像データに組み込まれるか、又は含まれる場合には、シードノードの確立は、グラフ生成の実施形態において省略されうる。さらなる実施形態は、全体の入力データの一部として、シードノードに関する情報をグラフ作成プロセスに供給しうる。

記載される実施形態では、シードノードが特定されると、グラフ生成は、ノード間の有効距離の測定３０２０及び連結性距離行列の生成３０４０が続いて実行される。連結性行列が生成された後、ラベルは、各ノードと関連付けられる３０５０。これらのステップの多様な実施形態が以下に記載される。

グラフ生成の単純なアプローチは、各ピクセルを単一のノードとして扱うこと、及び、グラフエッジを８連結近傍に（over an 8-connected neighborhood）定義することである。

Ｇにおけるエッジの重みは、ノードｉ、ｊについての距離ｄ_ｉｊ又は、局所類似度ｓ_ｉｊのずれかを使用して測定されうる。これら２つの測定法は、多くの場合、同様の結果をもたらす。エッジの重みの距離及び／又は類似度の計算方法の１つは、ノード値間のノルム差異の２乗として表される２つのノード間の距離に基づく。空間的距離が大きい場合、シードの効果は大幅に減少する。

エッジの重み測定の異なるアプローチは、少数のシード値とシードから遠い多数の遠隔ノードを有する場合について、改善した結果を提供しうる。局所（ノード間）距離と大域的なデータ分散の両方に基づくと定義される距離メトリックは、上述したシード効果の減少の問題を克服しうる。

示されるグラフ作成実施形態では、各ノードの間の有効距離は、連結性類似度を使用して決定される３０２０。連結性類似度の基本概念は、伸張構造からコンパクトな構造への変形である。図４に示すとおり、未知のノードＡ４０２０は、Ｃ４０４０よりもソースノードＢ４０３０により類似する。しかしながら、ＡとＢを連結するいくつかの介在ノードを介した長いパスがある。すなわち、Ａ、Ｂは伸張されたマニホールド（elongated manifold）上に存在しうる。ノードｉからｊへのパスの集合をＰ_ｉｊとし、Ｐ_ｉｊに属する有効なパスｐのそれぞれの有効距離は、ノードの間の最大ステップ長さとして定義され、ｉとｊとの間のノード間距離は、全てのｐのうちの全ての有効距離の最小値である。すなわち、

である。

図４では、Ａ４０２０とＢ４０３０との間のそれぞれのパスのステップ長さは、マニホールドにあるノードの各ペアの間の距離である。最短のノード間距離は、ここでは、マニホールド中で隣接する第１のノード４０１０と第２のノード４０５０との間の距離として表現されている。この距離をＡとＢとの間の有効距離とすると、ノードＡとノードＢは、視覚的に示されているよりもはるかに類似していることがここで理解できよう。

連結性類似度に関する１つの問題は、その計算複雑性である。画像グラフ中のノードの数は通常およそ１０^４又はそれ以上なので、計算効率の良い（すなわち多項式時間）低度のアルゴリズムを採用する実施形態は、実時間実施形態に関して、はるかに計算的に好適である。クラスカル最少全域木アルゴリズムは、そのような計算効率の高いアルゴリズムの一例であるが、他の実施形態は、計算効率のレベルの異なる他のアルゴリズムを使用してもよい。

再び図３を参照すると、グラフノードの間の有効距離が決定されると、連結性行列が生成されうる３０４０。そのような行列は、各ベクトルが２つのノードの間の特定の有効距離と関連付けられるよう配置された列ベクトルを有することができる。グラフ及び関連行列の実施形態は、２つのノード間の有効距離がいずれのノードのパースペクティブからも同じであるように、無指向でありうる。

連結性行列が作成される、ノードの間の有効距離を表す、行列のベクトルは、ラベルと関連付けられる３０５０。グラフに適用されるラベルの集合は、Ｌ＝｛１，２．．．Ｌ_ｍａｘ｝として示され、Ｌ内のラベルＬ_ｉは、ノードｘ_ｉのラベルを示すことができる。ラベル付けされていないと特定されるノード（シードノードでない全てのノードは、ラベル関連付けの開始時においてはラベル付けされていない。）については、ラベルは、０（すなわち、未知）として初期設定されうる。Ｉ_Ｌに属するｉのそれぞれについて、Ｉ_Ｕ内のラベル付けされていないノードの全てへのその連結性距離は、有効距離決定３０２０の実施形態を使用して計算することができる。そのようなアプローチのもと、ラベル付けされていないそれぞれのノードｊは、以下のように示されうる、それぞれがＬ内の固有のラベルに対する、全体のＬ_ｍａｘ距離値を得る。

ラベル付けされたノードがグラフ内の他のノードによって共有されていない特定のパースペクティブに関連づけられるよう、ラベルは有向でありうることに留意されたい。各ラベルがそのノードと連結するノードとの間の有効距離に関連付けられる場合、（ノードは２つより多いラベルを有することが可能であるので）各ノードは、ラベルの集合を有しうる。

線形伝搬を介する局所平滑化
グラフ作成の実施形態は、

である、Ｎ＊Ｌ_ｍａｘ連結性距離行列

を生成しうる。

の列ベクトルのそれぞれは、１つの特定のラベルに対するグラフノードの信頼度に対応する。しかしながら、得られた距離値は、グラフノード分類を直接行うにはノイズが多すぎる場合がある。

ＭＲＦ画像モデリングにおいて、イジングプライヤなどのアプリオリな知識は、異常値除去及び局所平均化について組み込まれうる。ＭＲＦ大域的最適化は、マルチラベルの場合、経験則によって案内されていても大変時間を要し、対話型分割のような実時間アプリケーションには好適でないこともある。線形近傍伝搬（Linear Neighborhood Propagation）（ＬＮＰ）と呼ばれる局所平滑化方法が、本明細書に記載の画像データ提供オペレーションの実時間実施形態にはより好適でありうる。ＬＮＰ平滑化の実施形態では、グラフノードのそれぞれが、その近傍の平均値を参照することでその初期状態を反復的に改善しうる。伝搬行列Ｗとすると、ＬＮＰ局所平滑化オペレーションの実施形態は、α∈（０, １）が自由パラメータであり、

であるとき、以下の通りとなる。

数列｛Ｙ^ｔ｝がＹ＊に収束する場合、ノードｉの最終ラベルは、Ｌ_ｉ＝ａｒｇ ｍｉｎ Ｙ＊（ｉ， ｌ）を介して決定されうる。

画像データ提供方法の別の実施形態では、局所平滑化は、反復的に複数回行われうる。局所平滑化反復のそれぞれが異常値を特定し取り除くことによってラベルへの信頼ベクトルを改善しうるので、局所平滑化反復のそれぞれはまた、近傍ノードのラベルの平均信頼値を改善しうる。平均信頼値（すなわち、ベクトル）がよりノイズか少なくなるにつれ、後続する局所平滑化のサイクルに対するその効果もまた改善されうる。

多数のノード“ｎ”を有する実施形態に関して、反復的局所平滑化オペレーションのサイクルの例は以下のとおりである。Ｙ及びＤのｉ番目の列をベクトルＹⁱ＝[ｙ_１ ｙ_２．．．ｙ_ｎ]^Ｔ及びＤ^ｉ＝[ｄ_１ ｄ_２．．．ｄ_ｎ]^Ｔとし、上付き文字Ｔが行列転置オペレーションを示し（各ベクトルの上付き文字ｉは表記を簡素化するため省略する。）、時間ｔでのＹ^ｉの状態は、[ｙ^ｔ _１ ｙ^ｔ _２．．．ｙ^ｔ _ｎ]と示され、後続の時間ｔ＋ｌでのＹ^ｉの状態は、[[ｙ^ｔ＋ｌ _１ ｙ^ｔ＋ｌ _２．．．ｙ^ｔ＋ｌ _ｎ]と示される。時間ｔ＋ｌでのＹ^ｉの状態を改善する局所平滑化式は、以下の通りである。

それゆえ、いくつかの実施形態では、局所平滑化が1回より多く行われうる。ある実施形態では、信頼ベクトルのノイズレベルに応じて、２０回又はそれ以上まで反復的に局所平滑化オペレーションが行われうる。そのような反復平滑化の実施形態は、図５に示されているとおり、平滑化後のベクトルを分析し、全体の閾値ノイズレベルより下であるかどうかを決定するノイズ検出機能５０５０を有する。ノイズレベルが特定の閾値よりも高いとみなされる場合、局所平滑化反復５０４０がもう一度行われうる。

閾値化又はノイズ分析の１つの実施形態は、連続した２つの反復平滑化の間の差の測定を含みうる。差が特定の閾値より低い場合、グラフは、さらなる使用について十分に平滑であるとみなされる。代替的な実施形態は、ノイズレベルを測定することなく、単に決められた回数の反復を採用することができ、また、さらに他の実施形態は、さらなる平滑化が必要かどうかを決定するために、５、１０又はそれ以上の数の平滑化反復の固定反復ブロックと、各ブロックの最後の２回の差の比較とを組み合わせたアプローチを採用しうる。

上述されたような局所平滑化オペレーションの実施形態はまた、より多い数のピクセルの画像（すなわち、非常に多い及び／又は高解像度の画像）上の改善された実時間性能のためにスーパーピクセル処理といった計算手法を採用しうる。

信頼ベクトルが使用できない状態であるとみなされた場合、対象物に対応する画像データが、表示、記憶、伝搬、又はさらなるプロセスのいずれかのために生成され、出力されうる５０６０。画像データは、ラベル情報に基づく出力について特定されうる。数列｛Ｙ^ｔ｝が固定点Ｙ^＊に収束するとき、添字ｉのピクセルについてのラベル（ｉ_ｉとして示される）は以下のとおり選択されうる。
ｌ_ｉ＝ａｒｇ_ｌ ｍｉｎ Ｙ^＊（ｉ, ｌ）
Ｙ^＊（ｉ, ｌ）は、行列Ｙ^＊の（ｉ, ｌ）番目の要素を表す。

特定のピクセルに関連付けられた選択されたラベルはまた、そのピクセルについての連結性情報を示し、それにより、選択に好適な次のピクセルを示し、対象物を表すピクセルの集合を画像データとして徐々に抽出することを可能にする。

画像データ提供装置
画像データ提供エンジンの実施形態は、特化された画像データ提供装置において実現され、その実施形態が図６に記されている。エンジン６０３０は、入力として、１つ以上の対象物を含む画像データ６０１０を受取る。エンジン６０３０は、画像のグラフを構築するグラフ作成器６０４０、及び、下流処理ユニット、ディスプレイ又はデータ記憶媒体もしくは装置に対して、対象物に関する画像データ６０６０を提供する画像データ出力ユニット６０５０を含みうる。データ出力ユニット６０５０からの出力が記憶媒体又は装置へ送られる場合の実施形態では、記憶された情報は、各ピクセルについてのラベル情報を含みうる。

図７に示される画像データ提供エンジンの代替的な実施形態は、対象物画像データを出力する前に、作成されたグラフの局所平滑化を行うグラフ平滑化ユニット６０７０を含みうる。平滑化ユニットの実施形態は、ＬＮＰ平滑化を行ってもよく、又は、他の局所平滑化アルゴリズムを採用してもよい。

グラフ作成器６０４０の実施形態は、図８に示されるような複数のサブユニットを含みうる。実施形態は、有効距離計算プロセスの実施形態を実行する距離定義サブユニット８０１０、ラベルの適用及び関連付けの実施形態を実行するノードラベル付けサブユニット８０７０、及び連結性行列の実施形態を生成する連結性距離行列生成器８０５０を含みうる。グラフ作成器の代替的な実施形態は、上記のサブユニットの一部又は全ての様々な変形を含みうる。

前述の詳細な記載は、ブロック図、フロー図及び／又は例を使用して、装置及び／又はプロセスの多様な実施形態を説明した。そのようなブロック図、フロー図及び／又は例が１つ以上の機能及び／又はオペレーションを含む場合は、ブロック図、フロー図及び／又は例における機能及び／又はオペレーションが、さまざまなハードウェア、ソフトウェア、ファームウェア又はこれらの実質的組合せによって、個別に又は総体的に実施されることができることが当業者には理解されよう。１つの実施形態では、本明細書中に記載される主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号処理装置（ＤＳＰ）又は他の集積形式で実施されうる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体又は部分的に、１つ以上のコンピュータにおいて実施される１つ以上のコンピュータプログラムとして（例えば、１つ以上のコンピュータシステムにおいて実行される１つ以上のプログラムとして）、１つ以上のプロセッサにおいて実行される１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサにおいて実行される１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的組合せとして、集積回路において同等に実施されることができること、及び、ソフトウェア及び／又はファームウェアについての回路設計及び／又はコードの書き込みが、本開示に照らして当業者の技術内であることが当業者には理解されるだろう。さらに、本明細書に記載された主題の機構が、様々な形態でプログラム製品として分散されることができること及び、本明細書に記載される主題の例示的実施形態が、分散を実際に実行するために使用される信号保持媒体の特定の種類に係わらず適用されることが、当業者には理解されよう。信号保持媒体の例は、以下に限定されないが、フロッピーディスク（登録商標）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）デジタルテープ、コンピュータメモリなどの可読タイプの媒体、及び、デジタル及び／又はアナログの通信媒体（例えば、光ファイバーケーブル、導波路、有線通信リンク、無線通信リンクなど）といった伝搬タイプの媒体を含む。

本明細書で使用される実質的にあらゆる複数及び／又は単数の用語について、当業者は、文脈及び／又は用途に応じて適切に、複数の用語を単数に、及び／又は単数の用語を複数に置き換えることができる。本明細書では、明確性を目的として、多様な単数／複数の置き換えが明記されうる。

一般に、本明細書、特に添付の請求の範囲（例えば、添付の請求の範囲の要部）中で使用される用語は、一般に「非限定的な（open）」用語として意図されている（例えば、「含んでいる(including)」という用語は「・・・を含んでいるが限定されない(including but not limited to)」と解釈されるべきであり、「有している(having)」という用語は「少なくとも・・・を有している(having at least)」と解釈されるべきであり、「含む(includes)」という用語は「・・・を含むが限定されない(includes but is not limited to)」と解釈されるべきである。）ことが当業者には理解されるであろう。さらに、導入されたクレーム記載において特定の数が意図される場合、そのような意図は当該クレーム中に明確に記載され、そのような記載がない場合は、そのような意図も存在しないことが当業者には理解されるであろう。理解を促すために、例えば、後続の添付の請求の範囲では、「少なくとも１つの(at least one)」及び「１つ以上の(one or more)」といった導入句を使用し、クレーム記載を導入することがある。しかし、このような句を使用するからといって「ａ」又は「ａｎ」といった不定冠詞によりクレーム記載を導入した場合に、たとえ同一のクレーム内に、「１つ以上の」又は「少なくとも１つの」といった導入句と「ａ」又は「ａｎ」といった不定冠詞との両方が含まれるとしても、当該導入されたクレーム記載を含む特定のクレームが、当該記載事項を１つのみ含む実施形態に限定されるということが示唆されると解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は、「少なくとも１つの」又は「１つ以上の」を意味すると解釈されるべきである。）。定冠詞を使用してクレーム記載を導入する場合にも同様のことが当てはまる。さらに、導入されたクレーム記載において特定の数が明示されている場合であっても、そのような記載は、「少なくとも」記載された数を意味するように解釈されるべきであることは、当業者には理解されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、この記載は、「少なくとも」２つの記載事項、又は「２つ以上の」記載事項を意味する。）さらに、「Ａ、Ｂ及びＣなどのうち少なくとも１つ」に類する表記が使用される場合、一般的に、そのような構造は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうち少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又は、ＡとＢとＣの全て、などを有するシステムを含むがこれに限定されない）。また、「Ａ、Ｂ又はＣなどのうち少なくとも１つ」に類する表記が使用される場合、一般的に、そのような構造は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ又はＣのうち少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、及び／又は、ＡとＢとＣの全て、などを有するシステムを含むがこれに限定されない）。さらに、２つ以上の選択可能な用語を表す実質的にあらゆる離接語及び／又は離接句は、説明文内であろうと、請求の範囲内であろうと、又は図面内であろうと、それらの用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されるであろう。例えば、「Ａ又はＢ」という句は、「Ａ」又は「Ｂ」若しくは「Ａ及びＢ」の可能性を含むことが理解されよう。

多様な態様及び実施形態が、本明細書中に開示されているが、他の態様及び実施形態も当業者にとって明らかとなろう。本明細書中に開示された多様な態様及び実施形態は、例示目的であり、限定されるように意図されておらず、真の範囲及び精神は、以下の請求の範囲によって示される。

Claims (39)

1. 画像データを提供する方法であって、
   画像内の対象物に関連づけられた情報を特定することと、
   前記画像内の前記対象物に関連付けられた前記特定された情報に基づいて複数のノードについて連結性類似度を有するグラフを構築することと、 空間的に近接するグラフノード間の局所平滑化を実行することと、
   前記局所平滑化の結果に基づき、前記対象物を表現する画像データを提供することと、
   を含む、方法。
2. 前記情報の特定が、前記画像内の前記対象物の少なくとも一部を選択することを含む、請求項１に記載の方法。
3. 前記グラフの構築が、２つのグラフノードの間の有効なパスの有効距離を定義することと、前記２つのグラフノードの間のノード間距離として、前記有効距離の最小値を取ることを含む、請求項１に記載の方法。
4. 前記グラフの構築が、前記情報の特定に基づきシードノードを確立することを含む、請求項２又は請求項３に記載の方法。
5. 前記グラフの構築が、グラフノードが連結するノードの数に対応する数のラベルを、前記グラフノードにラベル付けすることを含み、前記グラフノードと連結されたノードとの間の連結度距離に前記ノードのラベルが関連付けられている、請求項１に記載の方法。
6. 前記グラフの構築が、連結度距離行列を生成することを含み、前記行列が、特定のラベルについてのグラフノードの信頼値に対応する少なくとも１つの列ベクトルを有する、請求項５に記載の方法。
7. 前記情報の特定が、画像内の対象物と関連付けられた前記情報を受取ることを含む、請求項１、２、３、５又は６のいずれかに記載の方法。
8. 空間的に近接するグラフノードの間の前記局所平滑化の実行が、反復線形近傍伝搬アルゴリズムを実行することを含む、請求項１、２、３、５又は６のいずれかに記載の方法。
9. 空間的に近接するグラフノードの間の前記局所平滑化の実行が、
   前記行列中の全体のノイズレベルの検出と、
   近傍ノードの平均信頼値に基づき決定された異常値の前記少なくとも１つの列ベクトルからの除去と、
   前記全体のノイズレベルが特定の閾値よりも高い場合、前記ノイズレベルが前記閾値であるか又は前記閾値より低くなるまで、前記検出及び除去を繰り返すことと、
   を含む反復方法を備える、請求項６に記載の方法。
10. 少なくとも１つのグラフノードが２つより多いラベルを有する、請求項５、６又は９に記載の方法。
11. 画像データを提供する画像データ提供装置であって、
    画像内の対象物に関連付けられた情報を特定する特定ユニットと、
    前記画像内の前記対象物に関連付けられた前記特定された情報に基づいて、複数のノードについて連結性類似度を有するグラフを構築するグラフ作成器と、
    空間的に近接するノードの間で局所平滑化を行うグラフ平滑化ユニットと、
    前記局所平滑化の結果に基づき、前記対象物を表現する画像データを出力として提供する画像データ出力ユニットと、
    を含む、装置。
12. 前記特定ユニットが、前記画像内の前記対象物の少なくとも一部を選択することを可能にする選択サブユニットを含む、請求項１１に記載の画像データ提供装置。
13. 前記グラフ作成器が、２つのグラフノードの間の有効なパスの有効距離を定義し、前記有効距離の最小値を、前記２つのグラフノードの間のノード間距離として設定する、距離定義ユニットを含む、請求項１１に記載の画像データ提供装置。
14. 前記グラフ作成器が、前記情報の特定に基づき、シードノードを確立する、請求項１２又は１３に記載の画像データ提供装置。
15. 前記グラフ作成器が、グラフノードが連結するノードの数に対応する数のラベルで前記グラフノードをラベル付けし、前記グラフノードと、連結されたノードとの間の連結性距離にラベルを関連付ける、ノードラベル付けサブユニットを含む、請求項１１に記載の画像データ提供装置。
16. 前記グラフ作成器が、連結性距離行列を生成する連結性距離行列生成サブユニットを含み、前記行列が、特定のラベルについてのグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有する、請求項１５に記載の画像データ提供装置。
17. 前記特定ユニットが、前記特定された情報を受け取る、請求項１１、１２、１３、１５又は１６のいずれかに記載の画像データ提供装置。
18. 前記グラフ平滑化ユニットが、空間的に近接するノードの間の局所平滑化を、反復線形近傍伝搬アルゴリズムで行う、請求項１１、１２、１３、１５又は１６のいずれかに記載の画像データ提供装置。
19. 前記グラフ平滑化ユニットが、
    前記行列の全体のノイズレベルの検出と、
    近傍ノードの平均信頼値に基づき決定された異常値の前記少なくとも１つの列ベクトルからの除去と、
    前記全体のノイズレベルが、特定の閾値より高い場合、前記ノイズレベルが前記閾値であるか、又は前記閾値より低くなるまで、前記検出及び除去を繰り返すこと、によって空間的に近接するノードの間の局所平滑化を反復して行う、請求項１６に記載の画像データ提供装置。
20. 少なくとも１つのグラフノードが２つより多いラベルを有する、請求項１５、１６又は１９に記載の画像データ提供装置。
21. 抽出可能な対象物を含む画像を表す計算グラフであって、
    前記グラフが、特定のラベルについてのグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有する連結性距離行列を含み、
    ２つより多い連結を有することが可能である前記グラフノードが、前記グラフノードが連結するノードの数に相当する数のラベルと関連付けられ、
    前記グラフノードに関連付けられたラベルが、前記グラフノードと、前記グラフノードに連結されたノードとの間の有効距離に関連付けられ、前記２つのノードの間の前記有効距離が前記ノード間の有効距離の集合の最小値であり、
    前記グラフが複数のノードについての連結度類似度を有する、計算グラフ。
22. 近傍ノードの平均信頼値を参照することで決定されるベクトル内の異常値を、前記ノードに関連付けられた列ベクトルから取り除くために、空間的に近接するグラフノードが局所的に平滑化される、請求項２１に記載の計算グラフ。
23. 空間的に近接するグラフノードが、反復線形近傍伝搬アルゴリズムで局所的に平滑化される、請求項２１又は２２に記載の計算グラフ。
24. 実行時に、コンピュータに画像データの提供方法を実行させる命令の組を備えるコンピュータ可読媒体であって、
    前記方法が、
    画像内の対象物に関連付けられた情報を特定することと、
    前記画像内の前記対象物に関連付けられた前記特定された情報に基づいて、複数のノードについて連結性類似度を有するグラフを構築することと、
    空間的に近接するノードの間の局所平滑化を実行することと、
    前記局所平滑化の結果に基づく前記対象物を表現する画像データを提供することと、
    を含む、コンピュータ可読媒体。
25. 前記情報の特定が、前記画像内の前記対象物の少なくとも一部を選択することを含む、請求項２４に記載の媒体。
26. 前記グラフの構築が、２つのグラフノードの間の有効パスについての有効距離を定義することと、前記２つのノードの間の前記ノード間距離として、前記有効距離の最小値を取ることとを含む、請求項２４に記載の媒体。
27. 前記グラフの構築が、前記情報の特定に基づき、シードノードを確立することを含む、請求項２５又は２６に記載の媒体。
28. 前記グラフの構築が、グラフノードが連結するグラフノードの数に相当する数のラベルで前記グラフノードをラベル付けすることを含み、前記ノードのラベルが、前記グラフノードと連結されたノードとの間の連結性距離に関連付けられる、請求項２４に記載の媒体。
29. 前記グラフの構築が、連結性距離行列を生成することを含み、前記行列が、特定のラベルについてのグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有する、請求項２８に記載の媒体。
30. 前記情報の特定が、画像内の対象物に関連付けられた前記情報を受取ることを含む、請求項２４、２５、２６、２８又は２９のいずれかに記載の媒体。
31. 空間的に近接するグラフノードの間の前記局所平滑化の実行が、反復線形近傍伝搬アルゴリズムを実行することを含む、請求項２４、２５、２６、２８又は２９のいずれかに記載の媒体。
32. 空間的に近接するグラフノードの間の前記局所平滑化の実行が、反復方法を備え、
    前記方法が、
    前記行列内の全体のノイズレベルを検出することと、
    近傍ノードの平均信頼値に基づき決定された異常値を前記少なくとも１つの列ベクトルから除去することと、
    前記全体のノイズレベルが、特定の閾値より高い場合、前記ノイズレベルが前記閾値であるか、又は前記閾値より低くなるまで、前記検出及び除去を繰り返すことと、
    を含む、請求項２９に記載の媒体。
33. 少なくとも１つのグラフノードが２つより多いラベルを有する、請求項２８、２９又は３２に記載の媒体。
34. 抽出可能な対象物を含む画像を表す計算グラフを表す変調された信号であって、前記グラフが連結性距離行列を備え、前記行列が、特定のラベルについてのグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有し、
    ２つより多い連結を有することが可能である前記グラフノードが、前記グラフノードが連結するノードの数に相当する数のラベルに関連付けられ、
    前記グラフノードに関連付けられたラベルが、前記グラフノードと前記グラフノードに連結されたノードとの間の有効距離に関連付けられ、前記２つのノードの間の前記有効距離が、前記ノードの有効距離の集合の最小値であり、
    前記グラフが、複数のノードについての連結度類似度を有する、信号。
35. 空間的に近接するグラフノードが、近傍ノードの平均信頼値を参照することで決定されたベクトル内の異常値を、前記ノードと関連付けられた列ベクトルから取り除くために、局所的に平滑化される、請求項３４に記載の信号。
36. 反復線形近傍伝搬アルゴリズムで、空間的に近接するグラフノードが局所的に平滑化される、請求項３４又は３５に記載の信号。
37. 抽出可能な対象物を含む画像を表す計算グラフを備えるコンピュータ可読記憶媒体であって、前記グラフが、連結度距離行列を含み、前記行列が、特定のラベルに対するグラフノードの信頼度に対応する少なくとも１つの列ベクトルを有し、
    ２つより多い連結を有することが可能である前記グラフノードが、前記グラフノードが連結するノードの数に相当する数のラベルと関連付けられ、
    前記グラフノードに関連づけられたラベルが、前記グラフノードと前記グラフノードに連結されたノードとの間の有効距離に関連付けられ、前記２つのノードの間の前記有効距離が、前記ノードの間の有効距離の集合の最小値であり、
    前記グラフが複数のノードについての連結度類似度を有する、媒体。
38. 近傍ノードの平均信頼値を参照して決定されたベクトル内の異常値を、前記ノードに関連付けられた列ベクトルから取り除くために、空間的に近接するグラフノードが局所的に平滑化される、請求項３７に記載の媒体。
39. 反復線形近傍伝搬アルゴリズムで、空間的に近接するグラフノードが局所的に平滑化される、請求項３７又は３８に記載の媒体。