JP2006509292A - セグメント化されたイメージから偽エッジを除去するための装置及び方法 - Google Patents

Abstract

１又は２以上のイメージを処理する方法において、イメージは、少なくともいくつかの偽エッジを有するエッジにより隔てられた複数のピクセルグループを有するセグメンテーションマップにセグメント化される。当該セグメンテーションマップは、偽エッジを除去するためにフィルタリングされる。セグメンテーションステップは、出力セグメンテーションマップを生成するために繰り返される。

Description

本発明は一般的にイメージ及びビデオ処理の技術に関する。特に、イメージ及びビデオのリージョンベースのセグメント化及びフィルタリングに関し、特定の参照により説明される。

ビデオシーケンスは、実際のモーションフィールドにあるオブジェクトの時間依存三次元（３Ｄ）構造評価に使用される。時間依存３Ｄ再構成の恩恵を受ける応用には、ビジョンベース制御（ロボット工学）、セキュリティシステム、及び、従来のモノスコピックビデオ（２Ｄ）をステレオスコピック（３Ｄ）テレビで見るための変換が含まれる。この技術ではモーションメソッドから得られる構造が、ビデオシーケンスの２つの連続するイメージからデプスマップを引き出すために使用される。

イメージセグメンテーションは、重要な第１ステップであり、しばしばセグメントベースのデプス計算のような他のタスクに先行して行われる。一般的に、イメージセグメンテーションは、イメージを重複のない部分又はセグメントセットに分割するプロセスであり、イメージシーンに存在する物理オブジェクトにできるだけ多く対応するようにする。イメージセグメンテーションのタスクに取り組むためには様々な方法があり、ヒストグラムベースのセグメンテーション、従来のエッジベースのセグメンテーション、リージョンベースのセグメンテーション、及び、ハイブリッドセグメンテーションも含まれる。しかし、如何なるセグメンテーション方法にも存在する問題のひとつに、セグメント化されたイメージでの偽エッジの発生がある。これら偽エッジはいくつかの理由により発生するが、２つのオブジェクト間の境界でピクセルカラーを急激に変化させることなく滑らかに変化させることが、結果として単一の真のエッジの代わりに２つの対応する偽エッジを持つ細長いセグメントを発生させる。当該問題は、焦点がぼやけたオブジェクトの境界又は、３色チャネルの１つ若しくはそれ以上が削減された空間分解能を持つビデオマテリアルで発生する傾向がある。偽エッジの問題は特に、従来の２Ｄビデオを３Ｄテレビで見るために２Ｄビデオを３Ｄビデオに変換する際に煩わしいものとなる。

偽エッジを検出するためのいくつかの方法が他のアプリケーションで提言されている。例えば、米国特許第５２６８９６７号明細書は、所望とするデジタルＸ線画像の領域を、所望としない領域から自動的に分割するデジタルイメージ処理方法を開示する。当該方法は、エッジ検出、ブロック生成、ブロック分類、ブロック微調整及びビットマップ生成ステップを有する。

米国特許第５０２５４７８号明細書は、送信のためのピクチャ信号を処理する方法及び装置を開示する。ピクチャ信号がセグメンテーション装置に適用され、当該装置は類似する強度のリージョンを識別する。結果のリージョン信号はリージョンエッジをまっすぐにするモーダルフィルターに適用され、適応可能な輪郭スムージング回路に送信され、偽エッジとして識別される輪郭セクションを滑らかにする。フィルタリングした信号がオリジナルの輝度信号から取り去られ、符号化された輝度テクスチャ信号が生成される。リージョン信号は、リージョン信号にあるどちらの輪郭が偽エッジであるかを表すフラグと共に符号化される。

刊行された国際公開第００／７７７３５パンフレットは、不完全に境界付けられたセグメントを塗りつぶす連続的フラッドフィルと、スケール変換と、別のスケールからのセグメンテーション結果による１スケールでのガイディングセグメンテーションとを使用し、多重のカラープレーンから合成された合成イメージを使用するエッジを検出し、スケール変換を使用するエッジチェーンを生成し、別のスケールで検出されたエッジに基づく１スケールでの偽エッジをフィルタリングするイメージセグメンターを開示する。
米国特許第５２６８９６７号明細書 米国特許第５０２５４７８号明細書 国際公開第００／７７７３５号パンフレット Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ、Ｐｅｔｅｒ Ｅ．Ｈａｒｔ、Ｄａｖｉｄ Ｇ．Ｓｔｏｒｋ、"Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ"、ｐｐ．５４８−５４９、Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ Ｉｎｃ．，Ｎｅｗ Ｙｏｒｋ、２００１ Ｃ．Ｏｌｉｖｅｒ、Ｓ．Ｑｕｅｇａｎ、"Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ Ｉｍａｇｅｓ"、Ａｒｔｅｃｈ−Ｈｏｕｓｅ、１９９８

しかし、従来技術は単にエッジ検出及び／又は偽エッジのスムージングを有するだけである。セグメンテーションマップ上でしか動作しないフィルターの使用を介するといったように、どの発明も実際には偽エッジをセグメント化されたイメージから除去していない。本発明は、上記の制限その他を克服する改良された装置及び方法を意図する。

本発明の一態様に従ってイメージ処理装置が提供される。セグメント化手段は、イメージをセグメンテーションマップにセグメント化する。セグメンテーションマップは複数のピクセルグループを有し、複数のピクセルグループは、少なくともいくつかの偽エッジを有するエッジでそれぞれ隔てられている。フィルター手段は、セグメンテーションマップをフィルタリングし、偽エッジを除去する。また、フィルター手段は、フィルタリングしたセグメンテーションを次のセグメンテーション手段のプレセグメンテーションのために出力する。

本発明の別の態様に従って、１又は２以上のイメージを処理する方法が提供される。イメージは、少なくとも１つの偽エッジを有するエッジで隔てられた複数のピクセルグループを有するセグメンテーションマップにセグメント化される。セグメンテーションマップは、偽エッジを除去するようフィルタリングされる。セグメンテーションステップは、出力イメージを生成するために繰り返される。

本発明の１つの利点は、２Ｄビデオマテリアルを３Ｄビデオに変換するためのセグメンテーション品質を改善することにある。

本発明の別の利点は、ビデオイメージのオブジェクトエッジでのセグメンテーション品質を改善することにある。

さらに、本発明の別の利点は、イメージ及びビデオ圧縮のエッジコーディングコストを低減することにある。

本発明の多くの追加の長所及び利点は、後述の好適な実施例による詳細な説明を読むことで、当該技術分野の通常の知識を有する者に明確となる。

本発明は様々なコンポーネント及びコンポーネントの配列の形態を取ることが可能であり、様々なステップ及びステップの配列の形態を取ることが可能である。図は、単に、好適な実施例を説明するだけが目的であり、本発明を制限するものとは認められない。

２Ｄビデオを３Ｄビデオに変換するときの重要なステップに、同質カラーすなわちイメージセグメンテーションによるイメージリージョンの識別がある。デプスの不連続性は、検出された同質カラーリージョンのエッジと一致するものとみなされる。単一のデプス値はカラーリージョン毎に評価される。このリージョン毎のデプス計算は、リージョン境界に沿った大きなカラーコントラストが定義毎に存在するという利点を有する。カラーエッジポジションの時間的安定性は、デプスマップの最終品質に決定的に重要な意味を持つ。エッジが長期にわたって安定でない場合に２Ｄビデオが３Ｄカラーテレビで表示されると、視聴者は目障りなフリッカを感知することとなる。従って、時間的安定性のあるセグメンテーション方法は、２Ｄビデオを３Ｄビデオに変換するプロセスの第１ステップとなっている。コンスタントカラーモデルを使用するリージョンベースのイメージセグメンテーションはこの所望とする効果を達成する。このイメージセグメンテーション方法はより詳細が後述される。

コンスタントカラーモデルは、オブジェクトリージョンの時間依存のイメージが、平均のリージョンカラーにより十分詳細に表現され得ることを前提とする。イメージは、次のイメージ座標のベクトル値の関数で表現される。

ここで、ｒ（ｘ、ｙ）、ｇ（ｘ、ｙ）及びｂ（ｘ、ｙ）は、赤、緑及び青のカラーチャネルである。目的は、固定リージョン数Ｎを有するセグメンテーション

を参照してリージョンパーティションを見つけることにある。最適なセグメンテーション

は、誤差項と、イメージ中のすべてのピクセルにわたる規則化項ｆ（ｘ、ｙ）との合計を最小にするセグメンテーションとして次のように定義される。

ここで、ｋは規則化パラメータであり、規則化項の重要度を重くする。ひとつのクラスタから別のクラスタにサンプルが移動する場合の、単純で効率的な誤差基準更新の方程式は、Ｒｉｃｈａｒｄ Ｏ．Ｄｕｄａ， Ｐｅｔｅｒ Ｅ．Ｈａｒｔ， ａｎｄ Ｄａｖｉｄ Ｇ．Ｓｔｏｒｋによる文献“Ｐａｔｔｅｒｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”、ｐｐ．５４８−５４９、Ｊｏｈｎ Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ Ｉｎｃ．、Ｎｅｗ Ｙｏｒｋ、２００１から導き出せる。これらから導き出されるものが、セグメンテーション方法の方程式を導出するために適用された。ここで留意すべき点は、規則化項は、Ｃ．Ｏｌｉｖｅｒ ａｎｄ Ｓ．Ｑｕｅｇａｎによる文献“Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ Ｉｍａｇｅｓ”、Ａｒｔｅｃｈ−Ｈｏｕｓｅ、１９９８に紹介された手段に基づいている点である。規則化項は、ランダム信号変動（センサーノイズのようなもの。）がエッジポジションに与える影響を制限する。ピクセルポジション（ｘ、ｙ）の誤差ｅ（ｘ、ｙ）は、カラー値Ｉ（ｘ、ｙ）及びリージョンラベル

によって次のように定まる。

ここで、ｍ_ｃはリージョンｃの平均カラーであり、

はリージョンラベルマップのポジション（ｘ、ｙ）におけるリージョンラベルである。二重垂直バーの添え字はユークリッドノルムを意味する。規則化項ｆ（ｘ、ｙ）はリージョンの形状によって次のように定まる。

ここで、（ｘ’、ｙ’）は、（ｘ、ｙ）の８結合隣接ピクセルの座標群である。χ（Ａ，Ｂ）の値は、リージョンラベルＡ及びＢが異なるかどうかによって次のように定まる。

関数ｆ（ｘ、ｙ）は簡単な解釈を行う。所与のピクセルポジション（ｘ、ｙ）に対し、当該関数は単に異なるリージョンラベルを持つ８結合隣接ピクセル中のピクセル数を合計する。

セグメンテーションはスクエアテッセレーションで初期化される。初期セグメンテーションを所与として境界ピクセルを隣接するリージョンに割り当てることで、リージョン境界での変更が行われる。現在ラベルＡのリージョンの座標（ｘ、ｙ）にあるピクセルが、暫定的にラベルＢのリージョンに移動する場合を想定する。リージョンＡの平均カラーの変化は、以下の通りである。

そして、リージョンＢの平均カラーの変化は、以下の通りである。

ここで、ｎ_Ａ及びｎ_Ｂは、それぞれ、リージョンＡ及びＢにあるピクセルの数である。ラベル変更案は、次の式で与えられる誤差関数で対応する変更を行う。

ピクセル（ｘ、ｙ）におけるＡからＢへのラベル変更案はまた、全体の規則化関数ｆを変更する。ラベル変更案は、ピクセル（ｘ、ｙ）ばかりでなく、ピクセル（ｘ、ｙ）の８結合隣接ピクセルポジションでのｆに影響する。規則化関数の当該変化は、次の式による合計により与えられる。

ここで、合計は、（ｘ’、ｙ’）で示される８結合隣接ポジションのすべてにわたるものである。変化Δｆの、この単純な形式は、次式で示すように、χが対称である事実から理解される。

ラベル変更案は、仮にΔｅ＋Δｆ＜０ならば、フィット基準を改善する。そして、最後にリージョンは融合される。

セグメンテーションマップを更新しデータへのモデルのフィットが改善するならばラベル変更案を受け入れる上述の手順は、シーケンス中の各イメージに対して別々に行われる。融合ステップ後に限り、ビデオストリームから読み込んだ新しいイメージにより更新されたリージョン平均値が存在する。リージョンフィッティング及びマージングステップはその後、新しいイメージに対応するため再開する。

図１を参照すると、リージョンベースのセグメンテーション工程３０が、好適にはコンスタントカラーモデルに基づき、入力としてカラーイメージ１０及び初期セグメンテーションマップ２０を取得する。セグメンテーション工程３０の出力は、セグメンテーションマップ４０であり、イメージ中に見つかったオブジェクトを表示する。入力カラーイメージ１０の例は、図２（ａ）に図示される。そこでのイメージは、サイズが小さくなっていく一連の矩形及びサイズが小さくなっていく一連の楕円である。当該イメージは、図２（ｂ）に示される典型的な実施例では５ｘ５ピクセルの四角いリージョンにセグメント化される。出力セグメンテーションマップ４０の例は、図２（ｃ）に図示される。

セグメント化されたイメージで発生し得る偽エッジは、図２（ｃ）で最もよく見られる。これら偽エッジは、２つのオブジェクト間の境界で焦点がぼやけるために発生し得る。偽エッジはまた、多くのフィルムがカラーチャネルの低減された特定の解像度を持つために発生し得る。

さらに、カラーのサンプリング不足がセグメンテーションアルゴリズムで問題を引き起こす。セグメンテーションアルゴリズムがエッジの検出を高精度に試みる一方、概して信号の空間的サンプルの不足が生じ、オブジェクトの境界近くに小さく細長いリージョンを発生させる結果となる。この望まれない効果は、図２（ｃ）に最もよく示される。白でコードされたマルチプルエッジが、オブジェクトの境界近くに見られる。これらの小さく細長いリージョンは、偽エッジ除去フィルターステップ５０をセグメンテーションステップの間に付加することで除去される。図２（ｃ）で示されるフィルター５０のイメージデータへの適用の結果は、図２（ｄ）に示される。

イメージセグメンテーションアプリケーションは、高いエッジ精度を有する少数のリージョンを必要とする。例えば、精密なエッジは２Ｄモノスコピックビデオから３Ｄステレオスコピックビデオへの精密な変換の際の要求事項である。そのようなアプリケーションのため、セグメンテーションはデプス計算に使用され、単一デプス値はセグメント化されたイメージ中の各リージョンに割り当てられる。エッジポジション及びその時間的安定性は、そのとき、３Ｄビデオの知覚品質のために重要となる。

偽エッジ問題の解決策は偽エッジ除去フィルターステップ５０をセグメンテーション工程中に追加することである。図１を参照すると、好適な実施例はカラーイメージ１０、初期セグメンテーションマップ２０、セグメンテーションステップ３０、第１出力セグメンテーションマップ４０、偽エッジ除去フィルターステップ５０、フィルタリング後セグメンテーションマップ６０、第２セグメンテーションステップ７０、及び、第２出力セグメンテーションマップ８０を有する。フィルター５０はセグメンテーションマップ４０上で動作し、それゆえカラーイメージ１０とは独立している。

図3を参照すると、偽エッジ除去フィルター５０の動作は次のように説明される。ステップ１００において、出力セグメンテーションマップ４０の各ピクセル（ｉ、ｊ）は、そのカラーに応じたリージョン番号（又はセグメントラベル）がラベル付けされる。各リージョン番号ｋに割り当てられた値は任意の整数である。ステップ１１０において、各ピクセル（ｉ、ｊ）のため、四角いウィンドウｗ中のセグメントラベルのヒストグラムが計算される。ヒストグラムは次のベクトルにより表される。

ここで、ｈ_ｋはウィンドウｗ内のリージョン番号ｋの頻度であり、ｎはセグメンテーション内リージョンの総数である。ステップ１２０において、各リージョン番号の発生頻度が判断される。ステップ１３０において、最も発生頻度の高いリージョン番号が判断される。ステップ１４０において、ヒストグラムが単一の最大値を持つか否かの判断がなされる。仮に持つならば、ステップ１５０において、ピクセル（ｉ、ｊ）でのフィルタリング後のセグメンテーションマップに次式のように生じるリージョン番号ｋ_ｍａｘが与えられる。

しかし、２以上のリージョン番号が同じ頻度を有し、この頻度がウィンドウｗ内の他のすべての番号の頻度よりも高い場合が起こり得る。そのような状況の中で、タイブレーカー１６０が使用され、等しい頻度のリージョン番号中の最小値又は最大値を出力セグメンテーションに割り当てる。

図４は、ピクセル位置（ｉ、ｊ）を中心とした、典型的な５ｘ５ピクセルウィンドウ２００の説明図である。しかし代替案においては、３ｘ３ピクセルウィンドウのような他のウィンドウサイズのものが予期される。図４においてフィルター工程の左側にあるのは、入力リージョン番号を持つウィンドウ２００である。アスタリスク（＊）を有するピクセル位置はイメージプレーンの外側にあることを意味する。すなわち、図示された例はピクチャの縁部である。これらピクセル位置のリージョン番号は、ヒストグラムを構成する場合には無視される。フィルター工程は出力として番号３を与える。この結果は、入力ウィンドウ内の各リージョン番号の頻度を次のようにカウントすることで検証できる。

この例では、複数の最大値がヒストグラム中に存在する。すなわち、リージョン番号３及び４は双方頻度７を有する。小さいほうのリージョン番号（ｋ＝３）が、タイブレーカーによる回答として選択され、ピクセル位置（ｉ、ｊ）の出力セグメンテーションに割り当てられる。しかし代替案では、大きいほうのリージョン番号（ｋ＝４）が選択され、ピクセル位置（ｉ、ｊ）の出力セグメンテーションに割り当てられることも可能である。偽エッジ除去フィルターステップ５０は、セグメンテーションマップ４０のすべてのピクセル（ｉ、ｊ）が解析されるまで繰り返される。

与えられたリージョン境界を初期セグメンテーションにインタラクティブにフィット（又は更新）できる限り、いくつものリージョンセグメンテーション手段が使用され得る。偽エッジ除去フィルター５０は小さく細長いリージョンを除去するばかりでなく、リージョン境界を変形し得る。従って、当該変形はフィルター工程を適用した後、再度セグメンテーション工程７０を実行することで修正される。

フィルタリング後のセグメント化されたイメージマップは、フィルタリング後のセグメンテーションマップ又はメモリー領域６０にロードされる。第２セグメンテーション工程７０は、マップ６０を再セグメント化し、出力マップ８０を生成するよう実行される。場合によっては、フィルターステップ及びセグメントステップは、１又は２回以上繰り返される。

偽エッジ除去フィルターのためのアプリケーションは、２Ｄビデオマテリアルを３Ｄビデオに変換する際のセグメンテーション品質の改善、オブジェクトエッジ（エッジシャープニングアルゴリズム）のビデオイメージ品質の改善、並びに、イメージ及びビデオ圧縮のエッジコーディングコストの削減効果を有する。

本発明は、好適な実施例を参照して説明が行われた。明らかに、変更及び代替は先行する詳細な説明を読み取り理解することで他にも発生するものと思われる。本発明は、それらが付属の請求項の範囲又はそれと均等の範囲内に入る限りにおいて、そのようなすべての変更及び代替を含むものと思われる。

セグメンテーションステップ間に偽エッジ除去フィルターを有するイメージセグメンテーション方法の図である。 入力イメージの例を示す図である。 ５ｘ５ピクセルの四角のリージョンからなるセグメンテーションマップの初期状態の例を示す図である。 偽エッジのある出力セグメンテーションマップの例を示す図である。 フィルタリングし偽エッジを除去したセグメンテーションマップの例を示す図である。 典型的な偽エッジ除去フィルター方法を示す図である。 ピクセル位置（i、ｊ）を中心とした５ｘ５ピクセルウィンドウの例を示す図である。

Claims (18)

1. １又は２以上のイメージを、少なくともいくつかの偽エッジを有するエッジで隔てられた複数のピクセルグループを有する出力セグメンテーションマップにセグメント化する第１セグメンテーション手段と、
   前記偽エッジを除去するため、前記セグメンテーションマップをフィルタリングするフィルター手段であって、再セグメント化のために、次の第２セグメンテーション手段にフィルタリングしたセグメンテーションを出力するフィルター手段と、
   を有することを特徴とするイメージ処理装置。
2. 前記第１及び第２セグメンテーション手段は、コンスタントカラーモデルを使用するものであって、
   該コンスタントカラーモデルは、同質カラー又はグレースケールによりイメージリージョンを識別する識別手段を有することを特徴とする請求項１に記載のイメージ処理装置。
3. 前記ピクセルグループが、当初は矩形のリージョンであることを特徴とする請求項１に記載のイメージ処理装置。
4. 前記フィルター手段が、
   前記セグメンテーションマップの所与のピクセルを囲むウィンドウ内のピクセルラベルのヒストグラムを計算する計算手段と、
   前記ウィンドウ内の各ピクセルラベルの発生頻度を判断する第１判断手段と、
   を有することを特徴とする請求項１に記載のイメージ処理装置。
5. 前記フィルター手段がさらに、
   前記ヒストグラム内の最大発生頻度のピクセルラベルを判断する第２判断手段と、
   前記出力セグメンテーションマップの前記所与のピクセルに、前記最大発生頻度のピクセルラベルを割り当てる割り当て手段と、
   を有することを特徴とする請求項４に記載のイメージ処理装置。
6. ２以上のピクセルラベルが同じ最大発生頻度を有する場合；
   等しい最大発生頻度を有するラベルの大きいほうのラベル、及び、
   等しい最大発生頻度を有するラベルの小さいほうのラベル、
   のうちのひとつを前記所与のピクセルに割り当てるため選択するタイブレーク手段をさらに有することを特徴とする請求項５に記載のイメージ処理装置。
7. ２以上のピクセルラベルが同じ発生頻度を有し、該発生頻度が前記ヒストグラム内の他のすべてのピクセルラベルの発生頻度より大きい場合、前記所与のピクセルに割り当てるべきピクセルラベルを選択するタイブレーク手段をさらに有することを特徴とする請求項５に記載のイメージ処理装置。
8. 前記ウィンドウが５ピクセル四方の矩形であることを特徴とする請求項４に記載のイメージ処理装置。
9. 前記１又は２以上のイメージが２次元ビデオフレームを有することを特徴とする請求項１に記載のイメージ処理装置。
10. １又は２以上のイメージを処理する方法であって、
    少なくともいくつかの偽エッジを有するエッジで隔てられた複数のピクセルグループを有するセグメンテーションマップにイメージをセグメント化するセグメント化ステップと、
    前記偽エッジを除去するため、前記セグメンテーションマップをフィルタリングするフィルターステップと、
    出力イメージを生成するため、前記セグメント化ステップを繰り返す繰り返しステップと、
    を有することを特徴とする１又は２以上のイメージを処理する方法。
11. 前記エッジをさらにリファインするため、リージョンの前記セグメント化ステップ及び前記フィルターステップを複数回反復する反復ステップをさらに有することを特徴とする請求項１０に記載の１又は２以上のイメージを処理する方法。
12. 前記イメージの前記セグメント化ステップがリージョンベースのセグメント化ステップであることを特徴とする請求項１０に記載の１又は２以上のイメージを処理する方法。
13. 前記リージョンベースのセグメント化ステップが、コンスタントカラーモデルを使用し、
    前記コンスタントカラーモデルは、同質カラーによるイメージリージョンの識別を有することを特徴とする請求項１２に記載の１又は２以上のイメージを処理する方法。
14. 前記ピクセルグループが５ピクセル四方の矩形リージョンであることを特徴とする請求項１０に記載の１又は２以上のイメージを処理する方法。
15. 前記フィルターステップが、
    前記セグメンテーションマップの所与の出力ピクセルのため、ウィンドウ内のピクセルラベルのヒストグラムを計算する計算ステップと、
    前記ウィンドウの各ピクセルラベルの発生頻度を判断する判断ステップと、
    を有することを特徴とする請求項１０に記載の１又は２以上のイメージを処理する方法。
16. 前記フィルターステップが、
    前記ヒストグラムの最大発生頻度のラベルを判断するラベル判断ステップと、
    最大発生頻度を持つ前記ピクセルラベルを前記出力ピクセルに割り当てる割り当てステップと、
    をさらに有することを特徴とする請求項１５に記載の１又は２以上のイメージを処理する方法。
17. ２以上のピクセルラベルが同じ最大発生頻度を有する場合；
    等しい最大発生頻度を有するラベルのうち最大のラベル、及び、
    等しい最大発生頻度を有するラベルのうち最小のラベル、
    のうちのひとつを前記所与のピクセルに割り当てるラベル割り当てステップをさらに有することを特徴とする請求項１６に記載の１又は２以上のイメージを処理する方法。
18. 前記１又は２以上のイメージが２次元ビデオフレームを有することを特徴とする請求項１０に記載の１又は２以上のイメージを処理する方法。

Images