JP5985622B2 - オプティカルフローを決定するためのコンテンツ適応型システム、方法、及び装置 - Google Patents

Description

本実施形態は、マシンビジョンに関し、詳細には、オプティカルフローを決定するためのコンテンツ適応型システム、方法、及び装置に関する。

モバイルワイヤレス通信機器、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録機器などを含む、広範囲の電子機器は、マシンビジョン技法を使用して、多目的の撮像能力（imaging capabilities）を提供する。これらの能力は、ユーザがランドマークを認識し、友人及び／又は他人を識別し、様々な他のタスクを行うのを援助する機能を含み得る。

拡張現実機能は、画像内の１つ以上の物体（objects）の動きを識別することもできる。オプティカルフローは、動き追跡のための既知の方法である。最初に生の画像画素データから物体を認識し、次いで一連の画像フレームの中の物体の動きを追跡しようとするよりむしろ、代わりに、オプティカルフローの決定は、生の画像画素データから特徴の動きを追跡する。しかしながら、例えば計算複雑性など、モバイルプラットフォームにおいて既知のオプティカルフロー決定技法を実施することを困難にする問題が幾つかある。

添付の特許請求の範囲内のシステム、方法及び機器の様々な実施形態は、それぞれ幾つかの態様を有し、それらのうちの単一の態様が、単独で、本明細書で説明される望ましい特性を担当することはない。添付の特許請求の範囲を限定することなく、幾つかの顕著な特徴が本明細書で説明される。本議論を考慮すれば、特に「発明を実施するための形態」と題するセクションを読めば、少なくとも１つのコンピュータプロセッサにおいて実行される一連の画像フレームからオプティカルフローの決定を提供するために、様々な実施形態の特徴がどのように使用されるかが、理解されるだろう。

本開示の一態様は、フレーム間の画素変位を決定する方法である。方法は、第１の複数の画素の各々について、それぞれ重み付け値を決定することを含む。各重み付け値は、ある特定の画素の属性の、その特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく。方法は、第１の複数の画素の少なくとも１つの画素の重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定することを更に含む。

本開示の別の態様は、実行されると、装置に、第１の複数の画素の画素毎に個別の重み付けを決定させる、フレーム間の画素変位を決定するためのコンピュータプログラム製品である。各重み付け値は、ある特定の画素の属性の、その特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく。命令は更に、装置に、少なくとも１つの画素の重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定させる。

本開示の別の態様は、フレーム間の画素変位を決定するように構成された装置であって、装置は、第１の複数の画素の画素毎に個別の重み付けを決定するための手段であり、各重み付け値が、ある特定の画素の属性の、その特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく、手段と、少なくとも１つの画素の重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定するための手段とを備える。

本開示の別の態様は、フレーム間の画素変位を決定するように構成された装置であって、装置は、メモリと、第１の複数の画素のが襲毎に個別の重み付けを決定し、各重み付け値が、ある特定の画素の属性の、その特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、少なくとも１つの画素の重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定するように構成されたプロセッサとを備える。

本開示の特徴を詳細に理解することができるように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約されたより具体的な説明を得ることができる。しかしながら、その説明は他の等しく有効な態様を認め得るので、添付の図面は、本開示の幾つかの典型的な態様のみを示し、従って、本開示の範囲を限定するものと見なすべきではないことに留意されたい。

機器の１つ以上が本実施形態の幾つかを実施する、サーバ、データベース、及びネットワーク送信システムとの関連でモバイル機器を示す一般化されたブロック図。 本実施形態の一部に関連付けられた幾つかの画像化アプリケーションが使用することができるモバイル機器の様々なコンポーネントを示すブロック図。 ６×６の画素ブロックについての色相ベースの量子化レベルの可能な１組を示す図。 ６×６の画素ブロックについての色相ベースの量子化レベルの可能な１組を示す図。 オプティカルフローを決定する方法の実施形態のフローチャート。 オプティカルフローを決定する方法の実施形態のフローチャート。 オプティカルフローを決定する方法の実施形態のフローチャート。 例示的なアクセス端末のブロック図。

慣例により、図面に示される様々な特徴は縮尺通りに描かれていないことがある。従って、様々な特徴の寸法は、分かりやすいように任意に拡大又は縮小されることがある。加えて、図面の幾つかは、所与のシステム、方法又は機器のコンポーネントの全てを示していないことがある。最後に、明細書及び図の全体にわたって、同じ特徴を示すために同じ参照番号が使用されることがある。

本明細書で開示する実施形態は、モバイルプラットフォームにおいて拡張現実及び媒介現実（mediated reality）の用途のためのオプティカルフローの決定を提供するように構成されたシステム、方法、及び装置を提供する。一般的に、拡張現実は、要素が、例えば可聴の、視覚の、及び／又は触覚の特徴など、コンピュータ生成の感覚入力によって補足される、現実世界の環境の生の直接の及び／又は間接的なビューについての用語である。拡張現実は、コンピュータベースの技法を使用して、画像の要素を追加し、及び／又は単純化することによって、現実世界の画像が修正される、媒介現実のサブセットである。便宜及び簡潔のために、「拡張現実」という用語、及び「媒介現実」という用語は、以下で提供される説明において互換的に使用される。幾つかのアプリケーションでは、媒介現実技法の使用によって、ユーザにとってアクセス可能な環境に関する情報が双方向になり得る。

物体の動き追跡は、拡張現実の用途のために役立つツールである。オプティカルフローは、動き追跡のための既知の方法である。最初に生の画像画素データから物体を認識し、次いで一連の画像フレームの中の物体の動きを追跡しようとするよりむしろ、代わりに、オプティカルフローの決定は、生の画像画素データから特徴の動きを追跡する。しかしながら、オプティカルフロー決定技法を使用した動き追跡は、計算コストが高く、従って、既知のオプティカルフロー決定技法は、多くの現在のモバイルプラットフォームにおける実装では非現実的になる。本実施形態は、コンテンツ適応型オプティカルフロー決定を提供するように、オプティカルフロー決定技法を修正することを企図する。

幾つかの実施形態は、少なくとも１つのコンピュータプロセッサにおいて実行される、一連の画像フレームからオプティカルフローの決定を提供するための方法又はシステムに関する。方法の例によれば、画像の対応する部分に関連付けられた重み付け値が生成され得る。幾つかの実施形態では、各重み付け値は、１つ以上の画素の情報価値を表す。比較的低い情報価値を有する画素は重視されず、比較的高い情報価値を有する画素は、オプティカルフロー計算において強調される。

画素によって提供される情報の量は、画素が隣接画素に対する画像内で提供するコンテキストの決定に基づき得る。例えば、一実施形態では、高度に構造化され、及び／又は組織化された画素の近隣によって囲まれているある画素は、比較的高い情報価値を有する画素と考えることができる。そのような画素は、一連の画像フレーム内で動きを追跡することができる識別可能な特徴に属すると仮定される。一方、画素の近隣の均一又は疑似ランダムクラスタによって囲まれているある画素は、比較的低い情報価値を有する画素と考えることができる。そのような画素は、画像内で容易に識別可能である特徴に属さないと仮定される。

別の例では、重み付け値は、分散の関数でもよい。分散とは、一般に、画像領域における互いからの類似の画素の分離を意味する。類似の画素が互いに近くにある場合、分散はより低い。多くの介在する異なる画素が類似の画素を分離する場合、分散はより高い。識別可能なグループが存在するとすることができないほど画素が類似しているとき、分散を「高い」と定義することもできる。次に、そのような画素は、低い情報価値を有するものとして分類され得る。個々の類似の画素が画像において広く分離された「群れ」又はグループにおいて互いのそばにある場合であっても、類似の画素が全体として「分散」され得ることに留意されたい。「分散値」は、分散の程度を示し、１つ以上の画素の情報価値を決定するための基礎を提供することができる。

幾つかの実施形態では、決定された個別の重み付けに基づいたオプティカルフローの決定において、情報価値が低い画素は重視されない。言及される重み付け値は、１つ以上の画素によって伝えられる情報の程度に関し、実際の実施形態は、閾値又は範囲を様々な形態（例えば逆又は範囲など）で表すことができることを、当業者であれば諒解されよう。従って、本明細書で説明するとき、「閾値を超える」は、その状態を説明するためにどんな特定の実施が使用されるかにかかわらず、十分な量の情報が存在することを示す。オプティカルフロー決定方法の様々な実施形態は、例えば、一連の撮影された画像フレームにおいて動き追跡を実行している携帯電話において有用であり得る。情報価値が低い画像の部分を適切に重み付けすることによって、システムは、オプティカルフロー決定プロセスからそれらの部分を目立たなくすることができる。他の領域、例えば情報価値が比較的高い画素の領域などは強調され得る。この方法は、有用な情報を提供する可能性が低い画素に関連するオプティカルフロー計算の数及び／又は複雑さを低減することによって、計算リソースを節約することができる。

以下の説明において、実施例の十分な理解が得られるように具体的な詳細を与える。しかしながら、これらの実施例は、これらの具体的な詳細を伴わずに実施され得ることを、当業者は理解されよう。例えば、これらの実施例を不必要な詳細において不明瞭にしないために、電気コンポーネント／機器をブロック図で示すことがある。他の例では、そのようなコンポーネント、他の構造及び技法が、実施例を更に説明するために詳しく示され得る。

また、実施例は、フローチャート、流れ図、有限状態図、構造図、又はブロック図として示されるプロセスとして説明され得ることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くを並行して又は同時に実行することができ、プロセスを繰り返すことができる。加えて、動作の順序を並び替えることができる。プロセスは、その動作が完了すると終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応する場合、その終了は呼出し側関数又はメイン関数への関数の復帰に対応する。

情報及び信号は、種々の異なる技術及び技法のいずれかを使用して表され得ることを当業者は理解されよう。例えば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁界又は磁性粒子、光場又は光学粒子、若しくはそれらの任意の組合せによって表され得る。

添付の特許請求の範囲の範囲内の実施形態の様々な態様が以下で説明される。本明細書で説明される態様は多種多様な形態で具現化されてよく、本明細書で説明される特定の構造及び／又は機能は例示的なものにすぎないことは明らかであろう。本開示に基づいて、本明細書で説明される態様は他の態様とは独立に実施され得ること、及びこれらの態様のうちの２つ以上は様々な方法で組み合わせられ得ることを、当業者は諒解されたい。例えば、本明細書に記載の任意の数の態様を使用して、装置が実施され、及び／又は方法が実施され得る。加えて、本明細書に記載の態様のうちの１つ以上に加えて、又はそれら以外の、他の構造及び／又は機能を使用して、そのような装置が実装されてよく、及び／又はそのような方法が実施されてよい。

上記のように、オプティカルフローは、動き追跡のための既知の方法である。最初に生の画像画素データから物体を認識し、次いで一連の画像の中の物体の動きを追跡しようとするよりむしろ、代わりに、オプティカルフローの決定は、生の画像画素データから特徴の動きを追跡する。オプティカルフロー技法は、例えば３Ｄイメージングの立体視の視差を決定することなど、幾つかの用途を有する。現代のデスクトップグラフィックスプロセッサユニット（ＧＰＵ）を使用してリアルタイムの実行を提供するために、Ｌ１ノルム正則化（ＴＶ−Ｌ１）による全変動法(total variation method)として知られているオプティカルフロー決定の方法を実施することができる。しかしながら、モバイルプラットフォームにおいてＴＶ−Ｌ１法ならびに他のオプティカルフロー技法を実施することを困難にする問題が幾つかある。

以下の費用関数に従って、ＴＶ−Ｌ１法を定式化することができる。

項Ｉ₀及び項Ｉ₁はそれぞれ、第１及び第２の連続的な画像フレームである。項ｕ（ｘ）＝（ｕ１（ｘ），ｕ２（ｘ））^Tは、２次元変位フィールドであり、λは、費用関数における第１の項と第２の項との間の重み付けパラメータである。式（１）内の第１の積分項は、連続した画像間の平滑な変位フィールドを取得するために、ｕ（ｘ）における高い変動にペナルティを科す平滑化項である。式（１）内の第２の積分項は、忠実度項である。忠実度項は、第２の画像Ｉ₁（ｘ＋ｕ（ｘ））における強度値が第１の画像Ｉ₀（ｘ）と比較して実質的に変化しないという仮定下で定式化される。追加のローカル線形化及び凸状態では、式（１）を反復的に解くことができる。

しかしながら、ＴＶ−Ｌ１法は、限られた処理リソースを有するモバイルプラットフォームにおいて実施することが非現実的になる多くの問題を有する。第１に、ＴＶ−Ｌ１法は、動きの不連続性を高度に正則化し、従って、この方法は、比較的大きい動きフィールドを処理することが難しい。通常、高度な正則化を補償するために、「粗−精（coarse-to-fine）」の画像ピラミッドが使用される。粗−精の手法は比較的大きい動きへの制約を軽減するが、２つのさらなる問題が生じる。第１に、画像ピラミッドのあらゆるレベルにおいて計算が反復されなければならないので、粗−精の画像ピラミッドは、かなりの計算コストを追加する。第２に、粗−精の画像ピラミッドは、元の凸方法を非凸方法に事実上変換する。凸方法は、通常、反復的プロセスによって収束するソリューションによって定義されることを、当業者であれば諒解されよう。一方、非凸方法では、収束は生じ得るが、反復的な処理の後、収束が生じることは、あまり確かではない。

更に、ＴＶ−Ｌ１法は、例えば画素の均一又は疑似ランダムクラスタなど、きめが不十分な領域ではあまり上手く働かず、マッチングを確実に実行することができない。例えば、風に揺れる木の葉など、特徴のフレーム間の画素を確実にマッチさせることは困難である。従来のソリューションは、構造化された領域から構造化されていない領域に動きを伝播するために、強い正則化に依存する。最後に、ＴＶ−Ｌ１法を使用した計算されたフローの大きさは収束し得るが、フローベクトルの方向は収束しない可能性があり、結果は、物体セグメンテーションには有用となるが、動き追跡又は３Ｄ再構築には有用でないままである。

図１は、サーバ１０２、データベース１０３、及びセルラーネットワークなどのネットワーク１０４との関連で、モバイル機器１０１を備える通信システム１００のハイレベルブロック図を表す。モバイル機器１０１は、セル電話、ラップトップ、携帯情報端末などを備え得る。モバイル機器１０１は、サーバ１０２と通信し、サーバ１０２自体は、データベース１０３と通信する。サーバ１０２は、セルラー基地局、又はローカルネットワークサーバ又はルータに位置し得る。データベース１０３は、同様に、サーバ１０２内、又は別個の位置に位置し得る。モバイル機器１０１は、カメラを備え得、又は、例えばＵＳＢ、ＷＩ−ＦＩ、若しくはＢｌｕｅｔｏｏｔｈ（登録商標）接続など、画像を受信するための他の手段を含み得る。モバイル機器１０１上で、複数のアプリケーションがユーザに利用可能であり得る。これらのアプリケーションは、メッセージングサービス、画像及び撮像プリケーション、及び当業者に既知の他の一般のアプリケーションを含み得る。モバイル機器１０１におけるアプリケーションの幾つかは、遠隔地から受信される画像又はビデオに作用することができ、若しくはモバイル機器１０１のカメラによってローカルに生成される画像に作用することができる。幾つかの実施形態では、データベース１０３は、画像／ビデオ記憶機器を備え得、モバイル機器１０１は、サーバ１０２を介して画像をデータベース１０３に及び／又はから送信及び／又は受信することができる。これらの画像は、モバイル機器１０１上で動作するアプリケーションによって生成又は使用され得る。

上述のように、オプティカルフロー方法は、一連の画像内での動きを追跡するために使用され得る。幾つかの実施形態では、データベース１０３は、動きが追跡され得る画像内の物体及び／又は特徴を識別するために使用される特徴の集合を備え得る。モバイル機器１０１上のアプリケーションが一連の画像内での動きを追跡することを試みるとき、モバイル機器１０１は、動き追跡プロセスの一部として特徴を適用するために、データベース１０３から特徴を取り出すことができる。代わりに、特徴及び他の一般に認識されたパターンは、モバイル機器１０１においてローカルに記憶され得る。サーバ１０２は、ネットワーク１０４と通信し、リモートでネットワークから画像又は特徴を受信することもできる。従って、モバイル機器１０１又はデータベース１０３は、認識のために記憶される画像又は特徴を含むことができ、これは次に、動き追跡方法を援助するために使用され得る。

図１は、大幅に簡略化されたモバイルシステムを表しているが、本実施形態が任意のイメージングシステムにも適用され得ることを、当業者であれば容易に理解されよう。デスクトップシステムは、例えば、ローカル画像ストレージを備え、ローカルに稼働するオプティカルフロー決定プロセスの一部として、本実施形態の多くを実施することもできる。

図２は、幾つかの実施形態のイメージングアプリケーションにおいて採用され得るモバイル機器１０１の様々なコンポーネントのブロック図を表す。モバイル機器１０１は、レンズ２００を介して画像を撮影する撮像システム２０１を備え得る。これらの画像は、当技術分野で知られているように、ＲＡＭ、ＳＲＡＭ、動的又は静的メモリを備え得る画像バッファ２０５に記憶することができる。代わりに、画像又は特徴は、Ｆｉｒｅｗｉｒｅ、ＵＳＢ、ＩＲトランシーバ、Ｂｌｕｅｔｏｏｔｈインターフェースなどを備え得るコネクタ２０６を介して受信され得る。例えば、別のユーザが別の機器からそれらを送信するとき、又は、モバイル機器１０１のユーザがローカルネットワーク又は記憶装置、例えばデスクトップコンピュータなどに接続すると、これらの画像又は特徴が受信され得る。

モバイル機器１０１は、アンテナ２０８又はコネクタ２０７を介して画像及びオプティカルフローデータを含む情報を送信又は受信するためのモデム２０４も備え得る。アンテナ２０８は、ＷＩ−ＦＩ、セルラーネットワークなどに接続するために使用されるワイヤレスアンテナとすることができる。ひとたびオプティカルフローの決定がなされると、ユーザは、モデム２０４を介してデータベース１０３にそれらをアップロードすることができる。代わりに、オプティカルフローの決定がローカルに記憶され、ローカルに使用され得る。

撮像システム２０１は、スタンドアロンハードウェア、ソフトウェア、又はファームウェアモジュールを備え得る。しかしながら、幾つかの実施形態では、撮像システムは、プロセッサにおけるコンポーネントとして、図２に示すように、プロセッサ２０２に、又はプロセッサ２０２上で動作するソフトウェアに統合され得る。撮像システムは、画像を生成するように、レンズ２００を動作させる。プロセッサ２０２は、イメージングアプリケーションのために特別に設計された汎用処理ユニット又はプロセッサとすることができる。

プロセッサ２０２は、それ自体、プロセッサ２０２上で動作するソフトウェア、プロセッサ又はスタンドアロンハードウェア内の専用のコンポーネント、ソフトウェア、若しくはファームウェア、及び／又はそれらの組合せを備え得るオプティカルフロー決定モジュール２０３を備え得る。オプティカルフロー決定モジュール２０３は、以下で説明するように、変更されたコンテンツ適応型ＴＶ−Ｌ１法を実施することができる。オプティカルフロー決定モジュール２０３は、１つ以上の追加のオプティカルフロープロセスを実行するように設計されたソフトウェア、ファームウェア、又はハードウェアを備え得る。従って、オプティカルフロー決定モジュール２０３は、特定の状況の組が与えられると、様々なオプティカルフロー決定プロセスの中で選択を行うことが可能であり得る。他のオプティカルフロー決定プロセスに対する本実施形態の代替アプリケーションを、当業者であれば容易に認識されよう。

本発明の実施形態は、幾つかの実施形態において、オプティカルフロー計算が「粗−精」の画像ピラミッド技法を含むＴＶ−Ｌ１法の幾つかの実施形態よりも効率的かつ正確に収束することができるコンテンツ適応型全変動（ＣＡ−ＴＶ）方法を含む。より詳細には、本明細書で開示するＣＡ−ＴＶ方法は、例えば均一又は疑似ランダムクラスタによって囲まれている画素など、低情報の画素を目立たなくしながら、反復プロセスにおける高度に構造化／組織化された画素近隣によって囲まれている画素により重み付けを与える。画像画素のこの情報又はコンテンツ適応型の使用は、幾つかの実施形態において、反復の数が減少してより正確に収束することを可能にし、それによって、計算複雑性が低減する。言い換えれば、低情報画素クラスタに関する計算を低減することによって、計算速度は、向上され得、従って、限られた計算リソースを有するモバイルプラットフォームにおいて方法が実行可能であり得る。

従って、例えば上記で説明したＴＶ−Ｌ１法など、以前に利用可能な全変動方法とは対照的に、本発明の態様による方法の実施形態は、各画素又は画素のグループについて、個別の重み付けを提供する。重み付け値は、どの画素がオプティカルフロー計算により関係するかについての指示を提供する。次に、計算リソース及び労力は、より高い重みを有する画素に集中し、これは、オプティカルフローの決定により関係する。言い換えれば、重み付け値は、オプティカルフロー計算により関係する画素とオプティカルフロー計算にあまり関連しない画素との間を区別する方式を可能にする。

上記で提供した式（１）を再び参照すると、全ての画素は、従来のＴＶ−Ｌ１法では、忠実度項について、同じスケーリング係数λ（即ち重み）を有し、このことは、全ての画素がオプティカルフロー計算において忠実度項に等しく貢献することを意味する。しかしながら、本明細書で開示する実施形態の態様によって認識されるように、全ての画素がオプティカルフロー計算において同じ重要性を有するとは限らない。そのようなクラスタは連続した画像フレーム間で確実にマッチすることができないので、ほぼ均一又は疑似ランダム分布を有する画素クラスタは、事実、ほとんど貢献しない。本発明の態様によれば、好ましくは、低情報画素はオプティカルフロー計算において目立たせず、好ましくは、有用な画素は強調される。次に、このようにして様々な画素を強調したり、目立たなくしたりすることは、より効率的かつ正確に収束するために費用関数を解く方法を促進し得る。画像の情報レベル又は信号強度は重要な因子であるので、忠実度項のコンテンツ適応型重み付けは、計算の信号対雑音比を効果的に増加させ、式（１）を解く反復プロセスにおいて、潜在的に高速で信頼性が高いソリューションにつながる。

幾つかの実施形態によれば、コンテンツ適応型重み付け項λ（ｘ）は、忠実度項に重み付けするために使用することができ、従って、式（１）は、次のように、式（２）になる。

式（２）では、コンテンツ適応型重み付け値λ（ｘ）は、その位置の画素の近隣にある情報成分を測定する位置変数ｘ＝（ｘ₁，ｘ₂）の関数である。非限定的な例では、コンテンツ適応型重み付け値λ（ｘ）は、画素を囲むパッチの情報／構造強度を測定するフィッシャー識別関数として定義することができる。

式（３）で、項ｃは、スケーリング定数であり、ｘは、画素の近隣の全てのＮ個の位置の組である、Ｚの要素である。ＺがＣ個のクラスに分類されると仮定する。非限定的な例では、クラスの数Ｃは、カラー量子化の結果として取得された異なる色の数を表す。１つの可能な実施形態では、ｍ_iは、クラスＺ_iのＮ_i個のデータポイントの平均を表し、以下の関係を定義することができる。

式（３）から（８）は、画素の規則正しいローカルパターンと拡散されたローカルパターンとの間を区別するために使用することができる。幾つかの例が図３Ａ及び図３Ｂに示される。より詳細には、図３Ａは、１つの可能な例として、３６の画素を含む６×６の画像ブロック３０１を示す。非限定的な一例では、可能な色相の所与の量子化範囲内に含まれる画素は、関連する量子化レベル又はクラスＩＤが割り当てられる。例えば、画素値を範囲と比較するように構成されたソフトウェアコードなど、画素を量子化値と関連付けるための手段が多数あることを当業者であれば諒解されよう。従って、例えば、図３Ａの画素は、それぞれ赤、青、及び緑を表す、「Ｘ」、「Ｏ」及び「＋」によって示されるように、３つのクラスに分類され得る。即ち「Ｘ」が左上、「Ｏ」が左下、及び「＋」が右というように、所与の量子化レベルの画素が互いの近くにある傾向があるという点で、これら３つの領域は比較的「同種」である。図３Ｂは、対照的に、同じ次元を有するが、「分散型」の画素の集合を構成する画素ブロックを示す。ここでは、所与の量子化クラスの画素が、必ずしもブロック内で互いの近くに位置するとは限らない。上述のように、図３Ａ及び図３Ｂはカラー量子化に関連するが、量子化され得る代替の画素パラメータが多数あることを、当業者であれば諒解されよう。

更に、式（１）から式（２）に変換するためになされたコンテンツ適応型の変更が他のオプティカルフロー決定方法に適用され得ることを、当業者であれば諒解されよう。例えば、コンテンツ適応型重み付け値λ（ｘ）は、次のように、式（９）を生成するために、Ｌ２正則化（ＴＶ−Ｌ２）による全変動方法の変更のために使用することができる。

図４は、オプティカルフローを決定する方法の実施形態のフローチャートである。幾つかの実施形態では、本方法は、アクセス端末に含まれるソフトウェア、ハードウェア、及び／又はファームウェアの好適な組合せによって実行される。ブロック４−１によって表されるように、本方法は、第１の画像フレームＩ₀における複数の画素の画素毎に個別の重み付けλ（ｘ）を決定することを含む。一実施形態では、各重み付け値は、式（３）から（８）を使用して決定される。別の実施形態では、本方法は、方法の計算複雑性を更に低減するために、２つ以上の画素の複数のサブグループのグループ毎に個別の重み付けを決定することを含む。ブロック４−２によって表されるように、本方法は、個別の重み付けに少なくとも部分的に基づいて、オプティカルフローインジケータを決定することを含む。幾つかの実施形態では、オプティカルフローインジケータは、第１のフレームＩ₀と第２のフレームＩ₁との間の画素変位のインジケータとして働く。

図５は、オプティカルフローを決定する方法の実施形態のフローチャートである。幾つかの実施形態では、本方法は、アクセス端末に含まれるソフトウェア、ハードウェア、及び／又はファームウェアの好適な組合せによって実行される。ブロック５−１によって表されるように、本方法は、カラー画像を受信することを含む。ブロック５−２によって表されるように、本方法は、カラークラスマップを生成するために受信されたカラー画像において色空間量子化を実行することを含む。ブロック５−３によって表されるように、本方法は、画像における各画素について、個別の重み付けλ（ｘ）を計算することを含む。一実施形態では、各重み付け値は、式（３）から（８）を使用して決定される。別の実施形態では、本方法は、方法の計算複雑性を更に低減するために、２つ以上の画素の複数のサブグループのグループ毎に個別の重み付けを決定することを含む。ブロック５−４によって表されるように、本方法は、個別の重み付けを平滑化するために後処理を実行することを含む。一実施形態では、平滑化は、範囲外の画素、又は隣接した画素によって定義される構造又は特徴の不連続性を表す画素をフィルタ処理することを含む。

図６は、オプティカルフローを決定する方法の実施形態のフローチャートである。幾つかの実施形態では、本方法は、アクセス端末に含まれるソフトウェア、ハードウェア、及び／又はファームウェアの好適な組合せによって実行される。ブロック６−１によって表されるように、本方法は、ビデオフレームを受信することを含む。ブロック６−２によって表されるように、本方法は、第１の画像フレーム及びフローフィールドを初期化することを含む。ブロック６−３によって表されるように、本方法は、選択された全変動方法のフローフィールド及び忠実度項を計算することを含む。非限定的な例として、ＴＶ−Ｌ１又はＴＶ−Ｌ２の方法は、オプティカルフローを決定するために選択され得る。ブロック６−４によって表されるように、本方法は、例えば式（２）又は（９）を使用して重み付けされたコストを計算して、オプティカルフローを決定することを含む。ブロック６−５によって表されるように、本方法は、現在のフレームについて、費用関数が収束したかどうかを決定することを含む。費用関数が収束しない場合（６−５からのｎｏのパス）、本方法は、収束が起こるまで、ブロック６−３によって表される方法の部分に折り返して戻ることを含む。一方、費用関数が収束した場合（６−５からのｙｅｓのパス）、ブロック６−６によって表されるように、本方法は、次のフレームに進むことを含む。ブロック６−７によって表されるように、本方法は、各画素又はサブグループ又は２つ以上の画素について、重み付け値を計算することを含む。

図７は、本開示の幾つかの態様による例示的なアクセス端末７００のブロック図である。アクセス端末は図７に示されるアクセス端末７００よりも多くのコンポーネントを有し得ることを、当業者は諒解するだろう。アクセス端末７００は、特許請求の範囲の範囲内の実施形態の幾つかの顕著な特徴を説明するのに有用なコンポーネントのみを含む。アクセス端末７００は、プロセッサ７０１と、メモリ７０２と、オプティカルフロー決定回路７０３と、バッファ制御回路７０４と、ビデオバッファ７０５と、送信回路７０６と、アンテナ７０７とを含む。一実施形態では、プロセッサ７０１は、メモリに記憶される１つ以上のアプリケーションの構成されたプロセスコンピュータプログラムコードである。一実施形態では、処理のための手段は、プロセッサを含む。一実施形態では、記憶手段は、メモリを含む。一実施形態では、オプティカルフロー決定回路７０３は、コンテンツ適応型オプティカルフロー決定方法を使用してオプティカルフローを決定するように構成される。一実施形態では、オプティカルフローを決定するための手段は、オプティカルフロー決定回路７０３を含む。一実施形態では、バッファ制御回路７０４は、ビデオバッファ７０５のコンテンツをオプティカルフロー決定回路７０３に渡すことができるときを決定するように構成される。一実施形態では、制御のための手段は、バッファ制御回路を含む。一実施形態では、バッファのための手段は、バッファを含む。一実施形態では、送信回路７０６は、アンテナ７０７を介してパケットをアクセスポイントに送信するように構成される。一実施形態では、送信のための手段は、送信機回路を含む。

更に、本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及び処理ステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を具体的な適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。ある部分、又は一部は、全体と等しい、又はそれよりも少ない何かを備え得ることを、当業者は認識するだろう。例えば、画素の集合の一部分は、画素の部分集合を指し得る。

本明細書で開示された実施形態に関連して説明された様々な例示的な論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理機器、個別ゲート又はトランジスタロジック、個別ハードウェアコンポーネント、若しくは本明細書で説明される機能を実行するように設計されたそれらの任意の組合せを用いて実装又は実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であり得る。プロセッサは、コンピュータ機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ以上のマイクロプロセッサ、あるいは任意の他のそのような構成として実施することもできる。

本明細書で開示される実施形態に関して説明される方法又は処理のステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、又はこの２つの組合せにおいて直接具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は当技術分野で知られている任意の他の形態の非一時的記憶媒体中に常駐し得る。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替として、記憶媒体はプロセッサと一体であってもよい。プロセッサ及び記憶媒体はＡＳＩＣ中に常駐することができる。ＡＳＩＣはユーザ端末、カメラ、又は他の機器の中に常駐し得る。代替として、プロセッサ及び記憶媒体は、ユーザ端末、カメラ、又は他の機器の中に個別コンポーネントとして常駐し得る。

本明細書には、参照のための、及び様々なセクションを見つけるのを助けるための、見出しが含まれる。これらの見出しは、見出しに関連して説明された概念の範囲を制限することを意図していない。そのような概念は、明細書全体にわたり、適用可能であり得る。

その上、「例示的」という単語は、本明細書では、「例、事例、又は例示として機能すること」を意味するために使用される。本明細書に「例示的」と記載されたいかなる実施形態も、必ずしも他の実施形態よりも好ましい又は有利であると解釈されるべきではない。

開示された実施形態の前述の説明は、当業者が本発明を実施又は使用できるようにするために与えられたものである。これらの実施形態の様々な変更形態は、当業者には容易に明らかになるものであり、本明細書で定義された一般原理は、本発明の趣旨又は範囲から逸脱することなく他の実施形態に適用され得る。従って、本発明は、本明細書で示された実施形態に限定されるものではなく、本明細書で開示された原理及び新規の特徴に合致する最も広い範囲が与えられるべきである。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ フレーム間の画素変位を決定する方法であって、フレームの第１の複数の画素の画素毎に個別の重み付けを決定することと、各重み付け値が、前記画素のうちのある特定の画素の属性と前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく、前記第１の複数の画素の少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定することとを備える方法。
［２］ 前記特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの半径内の画素のグループを考慮することを備える、［１］に記載の方法。
［３］ 前記オプティカルフローインジケータを決定することが前記第１のフレームと別のフレームとの間の全変動に更に基づく、［１又は２のいずれか一項］に記載の方法。
［４］ 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、［１から３のいずれか一項］に記載の方法。
［５］ 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、［１から４のいずれか一項］に記載の方法。
［６］ 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、［１から５のいずれか一項］に記載の方法。
［７］ カラークラスマップを生成するために色空間量子化を実行することを更に備える、［１から６のいずれか一項］に記載の方法。
［８］ 前記重み付け値のうちの１つ以上を平滑化することを更に備える、［１から７のいずれか１つ］に記載の方法。
［９］ 前記オプティカルフローインジケータを決定することが費用関数に基づく、［１から８のいずれか１つ］に記載の方法。
［１０］ 実行されたとき、装置に］フレームの第１の複数の画素の画素毎に個別の重み付け値を決定させ、個別の重み付け値が、前記画素のうちのある特定の画素の属性と前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく、少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定させる命令を記憶するコンピュータ可読媒体を備えるフレーム間の画素変位を決定するためのコンピュータプログラム製品。
［１１］ ある特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの半径内の画素のグループを考えることを備える、［１０］に記載のコンピュータプログラム製品。
［１２］ 前記オプティカルフローインジケータを決定することが前記第１のフレームと別のフレームとの間の全変動に更に基づく、［１０又は１１のいずれか１つ］に記載のコンピュータプログラム製品。
［１３］ 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、［１０から１２のいずれか１つ］に記載のコンピュータプログラム製品。
［１４］ 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、［１０から１３のいずれか１つ］に記載のコンピュータプログラム製品。
［１５］ 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、［１０から１４のいずれか１つ］に記載のコンピュータプログラム製品。
［１６］ 前記命令が更に、前記装置に、カラークラスマップを生成するために色空間量子化を実行させる、［１０から１５のいずれか１つ］に記載のコンピュータプログラム製品。
［１７］ 前記命令が更に、前記装置に、前記重み付け値のうちの１つ以上を平滑化させる、［１０から１６のいずれか１つ］に記載のコンピュータプログラム製品。
［１８］ 前記オプティカルフローインジケータが費用関数に基づいて決定される、［１０から１７のいずれか１つ］に記載のコンピュータプログラム製品。
［１９］ フレーム間の画素変位を決定するように構成された装置であって、第１の複数の画素の画素毎に個別の重み付けを決定するための手段と、各重み付け値が、ある特定の画素の属性の、前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づく］少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定するための手段と、を備える装置。
［２０］ ある特定の画素について前記個別の重み付け値を決定するための前記手段が、前記重み付け値が決定される前記特定の画素の周りの半径内の画素のグループを考慮するための手段を備える、［１９］に記載の装置。
［２１］ 前記オプティカルフローインジケータを決定するための手段が、前記第１のフレームと別のフレームとの間の全変動に基づいて前記オプティカルフローインジケータを決定するように更に構成される、［１９又は２０のいずれか１つ］に記載の装置。
［２２］ 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、［１９から２１のいずれか１つ］に記載の装置。
［２３］ 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、［１９から２２のいずれか１つ］に記載の装置。
［２４］ 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、［１９から２３のいずれか１つ］に記載の装置。
［２５］ カラークラスマップを生成するために色空間量子化を実行するための手段を更に備える、［１９から２４のいずれか１つ］に記載の装置。
［２６］ 前記重み付け値のうちの１つ以上を平滑化するための手段を更に備える、［１９から２５のいずれか１つ］に記載の装置。
［２７］ フレーム間の画素変位を決定するように構成された装置であって、メモリと］フレームの第１の複数の画素の画素毎に個別の重み付け値を決定し、各重み付け値が、前記画素のうちのある特定の画素の属性の、前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定する
ように構成されたプロセッサと］を備える装置。
［２８］ ある特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの半径内の画素のグループを考えることを備える、［２７］に記載の装置。
［２９］ 前記オプティカルフローインジケータを決定することが前記第１のフレームと別のフレームとの間の全変動に更に基づく、［２７又は２８のいずれか１つ］に記載の装置。
［３０］ 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、［２７から２９のいずれか１つ］に記載の装置。
［３１］ 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、［２７から３０のいずれか１つ］に記載の装置。
［３２］ 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、［２７から３１のいずれか１つ］に記載の装置。
［３３］ 前記プロセッサが更に、カラークラスマップを生成するために色空間量子化を実行するように構成される、［２７から３２のいずれか１つ］に記載の装置。
［３４］ 前記プロセッサが更に、前記重み付け値のうちの１つ又は複数を平滑化するように構成される、［２７から３３のいずれか１つ］に記載の装置。

Claims (34)

1. フレーム間の画素変位を決定する方法であって、
   フレームの第１の複数の画素の画素毎に個別の重み付け値を決定することと、各重み付け値が、前記画素のうちのある特定の画素の属性と前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、前記属性及び前記対応する属性は各々前記属性に関連付けられた前記画素についての分類を含む、
   前記第１の複数の画素の少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定することと
   を備える方法。
2. 前記特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの近隣の内の画素のグループを考慮することを備える、請求項１に記載の方法。
3. 前記オプティカルフローインジケータを決定することが前記フレームと別のフレームとの間の全変動に更に基づく、請求項１に記載の方法。
4. 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、請求項１に記載の方法。
5. 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、請求項１に記載の方法。
6. 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、請求項１に記載の方法。
7. カラークラスマップを生成するために色空間量子化を実行することを更に備え、前記カラークラスマップは前記フレームの画素を分類する、請求項１に記載の方法。
8. 前記重み付け値のうちの１つ以上を平滑化することを更に備える、請求項１に記載の方法。
9. 前記オプティカルフローインジケータを決定することが費用関数に基づく、請求項１に記載の方法。
10. 実行されたとき、装置に、
    フレームの第１の複数の画素の画素毎に個別の重み付け値を決定させ、各重み付け値が、前記画素のうちのある特定の画素の属性と前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、前記属性及び前記対応する属性は各々前記属性に関連付けられた前記画素についての分類を含む、
    少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定させる、
    フレーム間の画素変位を決定するための命令を記憶するコンピュータ可読記憶媒体。
11. ある特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの近隣の内の画素のグループを考慮することを備える、請求項１０に記載のコンピュータ可読記憶媒体。
12. 前記オプティカルフローインジケータを決定することが前記フレームと別のフレームとの間の全変動に更に基づく、請求項１０に記載のコンピュータ可読記憶媒体。
13. 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、請求項１０に記載のコンピュータ可読記憶媒体。
14. 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、請求項１０に記載のコンピュータ可読記憶媒体。
15. 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、請求項１０に記載のコンピュータ可読記憶媒体。
16. 前記命令が更に、前記装置に、カラークラスマップを生成するために色空間量子化を実行させ、前記カラークラスマップは前記フレームの画素を分類する、請求項１０に記載のコンピュータ可読記憶媒体。
17. 前記命令が更に、前記装置に、前記重み付け値のうちの１つ以上を平滑化させる、請求項１０に記載のコンピュータ可読記憶媒体。
18. 前記オプティカルフローインジケータが費用関数に基づいて決定される、請求項１０に記載のコンピュータ可読記憶媒体。
19. フレーム間の画素変位を決定するように構成された装置であって、
    第１の複数の画素の画素毎に個別の重み付け値を決定するための手段と、各重み付け値が、ある特定の画素の属性の、前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、前記属性及び前記対応する属性は各々前記属性に関連付けられた前記画素についての分類を含む、
    少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、２つのフレーム間の画素変位のオプティカルフローインジケータを決定するための手段と、
    を備える装置。
20. ある特定の画素について前記個別の重み付け値を決定するための前記手段が、前記重み付け値が決定される前記特定の画素の周りの近隣の範囲内の画素のグループを考慮するための手段を備える、請求項１９に記載の装置。
21. 前記オプティカルフローインジケータを決定するための手段が、前記フレームと別のフレームとの間の全変動に基づいて前記オプティカルフローインジケータを決定するように更に構成される、請求項１９に記載の装置。
22. 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、請求項１９に記載の装置。
23. 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、請求項１９に記載の装置。
24. 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、請求項１９に記載の装置。
25. カラークラスマップを生成するために色空間量子化を実行するための手段を更に備え、前記カラークラスマップは１つ以上の画素分類を含み、前記１つ以上の画素分類は前記属性に関連付けられた前記画素の前記分類を含む、請求項１９に記載の装置。
26. 前記重み付け値のうちの１つ以上を平滑化するための手段を更に備える、請求項１９に記載の装置。
27. フレーム間の画素変位を決定するように構成された装置であって、
    メモリと、
    フレームの第１の複数の画素の画素毎に個別の重み付け値を決定し、各重み付け値が、前記画素のうちのある特定の画素の属性の、前記特定の画素の近くの他の画素の対応する属性との関係に少なくとも部分的に基づき、前記属性及び前記対応する属性は各々前記属性に関連付けられた前記画素についての分類を含む、
    少なくとも１つの画素の前記重み付け値に少なくとも部分的に基づいて、前記フレームと別のフレームとの間の画素変位のオプティカルフローインジケータを決定する
    ように構成されたプロセッサと、
    を備える装置。
28. ある特定の画素について前記個別の重み付け値を決定することが、前記重み付け値が決定される前記特定の画素の周りの近隣の範囲内の画素のグループを考慮することを備える、請求項２７に記載の装置。
29. 前記オプティカルフローインジケータを決定することが前記フレームと別のフレームとの間の全変動に更に基づく、請求項２７に記載の装置。
30. 前記属性が、他の近い画素と比較して、前記特定の画素によって提供されるオプティカルフローに関係する相対的な量の情報を含む、請求項２７に記載の装置。
31. 前記特定の画素の近くの前記他の画素が、前記特定の画素に隣接する画素を含む、請求項２７に記載の装置。
32. 前記特定の画素の近くの前記他の画素が、前記特定の画素の１から１０の画素長内の画素を含む、請求項２７に記載の装置。
33. 前記プロセッサが更に、カラークラスマップを生成するために色空間量子化を実行するように構成され、前記カラークラスマップは前記フレームの画素を分類する、請求項２７に記載の装置。
34. 前記プロセッサが更に、前記重み付け値のうちの１つ又は複数を平滑化するように構成される、請求項２７に記載の装置。

Images