JP4749051B2 - 画像処理 - Google Patents

Description

本発明は画像処理の分野に関する。

（優先権主張）
本出願は、２００４年６月２４日に出願された、「画像処理」と題する出願第ＧＢ０４１４０６４．６号を有する同時係属中の英国特許出願に対して優先権を主張するものであり、この特許出願は参照により本明細書に援用される。

（背景）
特定の状況では、閲覧のために、画像の注目エリアを通る静止画像または動画像にわたる経路を生成可能であることが望ましい。これは、時間の制約により、または使用されている特定の閲覧プラットフォームの機能が適していないため、たとえば、プラットフォームが特定の画像サイズに適応するように設計されていないために、画像全体を見ることが現実的ではない状況において特に有用である。一般に、生成されるこのような経路は、画像にわたる経路を辿り、経路に沿った画像の部分のみが表示されるように画像をズームインする仮想カメラの使用を介して、画像の関心ポイントを画像の他のエリアに優先して表示できるようにする。

このようなシステムは、たとえば、カメラ内蔵式携帯電話等、撮像機能を有する移動体機器において特に有利である。このような装置のサイズにより必然的に、装置の表示画面は比較的小型になり、したがって、画像が多数のディテールを含む高解像度画像である場合に特に、取り込まれたまたは受信した画像を表示するのにあまり適さない。

同時係属中の英国特許第０１０４５８９．７号では、画像内の注目位置の解明、および注目構造を注目位置から決定できるようにする方法が考察されている。この構造から、画像にわたる注目閲覧経路を提供することができる。

「Automatic Browsing of Large Pictures on Mobile Devices」, Microsoft Research China, MSR-TR-2003-49では、注目度を、画像内で何に関心があるかを決定するベースとして使用すること、および情報フォレージング理論（theory of information foraging）を使用して、閲覧経路の使用を介して画像の展開エリアを選択することを考察している。

既知の方法は、画像の注目材料を表示する適度に効率的な方法を提供する。しかし、欠点がある。生成された表示経路は、画像の注目エリアを単調にしか展開しない。注目エリアに、表示経路に沿った知覚的な繋がりがない。また、MSR-TR-2003-49では特に、画像の関心領域およびそれぞれの程度をマークする必要がある。注目度は、関心領域の得点付けのためにだけ使用される。

（概要）
第１の例示的な一実施形態によれば、少なくとも１つの画像に関連する画像データを処理する方法が提供され、本方法は、上記または各画像の選択された注目部分の配置および注目度に関連するデータを使用すること、および上記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成すること、を含む。

第２の一実施形態によれば、画像を処理する方法が提供され、本方法は、画像の注目度マップを生成すること、注目度マップを使用して、画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および注目度場を使用して、画像の注目経路を構築すること、を含む。

第３の一実施形態によれば、複数の画像にわたる注目経路を生成する方法が提供され、本方法は、画像のそれぞれについて、各注目度マップを生成すること、注目度マップを使用して画像の注目部分の関係を求めることであって、それによって上記画像のそれぞれに各注目度場を生成する、求めること、および注目度場のそれぞれを使用して画像のそれぞれに少なくとも１つの注目経路を生成すること、を含み、注目経路は、上記画像のうちの１つの注目経路の少なくとも一部が、上記画像のうちの別の画像の注目経路の一部に実質的に対応するようにそれぞれの各末尾部分に制約される。

第４の一実施形態によれば、画像の注目度マップを生成するように動作可能な装置が提供され、本装置は、注目度マップを使用して、画像の注目部分の関係を求めることであって、それによって注目度場を生成する、求めること、および注目度場を使用して、画像の注目経路を構築すること、を含む。

本発明をよりよく理解するために、また本発明を実施する方法をさらに強調するために、各種実施形態について、添付の図面を参照して例としてのみこれより説明する。

「含む／含んでいる」という語は、本明細書において使用される場合、記された特徴、完全体、ステップ、または構成要素の存在を特定するが、１つまたは複数の他の特徴、完全体、ステップ、構成要素、またはこれらのグループの存在または追加を除外するものではないことを明確にされたい。

（詳細な説明）
図１は、本方法の一実施形態によるフローチャートである。１０１において、少なくとも１つの画像の注目部分が、画像データ１００から選択され、この注目部分は、配置データおよび注目度データを含み、１０３において、上記部分のそれぞれに少なくとも１つの注目度ベクトルをそれぞれ生成するために使用される。

添付図面の図２は、一実施形態による注目度グループ化ベクトル場（saliency grouping vector field）の生成に関連するフローチャートである。

注目度グループ化ベクトル場は、画像内の各注目位置の様々な方位において、画像内の他の注目画像位置が関連する確率を示す。

２０１において、画像の注目領域が求められる。画像の注目領域を求めるために使用することができる複数の方法がある。好ましい一実施形態では、位置は、以下でさらに詳細に説明するように、画像から文脈なし（context-free）の注目度マップを生成することによって求められる。

２０３において、２０１において求められたマップから、注目度クラスタマップが生成される。より具体的には、以下説明するように、適した演算子が２０１の注目度マップに適用されて、注目度マップを離散スカラー場から、すべての局所最大位置に値１を有し、その他の場所では値０を有するバイナリスカラー場に変換する。

２０５において、注目度クラスタマップが、方位選択的グループ化核（orientation-selective grouping kernel）で畳み込まれ、グループ化場（grouping field）の集合を生成し、このグループ化場は、２０７において正規化される。正規化されたグループ化場は、対応する方位に沿った注目応答の強さを示し、より詳細に以下で説明する。

２０９において、正規化されたグループ化場が強調されて、画像の注目度最大の知覚構造を導き出す。知覚構造は、画像の閲覧者が重要であると知覚し得る、画像の構成要素の選択された特徴間の関係の測度であることができる。

図１および図２を参照して説明した方法について、これよりさらに詳細に説明する。

画像の注目度マップは、適した既知の方法を用いて作成される。一実施形態では、Itti、Koch、およびNiebur (「A Model of Saliency-based Visual Attention for Rapid Scene Analysis（迅速なシーン分析のための、注目度に基づいた注視モデル）」IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11): 1254-1259, 1998)によって提案される方法が用いられて、画像の適した注目度マップ、より厳密には文脈なしの関心マップを画像から生成する。

画像の適した注目度マップは、複数の代替の方法を用いて生成可能であることが当業者により理解されよう。たとえば、C. M. PriviteraおよびL. W. Stark（「Evaluating image processing algorithms that predict regions of interest」Pattern Recognition Letters, 19(11): 1037-1043, September 1998、および「Algorithms for defining visual regions-of-interest: Comparison with eye fixations（興味視野領域を定義するためのアルゴリズム：注視との比較）」IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(9): 970-982, September 2000）の研究もまた、ボトムアップ注目度モデルを定義しようと試みている。

本明細書において説明する方法（Itti、Koch、およびNieburの方法）は、注目度を解明する生物学的に妥当な原理に基づいており、マルチスケール画像特徴を組み合わせて１つの地勢画像マップにする。本方法にとって重要なのは、処理すべき画像から注目度マップを得る方法ではなく、結果得られる注目度マップのみであるため、この方法については詳細に説明しない。

添付図面の図３は、本方法により動作可能な例示的な装置の概略図である。より具体的には、図３は、デジタルカメラ、または撮像機能を備えた携帯電話もしくはＰＤＡ等の装置の例示的な撮像モジュールを表す。しかし、本方法は撮像機能を備えず、処理すべき画像を、カメラまたは他の画像取り込み装置等の（装置から）離れた場所から受け取る装置によっても実施することが可能であることが理解されよう。このような画像は、既知の有線（たとえば、ＬＡＮ、インターネット等）技法または無線（たとえば、ＷｉＦｉ、ブルートゥース等）技法を用いて受け取ることができる。

撮像要素３０１は、レンズアセンブリ３０３、フィルタ３０５、画像センサ３０７、およびデジタル信号プロセッサ３１１を備える。関心のある画像またはシーンが、レンズアセンブリ３０３を通る光から取り込まれる。この光は、フィルタ３０５を使用してフィルタリングすることができる。次いで、画像は、上述した装置のいずれであってもよい画像センサ３０７によって電気信号に変換される。次いで、生の画像データはデジタル信号プロセッサ（ＤＳＰ）３１１に渡される。

さらに、図３の装置３０１を参照すると、バスまたは同様のもの３１３が、データおよび／または制御信号をＤＳＰ３１１、メモリ３１７、および中央演算処理装置（ＣＰＵ）３１９の間で伝送するように動作可能である。

メモリ３１７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）であることができ、不揮発性メモリ（たとえば、フラッシュ、ＲＯＭ、ＰＲＯＭ等）および／またはリムーバブルメモリ（たとえば、メモリカード、ディスク等）のいずれかを含むことができる。メモリ３１７は、生の画像デジタルデータならびに処理済みの画像デジタルデータの記憶に使用することができる。ＣＰＵ３１９は、装置３０１に関連する各種タスクを実行するようにプログラムすることができるプロセッサである。

図３の撮像要素には多くの異なる構成があることに留意されたい。一実施形態では、ＣＰＵ３１９およびＤＳＰ３１１は、たとえば、単一チップ上に存在してもよい。他の実施形態では、ＣＰＵ３１９およびＤＳＰ３１１は、たとえば、２つ以上の別個のチップ上に存在してもよい。さらなる組み合わせが可能であるが、上で概説した撮像要素３０１および／または撮像要素３０１内の構成要素の厳密な構造は、限定を意図するものではなく、単に、本方法が機能する移動体機器の典型的な画像取り込み要素を例示するために提示されることに留意されたい。

たとえば、ＣＰＵ３１９は、移動体機器のＣＰＵに加えてのものであってもよく、または撮像要素により要求されるタスク以外のタスクを実行してもよい。メモリ３１７は、たとえば、移動体機器の他の機能にも使用することができる。

本方法により動作可能な撮像機能のない装置は、少なくとも、要素３０３、３０５、および３０７を有さないことを除いては、図３に示すものと同様であろう。

添付図面の図４ａおよび図４ｂはそれぞれ、画像およびItti、Koch、およびNieburの方法を用いて得られた対応する注目度マップである。

図４ｂは単に、適した注目度マップの図にすぎず、限定を意図するものではないことが当業者により理解されよう。図４ｂでは、注目エリアが白（および白の陰影）で示され、画像４ｂの注目度の低いエリアほど、暗いエリアで示される。この場合、画像４ｂの各位置には対応する注目値が関連付けられ、これは図４ｂではグラフィックで表されている。図４ｂ等の画像の生成は、注目度マップ自体の生成に寄与するものではなく、これは注目度マップの表現である。一般に、注目度マップは、画像内の選択部分の配置および注目度に対応するデータを含む。このような部分は、たとえば、ピクセル、ボクセル、または画像のより大きな、または小さなエリアであることができる。

上述した方法等、適した方法を用いて図４ｂ等の適した注目度マップを生成した後、演算子Ｍがマップに適用されて、マップの離散スカラー場をバイナリスカラー場に変換する。

好ましい一実施形態では、Ｍは、離散スカラー場からバイナリスカラー場への変換を行うように成分が配置され、注目度マップの行列表現に適用されて処理済み注目度マップを提供する行列である。

演算子の適用後、注目度マップのすべての局所最大には値１が割り当てられ、他のすべてのエリアは値０を有する。したがって、画像内の注目位置は、注目度マップの非最大除去によって求められる。このようにして、注目度クラスタマップが生成される。

注目度マップが行列Ｓとして表される場合、処理済み注目度マップは、注目度クラスタマップ行列Ｓ_ｍａｘとして表すことができ、したがって、注目度クラスタマップ行列Ｓ_ｍａｘは、

に従って生成される。

注目度マップ、演算子Ｍ、および注目度クラスタマップの代替表現が可能であり得ることが理解されよう。たとえば、それぞれがバイナリまたは他のデータ列であってもよく、または上記を適したデジタル信号またはアナログ信号で表してもよい。

注目度クラスタマップから、注目応答に、マップに適用される重み付け核を使用して重み付けすることができる。応答は、様々な方位での各注目位置から、問題となっている位置に関連する他の注目位置が見つけられる確率の指標を提供する。

好ましい一実施形態では、パラメトリックレムニスケート核が注目応答の重み付けに使用される。この核は、方位選択的グループ化核である。たとえば、極座標表現を使用して、現在位置からの距離

および角度

における応答の場合、核

は、

として定義され、これは

の場合であり、その他の場所ではすべて、核の出力はゼロと定義される。パラメータは核の空間の台を定義し、ｎには方位選択性が関連付けられる。好ましい一実施形態では、４つの回転グループ化核

（ｎ＝１，・・・，４）のセットが使用される。このセットは、有限数の方位角度

をカバーする。

したがって、各回転核は、

から得られる。

回転グループ化核を生成するために少数または多数の方位角度セットを使用することができることが当業者には理解されよう。さらに、上述したもの等のレムニスケート核を使用する必要はなく、複数の方位における注目応答の重み付けを提供するようになっている任意の適した核の使用が可能である。したがって、上記および以下の考察は限定を意図するものではない。

各核

は、マップＳ_ｍａｘで畳み込まれて、

のような４つのグループ化場Ｇ'_ｎのセットを作成する。

好ましい一実施形態では、Ｇ'_ｎは、各注目位置（ｘ，ｙ）において正規化されて、

に従って、

のようなグループ化場の正規化セットＧｎを提供し、これは、対応する方位に沿った各応答の強度を示す。

所与のＳ_ｍａｘを、画像の注目位置Ｍ_ｉにおけるｍ個のディラックパルスの重ね合わせによって表すことができる場合、グループ化場もまた、Ｍ_ｉに配置されたｎ個のグループ化核の重ね合わせによって表すことができることに留意されたい。

また、疎行列、より具体的には、成分が最大の位置でのみ非ゼロである行列が使用されるため、畳み込みは、Ｓ_ｍａｘの行列表現の非ゼロ成分のみを考慮して、事実上、最大の位置のみの加重和を実施することによって大幅に加速化することができる。畳み込みの表記は明確にするためにのみ使用されていることが当業者により理解されよう。

グループ化核は、特に、２つ以上が核の台内に入る場合に、注目度最大間の関係を実質的に取り込む。しかし、殆どの場合、応答にはかなりの曖昧さがある。これは概して、使用される注目度モデルが直接方位情報を提供しないことによる。

好ましい一実施形態によれば、注目度最大の構造を導き出すために、場の知覚的に位置合わせされた構成要素を漸進的に強調し、知覚構造を示さない構成要素を抑圧する反復強調プロセスが使用される。

有利なことに、強調反復は、最大ｉの位置（ｘ_ｉ，ｙ_ｉ）に対する場の以下の更新から成る。

ここで、Ｒ_ｎ（ｘ，ｙ）は、場のｎ番目の構成要素を強調すべきである場合は正であり、抑圧すべき場合は負である各方位のスカラー強調関数のセットである。パラメータ

は利得係数であり、有利なことに、実質的に、単位元

未満の値に設定される。

強調関数は、２つの単純な原理、ａ）各位置における最強場構成要素を強調すること、およびｂ）最強場構成要素が同じ方位を有する他の近傍がある場合には構成要素を強調すること、を実施する。

好ましい一実施形態では、強調関数は、強調関数Ｒ'_ｎのセットに対して正規化された関数である。したがって、各方位ｎの正規化された強調関数Ｒ_ｎのセットは、

によって与えられ、ここで、考慮中の画像の非正規化された注目度マップから、

である。

スカラー場

は、各位置における平均方位応答を表す。したがって、値

は、特定の位置および特定の方位における応答が平均応答

を上回る場合に正であり、それにより、最強応答が優先されることを保証し、特定の位置および特定の方位における応答が平均応答

を下回る場合には負である（したがって、弱い応答は抑圧される）。

グループ化核

での畳み込み（または同様の処理）により、優勢な同じ方位に沿った近傍構成要素がＲ'ｎに対して正の寄与を提供し、優勢ではないものは負の寄与を提供することが保証される。

添付図面の図５は、好ましい一実施形態による強調更新手順の線図である。

位置Ａには、位置（ｘ，ｙ）におけるベクトル場の４つの構成要素

がある。負の寄与は、丸で囲まれたマイナスの符号で示される。図５の例では、ポイントＡでの最強応答は５０１と記される。他の２つの位置である図５のＢおよびＣにも、各構成要素が示される。Ｂには、５０１と同じ方位に強い正の構成要素５０３があるが、Ｃには、５０１および５０３と異なる方位に最強応答５０５があり、５０１および５０３の方位に負の寄与５０７がある（この方位に沿った応答が平均を下回ったことによる）。

核

で畳み込むことにより、この寄与は、問題となっているポイントにおいて使用される特定の核の台内に入るその他の応答の性質に応じて重み付けされる。図５は、好ましいレムニスケートグループ化核を示す。上述したように、代替の重み付け核を使用することができる。

図５の特定の場合では、全体の影響としてはＲ_ｎ（ｘ，ｙ）はわずかに正であり、これは、図示の核が、図示の応答で畳み込まれた場合、Ｂは基準方位５０１に位置合わせされ、問題となっている位置（ｘ，ｙ）により近いことから、ＣよりもＢにおける応答により大きな重みを与えるためである。

添付図面の図６ａに、グループ化場が重ねられた、画像から得られた注目度マップを示す。グループ化場は、少なくともベクトルを含み、ベクトルの１つが、図６ａにおいて参照６０１によって示される。

図６ｂに、強調プロセスが図６ａのグループ化場に適用された後の結果を示す。強調ベクトルを６０３で示す。

上述したように強調注目度グループ化ベクトル場が生成された後、画像の知覚構造化された注目位置を、画像の他のエリアよりも優先して表示することができるように、場を使用して画像にわたる経路を生成することができる。

これは、取り込まれた画像を、比較的解像度の低いディスプレイを有する装置を使用して表示すべき場合に特に有利である。

たとえば、デジタルカメラまたは撮像機能を組み込んだ他の移動体機器、たとえば図３を参照して説明した機能を備えたもの等、モバイルステーション（携帯電話）、個人情報端末（ＰＤＡ）、またはページャ等では、取り込まれた画像は装置のディスプレイを使用して表示することができる。このような装置の性質により、このようなディスプレイは、装置の電源および装置上のスペースを保存できるように、装置の寸法に対して小さくする必要があることを含意する。

したがって、画像が、装置を使用して表示される際に、いくらかの画像情報が失われる、または装置ディスプレイが小型で低解像度である可能性がある性質により、直接見ることができない場合がある。好ましい一実施形態によれば、このような表示画像は、装置自体によって取り込まれた画像、またはたとえば、他の手段によって取り込まれて装置にアップロードされた画像等、装置が受け取った画像である。

好ましい一実施形態では、ズームイン（画像に対して）ウィンドウが画像にわたって平行移動し、このウィンドウは、グループ化ベクトル場に関連して生成された注目経路を辿る。したがって、画像全体ではなく画像の一部が表示され、表示部分は、平行移動ウィンドウのサイズおよび注目経路によって画定され、画像の概念上関連する構成要素が実質的に一緒に見られるような構造を示す。

添付図面の図７は、画像のグループ化ベクトル場に関連して生成される、画像７００にわたる注目経路７０１の線図である。

経路７０１は実質的に、画像の注目部分におけるベクトルのサブセットに位置合わせされ、注目部分の１つを７０３に示す。経路の好ましい方位は、経路７０１の矢印によって示される。好ましい方位は、画像のグループ化ベクトル場のベクトルの方位に実質的に従い、一般に、注目部分に対応する注目度最大を通る。

経路７０１の生成において、平滑な曲線を要件とする等の制約を課すことができる。これには、場合によっては経路が注目度最大をわずかに「外れ」、それにより、注目経路の「ぎくしゃくした」部分が、選択された画像位置の閲覧に有害な影響を与える閲覧装置に使用する注目経路により適した平滑な曲線を提供することが必要になり得る。

経路を生成する際に、他の制約／基準を課すことも可能である。たとえば、グループ化ベクトル場によって定義される所望の注目度最大を通るが、平滑であり、したがって求められる次数まで連続した導関数を有する最小距離の曲線であるように経路を制約することができる。注目経路を生成する際に、他の制約／基準を適用することも可能であることが当業者により理解されよう。また、図７に示す注目経路に対する代替の注目経路が可能であることも理解されよう。経路７０１は単に、画像７００にわたる注目経路の一例として示され、限定を意図するものではない。

画像のグループ化ベクトル場は一般に、複数の優勢注目位置を保存し、それによって複数の注目経路を生成することができる場を作成する。

グループ化ベクトル場が関連付けられた、画像にわたる可能な各注目経路の中から、複数の基準に従っての経路のランク付けに基づいて、表示するものを選択することができる。たとえば、可能な各経路を、画像の他の経路に対する、注目経路を通るのにかかる時間に従ってランク付けすることができ、最長時間または最短時間を有する経路が高くランク付けされ、その後、他の経路がそれに従ってランク付けされる。

別法として、注目経路の可能なセットを、経路の全体の注目度に従ってランク付けすることができ、ここで、全体の注目度は、経路が辿る注目位置の密度に関連する注目度の測度を提供することができる。たとえば、画像に対して、その画像のグループ化ベクトル場を使用して２つの注目経路を生成することができるが、一方の経路には他方の経路よりも多くの注目位置が含まれ得る。この場合、経路を、特定の注目経路に沿って発生する注目位置の数に従ってランク付けすることができる。他の代替も可能である。

好ましい一実施形態によれば、ランク付けは、受け取る選好に従って調整することができる。たとえば、受け取る選好が最短距離経路に関連する場合、経路をそれに従ってランク付けすることができ、最短距離の経路は最高にランク付けされ、他のすべての経路もそれに従ってランク付けされる。他の代替も可能である。

可能な経路のセットを順序付ける他の様々な方法を採用することも可能であり、上記は限定を意図するものではないことが理解されよう。

添付図面の図８は、上述したもの等の画像取り込み装置において注目経路を生成する手順を表すフローチャートである。

８０１において、装置が被写体またはシーンに関連する画像データを受け取る。データは、装置自体が取り込んだ被写体またはシーンの画像（この場合、データは、装置のプロセッサで「受け取ら」れる）、または別の装置によって取り込まれた被写体またはシーンの画像（この場合、装置は、通信媒体、たとえば無線周波通信ネットワーク等を使用してデータを受け取る）に関連することができる。たとえば、装置間に確立されたブルートゥースリンクを介してデータを受け取る、インターネットを介して、または赤外線リンクを使用してデータを受け取る等、当該技術分野における慣例のような他の代替も可能である。

８０３において、受け取った画像データが次いで、装置において処理されて、上述したように画像に関連する強調注目マップが生成される。

８０５において、注目経路が、８０３のマップを使用して装置において生成される。図７を参照して上述したように、注目経路は、画像の注目位置におけるベクトルのサブセットと実質的に位置合わせされ、経路の好ましい方位はこういったベクトルの方位に従う。各ベクトルは、画像の注目部分の配置および方位に関連するデータを含む。

８０７において、８０５の経路に沿った画像の部分が、装置のディスプレイを使用して表示される。好ましくは、より詳細に上述したように、ズームインウィンドウが、画像の注目位置のみが見られるように、画像にわたって経路に沿って平行移動する。

上記実施態様について、装置内で画像データを処理することを参照して説明してきたが、画像データの任意の処理を装置から離れて行うことができることが理解されよう。

たとえば、取り込まれた画像に関連するデータは、たとえば、データを処理して、上述した強調注目度マップを生成するように動作可能な、サーバ等の（取り込み装置から）離れた処理装置にアップロードすることができる。このようなアップロードは、有線通信リンクまたは無線通信リンクを使用して従来の任意の様式で行うことができる。サーバは、データに関連する画像にわたって注目経路を生成して、低解像度かつ／または小型のディスプレイでの閲覧に適した画像の注目部分を提供するように動作可能であることができる。注目経路および関連する画像部分に関連するデータは、上述した複数の通信方法を使用して閲覧装置に送ることができる。

さらなる別法として、遠隔処理装置は、画像データから強調注目度マップを生成するように動作可能であることができ、次いで装置がこのデータを受け取り、マップを使用して、問題となっている画像にわたる注目経路を生成することができる。変形が可能であり、遠隔処理装置および移動体機器が、連携して各種タスクを実行して、移動体機器で使用するための注目経路を生成するように動作可能である。

添付図面の図９は、重ねられた注目経路９０１および装置（図示せず）のディスプレイに表示される画像９０３の対応する部分（白線内に包含して示す）を示す画像９００の線図である。図示の部分９０３は、特定サイズのズームインウィンドウが経路を辿る結果表示される画像９００のエリアに対応する。異なる装置は異なるディスプレイサイズ、および異なる処理能力を有するため、ズームインウィンドウのサイズをディスプレイサイズおよび処理能力に従って調整可能であることが理解されよう。図９の部分は限定を意図するものではなく、明確にする方法で示されているだけである。ズームインウィンドウの寸法は、図示される幅ｘに対応する。したがって、線９０５、９０７は、経路９０１を辿る高さｘのズームインウィンドウのサイドが辿る経路を表す。

このようにして、上述した方法を使用して求められた画像９００の注目位置は、画像９００に生成された注目経路９０１に沿って平行移動するズームインウィンドウで見られる。

好ましい一実施形態では、移動体機器のユーザは、画像の注目位置を見るために利用可能な時間を入力することができる。したがって、ズームインウィンドウが注目経路９０１上を平行移動する速度は、経路全体を所与の時間内で辿るように調整される。所与のリフレッシュレートのディスプレイの場合、これにより、部分９０３の異なるエリアが異なる時間に表示されることになる。たとえば、比較的長い閲覧時間が選択される場合、経路９０１を辿る速度は遅く、表示される部分９０３のエリアの数は多くなる。より短い時間が指定される場合、経路９０１を辿る速度はより速く、したがって利用可能な時間内に表示される画像部分９０３のエリアの数は少なくなる。最短（および／または最長）閲覧時間を装置（図示せず）のメモリに予め設定して、経路を辿る速度が速くなりすぎる場合を回避することができる。

本方法は、ウィンドウのズーム倍率が、たとえば、異なる注目エリアに応答して注目経路の長さに沿って変化するような動的平行移動ウィンドウを使用することができる状況においても適用可能であることがさらに理解されよう。

本方法は、パノラマ画像または映像を構成する一連の画像に関連するもの等、複数の関連する画像に適用される場合にも有用である。

たとえば、各画像がパノラマにしたいシーンまたは被写体に関連するように、パノラマ画像を複数の別個に取り込まれた画像から生成する場合、本方法は、各画像の注目経路を独立して、またはパノラマ画像の生成後に生成することができる。

一般に、パノラマ画像は、既知の技法、たとえばスティッチング等を用いて生成される。したがって、パノラマが生成されると、注目経路をパノラマ画像に対して適宜生成することができる。

別法として、注目経路が、パノラマを生成したい個々の画像のそれぞれに生成される場合、画像の注目経路の冒頭と末尾を位置合わせすることが望ましい場合がある。この場合、画像をスティッチングする必要はなく、適切な処理を施して適したディスプレイを使用して仮想パノラマツアーを実施することができる。

より具体的には、添付図面の図１０を参照すると、画像１００１、１００３、１００５、および１００７が、被写体またはシーンのパノラマを生成することができる画像である。画像を使用して仮想パノラマツアーを実施する場合、１００１の注目経路の末尾を、１００３の注目経路の冒頭に対応させ、１００３の注目経路の末尾を１００５の注目経路の冒頭に対応させ、以下同様であることが望ましい。

適宜対応した経路を図１０に示す。このようにして、各画像の注目経路を辿り、対応する画像の部分を適したディスプレイに表示することができる。或る画像の注目経路の末尾に達したときに、ディスプレイは、次の画像の部分の表示を、この次の画像からの注目経路を辿って開始し、それにより、被写体またはシーンのパノラマが取り込まれたという錯覚が与えられる。続く注目経路は、画像を結合することによって生成されるパノラマにわたって連続した注目経路という効果を有する。

図１０の画像は、上で説明したようにスティッチングすることができ、この場合、各画像に生成された、マッチングした注目経路を使用してもよく、またはスティッチングされたパノラマ全体に対する新しい注目経路を生成してもよい。いずれの注目経路も、パノラマを得た結果として生じる画像のいずれの重複または平行移動も考慮に入れるように調整することができる。

図１０に示すよりも多数または少数の画像を使用することも可能であり、画像および生成される注目経路の性質は限定を意図するものではない。

好ましい一実施形態では、２つの経路は、２つの経路を結合した結果得られる経路が実質的に連続する場合、または２つの画像が結合されてパノラマの一部を形成する際に、各注目経路の末尾間の距離が、たとえば、特定の「ミスマッチしきい値」を下回る場合に、実質的に対応すると言える。このようなしきい値は、たとえば、ｍｍのオーダであってもよく、またはパノラマもしくはその構成画像の画像ディテールの粒度を考慮に入れてケースバイケースで決定してもよい。特定の状況では、上記の組み合わせも適切である場合もある。

映像の場合、本方法は、映像の連続した画像フレームに対して適用することができる。この場合、生成される注目経路は、空間注目経路について説明した上記実施態様とは対照的に、時間的な経路である。より具体的には、注目経路は複数の画像フレームにわたって生成され、各画像フレームは時間に関して可変である。映像の画像の強調注目度マップから、注目位置が、問題となっている画像の最も注目度の高い位置、あるいはユーザからの入力を使用して選択された位置において選択され、これは、上述した方法に従ってランク付けされた位置に基づくことができる。

映像を構成する他の画像の位置が選択され、次いで、これら位置を繋ぐ注目経路が生成される。したがって、映像の注目部分のみが表示されるように、映像を構成する画像を「通して」ズームインウィンドウを平行移動させることができる。

連続した各画像をこの様式で処理する必要はない。特定の状況では、たとえば、６枚毎の画像を処理することのみが適切または望ましいであろう。注目経路はそれでも、映像のすべての画像に延びることができるが、この例では、画像を通る経路を画定するポイントはしたがって、６枚毎の画像においてのみ発生する。

図１１は、映像を構成する複数の画像の線図である。このような５つの画像１１０１、１１０３、１１０５、１１０７、および１１０９がある。映像内にははるかに多数のこのような画像が存在することが理解されよう。明確にするために、５つの画像のみを示す。

図１１の例では、各画像１１０１、１１０３、１１０５、１１０７、および１１０９は、その画像の注目度場を使用して選択されたポイント１１１１、１１１３、１１１５、１１１７、１１１９を含む。各ポイントは、その特定の画像内で最も注目度の高いポイントであってもよく、または画像１１０１、１１０３、１１０５、１１０７、および１１０９を通る連続した注目経路を画定するのに最も適した各画像内のポイントであってもよい。いずれの場合でも、映像に生成された経路に対して、平滑な曲線を要件とする等、特定の制約を課すことができる。これにより、或る例では経路が注目度最大をわずかに「外れ」ることが必要になり、それにより、注目経路の「ぎくしゃくした」部分が、選択された画像位置の閲覧に有害な影響を与える閲覧装置に使用する注目経路により適した平滑な曲線を提供することが必要になり得る。

経路を生成する際に、他の制約／基準を課すことも可能である。たとえば、所望の画像ポイント１１１１、１１１３、１１１５、１１１７、１１１９を通るが、平滑であり、したがって求められる次数まで連続した導関数を有する最小距離の曲線であるように経路を制約することができる。注目経路を生成する際に、他の制約／基準を適用することも可能であることが当業者により理解されよう。

図１２は、本方法の一態様に対応するフローチャートである。

１２０１において、画像（図示せず）の注目度マップが生成される。１２０３において、画像の注目部分の関係が注目度マップを使用して求められ、１２０５において、注目部分から注目度場が生成される。１２０７において、画像の注目経路が注目度場を使用して構築される。

本方法の一態様に対応するフローチャートである。 本方法の一態様に対応するフローチャートである。 本方法により動作可能な装置の概略図である。 一実施形態による画像例である。 一実施形態により画像に生成された注目度マップ例である。 一実施形態によるグループ化核の線図である。 対応する注目度マップに重ねられた、一実施形態によるグループ化ベクトル場の一例である。 対応する注目度マップに重ねられた、一実施形態による強調グループ化ベクトル場の一例である。 一実施形態による対応する注目経路をさらに示す対応する注目度マップが重ねられた、一実施形態による強調グループ化ベクトル場の線図である。 本方法の一態様を表すフローチャートである。 重ねられた注目経路および対応する表示部分を有する画像である。 複数の関連画像に適用される本方法の線図である。 複数の関連画像に適用される本方法の線図である。 本方法の一態様に対応するフローチャートである。

符号の説明

３０１・・・撮像要素
３０３・・・レンズ
３０５・・・フィルタ
３０７・・・画像センサ
３１１・・・デジタル信号プロセッサ
３１３・・・バスまたはそれと同様のもの
３１７・・・メモリ
３１９・・・中央演算処理装置
５０１・・・ポイントＡでの最強応答
５０３・・・ポイントＢでの強い正の構成要素
５０５・・・ポイントＣでの最強応答
５０７・・・負の寄与
６０１・・・グループ化場に含まれるベクトル
６０３・・・強調ベクトル
７００・・・画像
７０１・・・注目経路
７０３・・・注目部分
９００・・・画像
９０１・・・注目経路
９０３・・・表示される部分
９０５・・・線
９０７・・・線
１００１・・・画像
１００３・・・画像
１００５・・・画像
１００７・・・画像
１１０１・・・画像
１１０３・・・画像
１１０５・・・画像
１１０７・・・画像
１１０９・・・画像
１１１１・・・画像内のポイント
１１１３・・・画像内のポイント
１１１５・・・画像内のポイント
１１１７・・・画像内のポイント
１１１９・・・画像内のポイント

Claims (34)

1. 少なくとも１つの画像の画像データを処理する方法であって、
   前記画像データから選択された前記少なくとも１つの画像の注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分それぞれに対する少なくとも１つの注目度ベクトルを、コンピュータによって生成することと、
   前記少なくとも１つの注目度ベクトルに従って、前記画像の少なくとも１つの注目経路を構築することと、
   前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記少なくとも１つの注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
   を含む、画像データを処理する方法。
2. 少なくとも１つの各方位選択的重み付け関数を使用して、前記選択された注目部分の配置および注目度に関連する前記データを重み付けすることをさらに含む、請求項１記載の画像データを処理する方法。
3. 前記方位選択的重み付け関数は、二次元レムニスケートガウス核である、請求項２記載の画像データを処理する方法。
4. 前記注目経路上にある前記画像の部分を表示することをさらに含む、請求項１記載の画像データを処理する方法。
5. 前記画像の前記選択された注目部分の配置および注目度に関連する前記データを使用して、前記画像の局所最大注目度に関連するデータを生成することをさらに含む、請求項１記載の画像データを処理する方法。
6. 前記局所最大注目度は、所定のしきい値を上回る注目度を有する、請求項５記載の画像データを処理する方法。
7. コンピュータによって、画像を処理する方法であって、
   前記画像の画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、注目度マップを生成することと、
   前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の関係を示す注目度場を生成することと、
   前記生成された注目度場が示す注目部分の方位に従って、前記画像の第１の注目経路を構築することと、
   前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記第１の注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
   を含む、画像を処理する方法。
8. 前記注目度マップの離散データをバイナリデータに変換して、前記画像の局所最大注目度を求めることをさらに含み、前記画像の注目部分の関係を求めることは、前記求められた局所最大注目度を畳み込み演算して、前記画像の注目部分の前記関係を求めることを含む、請求項７記載の画像を処理する方法。
9. 前記画像の前記注目部分の前記関係は、グループ化核を使用して求められる、請求項７記載の画像を処理する方法。
10. 前記注目部分の関係を求めることは、
    前記グループ化核から方位選択的グループ化核のセットを生成すること、
    前記注目度マップおよび各方位選択的グループ化核を使用して、前記方位のそれぞれにおける前記画像の前記注目部分の前記関係を含む注目度場のセットを生成すること、および
    前記注目度場から複合注目度場を生成すること、
    をさらに含む、請求項９記載の画像を処理する方法。
11. 前記注目度マップは、前記画像の前記局所最大注目度のマップである、請求項１０記載の画像を処理する方法。
12. 前記画像の閲覧ウィンドウを画定すること、および
    前記第１の注目経路に沿って前記画像にわたって前記閲覧ウィンドウを移動させること、
    をさらに含む、請求項７記載の画像を処理する方法。
13. 前記画像は二次元であり、前記閲覧ウィンドウのエリアは前記画像のエリアよりも小さい、請求項１２記載の画像を処理する方法。
14. 前記グループ化核はレムニスケートガウス核である、請求項７記載の画像を処理する方法。
15. 前記生成された注目度場が示す注目部分の方位に従って、前記画像に少なくとも１つの第２の注目経路を生成することをさらに含み、前記第２の注目経路は、前記第１の注目経路と異なる、請求項７記載の画像を処理する方法。
16. 好ましい注目経路についての情報を受け取ること、および
    前記好ましい注目経路に関連する情報を使用して、前記第１の注目経路または前記第２の注目経路から経路を選択すること、
    をさらに含む、請求項１５記載の画像を処理する方法。
17. 前記好ましい注目経路についての前記情報は、
    経路長、
    前記経路の全体の注目度、
    前記経路の曲率、
    前記画像のエッジに対する前記経路の近接度、
    前記画像の注目部分閲覧に利用可能な時間、および／または
    利用可能なディスプレイサイズ
    のうちの少なくとも１つを含む、請求項１６記載の画像を処理する方法。
18. 前記画像とは別の画像に前記第２の注目経路を生成することをさらに含み、
    前記第１の注目経路の終点は、前記第２の注目経路の始点に対応するように調整されうる、請求項７記載の画像を処理する方法。
19. 前記別の画像は、前記画像と結合され、パノラマ画像を形成する、請求項１８記載の画像を処理する方法。
20. コンピュータによって、パノラマ画像を形成する複数の画像にわたる注目経路を生成する方法であって、
    前記画像それぞれの画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、前記画像それぞれの注目度マップを生成することと、
    前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の前記関係を示す前記画像のそれぞれの注目度場を生成することと、
    前記生成された注目度場それぞれが示す注目部分の方位に従って、前記画像のそれぞれに少なくとも１つの注目経路を生成することと、
    前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
    を含み、
    前記注目経路の終点は、この注目経路の画像と結合してパノラマ画像の少なくとも一部を形成する別の画像の注目経路の始点と対応するように調整される、複数の画像にわたる注目経路を生成する方法。
21. 以下の基準：
    前記経路が結合されたときに連続する、
    前記経路間のミスマッチがミスマッチしきい値を下回る、
    のうちの少なくとも１つが満たされる場合、２つの経路は互いに対応する、請求項２０記載の複数の画像にわたる注目経路を生成する方法。
22. 少なくとも１つの画像を処理する装置であって、
    前記画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも１つの注目度ベクトルを生成し、前記少なくとも１つの注目度ベクトルに従って、前記画像の少なくとも１つの注目経路を構築し、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記少なくとも１つの注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択する処理システムを備えた、
    装置。
23. 前記装置のディスプレイを使用して前記画像の少なくとも一部を表示するように動作可能である、請求項２２記載の少なくとも１つの画像を処理するようになっている装置。
24. 前記画像の閲覧に利用可能な時間長に関連するデータを受け取り、前記受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能なプロセッサをさらに備える、請求項２３記載の少なくとも１つの画像を処理するようになっている装置。
25. 画像の画像データから特徴量を抽出し、前記抽出した特徴量に基づいて、注目度マップを生成することと、
    前記注目度マップの離散データをバイナリデータに変換して、畳み込み演算を行うことにより、前記画像の注目部分の関係を示す注目度場を生成することと、
    前記生成された注目度場が示す注目部分の方位に従って、前記画像の注目経路を構築することと、
    前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択することと
    を備える装置。
26. 前記注目経路に沿って前記画像の少なくとも一部を表示するようにさらに動作可能である、請求項２５記載の装置。
27. 前記画像の閲覧に利用可能な時間長に関連するデータを受け取るように動作可能なプロセッサをさらに備える、請求項２５記載の装置。
28. 前記プロセッサは、前記受け取ったデータに基づいて前記画像の表示部分を決定するように動作可能である、請求項２７記載の装置。
29. 少なくとも１つのユーザ操作インタフェースをさらに備え、前記装置は、前記ユーザ操作選択装置から受け取るデータに基づいて、前記画像を処理するように動作可能である、請求項２５記載の装置。
30. 前記少なくとも１つのユーザ操作インタフェースは、多方位ボタンであり、前記データは前記ボタンの起動方位に関連する、請求項２９記載の装置。
31. 前記ユーザ操作インタフェースは、前記装置のメニューシステムを制御するようになっており、前記メニューシステムは、前記装置の前記プロセッサの機能を制御するように動作可能であり、前記メニューシステムは、生成された注目経路のパラメータに関連するメニュー項目を含む、請求項２９記載の装置。
32. 前記インタフェースを使用して選択された前記メニュー項目に基づいて、前記画像の少なくとも一部の表示を容易にするように動作可能である、請求項３１記載の装置。
33. コンピュータ可読媒体に記憶されるプログラムであって、コンピュータに、画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも１つの注目度ベクトルを生成させ、前記注目度ベクトルに従って、前記画像の注目経路を構築させ、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記構築された注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択させるように構成された命令を含む、コンピュータ可読媒体に記憶されるプログラム。
34. 画像の選択された注目部分の方位、この方位の大きさ、配置および注目度に関連するデータを含む、前記注目部分に対する少なくとも１つの注目度ベクトルを生成させ、前記注目度ベクトルに従って、前記画像の注目経路を構築させ、前記画像が供給された装置の表示画面の特性上、前記画像を直接表示させることができないと判断した場合に、前記構築された注目経路に基づいて、前記画像から、前記表示画面に表示させる部分を選択させるように動作するように構成される論理回路。

Images