JP2000512833A

JP2000512833A - 単眼視キューの統合による奥行き知覚の改善

Info

Publication number: JP2000512833A
Application number: JP10545736A
Authority: JP
Inventors: カサンドラターナースウェイン
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1997-04-18
Filing date: 1998-03-09
Publication date: 2000-09-26
Also published as: EP0919042A1; CA2258014C; WO1998048381A1; US6157733A; CA2258014A1

Abstract

(57)【要約】一つ以上の単眼視キューをオリジナル画像から抽出して組み合わせ、奥行き効果を向上させる。オリジナル画像を獲得し、一つ以上のオブジェクトにセグメンテーションする。オブジェクトが、前景または背景のいずれに存在するかが識別され、注目オブジェクトが識別される。次に、一つ以上の奥行きキュー、たとえば、陰影、輝度、ぼかし、および遮蔽などをオリジナル画像より抽出する。奥行きキューは、改善された奥行き効果を有する一つ以上の中間画像とすることができる。次に、奥行きキューが、組み合わされ、または適用され、奥行き効果を向上させた画像が生成される。

Description

【発明の詳細な説明】単眼視キューの統合による奥行き知覚の改善背景本発明は、画像処理に関し、特に、単独の２次元画像から得られる単眼視キュー（ｃｕｅ）を使用し奥行き知覚を改善する新規な手法に関する。従来、２次元画像から奥行きを認識する機能は、両眼視法によって実現されてきた。両眼視法は、Ｄ．ＭａｒｒとＴ．Ｐｏｇｇｉｏによる“ＣｏｏｐｅｒａｔｉｖｅＣｏｍｐｕｔａｔｉｏｎｏｆＳｔｅｒｅｏＤｉｓｐａｒｉｔｙ” 、Ｓｃｉｅｎｃｅ、１９４巻２８３〜２８７ページ（１９７６）およびＳ．ＢａｒｎａｒｄとＭ．Ｆｉｓｃｈｌｅｒによる“ＣｏｍｐｕｔａｔｉｏｎａｌＳｔｅｒｅｏ”、ＣｏｍｐｕｔｉｎｇＳｕｒｖｅｙｓ、１４巻、４号、５５３〜５７２ページ（１９８２年１２月）に論じられている。両眼視奥行きキュー、たとえばディスパリティ（ｄｉｓｐａｒｉｔｙ）、は多数の画像（すなわち、ステレオペアの画像）および対応点の突き合わせを必要とし、計算が複雑であり誤りを犯しやすいタスクである。ごく最近、研究者は、異なるアパーチャを使用し画像を比較する単眼視法を開発した。この方法は、Ａ．Ｐｅｎｔｌａｎｄによる“ａＮｅｗＳｅｎｓｅＦｏｒＤｅｐｔｈｏｆＦｉｅｌｄ”、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ、９巻、４号（１９８７年７月）およびＧ．ＳｕｒｙａとＭ．Ｓｕｂｂａｒａｏによる“ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓＢｙＣｈａｎｇｉｎｇＣａｍｅｒａＡｐｅｒｔｕｒｅ：ＳｐａｔｉａｌＤｏｍａｉｎＡｐｐｒｏａｃｈ”、ＰｒｏｓｅｅｄｉｎｇｓｏｆＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ、６１〜６７ページ（１９９３年）に論じられている。単眼視奥行きキュー、たとえば、ぼかし（ｂｌｕｒ）は、奥行きを認識するために使用されてきた。これらの手法においては、点の突き合わせは必要でないが、奥行き知覚のために多数の画像が必要とされる。研究者は、両眼視キューと単眼視キューの統合に注目し始めた。幾人かの研究者は、キューを組み合わせた結果によって、２次元画像から奥行きを認識することを研究した。この形式の研究の例には、たとえば、Ｎ．Ｇｅｒｓｈｏｎによる “Ｖｉｓｕａｌｉｚｉｎｇ３ＤＰＥＴＩｍａｇｅｓ”、ＩＥＥＥＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ、１１巻、３号、１１〜１３ページ（１９９１年）、およびＳ．ＭａｒａｐａｎｅとＭ．Ｔｒｉｖｅｄｉによる“ＡｎＡｃｔｉｖｅＶｉｓｉｏｎＳｙｓｔｅｍＦｏｒＤｅｐｔｈＥｘｔｒａｃｔｉｏｎＵｓｉｎｇＭｕｌｔｉ−ＰｒｉｍｉｔｉｖｅＨｉｅｒａｒｃｈｉｃａｌＳｔｅｒｅｏＡｎａｌｙｓｉｓａｎｄＭｕｌｔｉｐｌｅＤｅｐｔｈＣｕｅｓ”、ＳＰＩＥ、ｖｏｌ．１９５６、２５０〜２６２ページ（１９９３年）などがある。このほかに、これらの異なるキューが、どのように相互作用し奥行き効果を生成するかを研究したものもある。これらの研究においては、両眼視キューは、２次元画像の奥行き知覚において重要であり大きな寄与を果たすものと考えられてきた。しかし、前述したように、これらのキューを抽出するために多数の画像が必要とされる。この種の研究の例には、Ｒ．Ｓｕｒｄｉｃｋらによる“ＲｅｌｅｖａｎｔＣｕｅｓＦｏｒｔｈｅＶｉｓｕａ１ＰｅｒｃｅｐｔｉｏｎｏｆＤｅｐｔｈ：ＩｓＷｈｅｒｅＹｏｕＳｅｅＩｔＷｈｅｒｅＩｔＩｓ？”、Ｐｒｏｃｅｅｄｉｎｇｓｏｎｔｈｅ３８ｔｈＭｅｅｔｉｎｇＯｎＨｕｍａｎＦａｃｔｏｒｓａｎｄＥｒｇｏｎｏｍｉｃｓＳｏｃｉｅｔｙ、１３０５〜１３０９ページ（１９９４年）、Ｒ．Ｓｒｉｎｉｖａｓａｎらによる“ＣｏｍｐｕｔｉｎｇＳｕｒｆａｃｅＩｎｆｏｒｍａｔｉｏｎＦｒｏｍＭｏｎｏｃｕｌａｒａｎｄＢｉｎｏｃｕｌａｒＣｕｅｓＦｏｒＶｉｓｉｏｎＡｐｐｌｉｃａｔｉｏｎｓ”、Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２７ｔｈＣｏｎｆｅｒｅｎｃｅｏｆＤｅｃｉｓｉｏｎａｎｄＣｏｎｔｒｏｌ、１０８５〜１０８９ページ（１９８８年）、およびＳ．Ｄａｓらによる“ＤｙｎａｍｉｃＩｎｔｅｇｒａｔｉｏｎｏｆＶｉｓｕａｌＣｕｅｓＦｏｒＰｏｓｉｔｉｏｎＥｓｔｉｍａｔｉｏｎ”、ＳＰＩＥ、ｖｏｌ．１３８２、３４１〜３５２ページ（１９９０年）が含まれる。したがって、単独の画像から得られる単眼視キューのみを使用して奥行き知覚を改善する方法が必要とされている。発明の概要本発明による画像処理方法は、画像を変形し奥行き効果を強調するものであり、単独の画像から抽出される単眼視キューのみを使用して先行技術を改善する。本発明による画像処理技術は、単独の２次元画像からの一つ以上の奥行きキューを抽出し、次に、これらのキューを組み合わせ、３次元効果を生成することを含む。最初に、オリジナル画像が獲得され、メモリに記憶される。次に、オリジナル画像中のオブジェクトが識別され、セグメンテーションが行われる。オリジナル画像中の各オブジェクトを識別するセグメンテーションマップを生成してもよい。次に、オリジナル画像中の各オブジェクトは、前景または背景のいずれかに存在するとして識別される。（通常は前景に含まれる）注目オブジェクトが、識別される。次に、一つ以上の奥行きキュー、たとえば、陰影、輝度、ぼかしおよび遮蔽のキューが、オリジナル画像から抽出される。奥行きキューは、改善された奥行き効果を有する一つ以上の中間画像の形式とすることができる。陰影は、前景の注目オブジェクトに形状を抽出し、この形状を暗色化し陰影のようにグレーとすることによって生成することができる。中間陰影画像は、暗色化した陰影を背景または一つ以上の背景オブジェクトに適用し、陰影付け効果を創成することによって生成される。中間輝度画像は、注目オブジェクトの相対強度すなわち輝度を増加させることによって生成することができる。中間ぼかし画像は、オリジナル画像をぼかし処理すること、または注目オブジェクト以外のすべてのオブジェクトをぼかし処理することによって生成される。一つ以上の中間画像を組み合わせて、組み合わせ画像を生成することができる。次に、組み合わせ画像は、注目オブジェクトを拡大することによって、さらに強調されるので、組み合わせ画像中の他のオブジェクトはさらに隠されることになる。中間画像を並行して生成するよりもむしろ、中間画像を生成することなく、４種のキューのそれぞれが順次に抽出され、オリジナル画像に適用されるようにすることができる。奥行き効果の向上を実現するために、４種の奥行きキューすべてを適用することは必ずしも必要ではない。一つ以上キューを適用し奥行きを強調することができる。複数の奥行きキューを組み合わせて最適結果を得ることが望ましい。図面の簡単な説明図１は、本発明の実施形態に従って、単眼視キューを使用して画像を変形し、奥行き知覚を改善する作業を示す流れ図である。図２Ａおよび２Ｂは、本発明の実施形態に従って、注目オブジェクトの陰影を生成し、背景オブジェクト上に陰影を投影する方法を示す図である。図３は、本発明の実施形態に従って、画像のサイズを増大または縮小させる方法を示す図である。図４Ａから４Ｅまでは、本発明の実施形態に従って、奥行き知覚を向上させるための、ぼかし、陰影、および輝度奥行きキューの適用処理を説明するための図である。図５Ａから５Ｄまでは、本発明の実施形態に従って、奥行き知覚を向上させるための、ぼかしおよび遮蔽奥行きキューの適用処理を説明するための図である。図６は、本発明を具体化するために使用することができるコンピュータシステムの実施形態を示すブロック図である。詳細な説明各図面の符号は、同じ数字は同じ要素を示す。図１は、本発明の実施形態に従つて、単眼視キューを使用して画像を変形し、奥行き知覚を改善する処理の流れを示す流れ図である。奥行きキューを使用して、奥行きおよび次元が認識される。本発明は、単独の２次元画像から奥行きキューを抽出すること、および、次に、これらのキューを組み合わせ３次元効果を生成することを含む。図１に示す実施形態においては、奥行き知覚を改善するために使用される奥行きキューは、陰影、輝度、ぼかし、および遮蔽である。他の奥行きキューも使用することができる。図１について述べると、ステップ１１０において、カメラまたは類似の装置を使用し、画像が獲得される。このオリジナル画像をディジタル化し（ディジタル形式になっていない場合）、メモリに記憶させる。画像は、ＮＸＮ画素のビットマップ画像とすることができる。各画素は、単色画像の場合は、その画素に関連する強度すなわち輝度を有し（すなわちグレースケール）、カラー画像の場合は、その画素に関連するカラーを有する。単色画像の各画素は、たとえば、８ビットを使用して表すことが可能であり、これによれば、０から２５５までの２５６の強度値が与えられ、０は最も暗いすなわち最低の強度であり、２５５は最も明るいすなわち最高の強度である。本発明の実施形態は単色画像の観点から述べるが、本発明はカラー画像にも同様に適用できる。ステップ１２０において、オリジナル画像はセグメンテーションにより一つ以上のオブジェクトに分けられる。画像内のオブジェクトは、利用可能な技術を使用してセグメンテーションすることができる。たとえば、ある技術を使用し、幾つかのオブジェクトの別々の画像（たとえば、人間、本および机）を、別々に獲得しメモリに記憶することができる。次に、コンピュータによって、別々の各画像のオブジェクトをオリジナル画像のオブジェクトと突き合わせる（すなわち、オブジェクトの形状とカラー／強度の少なくとも一方を突き台わせる）ことによって、オリジナル画像の各オブジェクトを識別することができる。オブジェクトをセグメンテーションする第２の手法は、同じ（または、ほぼ同じ）強度またはカラーを有し、互いに極めて近接している画素をセグメンテーションすなわちグループ化することである。検出される運動に基づいてオブジェクトをセグメンテーションする第３の手法を使用することもできる。この第３手法を使用し、同じ画像の複数の連続するフレームを、一定の期間、同じ点から撮り、記憶させることができる。各フレームの対応する画素の強度または色を比較し、変化した（運動を示す）画素を識別する。変化しかつ互いに極めて近接している画素群は、一つ以上のセグメンテーションされたオブジェクトとして一緒にグループ化することができる。オブジェクトのセグメンテーションが完了すると、オリジナル画像中の各オブジェクトの位置および境界を識別するセグメンテーションマップが、各セグメンテーションされたオブジェクトに対して生成される。セグメンテーションマップは、たとえば、オブジェクトが白（すなわち、２５５の画素値）であり他は黒である２値画像とすることができる。次に、オリジナル画像の各オブジェクトは、前景または背景のいずれかに存在するものとして識別される。この識別は、オリジナル画像をマニュアルで検査することによって実行することができる。また、オリジナル画像の一つ以上の注目オブジェクトを識別することもできる。通常、注目オブジェクトは、画像の前景内の人間またはアイテムである。ステップ１３０において、注目オブジェクト（すなわち前景のオブジェクト）の陰影が、オリジナル画像から生成される。陰影処理（すなわち、陰影の使用）によって、奥行き知覚が改善される。なぜなら、陰影を投影するオブジェクトは、必ず陰影が投影されたオブジェクトの前に見えるためである。陰影は、前景中の注目オブジェクトの形状を抽出し、それを暗色化し陰影のようなグレーとすることによって生成することができる。次に、ステップ１４０において、生成された陰影は、オリジナル画像の背景オブジェクトに適用され、中間陰影画像が生成される。背景オブジェクトが自分の上に陰影が投影をされるほど十分に接近している場合には、陰影処理を使用し奥行き知覚を改善することが極めて有効である。背景オブジェクトが注目オブジェクトから余りにも離れているときは、結果として、陰影キューを使用することが有効でない場合がある。ステップ１５０において、オリジナル画像の前景の注目オブジェクトの輝度または強度が増加され、中間輝度画像が生成される。輝度キューの場合は、比較的近いオブジェクトは、遠いオブジェクトより明るく見える。したがって、本発明によって、比較的近いオブジェクトの強度を増大させることによって、それらのオブジェクトの輝度が誇張される。たとえば、一つ以上の注目オブジェクトのすべての画素を、２０だけ増大させることができる（０から２５５の範囲の画素強度に対して）。前景の注目オブジェクトの位置に比べて背景オブジェクトの相対位置の如何に関わらず、常に、輝度を使用して奥行き知覚を改善することができる。代替方法としては、注目オブジェクト以外のすべてのオブジェクトの強度を低下させて輝度効果を実現することができる。ステップ１６０において、一つ以上のオブジェクトがぼかし処理され、中間ぼかし画像が生成される。ぼかしは、画像の詳細を失わせる手法である。ぼかしキューの場合は、オブジェクトに焦点が合わされると、他のオブジェクトはぼかされることになる。ぼかしの量は、焦点の合わされたオブジェクトからの奥行きによって変わる。本発明においては、一つ以上のオブジェクト（またはその一部）がぼかし処理され、画像中のオブジェクトの奥行きが誇張される。ぼかし処理は、注目オブジェクトの相対位置に関係なく、常時、使用することができる。ぼかし処理は、奥行き知覚を向上させる場合に、最も有効なキューである。異なるぼかし処理技術を使用し、画像中のオブジェクトの奥行きを誇張することができる。第１のぼかし処理技術においては、注目する前景オブジェクトはオリジナル画像から除去される。残りの画像が、次に、ぼかし処理される。次に、注目オブジェクトが残りの画像の上にスーパーインポーズされ、中間ぼかし画像が生成される。この代わりの方法においては、注目する前景オブジェクトを除去することが必要でない。（焦点を合わされた）注目の前景オブジェクトをコピーし、次に、それを、全体的にぼかし処理した画像の上にスーパーインポーズし、所望の奥行き効果を実現することができる。第２のぼかし処理技術は、画像の放射状ぼかしを使用する。オリジナル画像上の観察者に最も近い点、たとえば、本の端部または人間の鼻が選択される。選択された点はぼかし処理されない。なぜなら、この点は画像の最も近い点であり、焦点を合わされた状態のままであるためである。オリジナル画像全体は、選択された点から外側になるほど強く、すなわち放射状に強くぼかし処理される。画像のぼかし処理の量は、選択された点からの距離に比例して増大される。この代わりの方法として、画像全体（選択された点または領域以外）を固定量だけぼかし処理することもできる。また、ぼかし処理画像は、単独点光源に対するカメラの応答である。この応答は、カメラ点像分布関数（ＰＳＦ）、ｈ（ｘ、ｙ）と呼ばれる。この関数はガウス関数として近似することが可能であり、ぼかし処理された画像ｇ（ｘ、ｙ）は、焦点を合わされたオリジナル画像ｆ（ｘ、ｙ）をＰＳＦｈ（ｘ、ｙ）によってコンボリューション演算することによって生成することができる。ｇ（ｘ、ｙ）＝ｆ（ｘ、ｙ）＊ｈ（ｘ、ｙ）ここで、ｘおよびｙは画像中の位置を示す指標であり、σはぼかしに影響を及ぼすために利用者によって選択される定数である。ガウス関数においては、σは分散である。前述したｈ（ｘ、ｙ）に関する式において、σはぼかし処理される画素の幅すなわち範囲に影響を及ぼす。ステップ１７０において、３種の奥行き強調した中間画像のすべてが組み合わされる。それら中間画像は、３種の中間奥行き強調画像から得られる互いに対応する画素の値同士を加算することによって、加法的に組み合わせることができる。次に、累積された画素値の各々は３で除算される。したがって、組み合わせ画像を生成するために、陰影キュー、輝度キュー、およびぼかしキューからの寄与が等しく存在する。代わりの方法として、キューを不均等に重み付けすることもできる。たとえば、ぼかしは最も有効なキューであるので、ぼかしキューに他のキューより大きな重みを与えることができる。たとえば、これは、中間ぼかし画像の画素値に２を乗じ、この中間ぼかし画像の画素値を他の中間画素値に加え、次に、累積された画素値を４で除し、ぼかしキューにより大きい重みを付けることができる。この例において、ぼかしキューの寄与は５０％であるが、一方、陰影キューおよび輝度キューの寄与はそれぞれ２５％である。ステップ１８０において、前景の注目オブジェクトがサイズを増大され、組み合わせ画像におけるさらにより多くの他のオブジェクトを遮蔽すなわち遮る。遮蔽は、被遮蔽オブジェクトが遮蔽オブジェクト（注目オブジェクト）からさらに引き離されることを意味する。本発明による一実施形態によれば、前景の注目オブジェクトを拡大またはサイズを増大させることによって遮蔽効果を生成し、前景の注目オブジェクトが一層近接したように見せる。代わりの方法として、残りの（背景）オブジェクトのサイズを縮小することにより、同じ遮蔽効果を与えることができる。要求はされないが、ステップ１８０（遮蔽）は、他の３種のキューを組み合わせた後（奥行きの質を向上させた中間画像）、実行することが望ましい。なぜなら、ステップ１８０は画像の幾何形状を変更するからである。図１の方法は、単独の画像から抽出される単眼視キューを使用し、画像の奥行き知覚を改善する本発明による一実施形態を示すに過ぎない。本発明によれば、単眼視キューを使用する、図１に類似の別の方法を使用して奥行き知覚を改善することができる。たとえば、図１の実施形態は４種のキュー（陰影、輝度、ぼかしおよび遮蔽）をすべて使用し、奥行き知覚を改善するが、一つ以上の奥行きキューの任意の組み合わせを使用して奥行き知覚を改善することができる。これらのキューは、オリジナル画像に対しいかなる順序で実行または適用してもよい。また、図１に示す方法によれば、ステップ１４０、１５０、および１６０と並行して３種の中間画像が生成される。この代わりに方法、中間画像を生成することなしに、各奥行きキューをオリジナル画像に対し、連続的すなわち逐次的に、適用することもできる。図２Ａおよび２Ｂは、注目オブジェクトの陰影を生成し、陰影を、背景オブジェクト上に投影する実施形態を示す図である（図１のステップ１３０および１４０）。図２Ａおよび２Ｂについて述べると、注目オブジェクト（たとえば、人間）２１０は、前景に位置する。人間の陰影２２０は、背景中の人間２１０の後ろ奥行きＺ_moveの所に位置し、奥行き知覚が改善される。光源（たとえば、太陽またはランプ）が存在し、Ｚ方向に対して角度θで下方に照射し（図２Ａ）、Ｙ方向に対して角度αで下方に照射する（図２Ｂ）ものと仮定する。Ｚ_move、α、およびθは、例えば、実験に基づいて、最も効果的に奥行き知覚を改善するように、人間により選択される。一度、陰影２２０の奥行きＺ_move、角度α、およびθが選択されると、三角法を使用し、画像中の人間２１０から、陰影２２０をどの程度Ｘ（高さ）方向に変位すべきか（Ｘ_move）、および陰影をどの程度Ｙ（幅）方向に変位すべきか（Ｙ_move ）を、決定することができる。言い換えれば、値Ｘ_moveおよびＹ_moveは、人間２１０を基準とする陰影２２０の画像中の位置を示す。三角法を使用し、Ｘ_moveは、Ｘ_move＝Ｚ_moveｔａｎθ として求めることができる。したがって、利用者が、光源または太陽をθ＝１０ °として、画像中の人間２１０の背後５フィート（１．５２ｍ）に陰影を投影することを望む場合は、陰影２２０は、Ｘ_move＝５フィート（ｔａｎ１０°）＝０．８８フィート（０．２７ｍ）だけ、人間２１０より短いことになる。画像に陰影を配置するために、フィート単位のＸ_moveの値を画素に変換する必要がある。Ｘ方向の陰影２２０の画素変位は、次式によって求めることができる。Ｘ_pixels＝（Ｘ_move）（１フィート当たりの画素の数）たとえば、画像中に１フィートごとに１００画素が存在する場合は、陰影２２０は、Ｘ_pixels＝０．８８（１００画素／フィート）＝８８画素だけ画像中の人間２１０より低い。同様に、Ｙ_moveは、次式により求めることができる。Ｙ_move＝Ｘ_move/ｔａｎα また、画素単位の陰影２２０のＹ変位は、同様に、次式によって求めることができる。Ｙ_pixels＝（Ｙ_move）（１フィート当たりの画素の数）陰影２２０は、人間２１０の形状を抽出し、人間２１０の形状中の画素を暗色化し、陰影２２０を生成することによって、生成され画像に適用される。暗色化され陰影２２０を生成する画素は、画像中において、計算された陰影位置（Ｘ_pi _xels ，Ｙ_pixels）に配置されることになる。たとえば、計算された陰影位置に配置される画素は、５０画素値（０〜２５５のスケール上において）だけ暗色化（暗く）され、人間２１０の形状の陰影２２０を生成する。生成された陰影は、画素を相対陰影位置（Ｘ_pixels，Ｙ_pixels）においてあるグレーレベルまで暗色化することによって、オリジナル画像中のその相対陰影位置に配置される。前景には、陰影を背景オブジェクト上に投影することが望ましい幾つかのオブジェクトが存在する場合がある。このような場合、前記オブジェクトの組み合わされた形状を使用して陰影を生成し、背景上に投影することが望ましい。図３は、注目オブジェクトの相対サイズを増大させ、組み合わせ画像中のさらに多くの他のオブジェクトを遮蔽する実施形態を示す図である（図１のステップ１８０）。図３について述べると、ステップ３１０において、通常、０から２の範囲のズーム係数が選択される。たとえば、０．８のズーム係数は、画像をオリジナルのサイズの８０％に縮小し、一方、１．５のズーム係数は、画像のサイズをオリジナルのサイズの１５０％に増大させる。たとえば、１．３のズーム係数を使用し、前景の注目オブジェクトのサイズを３０％だけ増大させることができるので、画像中のより多くの残りオブジェクトが遮蔽される。このような場合、注目オブジェクトのみがサイズを増大される。拡大された前景オブジェクトは、次に、画像にスーパーインポーズ（重畳）され、遮蔽効果が得られる。たとえば、０．７のズーム係数を使用し、注目オブジェクト以外のすべてのオブジェクトのサイズを縮小することができる。このような場合、画像（注目オブジェクト以外の）は、オリジナルのサイズの７０％に縮小（すなわち、逆ズーム）されることになる。次に、前景の注目オブジェクト（オリジナルのサイズを有する）が、縮小された画像にスーパーインポーズされ、遮蔽効果が生成される。図３のステップ３２０において、ズーム係数が１以上であるか否かが決定される。ズーム係数が１以上である場合は、これはズーム操作（オブジェクトまたは画像のサイズの増大）を示し、流れはステップ３３０に進む。ステップ３３０において、注目オブジェクトは、ズーム係数に基づいて、ズーム、すなわちサイズを拡大される。ズーム係数が１未満である場合は、これは画像またはオブジェクトに関する逆ズーム操作を示し、流れはステップ３４０に進む。ステップ３４０において、画像またはオブジェクトは、逆ズーム（縮小）される。画像をスーパーサンプリングすることによって、画像をズームすることができる。この技術を使用し、オリジナル画像の各画素を１回以上複製し、画像のサイズが増大される。画像をサブサンプリングすることによって、画像は、サイズを逆ズームすなわち縮小することができる。この技術を使用し、画像中の複数の画素を抽出し、単一の画素に置換することができる。たとえば、オリジナル画像を３画素ごとに複製して、逆ズーム（縮小）された画像を生成（他の２画素は削除）することが可能であり、また、３画素ごとに平均して単一の画素値を求め、それら３画素と置換することができる。本発明によるズーム／逆ズーム操作のために、下記のアルゴリズムすなわちコードを使用することができる。１ｚｏｏｍ＝１．２；（この例においては、ズームは１．２に設定される）２ｆｏｒ（ｉ＝ｘ；ｉ＜ｘ＋ｓｉｚｅＸ；＋＋ｉ）３｛４ｆｏｒ（ｊ＝ｙ；ｊ＜ｙ＋ｓｉｚｅＹ；＋＋ｊ）５｛６ｆｏｒ（ｋ＝０．０；ｋ＜ｚｏｏｍ；ｋ＋＝１．０）；７Ｆｏｒ（Ｌ＝０．０，Ｌ＜ｚｏｏｍ；Ｌ＋＝１．０）；（ズームされる必要がある水平及び垂直空間に対して）９｛１０ｉｆ（（ｉｎｔ）ｓｅｇｍｅｎｔＭａｐ［ｉ］［ｊ］＝＝２５５）１１ＮｅｗＩｍａｇｅ［（ｉｎｔ）（ｍ＋ｋ）］［（ｉｎｔ）（ｎ＋Ｌ）］＝１２ＯｌｄＩｍａｇｅ［ｉ］［ｊ］；１３｝１４ｎ＋＝ｚｏｏｍ；（新画像の次の水平位置に移動する；ズームを繰１５り返す。）１６｝１７ｍ＋＝ｚｏｏｍ；ｎ＝０．０；１８｝（新画像の次の垂直位置に移動する；ズームを繰１９り返す）。前記のアルゴリズムによって、ズームが１より大きいか（ズーム操作の場合）または１未満であるか（逆ズーム）により、オブジェクトをスーパーサンプリングまたサブサンプリングする一実施形態が提供される。オリジナル画像すなわち旧画像は、（ｓｉｚｅＸ，ｓｉｚｅＹ）のサイズである。この例において、２０％だけズームされる予定（ｚｏｏｍ＝１．２）である旧画像のオブジェクトは、セグメンテーションマップ（ｓｅｇｍｅｎｔＭａｐ）によって識別される。ズームする必要があるオブジェクトは、セグメンテーションマップにおいて白（２５５の画素値）であり、マップ中の他のすべては黒である。前記のアルゴリズムの１０行から１２行までにおいて、画素ｉ、ｊがズームされるべきオブジェクトの一部である場合は、次に、画素ｉ、ｊは、新画像（ｎｅｗＩｍａｇｅ）の位置ｍ＋ｋ、ｎ＋１に複写される。オリジナル画像（ｏｌｄＩｍａｇｅ）の画素ｉ、ｊは、新画像に、垂直および水平方向に“ｚｏｏｍ”回、コピーされる。図４Ａから４Ｅまでは、ぼかし、陰影、および輝度奥行きキューを適用し、奥行き知覚を向上させる例を示す図である。図４Ａは、人のオリジナル画像であり、人は画像の前景にある注目オブジェクトである。図４Ｂは、中間ぼかし画像を示す図であり、この図においては、人間の鼻の部分を除いてオリジナル画像全体がぼかし処理されている。この図によって、鼻が、画像の他の項目よりも観察者に近接した外観が提供されるので、奥行きが強調される。図４Ｃは、人間の形状の陰影をオリジナル画像に投影することによって実現される中間陰影画像を示す図である。この場合、陰影は、人間の外形すなわちプロフィールの一部の形状である。図４Ｄは、中間輝度画像を示す図であり、この図は、オリジナル画像の人間の強度すなわち輝度を増大させ、一方、画像の残りの部分（すなわち、画像の背景）の強度を減少させて実現される。図４Ｅは、図４Ｂ、４Ｃ、および４Ｄに示した奥行きキューに基づいて、奥行き知覚を向上させた画像を示す図である。図４Ｅの画像は、図４Ｂ、４Ｃ、および４Ｄの中間画像を組み合わせることによって実現される。図５Ａから５Ｄまでは、ぼかしおよび遮蔽奥行きキューの適用によって、奥行き知覚を向上させる例を示す図である。図５Ａは、オリジナル画像であり、前景にある本の一部（注目オブジェクト）、およびＭＡＴＬＡＢボックスなどの幾つかの背景オブジェクトを含む。図５Ｂは、オリジナル画像のすべてのオブジェクトがぼかし処理された中間ぼかし画像を示す図である。図５Ｃは、中間遮蔽画像を示す図であり、この図においては、前景の本（注目オブジェクト）のみがズーム、すなわちサイズを増大されている。図５Ｄは、図５Ｂおよび５Ｃに示した奥行きキューに基づいて、奥行き知覚を向上させた画像を示す図である。図５Ｄの画像は、図５Ｂおよび５Ｃの中間画像を組み合わせることによって実現される。図５Ｂおよび５Ｃを組み合わせるために、拡大すなわちズームされた前記オブジェクトのみが、図５Ｂの中間ぼかし画像にスーパーインポーズされるので、背景のオブジェクトがさらに遮蔽されるとともに、背景オブジェクトのぼかしが強化されている。図６は、本発明を実施するために使用できるコンピュータシステムの実施形態を示すブロック図である。コンピュータシステム６００は、従来のコンピュータシステムであり、内部のプロセッシング構成要素および記憶構成要素を収容するコンピュータシャシ６０２を備え、シャシ６０２は、ソフトウェアおよび他の情報を記憶するハードディスクドライブ（ＨＤＤ）６０４、ＨＤＤ６０４に接続される中央演算処理装置（ＣＰＵ）６０６を含み、中央演算処理装置は、たとえば、ＩｎｔｅｌＣｏｒｐｏｒａｔｉｏｎ製のＰｅｎｔｉｕｍ（登録商標）であり、ソフトウェアを実行し、コンピュータシステム６００の操作全体を制御する。画像プロセッサ６０７は、ＣＰＵ６０６に接続され、受け取った画像を処理する。コンピュータシステム６００は、ランダムアクセスメモリ（ＲＡＭ）６０８、読み取り専用メモリ（ＲＯＭ）６１０、アナログディジタル（Ａ／Ｄ）変換器６１２、およびディジタルアナログ（Ｄ／Ａ）変換器６１４も備え、これらもＣＰＵ６０６および画像プロセッサ６０７に接続される。コンピュータシステム６００は、ＣＰＵ６０６および画像プロセッサ６０７に接続される幾つかの追加構成要素、たとえば、ビデオ画像などの情報を利用者に表示するモニタ６１６、たとえば、ビデオ画像を撮像するためのカメラ、スキャナなどのビデオ入力装置６１８、オーディオを出力するためのスピーカ６２０、オーディオを入力するためのマイクロホン６２２、キーボード６２４、およびマウス６２６も備える。コンピュータシステム６００は、また、コンピュータシステム６００をコンピュータネットワークリンクを経由して他のコンピュータに接続するネットワークインタフェース６２８を備える。コンピュータネットワークリンクは、一つ以上の多様なネットワークリンク、たとえば、インターネット、およびイントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）など含むことができる。ネットワークインタフェース６２８は、従来のインタフェース、たとえば、ローカルエリアネットワーク（ＬＡＮ）に接続するためのイーサネットカード、インターネットに接続するためのモデム、などとすることができる。コンピュータシステム６００の幾つかの構成要素は、従来の様式によって、たとえば、データバス、アドレスバス、および制御バスなどの一つ以上のバスを経由して互いに接続することができる。ビデオ入力装置６１８は、一つ以上のビデオ画像を受け取る。受け取った画像がアナログ形式である場合は、各画像はＡ／Ｄ変換器６１２に送られ、ビットマップ画像が生成される。ディジタルビットマップ画像は、次に、ＨＤＤ６０４に記憶され処理される。ビデオ入力装置６１８がディジタルビットマップ画像を出力する場合は、この画像は、Ａ／Ｄ変換器６１２を使用することなく、ＨＤＤ６０４に記憶される。ＣＰＵ６０６の制御下において、画像プロセッサ６０７は、受け取った画像に変更を加え、奥行き効果を向上させる。一実施形態においては、画像プロセッサ６０７は、複数の奥行きキュー、たとえば、陰影、輝度、ぼかし、および遮蔽のためのキューを生成する。各奥行きキューは、中間奥行き強調画像の形をとり、メモリに記憶することができる。次に、それら各奥行きキューが組み合わされ、奥行き効果が向上した画像が生成される。本発明の利点は、単一の２次元画像から得られる単眼視キューを使用し奥行き効果を向上させることである。たとえば、２次元画像を獲得し、一つ以上の単眼視キューをその画像から得ることができる。次に、単眼視キューを組み合わせて奥行き効果を向上させ、擬似３次元画像を生成することができる。結果は、非常に改善された奥行き知覚性能を有する２次元画像（すなわち、擬似３次元画像）である。次に、この擬似３次元画像は、コンピュータネットワークを経由し、他のコンピュータネットワークに伝送し、表示することができる。３次元形式の奥行き効果が望ましい多数の応用分野が存在する。しかし、実際の３次元（３Ｄ）画像を提供することは、３次元画像の伝送に必要とされる高いビット速度、または帯域要求のために、多くの場合に実際的でない。このような応用分野には、リアルタイムビデオ伝送、たとえば、コンピュータネットワークによるビデオ会議、およびバーチャルリアリティゲームなどのバーチャルアプリケーションが含まれる。また、本発明による方法は、低ビットレートビデオコーディングおよびビデオ合成において、ＭＰＥＧ４にとって非常に魅力的である。

Claims

【特許請求の範囲】１．単一の２次元画像において単眼視奥行きキューを使用し、前記画像の奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記画像の前景にあり、前記オブジェクトのどれが前記画像の背景にあるかを識別するステップと、前記画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させるステップと、前記画像内の一つ以上の前記背景オブジェクトをぼかし処理するステップと、を含み、前記輝度増大およびぼかし処理のステップによって、前記画像に関する奥行き知覚を改善することを特徴とする方法。２．請求の範囲１に記載の方法において、さらに、前記画像内の一つ以上の前記前景オブジェクトの陰影を生成するステップと、前記画像内の一つ以上の前記背景オブジェクト上に、生成された陰影を投影するステップと、を含むことを特徴とする方法。３．請求の範囲１に記載の方法において、さらに、前記画像において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて、増大させるステップを含むことを特徴とする方法。４．単一の画像において単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、画像は一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記画像の前景にあり、前記オブジェクトのどれが前記画像の背景にあるかを識別するステップと、前記画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させるステップと、前記画像内において、一つ以上の前記前景オブジェクトの陰影を生成するステップと、前記生成された陰影を、前記画像内の一つ以上の前記背景オブジェクト上に投影するステップと、を含み、前記輝度増大、陰影生成、および陰影投影のステップによって、前記画像に関する奥行き知覚を改善することを特徴とする方法。５．請求の範囲４に記載の方法において、さらに、前記画像において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップを含むことを特徴とする方法。６．単一の画像について、単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記画像の前景にあり、前記オブジェクトのどれが前記画像の背景にあるかを識別するステップと、前記画像内の一つ以上の前記背景オブジェクトをぼかし処理するステップと、前記画像内の一つ以上の前記前景オブジェクトの陰影を生成するステップと、前記生成された陰影を、前記画像内の一つ以上の前記背景オブジェクトに投影するステップと、を含み、前記ぼかし処理、陰影生成、陰影投影のステップによって、前記画像に関する奥行き知覚を改善することを特徴とする方法。７．請求の範囲６に記載の方法において、さらに、前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップを含むことを特徴とする方法。８．単一の画像において単眼視奥行きキューを使用し、前記画像の奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させるステップと、前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップと、を含み、前記輝度増大およびサイズ増大のステップによって、前記画像に関する奥行き知覚を改善することを特徴とする方法。９．単一の画像において、単眼視奥行きキューを使用し、前記画像の奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記画像内の一つ以上の前記背景オブジェクトをぼかし処理するステップと、前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップと、を含み、前記ぼかし処理およびサイズ増大のステップによって、前記画像に関する奥行き知覚を向上させることを特徴とする方法。１０．単一の画像において単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記画像内の一つ以上の前記前景オブジェクトの陰影を生成するステップと、前記生成された陰影を、前記画像内の一つ以上の前記背景オブジェクトに投影するステップと、前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップと、を含み、前記陰影生成、陰影投影、およびサイズ増大のステップによって、前記画像に関する奥行き知覚を向上させることを特徴とする方法。１１．単一の画像において単眼視奥行きキューを使用し、前記画像の奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させるステップと、前記画像内の一つ以上の前記背景オブジェクトをぼかし処理するステップと、前記画像内の一つ以上の前記前景オブジェクトの陰影を生成するステップと、前記生成された陰影を、前記画像内の一つ以上の前記背景オブジェクトに投影するステップと、前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズに比べて増大させるステップと、を含み、前記輝度増大、ぼかし処理、陰影生成、陰影投影およびサイズ増大のステップによって、前記画像に関する奥行き知覚を向上させることを特徴とする方法。１２．請求の範囲１１に記載の方法において、前記セグメンテーションのステップは、強度に基づいて、互いに極めて接近している類似の画素をまとめてグループ化するステップを含み、前記画素グループの各々はセグメンテーションされた１つのオブジェクトを含むことを特徴とする方法。１３．請求の範囲１１に記載の方法において、前記セグメンテーションのステップは、同一点から、画像の複数の連続するフレームを得るステップと、前記複数のフレームの各々の対応画素同士を比較するステップと、この比較のステップに基づいて、変化した画素を識別するステップと、近接しており変化した画素群をまとめてグループ化するステップと、を含み、前記画素グループの各々はセグメンテーションされた１つのオブジェクトを含むことを特徴とする方法。１４．単一の画像において単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置するオリジナル画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記オリジナル画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させることによって中間輝度画像を生成するステップと、前記オリジナル画像内の一つ以上の前記背景オブジェクトを選択してぼかし処理することによって中間ぼかし画像を生成するステップと、中間陰影画像を生成するステップであって、ａ）前記オリジナル画像内の一つ以上の前記前景オブジェクトの陰影を生成するステップ、およびｂ）前記生成された陰影を、前記オリジナル画像内の一つ以上の前記背景オブジェクトに投影するステップ、を実行するステップと、前記中間輝度画像、前記中間ぼかし画像、および前記中間陰影画像を組み合わせ、奥行き知覚を向上させた単一の最終画像とするステップと、を含むことを特徴とする方法。１５．単一の画像において単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それらオブジェクトのうち少なくとも一つが注目オブジェクトである画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトから、注目オブジェクトと、注目オブジェクトでない残りのオブジェクトとを識別するステップと、前記一つ以上の注目オブジェクトの輝度を、前記注目オブジェクトでない前記画像内の残りのオブジェクトの輝度に比べて増大させるステップと、前記注目オブジェクトでない残りのオブジェクトをぼかし処理するステップと、前記画像内において、前記一つ以上の注目オブジェクトの陰影を生成するステップと、生成された前記注目オブジェクトの陰影を、前記注目オブジェクトでない前記画像内の前記一つ以上の残りのオブジェクト上に、投影するステップと、前記一つ以上の注目オブジェクトのサイズを、前記注目オブジェクトでない前記画像内の前記一つ以上の残りのオブジェクトのサイズに比べて増大させるステップと、を含み、前記輝度増大、ぼかし処理、陰影生成、陰影投影、およびサイズ増大のステップによって、前記画像に関する奥行き知覚を向上させることを特徴とする方法。１６．単一の画像において単眼視奥行きキューを使用し、前記画像に関する奥行き知覚を改善する方法であって、前記方法は、一つ以上のオブジェクトを含み、それら各オブジェクトが前景または背景のいずれかに位置する画像を獲得するステップと、前記画像内の前記一つ以上のオブジェクトをセグメンテーション処理するステップと、前記オブジェクトのどれが前記前景にあり、前記オブジェクトのどれが前記背景にあるかを識別するステップと、前記画像内において前景オブジェクトの背景オブジェクトに対する見え方を調整するために、以下のａ）からｄ）までよりなるグループ、すなわちａ）前記画像内において、一つ以上の前記前景オブジェクトの輝度を、一つ以上の前記背景オブジェクトの輝度に比べて増大させるステップ、ｂ）前記画像内において、一つ以上の前記背景オブジェクトをぼかし処理するステップ、ｃ）前記画像内の一つ以上の前景オブジェクトの陰影を生成し、生成された陰影を、前記画像内の一つ以上の前記背景オブジェクト上に投影するステップ、およびｄ）前記画像内において、一つ以上の前記前景オブジェクトのサイズを、一つ以上の前記背景オブジェクトのサイズと比べて増大させるステップ、からなるグループから選択される少なくとも２つの処理を実行するステップと、を含むことを特徴とする方法。