JP6370708B2 - 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成 - Google Patents

例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成 Download PDF

Info

Publication number
JP6370708B2
JP6370708B2 JP2014540159A JP2014540159A JP6370708B2 JP 6370708 B2 JP6370708 B2 JP 6370708B2 JP 2014540159 A JP2014540159 A JP 2014540159A JP 2014540159 A JP2014540159 A JP 2014540159A JP 6370708 B2 JP6370708 B2 JP 6370708B2
Authority
JP
Japan
Prior art keywords
depth
image
feature
dimensional image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014540159A
Other languages
English (en)
Other versions
JP2014532941A (ja
Inventor
デバーガ・ムクハージー
チェン・ウー
メン・ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2014532941A publication Critical patent/JP2014532941A/ja
Application granted granted Critical
Publication of JP6370708B2 publication Critical patent/JP6370708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

本開示は、画像処理の分野に関し、詳細には、平面ビジュアルコンテンツの立体3Dへの変換に関する。
表示技術の進歩により、3次元(3D)の奥行きの立体的知覚を視野に伝達することができる表示装置が、ますます一般的になっている。これらの3D表示は、高解像度(HD)テレビ受像機、ゲーム装置および他のコンピュータ装置で見ることができる。3D表示がますます多くなることにより、さらなる3Dのビジュアルコンテンツ(たとえば画像、映像)が要求されている。従来、3Dコンテンツの生成は、時間のかかる困難な処理であった。コンテンツクリエータは、たとえば2つのカメラを使用して対象を取り込み、それぞれのカメラからの映像または画像を結合して、3D効果が正確に見えるように特別なソフトウェアを用いることになる。これには、一般に、長期にわたる、技術的に高度で高くつく手作業が含まれる。さらに、2次元(2D)の画像および映像を3Dに変換するための従来の技法は、多数の画像または映像を変換するのに必要とされる時間およびリソースを考慮すると、スケーラブルでない可能性がある。それに加えて、従来の技法は、特殊型式の画像および映像の変換に限定されていて、一般的な2Dから3Dへの変換タスクには用いられ得ない。
以下は、本開示のいくつかの態様の基本的理解を提供するための、本開示の簡単な要約である。この要約は、本開示の広汎な概要ではない。この要約は、本開示の主要な要素または重要な要素を明らかにするものではなく、本開示の特定の実装形態の何らかの範囲または何らかの特許請求の範囲を線引きするように意図されたものでもない。その唯一の目的は、後に示されるより詳細な説明に対する前置きとして、本開示のいくつかの概念を簡単な形で示すことにある。
一実装形態では、画像コンバータは、第1の3次元画像に変換すべき2次元画像を受け取る。画像コンバータは、第2の3次元画像と関連した近似の奥行きマップに基づいて、特徴から奥行きへのマッピング関数を計算する。画像コンバータは、2次元画像の複数のピクセルに対して特徴から奥行きへのマッピング関数を適用して、複数のピクセルのそれぞれについて奥行き値を求め、2次元画像の複数のピクセルについての奥行き値に基づいて、第1の3次元画像を生成する。
一実装形態では、方法は、第1の3次元画像に変換すべき2次元画像を受け取るステップと、第2の3次元画像と関連した近似の奥行きマップに基づいて、特徴から奥行きへのマッピング関数を計算するステップと、2次元画像の複数のピクセルに対して特徴から奥行きへのマッピング関数を適用して、複数のピクセルのそれぞれについて奥行き値を求めるステップと、2次元画像の複数のピクセルについての奥行き値に基づいて、第1の3次元画像を生成するステップとを含む。
本開示が、限定するためではなく例として、添付図面の図に示されている。
本開示の態様が実施され得る例示的ネットワークアーキテクチャを示すブロック図である。 一実装形態による、例示的な類似画像と関連した近似の奥行きマップを用いて奥行きマップを生成する画像コンバータを示すブロック図である。 一実装形態による、特徴から奥行きへのマッピングのために領域に分割された画像を示す図である。 一実装形態による画像変換処理の流れを示すブロック図である。 一実装形態による、特徴から奥行きへのマッピング関数を示す図である。 一実装形態によって計算された奥行きマップを示す図である。 一実装形態による画像変換の方法を示す流れ図である。 一実装形態による、特徴から奥行きへのマッピング関数を計算する方法を示す流れ図である。 一実装形態による、入力画像に対して特徴から奥行きへのマッピング関数を適用する方法を示す流れ図である。 一実装形態による、色ビン-奥行きビン間の1次元線形補間を示す図である。 本開示の一態様によるコンピュータシステムの一実装形態を示すブロック図である。
2次元(2D)入力画像に対して奥行きマップを生成するための実装形態が説明される。奥行きマップは、2次元の入力画像を3次元(3D)の出力画像に変換するのに用いられ得る。2Dの入力画像はユーザによって与えられてよく、または利用可能な画像のデータベースから選択されてもよい。本明細書で説明される画像コンバータは、3Dの画像を記憶している別のデータベースにアクセスしてもよい。これらの3Dの画像は、初めから3Dで取り込まれたものでも、あらかじめ2Dから3Dに変換されたものでもよい。画像コンバータは、2Dの入力画像に視覚的に類似した3Dの例画像をデータベースから識別することができる。視覚的に類似した画像は、2Dの入力画像と、類似した色、類似した対象、類似した位置に取り込まれてよいことなどの複数の特徴を共有し得る。本明細書には、説明を明確にするための例として、特に画像に関連した詳細を提供するが、そのような詳細は、たとえば映像、ドキュメント、テキスト(たとえばツイート)、フラッシュコンテンツなどといった他のタイプの媒体にも同様に適宜、適用可能であり得ることを理解されたい。
視覚的に類似した例画像が3D画像であるので、画像に関する奥行き情報が知られ得る。奥行き情報が分かっていないか、または容易に利用可能でない場合、奥行き補間技術を用いて計算してよい。奥行き情報は、奥行きマップの形で記憶されてよい。奥行きマップは、画像に対して3Dの効果を与えるのに用いられる3Dの例画像の各ピクセルに関する奥行き値を含むことができる。奥行きマップは、3Dの例画像に関連しているので、2Dの入力画像に直接関連付けられることにはならない。したがって、奥行きマップは、2Dの入力画像に関して近似の奥行きマップと称されてもよい。しかし、3Dの例画像が視覚的に2Dの入力画像に似ているので、近似の奥行きマップは、2Dの入力画像に対して最終的な奥行きマップを生成するための優れた起点になり得る。
一実装形態では、画像コンバータは、3Dの例画像および近似の奥行きマップを用いて、3Dの例画像の各ピクセルまたはピクセルのグループの色などの特徴値を、奥行き値に関係付ける、特徴から奥行きへのマッピング関数を生成することができる。画像コンバータは、2Dの入力画像の各ピクセルの奥行き値を生成するために、この関数を2Dの入力画像の既知の特徴値に対して適用することができる。これらの奥行き値は、2Dの入力画像に対する最終的な奥行きマップを形成することができる。画像コンバータは、最終的な奥行きマップを用いて、2Dの入力画像に基づいて3Dの出力画像を描画することができる。したがって、2Dの入力画像は、3Dの出力画像に効率的に変換され得る。
本明細書で説明される変換技法の実装形態は、2Dのビジュアルコンテンツの3Dへの全自動の変換を提供するものである。これによって、個人が、高価で時間集約的な、3D画像を取り込む処理、または既存の2Dの画像を手動で3Dに変換する処理を回避することが可能になり得る。視覚的に入力画像に似ている画像に対応する、特徴から奥行きへのマッピング関数を用いると、画像の奥行き値のより正確な予測が可能になる。また、これは、3Dの出力画像のより正確でより現実的な描画をもたらすことができる。それに加えて、比較のために画像の大きなデータベースを利用すると、視覚的に類似した1つまたは複数の画像が見いだされる可能性が高まり、多くのタイプのビジュアルコンテンツの変換が容易になる。一実装形態では、比較用に非常に多くの画像が利用可能である。
図1は、本開示の態様が実施され得る例示的ネットワークアーキテクチャを示すブロック図である。ネットワークアーキテクチャ100は、一実装形態により、1つまたは複数のネットワーク140を通じて1つまたは複数のユーザ装置130、132、134と通信する1つまたは複数のサーバ102を含むことができる。ネットワーク140は、ローカルエリアネットワーク(LAN)、ワイヤレスネットワーク、電話回線網、移動体通信ネットワーク、インターネットなどの広域ネットワーク(WAN)または類似の通信システムであり得る。ユーザ装置130、132、134は、サーバコンピュータ、ゲートウェイコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、移動体通信装置、携帯電話、スマートフォン、ハンドヘルドコンピュータ、タブレットまたは類似のコンピュータ装置を含む任意のタイプのコンピュータ装置であり得る。ユーザ装置130、132、134は、画像、映像などのビジュアルコンテンツを見ることができるように種々の機能を伴って様々に構成され得る。
サーバ102は、ネットワークアクセス可能なサーバベースの機能、種々のデータ格納、および/または他のデータ処理機器を含むことができる。サーバ102は、単一のマシンまたはマシンのクラスタによって実装することができる。サーバ102は、たとえば図9のコンピュータシステム900を含むことができる。一実装形態では、サーバ102は画像コンバータ110および記憶装置120を含む。別の実装形態では、記憶装置120はサーバ102の外部にあってよく、ネットワークまたは他の接続によってサーバ102に接続されてよい。他の実装形態では、サーバ102は、異なる構成要素および/または追加の構成要素を含むことができるが、本開示が不明瞭にならないように、ここでは示されていない。記憶装置120が含むことができる1つまたは複数の大容量記憶装置には、たとえばフラッシュメモリ、磁気ディスクもしくは光ディスク、テープ駆動装置、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能なプログラム可能メモリ(たとえばEPROMおよびEEPROM)、フラッシュメモリ、または任意の他のタイプの記憶媒体が含まれ得る。
一実装形態では、記憶装置120は、複数の3Dの画像ならびに複数の2Dの画像または映像を含んでいる画像データ格納を含む。少なくとも2Dまたは3Dの画像のうちのいくつかについては、関連する奥行きマップも記憶装置120に記憶されてよい。一実装形態では、奥行きマップは、画像の各ピクセル(またはピクセルの各グループ)の奥行き値を含む。別の実装形態では、3Dの画像のそれぞれに対して特徴から奥行きへの所定のマッピング関数を含んでいる特徴から奥行きへのマッピングデータベースが与えられ、記憶装置120に記憶され得る。
画像コンバータ110は、2Dの入力画像を3Dの出力画像に変換するユーザ要求を受け取ることができる。変換すべき2Dの入力画像は、ユーザまたはコンピュータのアプリケーションプログラムによって以前に提供されて記憶装置120に記憶されている画像、またはユーザによって要求とともに提供された画像であり得る。画像コンバータ110は、変換されている2Dの画像に対して視覚的に似ている3Dの1つまたは複数の例画像、および例画像に関連した近似の奥行きマップを識別することができる。例示的な類似画像および関連した近似の奥行きマップは記憶装置120に記憶され得る。視覚的に類似した3Dの例画像は、その例画像が2Dの入力画像と共有する、類似した色、対象、位置、コンテキストなどの特徴によって識別されてよい。近似の奥行きマップは、画像に対して3Dの効果を与えるのに用いられる3Dの例画像の各ピクセル(またはピクセルのグループ)に関する奥行き値を含むことができる。別の実装形態では、近似の奥行きマップは、3Dの例画像に関連付けられるのではなく、ユーザまたは画像コンバータ110によって、2Dの入力画像を3Dに変換するのに用いられる利用可能な奥行きマップの選択肢から選択されてもよい。以下で説明されるように、画像コンバータ110は、近似の奥行きマップを用いて、2Dの入力画像を3Dの出力画像に自動的に変換することができる。
図2Aは、本開示の一実装形態により、例示的な類似画像と関連した近似の奥行きマップを用いて奥行きマップを生成する画像コンバータを示すブロック図である。一実装形態では、画像コンバータ110は、特徴処理モジュール212、特徴から奥行きへのマッピングモジュール214、奥行きマップ生成モジュール216および画像描画モジュール218を含むことができる。モジュールのこの構成は論理的分離であってよく、他の実装形態では、これらのモジュールまたは他の構成要素は、特定の実装形態によって、互いに結合しても、さらなる構成要素へと分離されてもよい。一実装形態では、記憶装置120は、画像コンバータ110によって2Dから3Dへのより正確な変換のために用いられる、画像データ格納222および特徴から奥行きへのマッピングデータベース224を含むことができる。
画像コンバータ110は、3Dの出力画像に変換すべき、2Dの入力画像を(たとえばユーザまたはコンピュータのアプリケーションプログラムから)受け取ることができ、データ格納222の中の例示的な類似画像および関連する近似の奥行きマップを見いだすことができる。一実装形態では、データ格納222からの画像を、変換されている入力画像に似ているものと見なすために、入力画像とデータ格納222からの画像の間で共有されなければならない複数の特徴または特性などの閾値が定義される。一旦、類似画像が識別されると、類似画像と関連した近似の奥行きマップを用いて、3Dの類似画像用の特徴から奥行きへのマッピング関数が求められる。別の実装形態では、3Dの類似画像用の特徴から奥行きへのマッピング関数が前もって求められて、特徴から奥行きへのマッピングデータベース224に記憶されてよい。
一実装形態では、特徴から奥行きへのマッピング関数は、特徴処理モジュール212および特徴から奥行きへのマッピングモジュール214によって求められる。詳細には、一実装形態では、見られたとき奥行きの錯視を生成する立体画像対が、画像データ格納222の各3D画像(または3D映像のフレーム)に含まれているかまたは関連付けられている。一般に、画像対は、(人の眼の間の距離とほぼ等しい)わずかに異なる視点から得られた、同一の対象の2つの画像(たとえば左画像と右画像)を含む。したがって、2つの画像の各ポイントは、視点からポイントへの距離に比例する(ピクセルで測定された)わずかなオフセットを有することになる。このオフセットは視差と称され得る。一実装形態では、3Dの例画像と関連した近似の奥行きマップの中の各ピクセルの奥行き値は、計算された視差に対して等しいかまたは比例するものである。
3Dの例画像用の特徴から奥行きへのマッピング関数を生成するために、3Dの例画像の特徴が、近似の奥行きマップの中の奥行き値に関連付けられてよい。一実装形態では、特徴処理モジュール212は、画像データ格納222から3Dの例画像の1つまたは複数の特徴を識別することができる。一実装形態では、特徴は、例画像の各ピクセルの色値を含んでよい。他の実装形態では、運動(または関連する運動ベクトル)、位置、テクスチャ、エッジ、またはスケールが不変の特徴変換(SIFT)などの画像の特徴に基づく傾斜ヒストグラムなどの他のいくつかの特徴が用いられてよい。本明細書で説明される特徴から奥行きへのマッピングは、これらまたは他の特徴のうちの任意のものとともに用いられてよい。
一実装形態では、特徴処理モジュール212は、色空間(たとえばYUV、RGB、YCbCr)における複数のビンを求めることができる。考慮に入れる色数を減らすためにビニングが用いられてよい。YUVは、たとえば24ビットの色値を有することがあり、これは、一般的な特徴から奥行きへのマッピング関数にとって大きすぎる可能性がある。したがって、特徴処理モジュール212は、別々の色値を結合して、扱いやすい数のビンを得ることができる。画像データ格納222からの例画像については、特徴処理モジュール212は、ピクセルの色値に基づいて、各ピクセルを適切なビンと関連付けることができる。特徴処理モジュール212は、近似の奥行きマップを用いて、特定のビンの各ピクセルの奥行き値を結合して(たとえば平均をとって)、そのビンに関する集合的な奥行き値を生成することもできる。一連のデータポイントが取得されるまで、残りのビンのそれぞれにおいて、色に関して類似の結合を遂行してよい。
特徴から奥行きへのマッピングモジュール214は、画像の1つまたは複数の特徴と特徴処理モジュール212が求めた奥行き値とに基づいて、例画像に関する特徴から奥行きへのマッピング関数を生成することができる。一実装形態では、関数を生成するのに用いられる特徴は色でよい。例画像の各ピクセルは、(たとえば画像のメタデータから求められた)既知の色値を有し、特徴処理モジュール212によって各色ビンについて求められた奥行き値を有してもよい。特徴から奥行きへのマッピング関数は、同一または類似の色を有する画像の対象は同一または類似の奥行き値も有するという仮定に基づいて、同一色または類似色のピクセルに関する奥行き値を凝集することができる。他の実装形態では、特徴から奥行きへのマッピング関数を生成するのに、色の代わりに、または色に加えて、テクスチャ、位置、形状などの他の特徴が用いられてもよい。もたらされる関数は、入力として、最終的に特定のピクセルまたは他のポイントに関する色値(または他の特徴値)を受け取って、そのピクセルに関する奥行き値を出力することができる。特徴から奥行きへのマッピング関数のさらなる詳細が、図4に関して以下で説明される。
一実装形態では、特徴から奥行きへのマッピングモジュール214は、3Dの例画像に対して特徴から奥行きへのマッピング関数を1つだけ生成するのではなく、画像データ格納222の中の単一の例画像に対して複数の特徴から奥行きへのマッピング関数を生成することができる。たとえば画像の別々の領域に対して別々の関数が生成されてもよい。一実装形態では、画像データ格納222からの画像は、論理的に(たとえば2つ、4つといった)複数の領域に分割されてよい。画像は、画像の主要な空間的変化の分布に依拠して、種々のやり方でタイル表示することができる。たとえば、屋外の山と空の画像については、画像を2つの部分、上半分と下半分の画像に水平に分割すれば十分なことがある。屋内の画像については、より多くの空間的構成要素を有する方がより優れていることがあり得、その場合、左半分の画像対右半分の画像が異なる奥行きマッピングを有してもよい。図2Bは、4つの等しい領域252〜258に論理的に分割された例画像250を示す図である。特徴から奥行きへのマッピングモジュール214は、各領域252〜258をそれ自体の個々の画像として扱い、上記で説明されたやり方で、その領域に特有の特徴から奥行きへのマッピング関数を求めることができる。一実装形態では、特徴から奥行きへのマッピングモジュール214は、データベース224の画像の領域に対応する複数の関数を記憶することができる。別の実装形態では、複数の関数が、(たとえば、ピクセルPから各領域C1〜C4の中心への距離に基づく一次結合を用いて)たとえばデータベース224に記憶される単一の関数へと結合されてよい。この一次結合により、種々の領域にわたって特徴から奥行きへのマッピング関数を切り換えることによって生成される「境界効果」が解消され得る。2Dの入力画像に対して特徴から奥行きへのマッピングを適用するとき、最終的な奥行き値は、別々の領域間の補間でよい。ピクセルPに関する奥行き値を計算するとき、領域の中心C1〜C4への距離が最初に計算され、d1、d2、d3およびd4として示されてよい。領域252の特徴から奥行きへのマッピングで、ピクセルPに対する奥行き値v1が与えられる。同様に、他の領域254〜258からの、特徴から奥行きへのマッピングで、v2、v3およびv4が得られる。Pの最終的な奥行き値は、
d1〜d4に反比例するv1〜v4を結合することによって計算されてよく、たとえば次式となる。Pの奥行き=(v1/d1+v2/d2+v3/d3+v4/d4)/(1/d1+1/d2+1/d3+1/d4)
特徴から奥行きへのマッピング関数の生成が完了すると、画像データ格納222からの画像に関する特徴から奥行きへのマッピング関数は、特徴から奥行きへのマッピングのデータベース224の対応するエントリに記憶され得る。一実装形態では、特徴から奥行きへのマッピングデータベース224は、データベースに加えていくつかの他の構造(たとえばキーと値の対のリスト)を有することができる。一実装形態では、特徴から奥行きへのマッピングデータベース224は、(示されたように)個別のデータ構造であり得るが、他の実装形態では、マッピング情報が、画像データ格納222のメタデータに記憶されてもよい。画像コンバータ110は、2Dの入力画像から3Dの出力画像を自動的に生成するのに、特徴から奥行きへのマッピングデータベース224を用いることができる。
一実装形態では、奥行きマップ生成モジュール216は、特徴から奥行きへのマッピングモジュール214が求めた特徴から奥行きへのマッピング関数に基づいて、2Dの入力画像に関する奥行きマップを計算することができる。画像データおよび/または入力画像とともに受け取られたメタデータは、たとえば、入力画像の各ピクセルと関連した色値を含んでよい。次いで、3Dの例画像および近似の奥行きマップに基づいて生成された特徴から奥行きへのマッピング関数に対する入力として色値(または他の適切な特徴値)を適用することにより、各ピクセルに対して奥行き値を計算することができる。奥行きマップ生成モジュール216は、この割出しのための計算を遂行することができ、もたらされる奥行き値(たとえば最終的な奥行きマップ)を記憶装置120に記憶することができる。結果として生じる奥行きマップ510の一例が図5に示されている。
画像描画モジュール218は、入力画像および奥行きマップ生成モジュール216が計算した奥行き値に基づいて3Dの出力画像(すなわち立体画像の対)を描画することができる。一実装形態では、描画モジュール218は、奥行き画像ベースの描画(DIBR)技法を用いて3D画像を生成する。DIBR技法は、別の2Dの画像およびピクセルごとの奥行きマップに基づいて2Dの画像を描画することができる。元の2Dの画像が、3Dの画像を構成する2つの視野のうちの1つになり、DIBRで描画された2D画像は第2の視野になる。一実装形態では、元の2Dの画像が左の視野であり、描画された2D画像が右の視野である。他の実装形態では、これが反対になってもよい。
一例として、ピクセルごとの奥行きマップを仮定すると、それぞれピクセルが左の視野から右視野へどれだけ移動しなければならないかを示す変位マップが生成されてよい。奥行きと変位の間の関係は、ほぼ直線状であり得るが、対象が画面から「出てくる」量または画面の背後に広がって見える量を制御するために、いくつかのパラメータが調節されてもよい。一旦、変位マップが生成されると、右視野を描画するために、ピクセルが左の視野から右の視野へシフトされてよいが、同時に、左の視野マップからの複数のピクセルが、右の同じピクセルへ画像空間を描画する場合、前方にあるピクセルが後部のピクセルを遮るようにする。一旦、すべてのピクセルがシフトされると、描画された右視野の中に、まだいくつかのホールが残されている可能性がある。描画された画像の近接したピクセルからホールを満たすために、塗り直し(画像補間)技法が採用されてよい。これによって、最終的な描画された右視野がもたらされる。高品質描画を生成するために、左の視野およびピクセルごとの奥行きマップに基づいて補間することにより、中間の、より高い解像度のピクセルグリッドで描画されてよい。一旦、描画された画像が、より高い中間解像度で取得されると、これを所望の解像度へ低下させる(scale back)ことができる。一実装形態では、描画された画像は、たとえばクロスバイラテラルフィルタリングを用いてフィルタリングされてよい。クロスバイラテラルフィルタリングは、画像内の対象の寸法形状に関して画像をフィルタリングするやり方である。たとえば、画像がフィルタリングされるとき、エイリアシング、ノイズ、および他の望ましくない特徴を除去するために、ピクセル値が、ピクセルの近隣からの値と結合されることがある。これによって、場合によっては画像内の同一の対象に属さない値の平均をとることになり、したがって、つじつまの合わない値をもたらす可能性がある。クロスバイラテラルフィルタリングは、対象を識別しやすくするために(1つだけでなく)複数のソース画像を用いることにより、これを解決しようとするものである。結果として、フィルタリングするとき、両方のピクセルが同一の対象に属するかどうか判断するために、近隣のピクセル値がそれらのスクリーンスペース距離によって重み付けされてよく、また、奥行きの差を考慮に入れた式を用いることによって重み付けされてもよい。これは、もたらされるフィルタリングされた画像のぶれを防止するのに役立ち得る。
図3は、本開示の一実装形態による画像変換処理の流れを示すブロック図である。種々のモジュールおよび構成要素が、例示的な類似画像に関連した近似の奥行きマップを用いる、入力画像の奥行きマップの生成におけるそれらの役割に関して説明され得る。
一実装形態では、処理の流れ300は、ブロック310で2Dの入力画像を受け取ることから始まる。ブロック320で、例示的な類似画像が識別される。ブロック322で、近似の奥行きマップが識別される。近似の奥行きマップは、例示的な類似画像に関連付けられても、他のいくつかの視覚的に類似した画像に関連付けられてもよい。ブロック330で、この例画像について、特徴から奥行きへのマッピング関数が求められる。特徴から奥行きへのマッピングモジュール214は、例示的な類似画像320の特徴と近似の奥行きマップ322とに基づいて、例示的な類似画像に関する特徴から奥行きへのマッピング関数を求めることができる。ブロック340で、特徴から奥行きへのマッピング関数に基づいて、入力画像に関する奥行きマップが生成される。奥行きマップ生成モジュール216は、奥行き値を求めるために、特徴から奥行きへのマッピング関数に対して入力画像の各ピクセルに関する特徴値(たとえば色)を適用することにより、奥行きマップを生成することができる。ブロック350で、3Dの出力画像360を生成するのに、描画技法(たとえばDIBR)とともに奥行きマップが用いられてよい。
説明を簡単にするために、本開示の流れおよび方法は、一連の動作として描かれかつ記述される。しかし、本開示による動作は、種々の順序で、かつ/または同時に生じる可能性があり、また、本明細書で示されたり説明されたりすることのない他の動作とともに生じる可能性もある。たとえば、例示的な類似画像と関連した、ブロック322における近似の奥行きマップの識別、およびブロック330における特徴から奥行きへのマッピングは、入力画像がブロック310で受け取られてたとえば記憶装置120に記憶される前に生じる可能性がある。一旦、ブロック320で、例示的な類似画像が識別されると、あらかじめ処理された近似の奥行きマップおよび特徴から奥行きへのマッピング関数が取得され得て、ブロック340で奥行きマップを生成するのに用いられ得る。
図4は、本開示の一実装形態による、特徴から奥行きへのマッピング関数を示す図である。この実装形態では、特徴から奥行きへのマッピング関数400は、画像の各ピクセルの色に基づくものである。関数400は、入力として、特定のピクセルまたは他のポイントに関する色値を受け取って、そのピクセルに関する奥行き値を出力することができる。図4は、理解を容易にするために、奥行きを色の関数として1次元で示すものである。当業者なら、実際には、この関数が、多次元の色空間(たとえばYUV、RGB)における類似の特性を示し得ることを理解するであろう。一実装形態では、関数が配慮する色数を減少させるためにビニングが用いられる。YUVは、たとえば24ビットの色値を有することがあり、これは、一般的な特徴から奥行きへのマッピング関数に望まれるものより大きい可能性がある。場合によっては、24ビットの色方式で表される1600万を上回る種々の色により、色から奥行きへのマッピング関数の計算コストおよび消費時間が大きくなりすぎることがある。図4では色値が8つのビン(A〜H)へと減少されているが、他の実装形態では、他のいくつかの数が用いられてもよい。画像データ格納222の画像のうち、色値および奥行き値が既知である1つの画像に関して、特定のビン(たとえばビンA)の色のうちの1つを有する各ピクセルに対応する奥行き値が結合されて(たとえば平均されて)、凝集された奥行き値を生成する。この値は、関数400の一部分として記憶されてよい。一連のデータポイントが取得されるまで、残りのビンのそれぞれにおいて、色に関して類似の結合を遂行してよい。特徴から奥行きへのマッピングモジュール214は、特徴から奥行きへのマッピング関数400を生成するために、多項式適合の一形態(たとえば曲線当てはめ)を遂行することができる。もたらされる関数は、f(color)=depthと表現されてよく、またはYUV色の場合、f(YUV)=depthと表現されてよい。したがって、所与のピクセルに関する奥行き値は、そのピクセルに関するYUV色値の関数として計算することができる。関数400は、特徴から奥行きへのマッピングデータベース224に記憶されてよい。
図5は、本開示の実装形態によって計算された奥行きマップを示す図である。奥行きマップ生成モジュール216は、特徴から奥行きへのマッピングモジュール214が求めた特徴から奥行きへのマッピング関数400などの特徴から奥行きへのマッピング関数に基づいて、入力画像に関する奥行きマップを計算することができる。図5の奥行きマップ510では、シェーディングは、ソース画像500の視点からのシーンオブジェクトの表面の距離に比例する。この実装形態では、より暗い色は、視点により近い奥行きを示し、より明るい色は、より離れた奥行きを示している。他の実装形態では、シェーディングは反対にされてもよい。
図6は、本開示の一実装形態による画像変換のための方法を示す流れ図である。方法600は、ハードウェア(たとえば回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(たとえばハードウェアシミュレーションを遂行するために処理装置上で実行される命令)、またはその組合せを含んでいる処理ロジックによって遂行されてよい。方法600は、1つまたは複数の例示的な類似画像と関連した近似の奥行きマップを用いて、入力画像に関する奥行きマップを生成することができる。一実装形態では、方法600は、図1に示されるような画像コンバータ110によって遂行されてよい。
図6を参照して、方法600は、ブロック610で、3Dに変換するための2Dの入力画像を受け取る。入力画像は、(たとえば画像コンバータ110によって提供されるユーザインターフェースによって)ユーザから、(たとえばAPIなどのアプリケーションインターフェースによって)別のコンピュータアプリケーションプログラムから、または他のいくつかのソースから受け取られてよい。
方法600は、ブロック620で、類似の3Dの画像と関連した近似の奥行きマップに基づいて、(たとえば計算するかまたは記憶装置から取得することにより)入力画像に関する特徴から奥行きへのマッピング関数を識別する。一実装形態では、特徴から奥行きへのマッピングモジュール214は、同一または類似の色を有する画像内の対象は同一または類似の奥行き値も有するという仮定に基づいて、例示的な類似画像の(たとえば色といった)同一の特徴または類似の特徴のピクセルに関する奥行き値を凝集することができる。関数400などのもたらされる関数は、入力として、最終的に、入力画像の特定のピクセルまたは他のポイントに関する色値(または他の特徴値)を受け取って、そのピクセルに関する奥行き値を出力することができる。特徴から奥行きへのマッピング関数は、たとえばデータベース224に記憶されてよい。
方法600は、ブロック630で、ブロック620で識別された特徴から奥行きへのマッピング関数を、入力画像のピクセルに対して適用して、各ピクセルに関する奥行き値を求める。奥行きマップ生成モジュール216は、入力画像に関して結果として生じる奥行きマップを生成することができる。一実装形態では、奥行きマップ生成モジュール216は、ブロック620で生成された特徴から奥行きへのマッピング関数に対して色値(または他の適切な特徴値)を入力として適用することができる。これにより、入力画像の各ピクセルに関する奥行き値が計算される。これらの奥行き値が、関連するピクセルの位置に基づいて結合されて、図5に示されるような奥行きマップ510を形成する。
方法600は、ブロック640で、3Dの出力画像に関する二枚一組の立体画像(stereo pair)を生成する。一実装形態では、画像描画モジュール218は、入力画像、およびブロック630で奥行きマップ生成モジュール216が計算した奥行き値に基づいて3Dの出力画像を描画することができる。一実装形態では、描画モジュール218は、奥行き画像に基づく描画(DIBR)技法を用いて、3Dの画像を生成することができる。一実装形態では、3Dの出力画像は、二枚一組の立体画像を形成するために入力画像と併せて用いられる第2の画像を含む。第2の画像は、実装形態に依拠して、左画像または右画像のいずれでもよく、画像描画モジュール218によって生成され得る。第1の画像と第2の画像は、一緒に3Dの出力画像を形成し得る。3Dの出力画像は、記憶されても、ユーザによる目視のために表示されてもよい。
図7は、本開示の一実装形態によって特徴から奥行きへのマッピング関数を計算するための方法を示す流れ図である。方法700は、ハードウェア(たとえば回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(たとえばハードウェアシミュレーションを遂行するために処理装置上で実行される命令)、またはその組合せを含んでいる処理ロジックによって遂行されてよい。方法700は、平面ビジュアルコンテンツを立体3Dに変換するために用いられる特徴から奥行きへのマッピング関数を生成することができる。一実装形態では、方法700は、図1に示されるような画像コンバータ110によって遂行されてよい。
図7を参照して、方法700は、ブロック710で、画像データ格納222から1つまたは複数の視覚的に類似した画像を識別する。一実装形態では、データ格納222は、特徴の情報(たとえば色)および奥行き値が既知の3Dの画像および/または映像のコーパスを含んでよい。一実装形態では、コーパスは、何百万もの画像および/または映像を含んでいる。指絞法、K最近傍法などの任意数の技法が、視覚的に類似した画像を識別するのに用いられてよい。ブロック720で、方法700は、所与の色空間に対して用いられる複数のビンを識別する。考慮に入れる色数を減らすためにビニングが用いられてよい。色空間がYCbCrである一実装形態では、空間は、Y、CbおよびCrのビンに独立して分割されてよい。一実装形態では、Y成分は32個のビンに分割され、CbおよびCrの成分はそれぞれ16個のビンに分割され、その結果、合計8192個のビンが存在する。他の実装形態では、他の数のビンおよび/または他の色空間が用いられてよい。
方法700は、ブロック730で、ブロック710において識別された例示的な類似画像のピクセルを、ブロック720で識別されたビンと関連付ける。画像データ格納222からの例画像については、特徴処理モジュール212は、ピクセルの色値に基づいて、各ピクセルを適切なビンと関連付けることができる。各ビンは、同一色もしくは類似色(または他の関連した特徴)のピクセルを含んでよい。
方法700は、ブロック740で、各色ビンの奥行き値を求める。たとえば、(Y、Cb、Cr)のビンのそれぞれに対して、複数の奥行き値があり得る。特徴から奥行きへのマッピング関数を生成するのに、(Y、Cb、Crの)ビンそれぞれについて1つの奥行き値だけが用いられてもよい。したがって、1つのビンの奥行き値が、すべて単一の奥行き値へと結合されてよい。一実装形態では、ビンに関して結合した奥行き値は、そのビンにマッピングされたすべての例示的な奥行きの単なる平均である。別の実装形態では、結合された奥行きは、そのビンにマッピングされたすべての例示的な奥行きの中央値である。さらに別の実装形態では、奥行き値のアウトライアを検出するためにRANSAC(Random Sample Consensus)方法が用いられて、インライアの平均が出力される。RANSACの各繰返しについて、奥行き値の総数がN個であると想定し、奥行き値のランダムサブセット(N1個)が選択され、その平均が計算される。この平均の奥行きとすべてのN個の奥行き値の間の差が計算される。閾値より小さな差を有する奥行き値がインライアの組に含まれてよい。インライアの組が変化しなくなったとき、または最大繰返し数に到達したとき、繰返しを停止してよい。インライアの組のサイズがM(Nの百分率として指定されてよい)より大きければ、このインライアの組は有効であると断言され、その平均が、すべての奥行き値の集計として用いられてよい。
ブロック750で、方法700は、各ビンの重み値を計算する。特徴処理モジュール212は、各ビンの重みを計算することができるが、その重みは、そのビンの内部の占有率(occupancy)と任意のビンに関する平均占有率の比の関数である。したがって、例画像にN個のピクセルと合計B個のビンがある場合には、nヒットを有するビン(a bin with n hits)の占有率はn/(BN)である。各ビンの重みは、この占有率、すなわちw(n/(BN))の関数でよい。一実装形態では、この関数はw(x)=1-exp(-kx)であり、kは、小さな占有率についてはw(x)が小さいが、少なからぬ占有率については急速に1に近づくように選択される。別の実装形態では、ノイズによるものであり得る非常に小さな占有率のビンを棄却するために、重み関数w(x)は、xが小さな値未満のとき0であり、そうでなければ1である。
ブロック760で、方法700は、特徴から奥行きへのマッピング関数を生成する。特徴から奥行きへのマッピングモジュール214は、特徴から奥行きへのマッピング関数400を生成するために、多項式適合の一形態(たとえば曲線当てはめ)を遂行することができる。もたらされる関数は、f(color)=depthと表現されてよく、またはYUV色の場合、f(YUV)=depthと表現されてよい。したがって、所与のピクセルに関する奥行き値は、そのピクセルに関するYUV色値の関数として計算される。特徴から奥行きへのマッピングモジュール214は、マッピング関数を平滑化することもできる。マッピング関数にはノイズがあり得るので、モジュール214は、所定の平滑化カーネルを用いてマッピング関数を畳み込み積分することにより(by convolving)、マッピング関数を平滑化することができる。たとえば、ビンjは、その近接したビンの重み付き平均を再割当てされてよく、この重みは、平滑化カーネルと、上記でブロック750において計算された占有率に基づく重みとの積である。一実装形態では、このビンjに関する最終的な奥行き(D)は次式で計算され得る。
Figure 0006370708
この式で、N(j)はビンの近隣を示す。特徴から奥行きへのマッピング関数は、たとえばデータベース224などのデータ格納に記憶されてよい。
図8Aは、本開示の一実装形態による、入力画像に対して特徴から奥行きへのマッピング関数を適用する方法を示す流れ図である。方法800は、ハードウェア(たとえば回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(たとえばハードウェアシミュレーションを遂行するために処理装置上で実行される命令)、またはその組合せを含んでいる処理ロジックによって遂行されてよい。方法800は、入力画像に対して特徴から奥行きへのマッピング関数を適用して、入力画像を立体3Dに変換することができる。一実装形態では、方法800は、図1に示されるような画像コンバータ110によって遂行されてよい。
図8Aを参照して、方法800は、ブロック810で、3Dに変換すべき2Dの入力画像を受け取る。方法800は、ブロック820で、入力画像の各ピクセルの特徴(たとえば色値)を識別する。一実装形態では、特徴データは、画像に関連したメタデータに記憶されてよく、特徴処理モジュール212はこのメタデータから特徴値、たとえば色値、を求めることができる。
方法800は、ブロック830で、(たとえば上記で図7と併せて論じられたように)近似の奥行きマップから求めた特徴から奥行きへのマッピング関数に基づいて、入力画像の各ピクセルの奥行きを計算する。一実装形態では、奥行きマップ生成モジュール216は、特徴空間におけるn線形補間(n-linear interpolation)を遂行して、クエリピクセルの奥行きを得ることができる。たとえば、1次元の場合では、クエリピクセルの実際の値を取り巻く2つのビン中心は、C1およびC2と示されてよい。それらのビンの重み付き奥行き値は、それぞれD1およびD2としてよい。奥行きマップ生成モジュール216は、クエリピクセルと、C1およびC2との間の距離を計算し、それらをそれぞれd1およびd2で示すことができる。奥行きマップ生成モジュール216は、これらの距離を重みとして用い、次のような式を用いて、これらの2つのビン間の奥行き値を補間することができる。
Figure 0006370708
図8Bは、一実装形態による、色ビン-奥行きビン間の1次元線形補間を示す図である。補間値852は、クエリピクセルに関する奥行き値として返されてよい。特徴から奥行きへのマッピングのヒストグラム表現850を用いると、近似されたマッピングは滑らかではない。ビン境界の近くで、奥行き値が急激に変化することがある。一実装形態では、近似されたマッピングに対して補間が用いられ得る。一実装形態では、3Dのマッピング関数f(y、u、v)=dがあるので、マッピングの3つの線の補間が用いられてもよい。特徴は画像内の対象の輪郭を辿る傾向があるので、この方法を用いると、対象の境界を辿る奥行きマップにおける優れたセグメント化が達成され得る。
図8Aを再び参照して、方法800は、ブロック840で、3Dの出力画像に関する二枚一組の立体画像を生成する。一実装形態では、画像描画モジュール218は、入力画像、およびブロック830で奥行きマップ生成モジュール216が計算した奥行き値に基づいて、3Dの出力画像を描画することができる。一実装形態では、描画モジュール218は、奥行き画像に基づく描画(DIBR)技法を用いて、3Dの画像を生成することができる。出力画像は、記憶されても、ユーザによる目視のために表示されてもよい。
図9には、コンピュータシステム900の例示的形態のマシンの図式表示が示されており、その内部では、本明細書で論じた1つまたは複数の方法のうち任意のものをマシンに遂行させるための1組の命令が実行され得る。代替実装形態では、マシンは、ローカルエリアネットワーク(LAN)、イントラネット、エクストラネット、またはインターネットにおける他のマシンに接続(たとえばネットワーク接続)されてよい。マシンは、クライアント／サーバネットワーク環境のサーバもしくはクライアントマシンの容量内で動作してよく、またはピアツーピア(または分散した)ネットワーク環境のピアマシンとして動作してもよい。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブ機器、サーバ、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンが行う動作を指定する1組の命令(シーケンシャルな命令またはその他)を実行することができる任意のマシンでよい。さらに、単一のマシンのみが示されているが、用語「マシン」は、本明細書で論じた方法のうち任意の1つまたは複数を遂行するための1組(または複数の組)の命令を、個々に、または一緒に実行するマシンの任意の集合も含むように理解されるものとする。一実装形態では、コンピュータシステム900は、画像コンバータ110を実行するサーバ102などのサーバを表してよい。
例示的なコンピュータシステム900は、処理装置902、メインメモリ904(たとえば読取り専用メモリ(ROM)、フラッシュメモリ、ダイナミックランダムアクセスメモリ(DRAM)(シンクロナスDRAM(SDRAM)またはRambus DRAM(RDRAM)など)、スタティックメモリ906(たとえばフラッシュメモリ、スタティックランダムアクセスメモリ(SRAM)など)、およびデータ記憶装置918を含み、これらはバス930を介して互いに通信する。本明細書で説明した種々のバスを通じて供給される信号のうち任意のものが、他の信号と時分割多重化され、1つまたは複数の共通バスを通じて供給されてよい。さらに、回路の構成要素またはブロックの間の相互接続は、バスまたは単一信号ラインとして示され得る。あるいは、バスのそれぞれが1つまたは複数の単一信号ラインでもよく、単一信号ラインのそれぞれがバスでもよい。
処理装置902は、マイクロプロセッサ、中央処理装置などの1つまたは複数の汎用処理装置を表す。より詳細には、処理装置は、複雑命令セットコンピューティング(CISC)マイクロプロセッサ、縮小命令型コンピュータ(RISC)マイクロプロセッサ、長大命令語(VLIM)マイクロプロセッサ、または他の命令セットを実施するプロセッサ、または命令セットの組合せを実施するプロセッサでよい。処理装置902は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサなどの1つまたは複数の専用処理装置でもよい。処理装置902は、本明細書で論じた動作およびステップを遂行するための処理ロジック926を実行するように構成されている。
コンピュータシステム900は、ネットワークインターフェース装置908をさらに含んでよい。またコンピュータシステム900は、映像表示装置910(たとえば液晶表示器(LCD)またはブラウン管(CRT))、文字数字入力装置912(たとえばキーボード)、カーソル制御装置914(たとえばマウス)、および信号生成装置916(たとえばスピーカ)を含んでよい。
データ記憶装置918は、本明細書で説明した機能の方法のうち任意の1つまたは複数を具体化する命令の1つまたは複数の組922(たとえばソフトウェア)を記憶している機械可読記憶媒体928を含んでよい。命令922は、コンピュータシステム900による実行中には、メインメモリ904および/または処理装置902の内部に、完全に、または少なくとも部分的に存在してよく、メインメモリ904および処理装置902は、機械可読の記憶媒体も構成する。命令922は、ネットワークインターフェース装置908によって、ネットワーク920を通じて、さらに送信されるかまたは受信されてよい。
機械可読記憶媒体928は、本明細書で説明したように、例示的な類似画像と関連した例示的な近似奥行きマップを用いて、入力画像に関する奥行きマップを生成する方法を遂行する命令を記憶するのに用いられてもよい。例示的な実装形態では、機械可読記憶媒体928が単一の媒体として示されているが、「機械可読記憶媒体」という用語は、命令の1つまたは複数の組を記憶する単一の媒体または複数の媒体(たとえば集中型データベースまたは分散型データベース、および/または関連するキャッシュおよびサーバ)を含むものと理解されたい。機械可読媒体には、マシン(たとえばコンピュータ)による読取りが可能な形態(たとえばソフトウェア、処理アプリケーション)で情報を記憶するための任意のメカニズムが含まれる。機械可読媒体には、それだけではないが、磁気記憶媒体(たとえばフロッピー（登録商標）ディスケット)、光記憶媒体(たとえばCD-ROM)、光磁気記憶媒体、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能なプログラム可能メモリ(たとえばEPROMおよびEEPROM)、フラッシュメモリ、または電子的命令を記憶するのに適する別のタイプの媒体が含まれ得る。
先の記述は、本開示のいくつかの態様をよく理解できるように、特定のシステム、構成要素、方法等の例などの多数の特定の詳細を説明するものである。しかし、本開示の少なくともいくつかの実装形態が、これらの特定の詳細なしで実施され得ることが当業者には明らかであろう。他の例では、本開示を不必要に曖昧にすることのないように、よく知られた構成要素または方法は、詳細には説明されず、または単純なブロック図の形式で示されている。したがって、説明された特定の詳細は単なる例示である。特定の実装形態はこれらの例示的詳細から変化してよく、依然として、本開示の範囲に入るように企図されている。
本明細書を通じて、「一実装形態」または「ある実装形態」に対する参照は、実装形態に関連して説明された特定の特徴、構造または特性が、少なくとも1つの実装形態に含まれることを意味する。したがって、本明細書を通じて、種々の位置における「一実装形態では」または「ある実装形態では」という慣用句の出現は、必ずしもすべてが同一の実装形態を指すわけではない。それに加えて、「または」という用語は、排他的な「または」ではなく、包括的な「または」を意味するように意図されている。さらに、「例示的な」または「例示的」という単語は、本明細書では、例、実例、または具体例として役立つことを意味するのに用いられる。本明細書で「例示的」として説明されるいかなる態様もしくは設計も、必ずしも他の態様もしくは設計より好ましい、または有利であるものと解釈されるべきではない。むしろ、「例示的な」または「例示的」という単語の使用は、概念を具体的なやり方で示すことが意図されている。
本明細書の方法の動作は、特定の順番で示されかつ説明されているが、各方法の動作の順番は、特定の動作が逆順で遂行され得るように、または、特定の動作が少なくとも部分的には他の動作と同時に遂行され得るように、変更されてよい。別の実装形態では、命令または別個の動作のサブ動作は、断続的な、かつ/または交番するやり方でもよい。さらに、開示された対象の態様を実施するのに、示された動作のすべて必要とされるとは限らない可能性がある。それに加えて、当業者なら、これらの方法が、状態図または各イベントによって、一連の相互関係がある状態として代替的に表され得ることを納得し、かつ理解するであろう。さらに、本明細書で開示された方法が、そのような方法をコンピュータ装置に転送したり伝送したりすることを容易にするために製品に記憶され得ることを理解されたい。本明細書で用いられる用語「製品」は、任意のコンピュータ可読装置または記憶媒体からアクセス可能なコンピュータプログラムを包含するように意図されている。
100 ネットワークアーキテクチャ
102 サーバ
110 画像コンバータ
120 記憶装置
130 ユーザ装置
132 ユーザ装置
134 ユーザ装置
140 ネットワーク
212 特徴処理モジュール
214 特徴から奥行きへのマッピングモジュール
216 深さマップ生成モジュール
218 画像描画モジュール
222 画像データ格納
224 特徴から奥行きへのマッピングデータベース
252 領域
254 領域
256 領域
258 領域
300 処理の流れ
310 入力画像(2D)
320 例示的な類似画像
322 近似の奥行きマップ
330 特徴から奥行きへのマッピング
340 奥行きマップ
350 描画
360 出力画像(3D)
400 特徴から奥行きへのマッピング関数
500 ソース画像
510 奥行きマップ
850 特徴から奥行きへのマッピングのヒストグラム表現
852 補間値
900 コンピュータシステム
902 処理装置
904 メインメモリ
906 スタティックメモリ
908 ネットワークインターフェース装置
910 映像表示装置
912 文字数字入力装置
914 カーソル制御装置
916 信号生成装置
918 データ記憶装置
920 ネットワーク
922 命令
926 処理ロジック
928 機械可読記憶媒体
930 バス

Claims (20)

  1. 第1の3次元画像に変換すべき2次元画像を受け取るステップと、
    データ格納の複数の3次元画像から、前記変換すべき2次元画像に視覚的に類似する第2の3次元画像を識別するステップと、
    処理装置で、前記第2の3次元画像と関連した近似の奥行きマップに基づいて、特徴から奥行きへのマッピング関数を計算するステップと、
    前記2次元画像の複数のピクセルに対して前記特徴から奥行きへのマッピング関数を適用して、前記複数のピクセルのそれぞれについて奥行き値を求めるステップと、
    前記2次元画像の前記複数のピクセルについての前記奥行き値に基づいて、前記第1の3次元画像を生成するステップとを含む方法。
  2. 前記特徴から奥行きへのマッピング関数が、第1の色値を有する前記第2の3次元画像の複数のピクセルを、奥行き値に関連付ける請求項1に記載の方法。
  3. 前記第2の3次元画像を複数の領域へと論理的に分割するステップと、
    前記第2の3次元画像と関連した複数の特徴から奥行きへのマッピング関数を計算するステップであって、前記複数の特徴から奥行きへのマッピング関数のそれぞれが、前記第2の3次元画像の前記複数の領域の別々の領域に関連付けられる、ステップとをさらに含む請求項1に記載の方法。
  4. 前記特徴から奥行きへのマッピング関数を計算するステップが、
    前記第2の3次元画像を識別するステップと、
    特徴空間内の複数のビンを識別するステップと、
    前記第2の3次元画像の複数のピクセルを前記複数のビンに関連付けるステップと、
    前記複数のビンのそれぞれについて奥行き値を求めるステップと、
    前記複数のビンのそれぞれについて重み値を求めるステップとを含む請求項1に記載の方法。
  5. 前記特徴から奥行きへのマッピング関数を適用するステップが、
    前記2次元画像の前記複数のピクセルのそれぞれの特徴を識別するステップと、
    前記2次元画像の前記複数のピクセルのそれぞれの奥行き値を計算するステップとを含み、前記複数のピクセルのそれぞれの前記奥行き値を計算するステップが、前記2次元画像の前記複数のピクセルのそれぞれについて、前記奥行き値のn線形補間を計算するステップを含む、請求項1に記載の方法。
  6. 前記特徴から奥行きへのマッピング関数が色空間に基づく請求項1に記載の方法。
  7. 前記色空間がY-Cb-Crである請求項6に記載の方法。
  8. 処理装置と、
    前記処理装置に結合された記憶装置と、
    画像コンバータとを備え、前記画像コンバータが、前記処理装置により、前記記憶装置を使用して、
    第1の3次元画像に変換すべき2次元画像を受け取り、
    前記記憶装置の複数の3次元画像から、前記変換すべき2次元画像に視覚的に類似する第2の3次元画像を識別し、
    前記第2の3次元画像と関連した近似の奥行きマップに基づいて、特徴から奥行きへのマッピング関数を識別し、
    前記2次元画像の複数のピクセルに対して前記特徴から奥行きへのマッピング関数を適用して、前記複数のピクセルのそれぞれについて奥行き値を求め、
    前記2次元画像の前記複数のピクセルについての前記奥行き値に基づいて、前記第1の3次元画像を生成するように実行される、システム。
  9. 前記特徴から奥行きへのマッピング関数が、第1の色値を有する前記第2の3次元画像の複数のピクセルを、奥行き値に関連付ける請求項8に記載のシステム。
  10. 前記画像コンバータがさらに、
    前記第2の3次元画像を複数の領域へと論理的に分割し、
    前記第2の3次元画像と関連した複数の特徴から奥行きへのマッピング関数を識別し、前記複数の特徴から奥行きへのマッピング関数のそれぞれが、前記第2の3次元画像の前記複数の領域の別々の領域に関連付けられる、請求項8に記載のシステム。
  11. 前記特徴から奥行きへのマッピング関数を識別するとき、前記画像コンバータが、
    前記第2の3次元画像を識別し、
    特徴空間内の複数のビンを識別し、
    前記第2の3次元画像の複数のピクセルを前記複数のビンに関連付け、
    前記複数のビンのそれぞれについて奥行き値を求め、
    前記複数のビンのそれぞれについて重み値を求める請求項8に記載のシステム。
  12. 前記特徴から奥行きへのマッピング関数を適用するとき、前記画像コンバータが、
    前記2次元画像の前記複数のピクセルのそれぞれの特徴を識別し、
    前記2次元画像の前記複数のピクセルのそれぞれの奥行き値を計算し、前記複数のピクセルのそれぞれの前記奥行き値を計算することが、前記2次元画像の前記複数のピクセルのそれぞれについて、前記奥行き値のn線形補間を計算することを含む、請求項8に記載のシステム。
  13. 前記特徴から奥行きへのマッピング関数が色空間に基づく請求項8に記載のシステム。
  14. 前記色空間がY-Cb-Crである請求項13に記載のシステム。
  15. 実行されたとき、データ処理システムに、
    第1の3次元画像に変換すべき2次元画像を受け取るステップと、
    データ格納の複数の3次元画像から、前記変換すべき2次元画像に視覚的に類似する第2の3次元画像を識別するステップと、
    処理装置で、前記第2の3次元画像と関連した近似の奥行きマップに基づいて、特徴から奥行きへのマッピング関数を計算するステップと、
    前記2次元画像の複数のピクセルに対して前記特徴から奥行きへのマッピング関数を適用して、前記複数のピクセルのそれぞれについて奥行き値を求めるステップと、
    前記2次元画像の前記複数のピクセルについての前記奥行き値に基づいて、前記第1の3次元画像を生成するステップとを含む方法を遂行させる命令を記憶する非一時的な機械可読記憶媒体。
  16. 前記特徴から奥行きへのマッピング関数が、第1の色値を有する前記第2の3次元画像の複数のピクセルを奥行き値に関連付ける請求項15に記載の非一時的な機械可読記憶媒体。
  17. 前記方法が、
    前記第2の3次元画像を複数の領域へと論理的に分割するステップと、
    前記第2の3次元画像と関連した複数の特徴から奥行きへのマッピング関数を計算するステップであって、前記複数の特徴から奥行きへのマッピング関数のそれぞれが、前記第2の3次元画像の前記複数の領域の別々の領域に関連付けられる、ステップとをさらに含む請求項15に記載の非一時的な機械可読記憶媒体。
  18. 前記特徴から奥行きへのマッピング関数を計算するステップが、
    前記第2の3次元画像を識別するステップと、
    特徴空間内の複数のビンを識別するステップと、
    前記第2の3次元画像の複数のピクセルを前記複数のビンに関連付けるステップと、
    前記複数のビンのそれぞれについて奥行き値を求めるステップと、
    前記複数のビンのそれぞれについて重み値を求めるステップとを含む請求項15に記載の非一時的な機械可読記憶媒体。
  19. 前記特徴から奥行きへのマッピング関数を適用するステップが、
    前記2次元画像の前記複数のピクセルのそれぞれの特徴を識別するステップと、
    前記2次元画像の前記複数のピクセルのそれぞれの奥行き値を計算するステップとを含み、前記複数のピクセルのそれぞれの前記奥行き値を計算するステップが、前記2次元画像の前記複数のピクセルのそれぞれについて、前記奥行き値のn線形補間を計算するステップを含む、請求項15に記載の非一時的な機械可読記憶媒体。
  20. 前記特徴から奥行きへのマッピング関数が色空間に基づく請求項15に記載の非一時的な機械可読記憶媒体。
JP2014540159A 2011-11-02 2012-11-02 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成 Active JP6370708B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161554670P 2011-11-02 2011-11-02
US61/554,670 2011-11-02
US13/478,449 US9471988B2 (en) 2011-11-02 2012-05-23 Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US13/478,449 2012-05-23
PCT/US2012/063435 WO2013067441A1 (en) 2011-11-02 2012-11-02 Depth-map generation for an input image using an example approximate depth-map associated with an example similar image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017182338A Division JP6563453B2 (ja) 2011-11-02 2017-09-22 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成

Publications (2)

Publication Number Publication Date
JP2014532941A JP2014532941A (ja) 2014-12-08
JP6370708B2 true JP6370708B2 (ja) 2018-08-08

Family

ID=48171927

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014540159A Active JP6370708B2 (ja) 2011-11-02 2012-11-02 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成
JP2017182338A Active JP6563453B2 (ja) 2011-11-02 2017-09-22 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017182338A Active JP6563453B2 (ja) 2011-11-02 2017-09-22 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成

Country Status (6)

Country Link
US (2) US9471988B2 (ja)
EP (1) EP2774124B1 (ja)
JP (2) JP6370708B2 (ja)
KR (1) KR102148538B1 (ja)
CN (2) CN111598932A (ja)
WO (1) WO2013067441A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
EP2602997B1 (en) * 2011-12-07 2015-12-02 Thomson Licensing Method and apparatus for processing occlusions in motion estimation
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
US8982185B1 (en) 2012-02-29 2015-03-17 Google Inc. Systems and methods for 2D-to-3D conversion
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
JP6040838B2 (ja) * 2012-08-29 2016-12-07 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、画像処理装置、画像処理方法及び画像処理プログラム
US9311550B2 (en) * 2013-03-06 2016-04-12 Samsung Electronics Co., Ltd. Device and method for image processing
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
EP2806401A1 (en) * 2013-05-23 2014-11-26 Thomson Licensing Method and device for processing a picture
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
KR102115930B1 (ko) * 2013-09-16 2020-05-27 삼성전자주식회사 디스플레이 장치 및 영상 처리 방법
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
US10074158B2 (en) 2014-07-08 2018-09-11 Qualcomm Incorporated Systems and methods for stereo depth estimation using global minimization and depth interpolation
TWI510086B (zh) * 2014-12-03 2015-11-21 Nat Univ Tsing Hua 數位重對焦方法
JP6544978B2 (ja) * 2015-04-15 2019-07-17 キヤノン株式会社 画像出力装置およびその制御方法、撮像装置、プログラム
KR20180094835A (ko) * 2015-08-03 2018-08-24 모하메드 엠. 헤피다 2d에서 3d로의 비디오 프레임 변환
CN106791770B (zh) * 2016-12-20 2018-08-10 南阳师范学院 一种适用于dibr预处理过程的深度图融合方法
KR101947782B1 (ko) 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
JP6340675B1 (ja) * 2017-03-01 2018-06-13 株式会社Ｊストリーム オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
US10552950B2 (en) 2017-05-25 2020-02-04 International Business Machines Corporation Mapping and encoding gemological features
US10887622B2 (en) * 2017-07-05 2021-01-05 Qualcomm Incorporated Division-free bilateral filter
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
CN109754416B (zh) * 2017-11-03 2023-08-04 富士通株式会社 图像处理装置和方法
JP2019144633A (ja) * 2018-02-16 2019-08-29 全友電腦股▲ふん▼有限公司 画像処理方法、および、その画像処理方法を利用する走査システム
WO2019161300A1 (en) 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
CN111095291B (zh) 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
CN110494863B (zh) 2018-03-15 2024-02-09 辉达公司 确定自主车辆的可驾驶自由空间
US10991150B2 (en) 2018-05-09 2021-04-27 Massachusetts Institute Of Technology View generation from a single image using fully convolutional neural networks
CN108932734B (zh) * 2018-05-23 2021-03-09 浙江商汤科技开发有限公司 单目图像的深度恢复方法及装置、计算机设备
CN109035319B (zh) 2018-07-27 2021-04-30 深圳市商汤科技有限公司 单目图像深度估计方法及装置、设备、程序及存储介质
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
CN111837155A (zh) * 2018-12-17 2020-10-27 深圳市大疆创新科技有限公司 图像处理方法及设备
US11182916B2 (en) 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020140047A1 (en) 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
CN109754461A (zh) * 2018-12-29 2019-05-14 深圳云天励飞技术有限公司 图像处理方法及相关产品
WO2020185779A1 (en) 2019-03-11 2020-09-17 Nvidia Corporation Intersection detection and classification in autonomous machine applications
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
US10922877B2 (en) * 2019-07-01 2021-02-16 Samsung Electronics Co., Ltd. Higher-order function networks for learning composable three-dimensional (3D) object and operating method thereof
CN114667437A (zh) 2019-08-31 2022-06-24 辉达公司 用于自主驾驶应用的地图创建和定位
US11978266B2 (en) 2020-10-21 2024-05-07 Nvidia Corporation Occupant attentiveness and cognitive load monitoring for autonomous and semi-autonomous driving applications

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
US7035451B2 (en) 2000-08-09 2006-04-25 Dynamic Digital Depth Research Pty Ltd. Image conversion and encoding techniques
CN1466737A (zh) * 2000-08-09 2004-01-07 动态数字视距研究有限公司 图像转换和编码技术
WO2003036557A1 (en) 2001-10-22 2003-05-01 Intel Zao Method and apparatus for background segmentation based on motion localization
ITRM20030345A1 (it) 2003-07-15 2005-01-16 St Microelectronics Srl Metodo per ricavare una mappa di profondita'
JP4214976B2 (ja) * 2003-09-24 2009-01-28 日本ビクター株式会社 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US7660439B1 (en) 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
JP4898459B2 (ja) 2004-02-17 2012-03-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップの生成
US7675573B2 (en) 2005-02-18 2010-03-09 Genesis Microchip Inc. Global motion adaptive system with motion values correction with respect to luminance level
US7583372B2 (en) 2005-06-01 2009-09-01 Hunter Engineering Company Machine vision vehicle wheel alignment image processing methods
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7804980B2 (en) 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US7860162B2 (en) 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
EP1806697B1 (en) 2006-01-10 2016-08-10 Microsoft Technology Licensing, LLC Segmenting image elements
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
JP5055570B2 (ja) 2006-08-08 2012-10-24 株式会社ニコン カメラおよび画像表示装置並びに画像記憶装置
JP4896230B2 (ja) * 2006-11-17 2012-03-14 トムソン ライセンシング ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
US8330801B2 (en) 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
JP4668220B2 (ja) 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2130178A1 (en) 2007-03-23 2009-12-09 Thomson Licensing System and method for region classification of 2d images for 2d-to-3d conversion
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8213711B2 (en) 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
KR101484487B1 (ko) 2007-10-11 2015-01-28 코닌클리케 필립스 엔.브이. 깊이-맵을 프로세싱하는 방법 및 디바이스
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
US8531507B2 (en) 2007-10-16 2013-09-10 Anthony Italo Provitola Enhancement of visual perception IV
BRPI0822142A2 (pt) 2008-01-29 2015-06-30 Thomson Licensing Método e sistema para converter dados de imagem em 2d para dados de imagem estereoscópica
EP2093699A1 (en) 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
US8107678B2 (en) 2008-03-24 2012-01-31 International Business Machines Corporation Detection of abandoned and removed objects in a video stream
DE102008016553A1 (de) 2008-03-27 2009-11-12 Visumotion Gmbh Verfahren zum Erzeugen einer 3D-Abbildung einer Szene aus einer 2D-Abbildung der Szene
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
WO2010035223A1 (en) 2008-09-25 2010-04-01 Koninklijke Philips Electronics N.V. Three dimensional image data processing
EP2184713A1 (en) 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
US8285046B2 (en) 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
EP2417559A4 (en) 2009-04-08 2015-06-24 Stergen Hi Tech Ltd METHOD AND SYSTEM FOR CREATING THREE-DIMENSIONAL VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM
US8553972B2 (en) 2009-07-06 2013-10-08 Samsung Electronics Co., Ltd. Apparatus, method and computer-readable medium generating depth map
US8644624B2 (en) 2009-07-28 2014-02-04 Samsung Electronics Co., Ltd. System and method for indoor-outdoor scene classification
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014421A2 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP4966431B2 (ja) * 2009-09-18 2012-07-04 株式会社東芝 画像処理装置
KR101621528B1 (ko) 2009-09-28 2016-05-17 삼성전자 주식회사 디스플레이장치 및 그 3ｄ 영상신호 표시방법
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
JP2011114863A (ja) 2009-11-23 2011-06-09 Samsung Electronics Co Ltd ３Ｄ映像の提供方法、３Ｄ映像の変換方法、ＧＵＩ提供方法及びこれを適用した３Ｄディスプレイ装置、そして３Ｄ映像の提供システム｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ、ｍｅｔｈｏｄｆｏｒｃｏｎｖｅｒｔｉｎｇ３Ｄｉｍａｇｅ、ＧＵＩｐｒｏｖｉｄｉｎｇｍｅｔｈｏｄｒｅｌａｔｅｄｔｏ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓａｎｄｓｙｓｔｅｍｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅ｝
US8437505B2 (en) 2009-12-17 2013-05-07 Lifesize Communications, Inc. Detection of local motion between image frames
US8421847B2 (en) 2010-05-21 2013-04-16 Mediatek Inc. Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
JP4861495B2 (ja) 2010-05-31 2012-01-25 株式会社東芝 映像変換装置及び映像変換方法
US20120214463A1 (en) 2010-11-05 2012-08-23 Smith Michael J Detecting use of a mobile device by a driver of a vehicle, such as an automobile
US8666146B1 (en) 2011-01-18 2014-03-04 Disney Enterprises, Inc. Discontinuous warping for 2D-to-3D conversions
US8629901B2 (en) 2011-05-19 2014-01-14 National Taiwan University System and method of revising depth of a 3D image pair
EP2729916A4 (en) 2011-07-04 2015-04-08 Lee Vincent Streeter MOTION COMPENSATION IN A AREA IMAGING
CN102685521A (zh) 2011-09-29 2012-09-19 京东方科技集团股份有限公司 一种显示方法和显示装置
US9471988B2 (en) 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9414048B2 (en) 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
US20130215239A1 (en) 2012-02-21 2013-08-22 Sen Wang 3d scene model from video
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database

Also Published As

Publication number Publication date
US9471988B2 (en) 2016-10-18
WO2013067441A1 (en) 2013-05-10
US10194137B1 (en) 2019-01-29
JP2018026840A (ja) 2018-02-15
US20130106837A1 (en) 2013-05-02
CN111598932A (zh) 2020-08-28
US20190037197A1 (en) 2019-01-31
KR20140088200A (ko) 2014-07-09
KR102148538B1 (ko) 2020-08-26
EP2774124A1 (en) 2014-09-10
EP2774124A4 (en) 2015-10-21
JP2014532941A (ja) 2014-12-08
EP2774124B1 (en) 2020-01-08
CN105144234A (zh) 2015-12-09
JP6563453B2 (ja) 2019-08-21

Similar Documents

Publication Publication Date Title
JP6563453B2 (ja) 例示的な類似画像と関連した例示的な近似奥行きマップを用いた、入力画像に対する奥行きマップの生成
US8953874B2 (en) Conversion of monoscopic visual content using image-depth database
US9525858B2 (en) Depth or disparity map upscaling
TWI524734B (zh) 產生深度圖的方法及裝置
KR101775253B1 (ko) 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환
US9769460B1 (en) Conversion of monoscopic visual content to stereoscopic 3D
US10154242B1 (en) Conversion of 2D image to 3D video
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
Plath et al. Adaptive image warping for hole prevention in 3D view synthesis
JP2004200973A (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
CN114881841A (zh) 图像生成方法及其装置
Yue et al. Improved seam carving for stereo image resizing
TW201802772A (zh) 雙模深度估測器
Akin et al. Real-time free viewpoint synthesis using three-camera disparity estimation hardware
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
Shao et al. Object-based depth image–based rendering for a three-dimensional video system by color-correction optimization
Hosseinpour et al. View synthesis for FTV systems based on a minimum spatial distance and correspondence field
KR20190072742A (ko) 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템
Schwarz et al. Temporal consistent depth map upscaling for 3DTV
Tenze et al. altiro3d: scene representation from single image and novel view synthesis
Adhikarla et al. View synthesis for lightfield displays using region based non-linear image warping
CN103986923B (zh) 影像立体匹配***
Ji et al. A novel 2D-to-3D conversion method based on blocks world

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180711

R150 Certificate of patent or registration of utility model

Ref document number: 6370708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250