JP2011524571A - 装置に組み込まれた3dコンテンツ統合 - Google Patents

装置に組み込まれた3dコンテンツ統合 Download PDF

Info

Publication number
JP2011524571A
JP2011524571A JP2011513516A JP2011513516A JP2011524571A JP 2011524571 A JP2011524571 A JP 2011524571A JP 2011513516 A JP2011513516 A JP 2011513516A JP 2011513516 A JP2011513516 A JP 2011513516A JP 2011524571 A JP2011524571 A JP 2011524571A
Authority
JP
Japan
Prior art keywords
image
content
images
capturing
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011513516A
Other languages
English (en)
Other versions
JP2011524571A5 (ja
Inventor
アーカス,ブレイズ,アギュエラ・ワイ
ブリュワー,ブレット・ディー
コーヘン,マイケル・フレドリック
ドラッカー,スティーヴン
ファロウキ,カリム
フレイク,ゲイリー・ダブリュー
ラズィアー,アリエル・ジェイ
ロウラー,スティーブン・エル
リンゼイ,ドナルド・ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2011524571A publication Critical patent/JP2011524571A/ja
Publication of JP2011524571A5 publication Critical patent/JP2011524571A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

特許請求された主題は、3次元の(3D)仮想環境内での実施のために2次元の(2D)データの一部を捕捉することを容易にするシステム及び/方法を提供する。装置は1つ以上の2D画像を捕捉することができ、2D画像は装置の方向によって決定される全体像からの具体のオブジェクトを表す。装置は、当該装置によって収集された2つ以上の2D画像から3D画像を構築することができるコンテンツ統合部を含んでもよく、当該構築は、各2D画像に関連した各対応する全体像を調整することに少なくとも部分的に基づく。

Description

本発明は、装置に組み込まれた3Dコンテンツ統合(コンテンツ・アグリゲーション、コンテンツ集約)に関する。
[0001]人々は、デジタル画像技術における進歩によって、容易に且つ効率的に多数のデジタル写真を撮り、コンパクトな記憶媒体、ハードドライブ又は他の装置にそれらを格納することができる。通常、多数のデジタル写真の閲覧は、その集合の中の画像のスライドショーを提示することを含む。また、閲覧は、デジタル写真の低解像度のサムネイル画像の大画面での表示を含んでもよい。サムネイル画像によって、ユーザーは、画像品質及び詳細を犠牲にして、同時に複数の写真を知覚することができる。
[0002]例示的な画像閲覧機構は、写真の間に現実世界の関係を伝えることはない。例えば、一群の風景やランドマークの写真を考えると、ユーザーには、写真が撮られた位置が互いにどのように関連しているかに関する情報が提示されない。さらに、そのような機構は、現実世界の関係に基づいた写真間の閲覧や写真間の遷移(transitions)を可能にしない。一般に、従来の技術による写真間の閲覧は、写真間の遠近感(視点、全体像、perspective)及び位置を理解することに対する盲目的な手法(blind approach)を含む。
[0003]デジタルスチール写真に加えて、ユーザーは、従来のデジタルカメラによって動画を撮影することができる。通常、動画及び写真は、コンテンツ、画像又はシーンを共有するにもかかわらず、別々に管理されて閲覧される。例えば、装置はシーンのリアルタイムの動画及びスチール写真を収集することができるが、そのような収集されたデータの再生は別々に行われる。さらに、デジタルスチール写真と同様に、従来の技術は、2つ以上の動画間の関係及び共有される全体像を伝えることに対して盲目的な手法を利用する。
[0004]以下は、本明細書に記載された幾つかの態様の基本的理解を提供するために本発明の単純化された概要を示す。この概要は、特許請求された主題の広範囲な概説ではない。特許請求された主題の重要な又は重大な要素を識別するようには意図されず、また、本発明の範囲を記述するようにも意図されない。その唯一の目的は、後に示されるより詳細な説明に対する前置きとして、特許請求された主題の幾つかの概念を単純化された形で提示することである。
[0005]本発明は、3次元の仮想環境内での実施のために2次元の像をとらえる(捕捉する)ことを容易にするシステム及び/又は方法に関連する。コンテンツ統合部(content aggregator)は、3次元(3D)画像を作成するために複数の2次元(2D)画像又はコンテンツを収集して組み合わせることができ、そのような3D画像は、(例えば、各画像及び全体像(視点、遠近感、パースペクティブ、perspective)のポイントを表示して)仮想環境中で探索することができる。例えば、角錐(pyramid)の一群の絵/写真(例えば、角錐の第1の側面の第1の写真、角錐の第2の側面の第2の写真、角錐の第3の側面の第3の写真、及び角錐の第4の側面の第4の写真)は、実質的に同様の表されたデータ及び/又は全体像に基づいて角錐の3D画像又はオブジェクトを作成するために収集することができる。ユーザーは、写真及びその視点(perspective)(例えば、写真が撮られた位置/方向)を表示するために各写真を選択することができる3D画像を分析することができる。本発明は、デジタルカメラ、動画、モバイル装置、携帯機器、携帯型デジタル端末(PDA)、セルラー装置などの様々な装置への2Dコンテンツの集約能力を使用する。換言すれば、装置は、3D画像又はオブジェクトの作成のためにデータを収集することができるコンテンツ統合部設定又はモードを含んでもよい。
[0006]さらに、本発明は、3D画像又はオブジェクト内において表されない画像又は動画をとらえるためにユーザーに対するガイド又はナビゲーションを使用することができる。さらにまた、本発明は、どの写真又は動画を捕捉すべきかについての助言(guidance)及び命令によって、3D画像又はオブジェクトの改造(re-creation)(例えば、以前に見られた3D画像の一部の改造又は再構築)を可能にし得る。そのようなモード又は設定は、コンテンツ統合能力を向上させるための最適化された写真又は動画構成をさらに含んでもよい。例えば、コンテンツ統合設定により、3D画像の単一の写真もしくは動画フレーム、又は3D画像の改造のための複数の写真を捕捉する方法についての指示を提供することができる。
[0007]本発明の別の態様によれば、装置は、絵、写真又は動画を収集するようにパスに沿ってユーザーに指示しナビゲートするために、ガイド(例えば、動画、音声など)を利用することができる。例えば、3D画像に関連した絵/写真を改造するために正確な位置を識別するべく、装置は全地球測位システム(GPS)を利用することができる。ユーザーが彼又は彼女の気に入る画像をとらえることを可能にすることに加えて、装置は、3D画像、3Dオブジェクト、3D仮想環境などを更新するためにある位置においてオブジェクトの写真/絵/動画をとるようにユーザーに警告することができ、当該位置からのそのような写真/絵/動画は3D画像の作成に必要とされる(例えば、提示されていない)。特許請求された主題の他の態様において、データのそのような捕捉された一部から3D画像又はオブジェクトを構築するために装置によるデータ(例えば、画像、写真、動画など)の一部をとらえることを容易にする方法が提供される。
[0008]以下の説明及び添付された図面は、特許請求された主題のある実例となる態様を詳細に述べる。しかし、これらの態様は、本発明の原理を使用することができる様々な方法のうちの少数のものを示すに過ぎず、特許請求された主題はそのような態様及びそれらの均等物をすべて含むように意図される。図面と共に考慮することにより、特許請求された主題の他の利点及び新規な特徴が本発明の以下の詳細な説明から明らかとなろう。
[0009]3次元の(3D)オブジェクトを構築するために装置により2次元の(2D)画像をとらえることを容易にする例示的なシステムのブロック図を示す。 [0010]装置を利用して3Dオブジェクトを改造することを容易にする例示的なシステムのブロック図を示す。 [0011]全地球測位サービス(GPS)を利用することにより装置による2D画像の収集を向上させることを容易にする例示的なシステムのブロック図を示す。 [0012]装置から収集されたデータにメタデータを関連付けることを容易にする例示的なシステムのブロック図を示す。 [0013]本発明による、表示技術及び/又はブラウズ技術を利用することを容易にする例示的なシステムのブロック図を示す。 [0014]装置に2Dコンテンツ統合技術を組み込むことを容易にする例示的なシステムのブロック図を示す。 [0015]3次元の(3D)オブジェクトを構築するために装置により2次元(2D)画像をとらえるための例示的な方法論を示す。 [0016]3Dオブジェクトを改造すること又は3Dオブジェクトと関連する2Dコンテンツの収集を向上させることを容易にする例示的な方法論を示す。 [0017]特許請求された主題の新規な態様を使用することができる例示的なネットワーキング環境を示す。 [0018]特許請求された主題に従って使用することができる例示的な動作環境を示す。
[0019]特許請求された主題は図面に関して記述され、全体を通じて、同様の参照番号が同様の要素を参照するために使用される。以下の記載においては、説明の目的のために、多数の具体的な詳細が本発明についての詳細な理解を提供するために述べられる。しかし、特許請求された主題がこれらの特定の詳細なしに実施され得ることは明らかであろう。他の例において、周知の構造及び装置は本発明について記述することを容易にするためにブロック図の形で示される。
[0020]本明細書において使用される場合、「コンポーネント」、「システム」、「データ記憶部」、「エンジン」、「評価部」、「統合部」、「環境」などの用語は、コンピューター関連のエンティティ、ハードウェア、(例えば、実行中の)ソフトウェア、及び/又はファームウェアを指すように意図される。例えば、コンポーネントは、プロセッサー上で実行されるプロセス、プロセッサー、オブジェクト、実行ファイル、プログラム、機能、ライブラリー、サブルーチン、及び/又はコンピューターもしくはソフトウェアとハードウェアとの組み合わせであってもよい。例として、サーバー上で実行されるアプリケーションとサーバーの両方がコンポーネントになり得る。1つ以上のコンポーネントがプロセス内に存在することができ、コンポーネントは、1つのコンピューターに集中することができ、及び/又は、2つ以上のコンピューター間で分散することができる。
[0021]さらに、特許請求された主題は、開示された主題を実施するようにコンピューターを制御するためにソフトウェア、ファームウェア、ハードウェア又はそれらの任意の組み合わせを生成する、標準的なプログラミング及び/又はエンジニアリング技術を使用する、方法、装置又は製品として実施されてもよい。本明細書において使用されるような「製品」なる語は、任意のコンピューター読み取り可能な装置、搬送波又は媒体からアクセス可能なコンピューター・プログラムを包含するように意図される。例えば、コンピューター読み取り可能な媒体は、磁気記憶装置(例えば、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ...)、光ディスク(例えば、コンパクトディスク(CD)、デジタルバーサタイルディスク(DVD)...)、スマート・カード、及びフラッシュ・メモリー装置(例えば、カード、スティック、キードライブ...)を含んでもよいがこれらに限定されない。また、電子メールを送受信したりインターネット又はローカル・エリア・ネットワーク(LAN)などのネットワークにアクセスしたりする際に使用されるもののようなコンピューター読み取り可能な電子データを運ぶために搬送波を使用することができることが認識されるべきである。もちろん、当業者であれば、特許請求された主題の範囲又は趣旨から逸脱することなく、多くの修正がこの構成になされてもよいことを認識するであろう。さらに、「例示的」なる語は、本明細書において、例、事例又は実例として役立つことを意味するように使用される。本明細書において「例示的」であるものとして記載されるいかなる態様又は設計も、必ずしも他の態様又は設計よりも好ましいものであるとか有利なものであると解釈されるべきではない。
[0022]ここで図面に移ると、図1は、3次元の(3D)オブジェクトを構築するために装置により2次元の(2D)画像をとらえることを容易にするシステム100を示す。システム100はコンテンツを捕捉及び/又は収集することができる装置104を含んでもよく、コンテンツは、画像106の一部又は動画108の一部のうち少なくとも1つであってもよい。さらに、装置104は、捕捉されたコンテンツ(例えば、画像106の一部、動画108の一部など)によって3D画像又はオブジェクトを構築することができる、コンテンツ統合部102を含んでもよい。コンテンツ統合部102は、そのような2Dコンテンツの対応する全体像又は視点に少なくとも部分的に基づいて、2Dコンテンツ(例えば、画像106の一部、動画108の一部など)を調整する(整列させる、そろえる、align)ことにより、3D画像又はオブジェクトを構築することができる。例えば、装置104は、特定の全体像又は視点からコンテンツを捕捉又は収集することができ、そのような全体像又は視点は装置104の方向に依存する。
[0023]さらに、システム100は、各々が特定の全体像又は視点を有する2つ以上の2D画像を含み得る、3D環境110を含んでもよい。装置104及び/もしくは別個のコンポーネント/環境、並びに/又はその任意の適切な組み合わせに3D環境110を組み込むことができることが認識されるべきである。特に、2D画像は、3D画像又はオブジェクトを構築するために装置104内に含まれるコンテンツ統合部102によって統合又は収集することができ、収集及び/又は統合は各2D画像の全体像に基づいてもよい。したがって、2D画像は、探索したり、ナビゲートしたり、閲覧したりすることができる、3D環境110又は装置104内に3D画像を提供するために構築することができる。3D環境110は、任意の適切な数の2Dコンテンツ及び/又は3D画像もしくはオブジェクトをホストすることができる。例えば、構築された3Dオブジェクトは装置104内で作成することができ、次に、3D環境にアップロードすることができる。3Dの構築されたオブジェクト(例えば、画像など)が、画像、写真、動画(例えば、動画の静止フレームなど)、音声、絵、媒体データ、写真、メタデータ、取引カード(trade card)、物理的な現実世界の一部を表す任意の媒体、オブジェクトの絵、項目を表すコンテンツ、エンティティを描写するコンテンツ、現実世界内の具体の(corporeal)オブジェクトなどであるがこれらに限定されない、任意の適切な2Dコンテンツからのものであり得ることが認識されるべきである。例えば、3Dオブジェクト又は画像の構築は装置104内でホストすることができる。別の例において、装置104は2Dコンテンツをとらえて、3D環境110にそのようなデータを伝えることができ、環境110は3Dオブジェクト又は画像を作成し、装置104にそのような3Dオブジェクト又は画像を伝えることができる。
[0024]例えば、3D画像又はオブジェクトが立方体(例えば、物理的な現実世界又は環境における具体のオブジェクト)であり得る3D環境を探索することができる。一般に、3D画像又はオブジェクトは、共有の全体像、2Dコンテンツ内の範囲におけるオーバーラップ(例えば、絵A及び絵Bの両方が立方体の一部を表示するなど)、実質的に類似の視点、及び/又は正確に立方体を描写するために2Dコンテンツに関連付けられる任意の他の関係(例えば、メタデータ、タグ定義など)を調整することにより構築することができる。したがって、立方体は、立方体の第1の面の第1の画像(例えば、全体像(視点)は立方体の第1の面に面している)、立方体の第2の面の第2の画像(例えば、全体像は立方体の第2の面に面している)、立方体の第3の面の第3の画像(例えば、全体像は立方体の第3の面に面している)、立方体の第4の面の第4の画像(例えば、全体像は立方体の第4の面に面している)、立方体の第5の面の第5の画像(例えば、全体像は立方体の第5の面に面している)、及び立方体の第6の面の第6の画像(例えば、全体像は立方体の第6の面に面している)を組み合わせることにより作成することができる。先に述べたように、立方体の画像は、画像の全体像の一部(例えば、画像間のオーバーラップ)を共有してもよい。それらの全体像又は視点に基づいて立方体の画像を統合することによって、立方体の3D画像は3D環境110内に作成することができ、表示され、見られ、ナビゲートされ、閲覧されたりすることができる。
[0025]上記の例に続いて、コンテンツ統合部102は、装置104からの捕捉及び/又は収集されたコンテンツを利用することができ、探索、ナビゲーション、表示などのために3D画像又はオブジェクトのシームレス且つ自動的な生成を可能にすることができる。装置104は、外部のソース(例えば、インターネット、ネットワーク、サーバー、外部のハードドライブなど)からそのようなコンテンツを受信するのではなく、収集された2Dコンテンツから3D画像又はオブジェクトを自動的に作成することができる。別の例において、装置104は、収集された2Dコンテンツから3D画像又はオブジェクトを自動的に作成し、外部ソースからのコンテンツによってそのような3D画像又はオブジェクトを補完することができる。一般に、本発明は、コンテンツ(例えば、画像、動画など)の自動的な収集及び装置104内でのそのような2Dコンテンツから構築される3D画像又はオブジェクトの生成を可能にする。
[0026]さらに、システム100は、コンテンツ統合部102及び/又は装置104を実質的に任意のオペレーティング・システム及び/もしくはデータベース・システムへと統合し並びに/又は互いと統合するために様々なアダプター、コネクター、チャネル、通信パスなどを提供する、任意の適切な及び/又は必要なインターフェース・コンポーネント(図示せず)を含んでもよい。また、インターフェース・コンポーネントは、コンテンツ統合部102、装置104、画像106の一部、動画108の一部、3D環境(図示せず)並びにシステム100に関連付けられる任意の他の装置及び/又はコンポーネントとのインタラクションを提供する、様々なアダプター、コネクター、チャネル、通信パスなどを提供することができる。
[0027]図2は、装置を利用して3Dオブジェクトを改造することを容易にするシステム200を示す。システム200は組み込まれたコンテンツ統合部102を備えた装置104を含んでもよい。装置104及びコンテンツ統合部102の組み合わせは、3D画像又はオブジェクトを構築するために利用することができる、2D画像のシームレスな捕捉を提供することができ、3D画像又はオブジェクトは、閲覧したり、表示したり、ナビゲートしたり、探索したりすることができる。特に、コンテンツ統合部102は、物理的な現実世界内のオブジェクト、シーン、風景などを表す2Dコンテンツの所定の構造又は組織(例えば、対応する3D画像又はオブジェクトを構築するために2Dコンテンツ及びそのようなコンテンツの配置を定義する設計図(青写真、blueprint)など)に基づいて、3D画像又はオブジェクトの改造を可能にすることができる。一般に、所定の構造又は組織は、3D画像又はオブジェクトをシステム200によって複製することを可能にする。
[0028]3D画像の改造に関連する要求は装置104によって受信することができ、装置104において、評価部204は改造すべき3D画像又はオブジェクトを識別するために要求を分析することができる。当該要求は、(例えば、3D環境110によってホストされたり、外部ソースによってホストされたり、装置104内に格納されたりする)既存の3D画像又はオブジェクト又は2Dコンテンツから作成も構築もされなかった3D画像又はオブジェクトと関連してもよいことが認識されるべきである。いずれの場合も、評価部204は、新たな3D画像もしくはオブジェクトが作成されているのか、それとも既存の3D画像もしくはオブジェクトが改造されているかを識別することができる。そのような要求に基づいて、ナビゲーション・コンポーネント204は、3D画像又はオブジェクトを作成するために助言(guidance)又は支援を提供することができる。例えば、支援又は助言は、2Dコンテンツをとらえるために装置104についての位置及び/又は方向に関連していてもよい。識別された全体像、方向などを備えたコンテンツを捕捉すると、装置104内のコンテンツ統合部102は3D画像又はオブジェクトを構築することができる。支援又は助言が、音声の一部、動画の一部、ルート、地理的な地図上のルート、1組の地理的な方向、テキストの一部、グラフィックの一部、及び/又は3D構築のためにコンテンツを捕捉するための装置104の位置、全体像及び方向を識別することを容易にする任意の他の適切なデータであってもよいことが認識されるべきである。そのような助言又は支援は装置を介して通信することができ、装置はスピーカー又ディスプレイの少なくとも1つを含んでもよい。
[0029]例えば、ユーザーは、自身が2Dコンテンツから3D画像又はオブジェクトを作成又は構築したい建物へ移動していてもよい。そのような要望に基づいて、ユーザーは、そのようなタスクを行うために組み込まれたコンテンツ統合部を備えた装置を利用することができる。ユーザーは要求を通信することができ、装置は、必要な2Dコンテンツ並びに対応する全体像及び/又は視点をレイアウトする、所定の構造又は組織を決定又は確認することができる。この情報(例えば、装置の方向、角度、ズーム、視点など)により、3D画像又はオブジェクトを構築することができる。ユーザーにこの情報を伝えるために、装置は、音声、グラフィックス、動画、テキストなどの任意の適切なデータを提供することができる。例えば、装置は、どこで2Dコンテンツを捕捉すべきか及びどこから全体像、方向、角度などを捕捉すべきかについてのルート及び指示を備えた地図を示すためにディスプレイを利用することができる。そのようなディスプレイは、特定の所望の詳細のレベル(例えば、より多くのコンテンツが、より高い程度の表される全体像につながるなど)に必要とされるコンテンツの量をさらに示してもよい。一旦構築されたならば、3D画像又はオブジェクトは装置104内で構築し利用することができる。別の例において、3D画像又はオブジェクトは3D環境110で利用することができる。
[0030]さらに、装置104が、3D画像又はオブジェクトを構築するためにどの又はどれだけの2Dコンテンツをとらえる必要があるかを自動的に確認することができることが認識されるべきである。換言すれば、装置104は所定の構造又は組織を利用する必要はない。例えば、装置104は、十分なコンテンツが収集されたかどうか判断するために捕捉された2Dコンテンツ(例えば、画像106の一部、音声108の一部など)を連続的に分析するために評価部204を実施することができる。各3D画像又はオブジェクトのコンテンツの量は、複雑さ、全体像、サイズ及び/又は任意の他の適切な特性によって変わり得ることがさらに認識されるべきである。
[0031]図3は、全地球測位サービス(GPS)を利用することにより装置によって2D画像の収集を向上させることを容易にするシステム300を示す。システム300は、3D画像又はオブジェクトを作成するためにコンテンツ統合部102により2Dコンテンツ収集を統合する装置104を含んでもよい。装置104は、2Dコンテンツ(例えば、画像106の一部、動画108の一部など)を捕捉又は収集することができる、デジタルカメラ、ビデオカメラ、カメラ、スマートフォン、携帯機器、ウェブカメラ、モバイル装置、携帯型デジタル端末(PDA)、セルラー装置、使い捨てカメラ、装置内の統合カメラ(例えば、ラップトップ・カメラ、デスクトップ・カメラ、自動車カメラなど)、画像取り込み能力を備えた計算装置などの任意の適切な装置又はコンポーネントであってもよいがこれらに限定されない。一般に、システム300は2Dコンテンツから3D画像又はオブジェクトを作成することができ、2Dコンテンツから装置104についての既存の3D画像又はオブジェクトを改造し、及び/又は装置104から捕捉された2Dコンテンツによって既存の3D画像又はオブジェクトを補完することができる。
[0032]動画108の一部は、セグメントの長さに依存して、何百あるいは何千にも達する数となり得る多数の動画フレームを含んでもよい動画セグメントであってもよい。例えば、フィルムは毎秒24のフレームを有してもよく、テレビ動画は毎秒約30のフレームを有してもよく、ある装置は毎秒何百ものフレームを捕捉してもよい。個々のフレームはそれぞれ単一の静止画であり、フレームの迅速な連続により、繊細な動作を知覚することができる。しかし、1秒における複数のフレームは、通常、捕捉された画像の観点から非常に類似している。従って、コンテンツ統合部102は、3D画像又はオブジェクトを生成するために動画の一部を利用することができる。
[0033]既存の3D画像又はオブジェクトを補完するシステム300の1つの例において、評価部204は、特定の3D画像又はオブジェクトに関連付けられた2Dコンテンツを調べることができる。そのような検査に基づいて、装置104は、3D画像又はオブジェクトのために利用することができる補足的な2Dコンテンツを捕捉するよう警告を受けるか又は連絡されてもよい。例えば、3D環境110は、複数の2Dコンテンツ画像及び/又は3D画像もしくはオブジェクトをホストすることができ、特定の3D画像又はオブジェクトは不完全な対象(coverage)、バックアップ要件などに基づいて補完することができる。評価部204は、そのような必要性が存在するかどうか判断することができ、ナビゲーション・コンポーネント202はそのような必要とされる2Dコンテンツをとらえるために助言又は支援を提供することができる。一般に、システム300は、不完全な又は部分的な3D画像又は3Dオブジェクトが、獲得した2Dコンテンツを用いて完成されることを可能にすることができる。例えば、そのような画像及び全体像が既存の3D画像又はオブジェクト中に表されないので、装置104は、特定の全体像からオブジェクトの2D画像をとらえるためにユーザーに地図上のルートを提供することができる。
[0034]システム300は、装置104が、3Dオブジェクト又は画像のローカルの対象(coverage)(例えば、2Dコンテンツの捕捉、2D画像の収集など)又はコミュニティー・システム内のグローバルな対象を提供することを可能にすることができる。ローカルの対象は、装置104が、2Dコンテンツを捕捉し、装置104の使用のためにローカルのプライベートな3Dオブジェクト又は画像を作成することを可能にすることができる。グローバルな対象は、装置104が、2Dコンテンツを捕捉し、コミュニティと共有される3Dオブジェクト又は画像を作成することを可能にすることができる。グローバルな対象が、2Dコンテンツの一部を共有することができるという点で粒度が高いこと、一群の2Dコンテンツ、3Dオブジェクトの一部、又は3Dオブジェクトであってもよいことが認識されるべきである。さらに、装置104は、3Dオブジェクト又は画像の描写のためにコミュニティー・システムに組み込むことができる2Dコンテンツの一部を可能にする場合がある。
[0035]さらにまた、装置104は、2Dコンテンツ(例えば、画像106の一部、動画108の一部など)をとらえるために位置、方向及び全体像を識別することを容易にするために、全地球測位システム(GPS)コンポーネント302を利用することができる。GPSコンポーネント302が、装置104に組み込まれる(図示されるような)スタンド・アロンのコンポーネント、及び/又はその任意の適切な組み合わせであってもよいことが認識されるべきである。例えば、装置104は、写真/動画捕捉能力及び位置追跡のためにGPSサービスを提供するサービスを備えたスマートフォンであってもよい。GPSコンポーネント302は、3D画像又はオブジェクトを構築するべく2Dコンテンツをとらえるために、地理的位置、方向などを提供するため、ナビゲーション・コンポーネント202に関連して利用することができる。GPSコンポーネント302及び/又は装置104が、地理的な位置に関連して、特定の角度又は方向を識別するために加速度計(図示せず)を利用することができることがさらに認識されるべきである。
[0036]また、装置104は、地理的位置を識別するか又は見つけるために装置104からの視界が既存の3Dオブジェクト又は画像と比較される2Dコンテンツ捕捉モードを利用することができる。換言すれば、見られており且つ捕捉される可能性のあるコンテンツのほか、装置110の方向は、3Dオブジェクトを表す既存の2Dコンテンツと比較することができ、当該比較は装置の位置を明らかにすることができる。したがって、既存の3Dオブジェクト又は画像及び含まれる2Dコンテンツを利用することにより、装置104の地理的位置及び方向をGPSコンポーネント302なしに決定することができる。
[0037]システム300は、装置104に関連する任意の適切なデータを含み得るデータ記憶部304、コンテンツ統合部102、画像106の一部、動画108の一部、ナビゲーション・コンポーネント202、評価部204、GPSコンポーネント302などをさらに含み得る。例えば、データ記憶部304は、2Dコンテンツ、3D画像又はオブジェクトのために2Dコンテンツを調整するための所定の構造又は組織、構築された3D画像又はオブジェクト、コンテンツ収集設定(例えば、好み、設定、パスワードなど)、ルート、地図、地理的な位置、2Dコンテンツの方向、2Dコンテンツに関連する全体像、2Dコンテンツの調整、2Dコンテンツ収集のための助言、収集された画像、収集された動画、3D環境データ(例えば、3D画像、3Dオブジェクト、ユーザー名、パスワード、既存の2Dコンテンツ、要求された2Dコンテンツなど)、GPSデータ、加速度計データ、データ要求などを含んでもよいがこれらを含むことに限定されない。
[0038]データ記憶部304が、例えば、揮発性メモリー又は不揮発性メモリーのいずれであってもよく、揮発性及び不揮発性メモリーの両方を含んでもよいことが認識されるべきである。限定ではなく例として、不揮発性メモリーは、読み取り専用メモリー(ROM)、プログラマブルROM(PROM)、電気的にプログラム可能なROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)又はフラッシュ・メモリーを含んでもよい。揮発性メモリーはランダム・アクセス・メモリー(RAM)を含んでもよく、それは外部キャッシュ・メモリーとして働く。限定ではなく例として、RAMは、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、ダブル・データ・レートSDRAM(DDR SDRAM)、エンハンストSDRAM(ESDRAM)、シンクリンク(Synchlink)DRAM(SLDRAM)、RambusダイレクトRAM(RDRAM)、ダイレクトRambusダイナミックRAM(DRDRAM)及びRambusダイナミックRAM(RDRAM)などの多くの形で利用可能である。本発明のシステム及び方法のデータ記憶部304は、これら及び任意の他の適切な種類のメモリーを含むように意図されるがこれらに限定されない。また、データ記憶部304がサーバー、データベース、ハードドライブ、ペン・ドライブ、外部ハードドライブ、ポータブル・ハードドライブなどであり得ることが認識されるべきである。
[0039]図4は、装置から収集されたデータへメタデータを関連付けることを容易にするシステム400を示す。システム400は、2Dコンテンツ(例えば、画像106の一部、動画108の一部など)の自動的な捕捉及びコンテンツ統合部102により2Dコンテンツから構築される3D画像又はオブジェクトのシームレスな作成を提供することができる装置104を含んでもよく、構築は、2Dコンテンツに関連する全体像及び視点に基づいて2Dコンテンツを調整し組織することに基づく。装置104は、組み込まれたコンテンツ統合部102により3D画像又はオブジェクトを構築するために利用することができる2D画像の自動的な収集を可能にするモード又は設定を含んでもよい。特に、そのようなモード又は設定は、3Dオブジェクト又は画像の構築のために2Dコンテンツの捕捉を最適化するため、既存の装置設定及び/又は構成を利用することができる。例えば、装置104は、シーン・モード(例えば、自動的なもの、ユーザーにより定義されたもの、クローズアップ、ポートレート、風景、スポーツ、夜、冬、夏、夜ポートレート、日没など)、オプションのパノラマモード(例えば、コンテンツ統合部がこの設定に対してロバストであるのでオプションであり、2Dコンテンツはより類似したものとすることができる、など)、写真ステッチングモード(例えば、コンテンツ統合部がこの設定に対してロバストであるのでオプションであり、2Dコンテンツはより類似したものとすることができる、など)、フラッシュモード(例えば、自動フラッシュ、フラッシュ・オン(flash on)、赤目現象(red eye)低減、フラッシュなしなど)、タイマー設定、シーケンスモード(例えば、バースト・ショット、遅れた捕捉など)、露出補償、ホワイトバランス、色調、光感度、コントラスト、鮮明さなどを含んでもよい。そのような装置設定及び/又はモードは自動的に最適化することができ、ユーザーにより定義することができ、及び/又はそれらの任意の適切な組み合わせとすることができる。
[0040]システム400は、装置104からの捕捉された2Dコンテンツのタグ付けを可能にするリアルタイムのタグ付けコンポーネント402をさらに含んでもよい。リアルタイムのタグ付けコンポーネント402は、関連付けられる任意の適切なメタデータを備えた2Dコンテンツ及び/又は3D画像もしくはオブジェクトの一部を付加することができる。特に、リアルタイムのタグ付けコンポーネント402は、地理的データの一部、著者データの一部、所有者データの一部、セキュリティ・データの一部、時間、日付、角度、全体像、装置データの一部、ズームレベル、ズーム、視点、3Dオブジェクト関連データの一部、3Dオブジェクト内の位置、3Dオブジェクト内の配置、カテゴリー定義、トピック定義、ランキング、人気ランキング、品質ランキング、フレーム・レート、解像度、オブジェクト表現、純粋な閲覧データの一部、本物の閲覧データの一部のうち少なくとも1つなどのメタデータを包含するがこれらに限定されない。3D環境110、コンテンツ統合部102、装置104、異種の装置、異種のコンテンツ統合部、コミュニティ、ウェブサイト、ネットワーク、サーバー、ユーザー、ソフトウェアの一部、アプリケーション、ハードウェアの一部などによってそのようなメタデータを利用することができることが認識されるべきである。
[0041]図5は、本発明による、表示技術及び/又は閲覧技術を利用することを容易にするシステム500を示す。システム500は、上述のような画像106の一部又は動画108の一部のうち少なくとも1つをとらえることができる装置104を含んでもよい。システム500は、任意の適切なデータ(例えば、3Dオブジェクトデータ、3D画像、2Dコンテンツ、2D画像など)とのシームレスなパン及び/又はズームインタラクションを可能にする表示エンジン502をさらに含み、そのようなデータは、複数の大きさ又は視界及びそれに関連する1つ以上の解像度を含んでもよい。換言すれば、表示エンジン502は、ズームされ又はパンされた視界が様々な解像度品質を含み得るようなズーミング(例えば、ズーム・イン、ズーム・アウトなど)及び/又はパニング(例えば、パン・アップ、パン・ダウン、パン・ライト(pan right)、パン・レフト(pan left)など)を可能にすることにより、表示されるデータに対する最初のデフォルトの閲覧を操作することができる。表示エンジン502は、視覚的情報が、含まれるデータ量又はネットワークの帯域幅にかかわらず滑らかに閲覧されることを可能にする。さらに、表示エンジン502は、任意の適切なディスプレイ又は画面(例えば、携帯機器、セルラー装置、モニター、プラズマ・テレビ、装置表示など)とともに使用することができる。表示エンジン502は、さらに以下の利点又は強化の少なくとも1つを提供することができる:1)ナビゲーションの速度はオブジェクト(例えば、データ)のサイズや数に依存しないものとすることができる;2)性能は、画面又ディスプレイ上のピクセルに対する帯域幅の比率に依存し得る;3)視界間の遷移は滑らかにすることができる;4)拡大縮小は、任意の解像度の画像に対してほぼ完全且つ迅速である。
[0042]例えば、画像は、特定の解像度でデフォルトの視点にて見ることができる。しかし、表示エンジン502は、(デフォルトの視点と比較して)様々な解像度で複数の視界又は大きさで画像がズームされ及び/又はパンされることを可能にすることができる。したがって、等しいか又はより高い解像度での拡大表示を得るために、ユーザーは、画像の一部の上でズーム・インすることができる。画像がズームされ及び/又はパンされることを可能にすることによって、画像は、各々が1つ以上の解像度を備えつつ、様々な大きさ、レベル又は視界において見られ又は探索されることができる、実質的に無限の空間又は量を含むことができる。換言すれば、画像は、パン、ズームなどから独立した滑らかな遷移を備えつつ解像度を維持しながら、より粒度の細かいレベルで見ることができる。さらに、表示エンジン502でズームされるか又はパンされるまで、最初の視界は、画像についての情報又はデータの一部を露出しなくてもよい。
[0043]閲覧エンジン504もまた、システム500に含んでもよい。閲覧エンジン504は、インターネット、ネットワーク、サーバー、ウェブサイト、ウェブ・ページ、3D環境(図示せず)、3D画像、3Dオブジェクトなどのうちの少なくとも1つに関連して閲覧される任意の適切なデータについてのシームレス且つ滑らかなパニング及び/又はズーミングを実施するために表示エンジン502を利用することができる。閲覧エンジン504が、スタンド・アロンのコンポーネントであってもよく、ブラウザに組み込まれてもよく、ブラウザと組み合わせて利用されてもよく(例えば、パッチ又はファームウェアの更新を介したレガシー・ブラウザー、ソフトウェア、ハードウェアなど)及び/又はそれらの任意の適切な組み合わせであってもよいことが認識されるべきである。例えば、閲覧エンジン504は、既存のブラウザに対するシームレスなパニング及び/又はズーミングなどのインターネット・ブラウジング能力を組み込むことができる。例えば、閲覧エンジン504は、3Dオブジェクト又は画像上でのシームレスなズーム及び/又はパンによる強化されたブラウジングを提供するために、表示エンジン502を利用することができ、様々な大きさ又は視界が滑らかなズーミング及び/又はパニングにより露出することができる。
[0044]先に述べたように、システム500は、装置104内及び/又は3D環境(図示せず)内で(例えば、各画像及び全体像のポイントを表示して)探索することができる3D画像又はオブジェクトを作成するために、複数の2次元の(2D)コンテンツ(例えば、媒体データ、画像、動画、写真、メタデータ、取引カードなど)を収集することができる、コンテンツ統合部102を含んでもよい。完全な3D画像又はオブジェクトをユーザーに提供するために、本物の視界(例えば、画像からの純粋な視界)は、合成の視界(synthetic views)(例えば、3Dモデル上に投影されたブレンドなどのコンテンツ間の補間)と組み合わせられる。例えば、コンテンツ統合部102は、場所又はオブジェクトの多数の写真を統合し、類似性についてそのような写真を分析し、3Dオブジェクトを作成するために再構築された3D空間にそのような写真を表示して、各写真が次の写真にどのように関連しているかを描写する。収集されたコンテンツが様々な位置(例えば、インターネット、ローカルデータ、リモートデータ、サーバー、ネットワーク、無線で収集されたデータなど)からのものであり得ることが認識されるべきである。例えば、膨大なコンテンツ(例えば、ギガバイトなど)は、実質的に任意の角度又は視点からシーンを見るために、迅速に(例えば、数秒など)アクセスすることができる。別の例において、コンテンツ統合部102は、細部を拡大し集中するために、実質的に同様のコンテンツを識別しズーム・インすることができる。コンテンツ統合部102は、以下の少なくとも1つを提供することができる:1)様々な角度からコンテンツを見るためにシーンを通じて歩いたり飛んだりする;2)解像度(例えば、メガピクセル、ギガピクセルなど)と無関係にシームレスにコンテンツにズーム・インし又はコンテンツからズーム・アウトする;3)コンテンツが他のコンテンツに関して捕捉された位置を見つける;4)現在見られるコンテンツに類似したコンテンツを見つける;5)エンティティ(例えば、ユーザー、マシン、装置、コンポーネントなど)に一群のコンテンツ又はコンテンツについての特定の視界を伝える。
[0045]図6は、装置に2Dコンテンツ統合技術を組み込むことを容易にするために情報(インテリジェンス、intelligence)を使用するシステム600を示す。システム600は、装置104、コンテンツ統合部104、画像106の一部及び動画108の一部を含んでもよく、これらは、以前の図面において記載されていたそれぞれの装置、統合部、画像、及び動画に実質的に類似していてもよい。システム600は、さらに、インテリジェント・コンポーネント602を含む。インテリジェント・コンポーネント602は、3D画像又はオブジェクトを作成するために装置104内で2Dコンテンツを捕捉することを容易にするべく、コンテンツ統合部102及び/又は装置104によって利用することができる。例えば、インテリジェント・コンポーネント602は、3D画像又はオブジェクトのための2Dコンテンツ、3D画像又はオブジェクト内に表されない全体像、3D画像又はオブジェクトに必要とされる補足的な2Dコンテンツ、コンテンツ統合のための装置最適化設定、2Dコンテンツを捕捉することを指示するための助言又は支援、ルート、地図、方向、全体像、視点、角度、地理的な位置、2Dコンテンツのタグ、捕捉された2Dコンテンツのメタデータ、ユーザーの好み、設定などを推論することができる。
[0046]インテリジェント・コンポーネント602は、ユーザー単位で装置によって2Dコンテンツを捕捉するための最適な助言又は支援を識別するために、情報の価値(VOI)の計算を使用することができる。例えば、VOI計算を利用することにより、2Dコンテンツを捕捉するための最も理想的及び/又は適切な助言又は支援を決定することができる(例えば、ユーザーAは音声指示を好み、ユーザーBは地図上のルートを好み、ルートXはルートYより理想的であるなど)。さらに、インテリジェント・コンポーネント602が、イベント及び/又はデータを介して捕捉されるような観察の組から、システム、環境及び/又はユーザーの状態についての推論を提供したり当該状態を推論したりすることができることが理解されるべきである。推論は特定のコンテキストもしくは行動を識別するために使用することができ、又は例えば、複数の状態にわたる確率分布を生成することができる。推論は確率的であってもよい−すなわち、データ及びイベントの考察に基づいた関心のある状態に関する確率分布の計算であってもよい。推論はまた、1組のイベント及び/又はデータからより高いレベルのイベントを構成するのに使用される技術を指してもよい。そのような推論は、1組の観察されたイベント及び/又はイベントのデータからの新たなイベント又は行動の構築、イベントが接近した一時的な近接において相関するか否か、並びにイベント及びデータは1つ又は幾つかのイベント・ソース及びデータ・ソースに由来するか否かに帰着する。(明示的に及び/又は暗黙に訓練された)様々な分類スキーム及び/又はシステム(例えば、サポート・ベクトル・マシン、ニューラル・ネットワーク、エキスパートシステム、ベイジアン信頼ネットワーク、ファジー論理、データ融合エンジン...)は、特許請求された主題に関して自動的な及び/又は推論された行動を行うことに関して使用することができる。
[0047]分類器は、入力がクラス、すなわち、f(x)=信頼(クラス)(confidence(class))に属するという確かさに、入力属性ベクトル(x=(xl,x2,x3,x4,xn))をマッピングする機能である。そのような分類は、(例えば、分析ユーティリィティ及びコストを考慮に入れた)確率的及び/又は統計に基づいた分析を使用して、自動的に実行されることをユーザーが希望する行動を予知又は推論することができる。サポート・ベクトル・マシン(SVM)は使用することができる分類器の一例である。SVMは可能な入力の空間に超曲面を見つけることにより動作し、超曲面は、引き金とならない(non-triggering)イベントから引き金となる(triggering)基準を分割することを試みる。直観的に、これは、訓練データに近いが同一ではないデータのテストにとって分類を正確にする。他の指示されたモデル分類手法及び指示されないモデル分類手法は、例えば、ナイーブ・ベイズ(単純ベイズ)、ベイジアン・ネットワーク、決定木、ニューラル・ネットワーク、ファジー論理モデルを含み、異なるパターンの独立を提供する確率的分類モデルを使用することができる。本明細書において使用されるような分類はまた、優先度のモデルを開発するために利用される統計的回帰(statistical regression)を含む。
[0048]装置104は、ユーザーと装置104に結合された任意のコンポーネントとの間のインタラクションを容易にするために様々な種類のユーザー・インターフェースを提供する提示コンポーネント604をさらに利用することができる。図示されるように、提示コンポーネント604は装置104とともに利用することができる別個のエンティティである。しかし、提示コンポーネント604及び/又は同様の表示コンポーネントを装置104及び/又はスタンド・アロンの装置に組み込むことができることが認識されるべきである。提示コンポーネント604は、1つ以上のグラフィカル・ユーザー・インターフェース(GUI)、コマンド・ライン・インターフェースなどを提供することができる。例えば、データをロードしたり、インポートしたり、読み込んだりするための領域又は手段をユーザーに提供するGUIを提供することができ、GUIはそのようなものの結果を提示するための領域を含んでもよい。これらの領域は、編集制御、コンボ・ボックス、ラジオボタン、チェック・ボックス、押しボタン及びグラフィック・ボックスとして、ダイアログ・ボックス、スタティック制御、ドロップ・ダウン・メニュー、リストボックス、ポップ・アップ・メニューを含む既知のテキスト及び/又はグラフィック領域を備えてもよい。また、領域を見ることができるかどうかを決定するためのナビゲーション・ボタン及びツールバー・ボタンのための垂直及び/又は水平のスクロール・バーなどの提示を容易にするためのユーティリィティを使用することができる。例えば、ユーザーは、装置104に結合され及び/又は装置104に組み込まれたコンポーネントの1つ以上とインタラクトすることができる。
[0049]ユーザーはまた、例えば、マウス、ローラー・ボール、タッチパッド、キーパッド、キーボード、タッチ・スクリーン、ペン及び/又は音声駆動、身体動作検出などの様々な装置を介して情報を選択し提供するために領域とインタラクトすることができる。通常、キーボード上の押しボタン又は入力キーなどの機構は、検索を開始するために後に情報を入力するのに使用することができる。しかし、特許請求された主題がそのように限定されないことが認識されるべきである。例えば、単にチェック・ボックスを反転表示させること(highlighting)によって情報の伝達を開始することができる。別の例において、コマンド・ライン・インターフェースを使用することができる。例えば、コマンド・ライン・インターフェースは、(例えば、ディスプレイ上のテキスト・メッセージ及び音声トーンを介して)テキスト・メッセージを提供することを通じて情報についてユーザーを促すことができる。その後、ユーザーは、インターフェース・プロンプトにおいて提供されるオプション又は当該プロンプトにおいて提起された質問に対する答えに対応する文字数字の(alpha-numeric)入力などの適切な情報を提供することができる。GUI及び/又はAPIに関連してコマンド・ライン・インターフェースを使用することができることが認識されるべきである。また、コマンド・ライン・インターフェースは、制限されたグラフィック・サポート及び/又は低い帯域幅の通信チャネルを備えたハードウェア(例えば、動画カード)及び/又はディスプレイ(例えば、白黒、EGA、VGA、SVGAなど)に関連して使用することができる。
[0050]図7−8は特許請求された主題による方法論及び/又はフロー図を示す。説明を簡単にするため、方法論は一連の行為として示され、説明される。本発明が示された行為及び/又は行為の順序によって限定されないことが理解され認識されるべきである。例えば、行為は、様々な順序で及び/又は同時に生じてもよく、本明細書に示されず記載されない他の行為とともに生じてもよい。さらに、示されたすべての行為が特許請求された主題による方法論を実施するために要求されなくともよい。また、当業者であれば、状態図又はイベントを介して一連の相互に関連する状態として方法論が代替的に表されてもよいことを理解し認識するであろう。さらに、本明細書においてこれ以後及び全体にわたって開示された方法論が、コンピューターにそのような方法論を運んで転送することを容易にするための製品上に格納されることができることがさらに認識されるべきである。製品なる語は、本明細書において使用される場合、任意のコンピューター読み取り可能な装置、搬送波又は媒体からアクセス可能なコンピューター・プログラムを包含するように意図される。
[0051]図7は、3次元の(3D)オブジェクトを構築するために装置により2次元の(2D)画像をとらえることを容易にする方法700を示す。参照番号702において、2次元の(2D)コンテンツの一部は装置によってとらえることができる。当該装置は、デジタルカメラ、ビデオカメラ、カメラ、スマートフォン、携帯機器、ウェブカメラ、モバイル装置、携帯型デジタル端末(PDA)、セルラー装置、使い捨てカメラ、装置内の統合されたカメラ(例えば、ラップトップ・カメラ、デスクトップ・カメラ、自動車カメラなど)、画像取り込み能力を備えた計算装置など、2Dコンテンツを捕捉し又は収集することができる任意の適切な装置又はコンポーネントであってもよいが、これらに限定されない。さらに、2Dコンテンツは、画像、写真、動画(例えば、動画の静止フレームなど)、音声、絵、媒体データ、写真、メタデータ、取引カード、物理的な現実世界の一部を表す任意の媒体、オブジェクトの絵、項目を表すコンテンツ、エンティティを描写するコンテンツ、現実世界内の具体のオブジェクトなどであってもよい。
[0052]参照番号704において、3次元オブジェクトは、対応する全体像に基づいて2つ以上の2Dコンテンツの一部を調整する(整列させる、そろえる、align)ことによって作成することができる。2Dコンテンツは、ナビゲートされ見ることができる3Dオブジェクト(例えば、3Dオブジェクトは全体として複数の2D画像又はコンテンツを含む)を組み立てるために、コンテンツの全体像又は視点に従って、組み合わせることができる。参照番号706において、3Dオブジェクトの作成は装置内で提供される。換言すれば、装置は、2Dコンテンツを捕捉して、自動的に、そのような2Dコンテンツから3Dオブジェクトを作成することができる。例えば、角錐の2D写真(例えば、第1の側面の第1の写真、第2の側面の第2の写真、第3の側面の第3の写真、第4の側面の第4の写真及び最下段の側面の第5の写真)を統合して、これら写真を対応する視点及びオーバーラップしたコンテンツと整列させることに基づいて、3D仮想環境においてナビゲートされるか又は閲覧することができる3Dオブジェクトを組み立てることができる。統合又は収集された2Dコンテンツが任意の適切な数の画像又はコンテンツであってもよいことが認識されるべきである。
[0053]図8は、3Dオブジェクトを改造するか、又は3Dオブジェクトに関連する2Dコンテンツの収集を向上させることを容易にするための方法800を示す。参照番号802において、2次元の(2D)コンテンツの一部を捕捉することに関連する要求を受信することができる。参照番号804において、当該要求は、装置による2Dの捕捉が、既存の3Dオブジェクトの改造又は既存の3Dオブジェクトの補完のうち少なくとも1つに関連するか否かを決定するために評価することができる。参照番号806において、位置及び全体像に対する助言(誘導、guidance)は、決定された2D捕捉に部分的に基づいて2Dコンテンツを収集するために提供される。
[0054]例えば、支援又は助言は2Dコンテンツをとらえるために装置の位置及び/又は方向に関連してもよい。識別された全体像、方向などを備えたコンテンツをとらえると、3D画像又はオブジェクトを作成することができる。支援又は助言は、音声の一部、動画の一部、ルート、テキストの一部、グラフィックの一部、地図、及び/又は2D捕捉(例えば、改造又は補完)に従ってコンテンツを捕捉するために装置の位置、全体像、角度及び/又は方向を識別することを容易にすることができる任意の他の適切なデータであってもよいことが認識されるべきである。例えば、装置は、ルートを備える地図及びどこで2Dコンテンツを捕捉しどの視点、方向、角度などから捕捉すべきかについての指示を示すために、ディスプレイを利用することができる。
[0055]特許請求された主題の様々な態様を実施するために追加のコンテキストを提供するため、図9−10及び以下の説明は、本発明の様々な態様が実施され得る適切なコンピューター環境の簡潔な概説を提供するように意図される。例えば、一群の2D画像から3D画像又はオブジェクトを構築するコンテンツ統合部を含む装置は、以前の図に記載されたように、そのような適切なコンピューター環境において実施することができる。特許請求された主題は、ローカルコンピューター及び/又はリモート・コンピューター上で実行されるコンピューター・プログラムのコンピューター実行可能命令の一般的なコンテキストにおいて上で説明されてきたが、当業者であれば、本発明がまた他のプログラム・モジュールと組み合わせて実施されてもよいことを認識するであろう。一般に、プログラム・モジュールは、特定のタスクを実行し及び/又は特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。
[0056]さらに、当業者であれば、本発明の方法が、単一のプロセッサー又はマルチプロセッサー・コンピューター・システム、ミニコンピューター、メインフレーム・コンピューターのほか、各々が1つ以上の関連する装置と動作可能に通信し得る、パーソナル・コンピューター、携帯型の計算装置、マイクロプロセッサーベースの及び/又はプログラム可能な家電などを含む他のコンピューター・システム構成によって実施されてもよいことを認識するであろう。特許請求された主題の図示された態様はまた、通信ネットワークを介してリンクされる遠隔処理装置によってあるタスクが行われる分散コンピューティング環境において実施されてもよい。しかし、すべてではないにしても、本発明の幾つかの態様は、スタンド・アロンのコンピューター上で実施されてもよい。分散コンピューティング環境では、プログラム・モジュールはローカル及び/又は遠隔記憶装置に配置されてもよい。
[0057]図9は、特許請求された主題がインタラクトすることができる、計算環境900のサンプルの概略ブロック図である。システム900は1つ以上のクライアント910を含む。クライアント910はハードウェア及び/又はソフトウェア(例えば、スレッド、プロセス、計算装置)であってもよい。システム900はまた、1つ以上のサーバー920を含む。サーバー920はハードウェア及び/又はソフトウェア(例えば、スレッド、プロセス、計算装置)であってもよい。例えば、サーバー920は、本発明の使用により変換を行うためにスレッドを収容することができる。
[0058]クライアント910とサーバー920との間の可能な1つの通信は、2つ以上の計算機プロセス間で送信されるのに適したデータパケットの形式とすることができる。システム900は、クライアント910とサーバー920との間の通信を容易にするために使用することができる通信フレームワーク940を含む。クライアント910は、クライアント910にとってローカルな情報を格納するために使用することができる1つ以上のクライアント・データ記憶部950に動作可能に接続される。同様に、サーバー920は、サーバー920にとってローカルな情報を格納するために使用することができる1つ以上のサーバー・データ記憶部930に動作可能に接続される。
[0059]図10に関して、特許請求された主題の様々な態様を実施するための例示的な環境1000は、コンピューター1012を含む。コンピューター1012は、演算処理装置1014、システム・メモリー1016及びシステム・バス1018を含む。システム・バス1018は、演算処理装置1014へのシステム・メモリー1016の結合を含む、システム・コンポーネントの結合を行うが、これに限定されない。演算処理装置1014は様々な利用可能なプロセッサーのうち任意のものであってよい。デュアル・マイクロプロセッサー及び他のマルチプロセッサー・アーキテクチャーもまた、演算処理装置1014として使用することができる。
[0060]システム・バス1018は、工業規格アーキテクチャー(ISA)、マイクロチャネル・アーキテクチャー(MSA)、拡張ISA(EISA)、インテリジェント・ドライブ・エレクトロニクス(IDE)、VESAローカル・バス(VLB)、周辺コンポーネント相互接続(PCI)、カード・バス、ユニバーサル・シリアル・バス(USB)、アドバンスト・グラフィックス・ポート(AGP)、パーソナル・コンピューター・メモリー・カード国際協会バス(PCMCIA)、ファイヤーワイヤー(商標)(IEEE 1394)及び小型コンピューター・システム・インターフェース(SCSI)を含むがこれらに限定されない、任意の様々な利用可能なバス・アーキテクチャーを使用する、メモリーバスもしくはメモリー制御部、周辺バスもしくは外部バス、及び/又はローカル・バスを含む幾つかの種類のバス構造のうち任意のものであってもよい。
[0061]システム・メモリー1016は揮発性メモリー1020及び不揮発性メモリー1022を含む。スタートアップ中などに、コンピューター1012内の要素間で情報を転送するための基本ルーチンを含む、基本入出力システム(BIOS)は、不揮発性メモリー1022に格納される。限定ではなく例として、不揮発性メモリー1022は、読み取り専用メモリー(ROM)、プログラマブルROM(PROM)、電気的にプログラム可能なROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)又はフラッシュ・メモリーを含んでもよい。揮発性メモリー1020はランダム・アクセス・メモリー(RAM)を含み、それは外部キャッシュ・メモリーとして働く。限定ではなく例として、RAMは、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブル・データ・レートSDRAM(DDR SDRAM)、エンハンストSDRAM(ESDRAM)、シンクリンク(Synchlink)DRAM(SLDRAM)、RambusダイレクトRAM(RDRAM)、ダイレクトRambusダイナミックRAM(DRDRAM)及びRambusダイナミックRAM(RDRAM)などの多くの形式で利用可能である。
[0062]コンピューター1012はまた、取外し可能/取外し不能、揮発性/不揮発性のコンピューター記憶媒体を含む。図10は、例えば、ディスク記憶装置1024を示す。ディスク記憶装置1024は、磁気ディスク・ドライブ、フロッピー(登録商標)ディスク・ドライブ、テープ・ドライブ、Jazドライブ、ジップ・ドライブ、LS−100ドライブ、フラッシュ・メモリー・カード又はメモリー・スティックのような装置を含むがこれらに限定されない。また、ディスク記憶装置1024は、記憶媒体を、コンパクト・ディスクROM装置(CD−ROM)、CD記録可能ドライブ(CD−Rドライブ)、CD書換え可能ドライブ(CD−RWドライブ)又はデジタル・バーサタイル・ディスクROMドライブ(DVD−ROM)などの光ディスク・ドライブを含むがこれらに限定されない他の記憶媒体とは別個に又はこれらと一緒に含んでもよい。システム・バス1018へのディスク記憶装置1024の接続を容易にするために、通常、インターフェース1026などの取外し可能又は取外し不能なインターフェースが使用される。
[0063]図10が、ユーザーと適切な動作環境1000において説明される基本的なコンピューター資源との間の媒介として働くソフトウェアについて記載することが認識されるべきである。そのようなソフトウェアはオペレーティング・システム1028を含む。オペレーティング・システム1028は、ディスク記憶装置1024上に格納することができ、コンピューター・システム1012の資源を制御し割り当てるように作用する。システム・アプリケーション1030は、システム・メモリー1016又はディスク記憶装置1024上のいずれかに格納されたプログラム・モジュール1032及びプログラム・データ1034を介してオペレーティング・システム1028による資源の管理を利用する。特許請求された主題が様々なオペレーティング・システム又はオペレーティング・システムの組み合わせにより実施することができることが認識されるべきである。
[0064]ユーザーは入力装置1036を介してコンピューター1012へコマンド又は情報を入力する。入力装置1036は、マウスなどのポインティングデバイス、トラックボール、スタイラス、タッチパッド、キーボード、マイクロホン、ジョイスティック、ゲーム・パッド、衛星放送アンテナ、スキャナー、TVチューナー・カード、デジタルカメラ、デジタル・ビデオカメラ、ウェブカメラなどを含むがこれらに限定されない。これら及び他の入力装置は、インターフェース・ポート1038を介してシステム・バス1018を通じて演算処理装置1014に接続する。インターフェース・ポート1038は、例えば、シリアルポート、パラレルポート、ゲームポート及びユニバーサル・シリアル・バス(USB)を含む。出力装置1040は、入力装置1036として同じ種類のポートのうちの幾つかを使用する。したがって、例えば、USBポートは、コンピューター1012へ入力を提供し、及びコンピューター1012から出力装置1040へ情報を出力するために使用されてもよい。出力アダプター1042は、出力装置1040の中で特に特別なアダプターを必要とする、モニター、スピーカー及びプリンターのような幾つかの出力装置1040が存在することを示すために提供される。出力アダプター1042は、限定でなく例として、出力装置1040とシステム・バス1018との間の接続の手段を提供する、ビデオカード及びサウンドカードを含む。他の装置及び/又は装置のシステムがリモート・コンピューター1044などの入出力能力の両方を提供することが注目されるべきである。
[0065]コンピューター1012は、リモート・コンピューター1044などの1つ以上のリモート・コンピューターへの論理接続を使用して、ネットワーク化された環境において動作することができる。リモート・コンピューター1044は、パーソナル・コンピューター、サーバー、ルーター、ネットワークPC、ワークステーション、マイクロプロセッサーベースの電気器具、ピア装置又は他の共通ネットワークノードなどであってもよく、通常、コンピューター1012に関連して記載された多くの又はすべての要素を含む。簡潔にするために、メモリー記憶装置1046のみがリモート・コンピューター1044とともに示される。リモート・コンピューター1044は、ネットワーク・インターフェース1048を介してコンピューター1012に論理的に接続され、次に、通信接続1050を介して物理的に接続される。ネットワーク・インターフェース1048は、ローカル・エリア・ネットワーク(LAN)及び広域ネットワーク(WAN)などの有線及び/又は無線通信ネットワークを包含する。LAN技術は、ファイバー分散データ・インターフェース(FDDI)、銅分散データ・インターフェース(CDDI)、イーサネット(登録商標)、トークン・リングなどを含む。WAN技術は、二地点間リンク、統合サービス・デジタル・ネットワーク(ISDN)及びその変化などの回線交換ネットワーク、パケット交換ネットワーク、及びデジタル加入者線(DSL)を含むがこれらに限定されない。
[0066]通信接続1050は、バス1018にネットワーク・インターフェース1048を接続するために使用されるハードウェア/ソフトウェアを指す。通信接続1050がコンピューター1012の内部の実例となる明瞭さのために示されるが、それはコンピューター1012の外部にあってもよい。ネットワーク・インターフェース1048への接続に必要なハードウェア/ソフトウェアは、例示の目的のみのために、通常の電話品質のモデムを含むモデム、ケーブル・モデム及びDSLモデム、ISDNアダプター、並びにイーサネット(登録商標)・カードなど、内部及び外部の技術を含む。
[0067]上に記載されたものは本発明の例を含む。勿論、特許請求された主題について記述する目的でコンポーネント又は方法論についてのすべての考えられる組み合わせを記載することはできないが、当業者であれば、本発明についての多くのさらなる組み合わせ及び置換が可能であることを認識することができる。したがって、特許請求された主題は、添付の特許請求の範囲の趣旨及び範囲内にある変更、修正及び変化をすべて包含するように意図される。
[0068]特に、上述のコンポーネント、装置、回路、システムなどによって実行される様々な機能に関して、そのようなコンポーネントについて記述するために使用される用語(「手段」への言及を含む)は、他の方法で指定されない限り、たとえ開示された構造と構造上等価でなくても、特許請求された主題の本明細書に示された例示的な態様において機能を実行する、記載されたコンポーネント(例えば、機能的な均等物)の指定された機能を実行する任意のコンポーネントに対応するように意図される。この点において、本発明が、システムのほか、特許請求された主題の様々な方法の行為及び/又はイベントを行うためのコンピューター実行可能命令を有するコンピューター読み取り可能な媒体を含むことがさらに認識されよう。
[0069]アプリケーション及びサービスが本発明の広告技術を使用することを可能にする、例えば、適切なAPI、ツールキット、ドライバー・コード、オペレーティング・システム、コントロール、スタンド・アロン又はダウンロード可能なソフトウェア・オブジェクトなど、本発明を実施する複数の方法がある。特許請求された主題は、API(又は他のソフトウェア・オブジェクト)の見地からの使用を考慮するほか、本発明に従う広告技術によって動作するソフトウェア・オブジェクト又はハードウェア・オブジェクトの見地からの使用を考慮する。したがって、本明細書に記載された本発明の様々な実施例は、完全にハードウェアである態様、部分的にハードウェアであり部分的にソフトウェアである態様のほか、ソフトウェアである態様を有してもよい。
[0070]前述のシステムは幾つかのコンポーネント間の相互作用に関して記述された。そのようなシステム及びコンポーネントが、上述のものの様々な置換及び組み合わせに従う、それらのコンポーネント又は指定されたサブコンポーネント、指定されたコンポーネント又はサブコンポーネントのうちの幾つか、及び/又は追加のコンポーネントを含んでもよいことが認識される。サブコンポーネントはまた、親コンポーネント(階層的)内に含まれるものではない他のコンポーネントに通信で結合されたコンポーネントとして実施することができる。さらに、1つ以上のコンポーネントが、総計の機能を提供する単一のコンポーネントへと組み合わせられてもよく、又は、幾つかの別個のサブコンポーネントへと分割されてもよく、また、管理層などの任意の1つ以上の中間層が、統合された機能を提供するためにそのようなサブコンポーネントに通信で結合するように提供されてもよいことに注目すべきである。本明細書に記載されるいかなるコンポーネントも、本明細書において具体的に記載されてはいないが当業者に一般に知られている1つ以上の他のコンポーネントとインタラクトしてもよい。
[0071]また、本発明の特定の特徴は幾つかの実施例のうちの1つのみに関して示されたが、そのような特徴は、任意の所与の又は特定の用途にとって望ましく有利であるよう、他の実施例の1つ以上の他の特徴と組み合わされてもよい。さらに、「含む」、「含んでいる」、「有する」、「包含する」といった語やその変形、及び他の同様の語が詳細な説明又は請求項のいずれかにおいて使用される限りにおいて、これらの語は、いかなる追加の又は他の要素を排除することなく、オープンな移行語としての「備える」という語と同様に、包括的であるように意図される。

Claims (15)

  1. 3次元の(3D)オブジェクトの構築のために2次元の(2D)データの一部を捕捉することを容易にするシステムであって、
    1つ以上の2D画像を捕捉する装置であって、前記2D画像は前記装置(104)の方向によって決定される全体像からの具体のオブジェクトを表す、装置を備え、
    前記装置が、前記装置によって収集された2つ以上の2D画像から3Dオブジェクトを構築するコンテンツ統合部を含み、前記構築は、各2D画像(102)に関連付けられた各対応する全体像を調整することに少なくとも部分的に基づくシステム。
  2. 前記コンテンツ統合部は、実質的に同様の画像の一部又は実質的に同様の全体像の一部のうち少なくとも1つを含む2つ以上の2D画像を調整することにより、前記3Dオブジェクトを与える請求項1に記載のシステム。
  3. 前記2D画像は、写真、デジタル写真、具体のオブジェクトの画像、前記具体のオブジェクトを捕捉する動画のセグメントからのフレーム、又は動画の一部のフレームのうち少なくとも1つである請求項1に記載のシステム。
  4. 前記装置が2D捕捉要求を分析する評価部をさらに含み、前記2D捕捉要求は、前記2D画像を捕捉するためのコンテキストを定義し、新たな3Dオブジェクトの作成、3Dオブジェクトの改造又は既存の3Dオブジェクトの補足のうち少なくとも1つに関連する請求項1に記載のシステム。
  5. 前記評価部は、3Dオブジェクトが前記3D環境内の既存の3Dオブジェクト、以前にアクセスされた3Dオブジェクト又は新たな3Dオブジェクトのうち少なくとも1つであるか否かを確認するために少なくとも1つの3Dオブジェクトを遠隔にホストする3D環境を利用する、請求項4に記載のシステム。
  6. 前記装置は、既存の3Dオブジェクトの補足のために少なくとも1つの2D画像を捕捉し、前記捕捉された2D画像は既存の3Dオブジェクトを補足し、前記3D環境に通信される請求項5に記載のシステム。
  7. 前記評価部は、既存の3Dオブジェクト又は以前にアクセスされた3Dオブジェクトの所定の構造を識別し、前記所定の構造は、対応する3Dオブジェクトを構築するための、2Dコンテンツ及びそのような2Dコンテンツの配置を定義する青写真である請求項6に記載のシステム。
  8. 前記コンテンツ統合部は、前記2D画像内に表示されたコンテンツの評価に少なくとも部分的に基づいて、新たな3Dオブジェクトの所定の構造をリアルタイムで作成する請求項7に記載のシステム。
  9. 前記3Dオブジェクトのための2Dコンテンツを捕捉するために前記所定の構造に従って2D画像を捕捉することを指示する助言の一部を提供するナビゲーション・コンポーネントをさらに備え、前記助言の一部は、地理的な位置、全体像、前記装置の角度、前記装置の方向、又は前記装置のズームレベルうちの少なくとも1つを識別する請求項8に記載のシステム。
  10. 前記助言の一部は、音声の一部、動画の一部、ルート、地理的な地図上のルート、1組の地理的な方向、テキストの一部、又はグラフィックの一部のうち少なくとも1つである請求項9に記載のシステム。
  11. 前記装置は、メタデータの一部を備える3Dオブジェクトの構築に関連した捕捉された2D画像を付加するリアルタイムのタグ付けコンポーネントをさらに含む請求項1に記載のシステム。
  12. 2次元の(2D)コンテンツを捕捉する装置内に3次元の(3D)オブジェクトの構築を組み込むことを容易にする、コンピューターにより実施される方法であって、
    装置(702、806)によって2Dコンテンツの一部を捕捉するステップと、
    対応する全体像を有する2Dコンテンツの2つ以上の部分に少なくとも部分的に基づいて前記2Dコンテンツの2つ以上の部分を調整することにより、3Dオブジェクトを作成するステップであって、前記3Dオブジェクトの作成は前記装置(704、706、806)内で提供される、3Dオブジェクトを作成するステップと
    を備える方法。
  13. 前記装置によって前記2Dコンテンツの一部を捕捉することに関連する要求を受信するステップと、
    2D捕捉モードを決定するために前記要求を評価するステップであって、前記2D捕捉モードは、既存の3Dオブジェクトの改造又は既存の3Dオブジェクトの補足のうち少なくとも1つである、要求を評価するステップと、
    決定された2D捕捉モードに部分的に基づいて2Dコンテンツの一部を収集するために位置及び全体像に対する助言を提供するステップと
    をさらに備える請求項12に記載の方法。
  14. 前記装置内のメタデータの一部を備えた2Dコンテンツの前記捕捉された一部を付加するステップと、
    3Dオブジェクトの構築のための2Dコンテンツの捕捉に基づいて装置の設定を最適化するステップと
    をさらに備える請求項12に記載の方法。
  15. 1つ以上の2次元の(2D)画像を捕捉する手段であって、前記2D画像は、装置(104、702)の方向によって決定される全体像からの具体のオブジェクトを表す、捕捉する手段と、
    前記装置によって収集された2つ以上の2D画像から3次元の(3D)オブジェクトを構築する手段であって、前記構築は、各2D画像(102、704、706)に関連した各対応する全体像を調整することに少なくとも部分的に基づく、構築する手段と、
    3Dオブジェクト(202、806)の一部を表す2D画像を捕捉するために地理的な位置に対する助言の一部を生成する手段と、
    前記装置(202、806)上のディスプレイ又は前記装置上のスピーカーのうち少なくとも1つを介して助言の一部を通信する手段と、
    前記助言(202、302)の一部を生成することを容易にするために位置を識別するための全地球測位サービス(GPS)コンポーネントを利用する手段と、
    前記助言(202)の一部を生成することを容易にするために前記装置の方向を識別するための加速度計を利用する手段と、
    メタデータの一部を備えた捕捉された2D画像を自動的に付加する手段であって、前記メタデータは、地理的な位置、コンテンツ又は3Dオブジェクト(402)に対する関係のうち少なくとも1つと関連する、付加する手段と、
    前記2D画像又は前記構築された3Dオブジェクト(104、102)の特性に基づいて前記装置についての装置設定を最適化する手段と
    を備える装置。
JP2011513516A 2008-06-12 2009-04-21 装置に組み込まれた3dコンテンツ統合 Pending JP2011524571A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/137,657 US8204299B2 (en) 2008-06-12 2008-06-12 3D content aggregation built into devices
US12/137,657 2008-06-12
PCT/US2009/041228 WO2009151794A1 (en) 2008-06-12 2009-04-21 3d content aggregation built into devices

Publications (2)

Publication Number Publication Date
JP2011524571A true JP2011524571A (ja) 2011-09-01
JP2011524571A5 JP2011524571A5 (ja) 2012-05-10

Family

ID=41414841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011513516A Pending JP2011524571A (ja) 2008-06-12 2009-04-21 装置に組み込まれた3dコンテンツ統合

Country Status (13)

Country Link
US (1) US8204299B2 (ja)
EP (1) EP2283466B1 (ja)
JP (1) JP2011524571A (ja)
KR (1) KR101557297B1 (ja)
CN (2) CN107123141A (ja)
AU (1) AU2009257959B2 (ja)
BR (1) BRPI0912583B1 (ja)
CA (1) CA2722924C (ja)
MX (1) MX2010012826A (ja)
MY (1) MY161994A (ja)
RU (1) RU2491638C2 (ja)
WO (1) WO2009151794A1 (ja)
ZA (1) ZA201007423B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514984A (ja) * 2013-03-11 2016-05-26 ケアストリーム ヘルス インク 3次元の画像形成を行うための方法及びシステム
US10278584B2 (en) 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8346017B2 (en) * 2008-04-30 2013-01-01 Microsoft Corporation Intermediate point between images to insert/overlay ads
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
US8988439B1 (en) 2008-06-06 2015-03-24 Dp Technologies, Inc. Motion-based display effects in a handheld device
US8678925B1 (en) 2008-06-11 2014-03-25 Dp Technologies, Inc. Method and apparatus to provide a dice application
US8587601B1 (en) * 2009-01-05 2013-11-19 Dp Technologies, Inc. Sharing of three dimensional objects
EP2452228A4 (en) * 2009-07-10 2015-06-03 Front Street Invest Man Inc As Manager For Front Street Diversified Income Class METHOD AND APPARATUS FOR GENERATING THREE DIMENSIONAL IMAGE INFORMATION USING A SINGLE D IMAGING COURSE
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US20120197428A1 (en) * 2011-01-28 2012-08-02 Scott Weaver Method For Making a Piñata
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9310403B2 (en) * 2011-06-10 2016-04-12 Alliance For Sustainable Energy, Llc Building energy analysis tool
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8837813B2 (en) * 2011-07-01 2014-09-16 Sharp Laboratories Of America, Inc. Mobile three dimensional imaging system
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
CN102411793A (zh) * 2011-08-10 2012-04-11 上海福家网络科技有限公司 一种三维场景中的物体显示方法
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
US20140307062A1 (en) * 2011-12-05 2014-10-16 Rotary View Ltd. System and method for generating a stereoscopic 3d presentation from picture sequence emanating from single lens source
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US20140358917A1 (en) * 2012-01-23 2014-12-04 Duke University System and method for remote image organization and analysis
US9052208B2 (en) 2012-03-22 2015-06-09 Nokia Technologies Oy Method and apparatus for sensing based on route bias
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9235929B2 (en) 2012-05-23 2016-01-12 Glasses.Com Inc. Systems and methods for efficiently processing virtual 3-D data
US9311310B2 (en) * 2012-10-26 2016-04-12 Google Inc. System and method for grouping related photographs
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9554049B2 (en) 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
CN103079030A (zh) * 2013-01-30 2013-05-01 清华大学 存储卡及含有该存储卡的3d图像或视频的生成装置
US9417697B2 (en) 2013-03-08 2016-08-16 Qualcomm Incorporated 3D translator device
US9294757B1 (en) 2013-03-15 2016-03-22 Google Inc. 3-dimensional videos of objects
KR102482186B1 (ko) * 2013-04-08 2022-12-29 스냅 아이엔씨 멀티-카메라 장치를 사용하는 거리 추정
US9338440B2 (en) 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US9201900B2 (en) * 2013-08-29 2015-12-01 Htc Corporation Related image searching method and user interface controlling method
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9508172B1 (en) 2013-12-05 2016-11-29 Google Inc. Methods and devices for outputting a zoom sequence
WO2015167549A1 (en) * 2014-04-30 2015-11-05 Longsand Limited An augmented gaming platform
RU2596449C1 (ru) * 2015-06-26 2016-09-10 Общество с ограниченной ответственностью "Производственное объединение "Зарница" Учебный интерактивный стенд
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
CA2948761A1 (en) 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10220172B2 (en) 2015-11-25 2019-03-05 Resmed Limited Methods and systems for providing interface components for respiratory therapy
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
WO2017218834A1 (en) 2016-06-17 2017-12-21 Kerstein Dustin System and method for capturing and viewing panoramic images having motion parralax depth perception without images stitching
US10008046B2 (en) * 2016-06-29 2018-06-26 Here Global B.V. Method, apparatus and computer program product for adaptive venue zooming in a digital map interface
US11546381B1 (en) * 2021-11-08 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Unified data security labeling framework

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011172A (ja) * 1998-06-17 2000-01-14 Olympus Optical Co Ltd 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2001052207A (ja) * 1999-08-06 2001-02-23 Mixed Reality Systems Laboratory Inc 画像処理方法、画像処理装置および記憶媒体
JP2002501349A (ja) * 1998-01-06 2002-01-15 インテル・コーポレーション 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法
JP2005050034A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
JP2005174024A (ja) * 2003-12-11 2005-06-30 Canon Inc 画像生成装置及び方法
JP2006504149A (ja) * 2001-10-30 2006-02-02 ヒューレット・パッカード・カンパニー 情報の発見および視覚化のための自動生成3次元グラフィック環境

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5301117A (en) * 1991-10-30 1994-04-05 Giorgio Riga Method for creating a three-dimensional corporeal model from a very small original
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
GB2317007B (en) * 1996-09-04 2000-07-26 Spectrum Tech Ltd Contrast determining apparatus and methods
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6456287B1 (en) * 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
US20020158873A1 (en) * 2001-01-26 2002-10-31 Todd Williamson Real-time virtual viewpoint in simulated reality environment
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US7046840B2 (en) * 2001-11-09 2006-05-16 Arcsoft, Inc. 3-D reconstruction engine
US7142726B2 (en) * 2003-03-19 2006-11-28 Mitsubishi Electric Research Labs, Inc. Three-dimensional scene reconstruction from labeled two-dimensional images
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN1664884A (zh) * 2005-03-02 2005-09-07 西安四维航测遥感中心 城区三维可视与可量测立体地形图制作方法
KR20060131145A (ko) 2005-06-15 2006-12-20 엘지전자 주식회사 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
WO2007041696A2 (en) 2005-10-04 2007-04-12 Alexander Eugene J System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
US7605817B2 (en) * 2005-11-09 2009-10-20 3M Innovative Properties Company Determining camera motion
US7912257B2 (en) * 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US20070237356A1 (en) * 2006-04-07 2007-10-11 John Dwinell Parcel imaging system and method
RU2006118145A (ru) * 2006-05-26 2007-12-20 Самсунг Электроникс Ко., Лтд. (KR) Способ и система видеонаблюдения
TWI286715B (en) * 2006-06-21 2007-09-11 Univ Feng Chia System of simulating 3D virtual reality navigation
CN100465999C (zh) * 2006-10-26 2009-03-04 上海交通大学 基于激光扫描的沉箱三维场景重建与挖掘机避碰***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501349A (ja) * 1998-01-06 2002-01-15 インテル・コーポレーション 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法
JP2000011172A (ja) * 1998-06-17 2000-01-14 Olympus Optical Co Ltd 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
JP2001052207A (ja) * 1999-08-06 2001-02-23 Mixed Reality Systems Laboratory Inc 画像処理方法、画像処理装置および記憶媒体
JP2006504149A (ja) * 2001-10-30 2006-02-02 ヒューレット・パッカード・カンパニー 情報の発見および視覚化のための自動生成3次元グラフィック環境
JP2005050034A (ja) * 2003-07-31 2005-02-24 Canon Inc 画像処理方法および装置
JP2005174024A (ja) * 2003-12-11 2005-06-30 Canon Inc 画像生成装置及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514984A (ja) * 2013-03-11 2016-05-26 ケアストリーム ヘルス インク 3次元の画像形成を行うための方法及びシステム
US9838670B2 (en) 2013-03-11 2017-12-05 Carestream Health, Inc. Method and system for three-dimensional imaging
US10278584B2 (en) 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging

Also Published As

Publication number Publication date
EP2283466A4 (en) 2011-10-26
BRPI0912583A2 (pt) 2015-10-13
AU2009257959A1 (en) 2009-12-17
RU2491638C2 (ru) 2013-08-27
BRPI0912583B1 (pt) 2020-02-18
EP2283466A1 (en) 2011-02-16
RU2010150798A (ru) 2012-06-20
US8204299B2 (en) 2012-06-19
US20090310851A1 (en) 2009-12-17
CA2722924C (en) 2016-08-30
MX2010012826A (es) 2010-12-07
EP2283466B1 (en) 2018-12-05
ZA201007423B (en) 2012-01-25
WO2009151794A1 (en) 2009-12-17
CA2722924A1 (en) 2009-12-17
KR101557297B1 (ko) 2015-10-06
CN102057401A (zh) 2011-05-11
CN107123141A (zh) 2017-09-01
AU2009257959B2 (en) 2014-06-12
KR20110015593A (ko) 2011-02-16
MY161994A (en) 2017-05-31

Similar Documents

Publication Publication Date Title
JP2011524571A (ja) 装置に組み込まれた3dコンテンツ統合
US11663785B2 (en) Augmented and virtual reality
US10375306B2 (en) Capture and use of building interior data from mobile devices
US8346017B2 (en) Intermediate point between images to insert/overlay ads
US20090295791A1 (en) Three-dimensional environment created from video
CA2704706C (en) Trade card services
US11044398B2 (en) Panoramic light field capture, processing, and display
US9792021B1 (en) Transitioning an interface to a neighboring image
Zhang et al. Annotating and navigating tourist videos
US20230412786A1 (en) Matching segments of video for virtual display of a space
CN114500852B (zh) 拍摄方法、拍摄装置、电子设备和可读存储介质
KR101934799B1 (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템
KR20170139202A (ko) 파노라마 영상을 이용하여 새로운 컨텐츠를 생성하는 방법 및 시스템

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130321

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130712