JP2014504074A - 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路 - Google Patents

立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路 Download PDF

Info

Publication number
JP2014504074A
JP2014504074A JP2013541469A JP2013541469A JP2014504074A JP 2014504074 A JP2014504074 A JP 2014504074A JP 2013541469 A JP2013541469 A JP 2013541469A JP 2013541469 A JP2013541469 A JP 2013541469A JP 2014504074 A JP2014504074 A JP 2014504074A
Authority
JP
Japan
Prior art keywords
image
fixed object
data set
dimensional image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013541469A
Other languages
English (en)
Inventor
ギボン・ドール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Extreme Reality Ltd
Original Assignee
Extreme Reality Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Extreme Reality Ltd filed Critical Extreme Reality Ltd
Publication of JP2014504074A publication Critical patent/JP2014504074A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本発明は、２次元イメージまたはビデオから、立体３次元イメージおよび／またはビデオを生成する方法、システム、装置、および、関連する処理論理回路を含む。本発明のいくつかの実施形態によれば、第１の２次元イメージおよび／またはビデオから、２次元補完イメージおよび／またはビデオを推定およびレンダリングするよう適合化された立体３次元生成システムを提供する。ここで、補完イメージまたはビデオは、第１のイメージまたはビデオ、あるいは、第２の補完イメージまたはビデオと結合され、第１のイメージまたはビデオにおいてキャプチャされたシーンの立体イメージを生成する。換言すると、本システムは、観察者が一方の目で第１のイメージまたは第２の補完イメージを観察し、もう一方の目で補完イメージを観察することで、イメージの中に奥行きがあると錯覚させるように、補完イメージまたはビデオを生成する。

Description

本発明は画像処理に関し、特に、立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路に関する。
従来の三次元立体撮影は、典型的にはそれぞれのレンズの光学軸を平行にかつ一定の距離を離して配置された２台のカメラを用いる。これらの２台のカメラは一般的に一対のイメージを生成し、これらのイメージは、既知の立体表示技術または表現技術によって表示される。これらの技術は、右側のレンズによって撮影されたイメージを観察者の右目に、左側のレンズによって撮影されたイメージを左目に表示するという原理に基づいている。
例えば、テキサス・インスツルメンツ社に帰する、“Ｄｉｇｉｔａｌ ｆｏｒｍａｔｔｅｒ ｆｏｒ ３−ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｐｌａｙ ａｐｐｌｉｃａｔｉｏｎｓ”という名称の米国特許第６，９０６，６８７号には、右目および左目用の加工映像データの保存および読込処理を行う４部分からなるメモリバッファを有する三次元デジタル投射表示装置が開示されている。この処理では映像データは４８ｆｐｓ（ｆｒａｍｅ／ｓｅｃ）で処理され、９６（最大１２０）ｆｐｓのフラッシュ率を提供するために２度（繰り返し）読み出される。ここで、前記フラッシュ率はフリッカー閾値を超える値である。このデータは、知覚３次元イメージを生成できるように右目と左目のフレームで正確に位相がずらされて、ヘッドセットやゴーグルと同期される。
立体動画は様々な異なった方法で生成することができる。アナグリフは１９４８年以前より使用されたにも関わらず、１９５０年代における“３次元映画の黄金期”の初期の間、米国における多くの長編映画作品では偏光システムが用いられた。偏光システムが備えられていない映画館のために、６０年代、７０年代の間にいくつかの古典映画がアナグリフに変換されたりもしたが、２１世紀に入っても偏光３次元システムは優位性を保持し続けており、３次元テレビにおいても見ることができる。８０年代中期後、いくつかの映画がアナグリフ３次元技術を用いて作られた。以下で、開発された、いくつかの主な３次元映画システムの詳細と原理を説明する。
アナグリフ
アナグリフイメージは大掛かりな３次元を表示する最も古い手法であり、コミック本や偏光技術が実用化される前の３次元テレビ放送のような大掛かりではない立体表示で用いられたことから、立体表示技術として大衆から広く認識されている。アナグリフイメージは、制作や展示の容易さからポピュラーとなった。最初のアナグリフ映画は１９１５年に製作された。初期の大掛かりな表示はこのシステムによって行われたが、５０年代から８０年代の多くの３次元映画では元々は偏光方式によって表示されていた。
アナグリフでは、１つは赤、もうひとつはシアンのフィルタを通すことで色が添加された２つのイメージが重ね合わせられている。除去される光の設定において、２つのイメージは白紙上に互いに補色関係にある色で印刷される。それぞれの目に対してカラーフィルタを備えたメガネによって、イメージ中のフィルタの色がキャンセルされえ、黒色に表示されることにより、適切なイメージに分離される。
アナグリフイメージは、最新のものでは明るさと正確な色も表現でき、特に赤色では彩度も表現できるにも関わらず、平行法または交差法による立体写真よりも容易に立体視を行うことができる。アナクロームとして知られる代替技術は、僅かに透過率が高いシアンフィルタをこの技術に関連し、特許化されたメガネに使用している。処理プロセスは、典型的なアナグリフイメージを、視差を抑えるように再処理する。
代替技術であるＣｏｌｏｒＣｏｄｅ３次元は、赤とシアンのフィルタを使用する特許化されたアナグリフシステムであり、このアナグリフシステムは赤色チャネルがしばしば欠落してしまうＮＴＳＣ映像方式においてアナグリフイメージを提供するために考案された。ＣｏｌｏｒＣｏｄｅではスクリーン上の色には補色の関係にある黄色と濃い青を用い、メガネのレンズの色にはアンバーと濃い青を用いる。
アナグリフ３次元システムは大掛かりな表示に用いられた最も古いシステムであり、特別な装置を要求しない。
アナグリフは印刷媒体や偏光が使われていないテレビでの３次元放映などにも用いられる。偏光を用いた３次元テレビや他の表示装置は２００８年にいくつかの製品においてのみ可能になった。これらの装置は、受信機側で偏光を生成できる。
偏光システム
初期のＩｍａｘ上映では点滅方式が使われていたり、６０年代と７０年代には特別上映のためにしばしば３次元の古典映画がアナグリフ方式に変換されたりしていたが、偏光３次元システムは１９５２年の映画“Ｂｗａｎａ Ｄｅｖｉｌ”で使用されてから、映画上映の標準となった。偏光システムはアナグリフ方式に比べて、色再現性が高く、ゴーストが少ないという特徴がある。
立体動画を表示するために、２つのイメージがそれぞれ異なる偏光フィルタを通して、同一のスクリーン上に重ねて投射される。視聴者は低コストのグラスを装着し、このグラスは方向が異なる一対の偏光フィルタを有している（右回り／左回りの円偏光、または、９０度の角を成す、普通は４５度と１３５度の直線偏光）。それぞれのフィルタはフィルタと偏光方向が同じ光を透過させ、異なる光を遮断し、それぞれの目は異なるイメージを見る。これは、わずかに異なる視点から見た同じシーンの映像を両目に映すことで３次元的な効果を生み出すために用いられる。この方式では、顔を追従させる必要が無いため、複数の観客が同時に立体映像を見ることができる。加えて、一対のレンズはいずれも同じ色であるため、２つの色に分かれていた以前の方式には抵抗があった一方の目が悪い（弱視）の人でも、３次元効果を見ることができる。
ＲｅａｌＤの場合、１秒当たり１４４回偏光状態を切り替えられる液晶円偏光フィルタが投射レンズの前に置かれている。右目用と左目用のイメージが交互に表示されるため、プロジェクタは一つだけあればよい。ソニーが開発した２つの円偏光を同時に見せるＲｅａｌＤ ＸＬＳと呼ばれる新しいシステムは、光を偏光させて投射する特別なレンズが装着された１つの４Ｋプロジェクタ（解像度４０９６×２１６０）が、２つの２Ｋ（解像度２０４８×８５８）のイメージを互いに重ねて同時に表示する。
トムソンテクニカラーは、伝統的な３５ｍｍプロジェクタにより、３５ｍｍ以上／以下のフィルムを用いて３次元イメージを投射するよう適合化された分割レンズを用いたシステムを開発した。このシステムで必要となるレンズと、スクリーンの金属（シルバー）スクリーンへの交換は、映像をデジタルに変換する方法に比べて費用対効果が非常に高い。このシステムでは、非金属スクリーンを用いることで偏光状態が解消されて光が反射されるのを防ぐために金属スクリーンが必要となる。
偏光立体写真は１９３６年頃に登場し、エドウィン・Ｈ・ランドが初めて動画に応用した。“３次元映画流行（３次元 ｍｏｖｉｅ ｃｒａｚｅ）”と呼ばれた１９５２年から１９５５年には、ほとんどの映画館で直線偏光投射およびメガネを用いた上映が行われた。この間、アナグリフ方式を用いた３次元映画の上映は僅かであった。また、直線偏光は家庭向けのステレオプロジェクタにおいても使用された。偏光方式は８０年代の３次元映画の再流行時にも使用された。
２０００年代においては、コンピュータアニメーションや、ＤＶＤや他のメディアにおけるコンテンツ競争、デジタルプロジェクション、そして、洗練されたＩＭＡＸの７０ｍｍフィルムプロジェクタが、偏光３次元映画の新しいブームのきっかけを作った。
点滅方式
点滅方式では、片方の目に対応した映像がスクリーンに投射されている時に、もう片方の目への光を遮断している。プロジェクタは右と左のイメージを交互に投射し、メガネやビューワのシャッタがスクリーン上のイメージに同期して開閉される。これは、１９２２年に一時的に用いられたテレビューシステムに基づいている。
点滅方式のバリエーションとして、ＬＣＤシャッタメガネを用いる方法がある。メガネは液晶を有しており、この液晶は交互フレームシーケンスの原理を用いて、映画館やテレビ、コンピュータスクリーン上のイメージに同期して光を透過させる。これは、ｎＶｉｄｉａ、ＸｐａｎＤ ３次元、初期のＩＭＡＸシステムにおいて用いられた方式である。この方式の欠点は、それぞれの視聴者が、表示機器と無線または有線で接続して同期をとるための電子機器を搭載した高価なメガネを装着する必要があることである。このシャッタメガネは、サングラスや一部の偏光メガネに比べて軽い軽量モデルもあるが、多くのモデルはほとんどの偏光メガネよりも重い。しかしながら、このシステムではイメージを投射するためにシルバースクリーンを用いる必要が無い。
干渉フィルタ技術
Ｄｏｌｂｙ ３次元は、右目用に赤と緑、青の決まった波長を用い、左目用には異なる波長の赤と緑、青の波長を用いる。メガネは遮断する波長が厳密に決められており、これにより装着者に３次元イメージを見せている。この技術は映画館で最も広く用いられており、このシステムでは、ＲｅａｌＤなどの偏光システムで必要とされる高価なシルバースクリーンが不要となる。しかしながら、この方式では偏光システムで用いられるものよりも高価なメガネが必要となる。この方式はスペクトル選択フィルタリングや波長多重方式としても知られている。
最近登場したＰａｎａｖｉｓｉｏｎ ３次元システムにおいてもこの技術が使用されている。ただし、スペクトルはより広く、波長選択性が細かく設定されている（Ｐａｎａｖｉｓｉｏｎシステムでは、片方の目にそれぞれ５つの波長が用いられる）。また、ＰａｎａｖｉｓｉｏｎではＤｏｌｂｙで用いられたものよりも安いメガネを用いる。
プルフリッヒ効果
プルフリッヒ効果は、暗いレンズを通して見たときなど、明りが少ない場合に人間の目の画像処理速度が遅くなる現象に基づいている。
位置Ｘから位置Ｙまで右側に移動するカメラを考えてみる。観察者が左目を暗いレンズを通してこのカメラの映像を観察した場合、右目がカメラが位置Ｙにある時に記録したイメージを見ている時、左目は数ミリ秒遅れた位置Ｘで記録したイメージを見ることになる。これにより、一つのカメラをシフトさせて静止イメージを生成する場合と同じように、左右の目で３次元を認知するための視差を発生させる。この効果の度合いは、カメラが撮影対象に対してどれくらい速く動くかに依存し、カメラが速く動くほど大きな視差が発生する。同様の効果は、静止したカメラと連続的に回転させたオブジェクト（撮影対象）を用いることによっても得ることができる。もし動きが止まったら、暗いレンズを通して見ている目（左右どちらの目かは、カメラが動く方向に依存する）が動きに追い付いて、この効果は消失する。このシステムの利点は、観察者はメガネをかけずに普通の写真を見て立体的に見ることができることである。
もちろん、オブジェクトの偶発的な動きは歪んだイメージを生み出し、この偶発的な動きは対象の実際の奥行きではなく見かけの奥行きに影響を与える。残念ながら、意図的にプルフリッヒ効果を生じさせたアプリケーションの多くでこの種の効果が生じており、この技術の評判は良くない。動きがカメラの横の動きの場合においてのみ、他の立体視の方法と同様の立体感を発生させるが、それ以外の不自然な状況においては、ほとんど立体感は得られない。
プルフリッヒ効果はしばしばテレビやコンピュータゲームで用いられるが、大規模な表示で用いられることはめったにない。
スペクトル分割
ＣｈｒｏｍａＤｅｐｔｈでは、メガネの中にホログラフィックフィルムを使用し、分散プリズムのような効果を発生させる。これは赤色のものは近くに、青色に近いものは遠くにあるように知覚させる。
レンチキュラーまたはバリアスクリーン
レンチキュラープリンティングと視差バリア技術では、細く、交互に配置された縞の中にあるシートに２つ（あついはそれ以上）の重なったイメージを用い、２つの縞状イメージのうちの１つを遮蔽する（視差バリア）、あるいは、同じ細さのレンズを配置することにより、全体で補完されたイメージを生成する（レンチキュラープリント）。立体効果を生み出すために、観察者は一方のイメージを一方の目で、もう片方のイメージをもう片方の目で見るように位置取りをしなければならない。この方法では、立体視を行うためにメガネは必要ない。
両方のイメージは高い輝度で、波型のスクリーンに投射され、大きな角度で反射される。立体イメージを見るために、観察者はスクリーン対して垂直に、とても狭い角度内に座らなければならず、観客席の大きさは制限される。レンチキュラーは、１９４０〜１９４８年にロシアにおいて多数のショートフィルムの上映に用いられ、１９５４年には長編映画の“Ｃｒｙｓｔａｌ”、“Ｍａｃｈｉｎｅ ２２−１２”、“Ｔｈｅ Ｐｅｎｃｉｌ ｏｎ Ｉｃｅ”にて使用された。
この方式は、大掛かりな上映には多少の制限が必要であるが、レンチキュラーはノベルティアイテムや３次元写真愛好家の間において広く用いられている。
これらの上記の方法は共通の欠点がある。それは、全て立体的な撮影が必要であることである。これは、特別な装置を用いた写真／映像のイメージにおいてのみ３次元的に見ることができることを意味する。このことから、従来の撮像装置（例えば、単一開口）を用いた従来のイメージ／撮影されたビデオ／映画から、立体イメージ／ビデオを生成することが望ましい。
本発明は２次元イメージまたはビデオから立体３次元イメージまたはビデオを生成するための方法、システム、装置、および、関連の処理論理回路を含む。本発明のいくつかの実施形態によれば、第１の２次元イメージおよび／またはビデオから２次元補完イメージを推定およびレンダリングするよう適合化された立体３次元イメージ生成システムを提供する。この補完イメージおよび/またはビデオが、第１のイメージまたはビデオ、或いは第２の補完イメージと結合することにより、第１のイメージ内にキャプチャされたシーンの立体イメージが生成される。立体３次元生成システムは、観察者が一方の目で第１のイメージまたは（第１の補完イメージとは異なる他方の方向にシフトした）第２の補完イメージを見て、もう一方の目で補完イメージ見た時に、イメージに奥行きがあると知覚または錯覚させる（例えば、立体３次元イメージ）ように、１以上の補完イメージを生成する。２つの補完イメージフレームは１つの立体フレームを構成する。
本発明の他の実施形態によれば、立体３次元生成システムは、更に、第１の一連の２次元イメージ（ビデオ）から一連の２次元補完イメージを推定およびレンダリングするよう適合化されている。この一連の補完イメージが第１の一連のイメージと結合することにより、第１の一連のイメージ内にキャプチャされたシーンの一連の立体イメージを生成する。３次元生成システムは、観察者が一方の目で第１の一連のイメージを見て、もう一方の目で一連の補完イメージ見た時に、イメージに奥行きがあると錯覚させるように、一連の補完イメージを生成する（例えば、立体３次元イメージ／ビデオ）。
本発明のいくつかの実施形態によれば、立体イメージ生成方法は、以下のステップを備える：（１）シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りステップ；（２）第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別する識別ステップ；（３）第１の非固定オブジェクトの３次元骨格モデルを関連付ける関連付けステップ；（４）骨格モデルの少なくとも一部に基づいて第１の非固定オブジェクトに関する奥行き情報を決定する決定ステップ；（５）第１の非固定オブジェクトに関する決定された奥行き情報に基づいて、第２の観察位置（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）および観察方向（ｖｉｅｗｉｎｇ ａｎｇｌｅ）に対応したシーン内のおける第１の非固定オブジェクトの位置のシフト量を計算する計算ステップ；（６）第２の観察位置および観察方向から見えるシーンを表す補完２次元イメージデータセットを生成する生成ステップ、ここで前記生成ステップは、シーン内における第１の非固定オブジェクトの位置を、計算されたシフト量に応じてシフトするシフトステップを備える；（７）少なくとも部分的に第１の３次元骨格モデルに基づいて、第２の観察方向から見る第１の非固定オブジェクトの外観を表すように、第１の非固定オブジェクトの外観を変更し、および／または、固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように第１のイメージデータセット内において固定オブジェクトの外観を変更する変更ステップ。
他の実施形態によれば、本システムは、第１の２次元イメージデータセットの中から固定オブジェクトを識別し、固定オブジェクトと第１の非固定オブジェクトとの空間的な位置関係に基づいて、固定オブジェクトの奥行きを見積もるよう適合化されている。シーンの立体イメージは補完２次元イメージデータセットを第１の２次元イメージデータセットと結合することで生成される。オプションとして、シーンの立体イメージを結合（一緒に表示）する時に、第１のイメージデータセットは２つの異なる補完２次元イメージデータセットを生成するために用いても良い。第１の補完２次元イメージデータセットと第２の補完イメージデータセットの両方が、上記の第１の２次元イメージデータセットに対する方法を用いて生成される。
また、本システムおよび方法は動画像列を構成する一連のイメージに適用しても良い。
また、この方法はリアルタイムで実行されても良い。
本発明の他の実施形態によれば、立体イメージを生成するシステムは以下の要素を備える：（１）シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りモジュール；（２）第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別するために、受け取りモジュールと機能的に関連付けられた個別オブジェクト識別モジュール；（３）第１の非固定オブジェクトを３次元骨格モデルに関連付けるために、識別モジュールと機能的に関連付けられた参照モデル関連付け部；（４）関連付けられた骨格モデルの少なくとも一部に基づいて第１の非固定オブジェクトに関する奥行き情報を決定する奥行き推定モジュール；（５）決定された第１の非固定オブジェクトに関する奥行き情報に基づいて、シーン内のおける第１の非固定オブジェクトの第２の観察方向から見たシーンに対応した位置のシフト量を計算する水平シフト計算部；（６）少なくとも部分的に第１の３次元骨格モデルに基づいて、第２の観察方向から見た第１の非固定オブジェクトの外観を表すように、第１の非固定オブジェクトの外観を変更する、および／または、固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように第１のイメージデータセット内において固定オブジェクトの外観を変更する変更観察角度（ａｎｇｌｅ ｏｆ ｖｉｅｗ）生成部。また、第２の観察位置および観察方向から見えるシーンを表す補完２次元イメージデータセットを生成するためのレンダリングモジュールを備えても良い。ここで、前記補完２次元イメージデータを生成するステップは、計算されたシフト量に基づいて、シーン内において、第１の非固定オブジェクトの位置をシフトするステップを含む。
本発明の他の実施形態によれば、２つの２次元イメージデータセットから立体イメージを生成する方法は以下のステップを備える：（１）２次元イメージデータセットの中の１以上の個々のオブジェクトを識別する識別ステップ；（２）少なくとも１つの識別されたオブジェクトに対して、識別されたオブジェクトの少なくとも１つの視認可能な特徴を表す少なくとも１つのパラメータを含む参照モデル（２次元または３次元モデル）を選択する選択ステップ；（３）イメージ内の識別されたオブジェクトの少なくとも１つの視認可能な特徴の外観を、選択された参照モデルと比較することによって、２次元イメージ内の識別されたオブジェクトの奥行きを推定する推定ステップ；（４）推定された奥行きに基づいて、生成された立体イメージフレームのそれぞれの補完イメージフレームのペアにおける、識別されたオブジェクトのインスタンス間の水平方向シフト量を計算する計算ステップ。
他の実施形態によれば、参照モデルの選択ステップは、２次元イメージに関するメタデータの考慮または、少なくとも一部が、既に実行された参照モデルの選択に基づいて、第２の識別されたオブジェクトのための参照モデルを選択する行程を含む。
他の実施形態によれば、３次元モデルはモデルの要素間の空間的な制約を含んだ骨格モデルであり、少なくとも一部が、奥行きの推定は骨格モデルの制約に基づいている。
実施形態によれば、少なくとも一部の人体などの非固定オブジェクトの絶対的または相対的な奥行き情報を見積もるステップは、取得した２次元イメージデータセットにおける非固定の人体の非固定の構造物を識別するために構造識別を用いて実行される。骨格モデル挿入部は、３次元骨格モデルの要素を、取得した２次元イメージデータセット内において対応する、識別された構造物に関連づけるよう適合化されている。さらに、骨格モデル挿入部は、３次元骨格モデル上に制約を課すことにより、２次元イメージ内の人体の構造の少なくとも一部の奥行き情報を見積もるよう適合化されている。ここで、このモデルでは、骨格モデルの要素間の位置関係の制約と、取得した２次元イメージデータセット内の識別された非固定の人体の構造体間の空間的な位置関係が定義されている。このモデルは、モデルを２次元イメージデータセットに適合し、前記の非固定の胴体の構造物の少なくとも一つの３次元座標を見積もるために用いられる。
２次元イメージデータから人体の奥行きまたは位置を見積もるステップは、取得したイメージに関連付けられた２次元イメージデータを受け取るステップを含む。ここで、取得したイメージは少なくとも人体の一部をキャプチャしたイメージである。２次元データ内の人体の解剖学的な構造は、計算により識別する。３次元骨格モデルの要素を２次元データ内の識別された構造物に適用する。ここで、骨格モデルは、２以上の人体の解剖学的な構造物間における空間的な制約を定義する。そして、適用した骨格モデルの要素の２次元投射と、受け取ったイメージデータ内の識別された解剖学的な構造物の位置との比較に基づいて、少なくとも一つの識別された構造物の位置情報を見積もる。ここで、位置情報は、取得したイメージがキャプチャされた時の構造物の物理的な位置に関連付けられている。
本発明とみなされる主題は、本明細書の結びの部分において具体的に規定され、明確に請求されている。しかしながら、本発明は、動作の機構および方法の両方に関して、その目的、特徴および利点と共に、添付の図面と以下の詳細な説明を参照して最も理解することができる。
図１は、本発明のいくつかの実施形態における、２次元イメージ／ビデオから立体的なイメージ／ビデオを生成するためのプロセスのフローチャート一例である。 図２は、本発明のいくつかの実施形態における、２次元イメージ／ビデオから立体イメージ／ビデオを生成するシステムのブロックダイアグラムの一例である。 図３Ａは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図である。 図３Ｂは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図である。 図４Ａは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図であり、オブジェクトが視界の中心に配置されている時のシフトの効果を示している。 図４Ｂは、本発明のいくつかの実施形態における、異なる奥行きのオブジェクトの、イメージと補完イメージ間との間の水平シフトの一例を示す図であり、オブジェクトが視界の中心に配置されている時のシフトの効果を示している。 図５は、本発明のいくつかの実施形態における、異なる奥行きにあるオブジェクト要素の、イメージと補完イメージ間との間の水平シフトの一例を示す図である。 図６は、本発明のいくつかの実施形態における、イメージと補完イメージに対応する観察角度の変更の一例を示す図である。 図７は、本発明のいくつかの実施形態における、イメージと補完イメージに対応する観察角度の変更の一例を示す図であり、オブジェクトに関連する事前に保存された３次元データを用いた例を示している。 図８は、本発明のいくつかの実施形態における、シーンの一例と、結果イメージ、生成された補完イメージを示す図である。 図９Ａは、本発明のいくつかの実施形態における、人の２次元イメージの一例である。 図９Ｂは、本発明のいくつかの実施形態における、人の補完イメージを加えた人の２次元イメージの一例である。
図面を簡素かつ明瞭にするために、図中に示される部材にスケールを表示する必要はないことを理解されたい。例えば、図面を明瞭にするために、いくつかの部材の寸法は他の部材よりも誇張して描かれていてもよい。さらに、適切と判断される場合には、対応の又は類似の要素を示す図の間では、参照番号は繰り返し使用されてもよい。
添付の図面は、発明の詳細を明確にするために示された例示的なものであり、本発明の可能な組み合わせを全て含んでいるものではない。
以下の説明は、当該分野における技術を有する者が本発明を実施するために記載されているものであり、特定のアプリケーションおよびその要件に関するものである。開示された実施形態の様々な変形例があることは当該技術分野における当業者にとって明らかであり、ここで定義されている基本的な原理は、本発明の主旨を越えない範囲で他の実施形態とアプリケーションに適用できる。そのため、本発明はここで開示された実施形態に限定されるものではなく、ここで開示されている原理および特徴と整合する最も広い範囲に適用できる。
以下の詳細な説明では、本発明に対する理解を深めるために、詳細を具体的に多数示している。しかしながら、本発明はこれらの具体的な詳細が無くても当該技術分野における当業者によって実施されうることを理解されたい。一方、既知の方法、手順、構成要素および回路については、本発明の特徴を不明瞭にしないために詳細は記載していない。
特に述べられていない限り、以下の説明から明らかなように、本明細書を通じて、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」「コンピュータで計算する（ｃｏｍｐｕｔｉｎｇ）」「計算する（ｃａｌｃｕｌａｔｉｎｇ）」「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの用語を用いた説明は、携帯電話やその他の携帯機器を含むコンピュータまたはコンピュータシステム、または、同様の電子コンピュータ装置の動作またはプロセスを参照し、かつ／または、コンピュータシステムのレジスタまたはメモリ内の物理的に、たとえば電子的な量として表されたデータを操作し、かつ／または、コンピュータシステムのメモリ、レジスタ、あるいは他の情報記憶装置、転送または表示機器内において同様に表された他のデータに変換することを意味する。
本発明の実施例は、本書に述べる動作を実行する装置を含むものである。この装置は、所望の目的に対して特別に構成されていてもよく、または、コンピュータまたは携帯電話またはその他のコンピュータ機器に保存されているコンピュータプログラムによって選択的に起動または再構築される汎用コンピュータを備えていてもよい。このようなコンピュータプログラムは、コンピュータにて読取可能な記憶媒体に記憶されていてもよい。当該記憶媒体は、例えば、フロッピィディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電子的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能かつプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、磁気あるいは光学カード、あるいは電子インストラクションの保存に適し、かつ、コンピュータシステムバスに接続可能ないかなるタイプの媒体でもよいが、これらに限定はされない。
本明細書で示す処理および表示は、特定のコンピュータまたはその他の装置とは本質的には関連していない。様々な汎用システムにおいて本明細書の教示に基づいたプログラムを用いることができ、また、所望の方法を実行するために、より特化された装置を構成する方が有用であるとこともありうる。これらのシステムに望ましい様々な構成は、以下の記載から明らかとなると考えられる。さらに、本発明の実施形態は、任意の特定のプログラム言語に関して記載はされていない。様々なプログラム言語を使用して本明細書に記載された本発明を実施できることを理解されたい。
現在知られている、あるいは今後考え出されるいずれのトポロジー、技術、コンピュータ通信の規格（例えば、メッシュネットワーク、インフィニバンドコネクション、ＲＤＭＡなど）においても、本発明は適用されうることを理解されたい。
本発明は、２次元イメージまたはビデオから３次元イメージまたはビデオを生成する方法およびシステム、デバイス、処理論理回路を含む。本発明のいくつかの実施形態によれば、立体３次元生成システムは、第１の２次元イメージまたはビデオから２次元補完イメージまたはビデオを推定および生成するよう適合化されている。ここで補完イメージまたはビデオは、第１のイメージまたはビデオ、または、第２の補完イメージまたはビデオと結合した時に、第１のイメージまたはビデオでキャプチャされたシーンの立体イメージを生成する。言い換えると、立体３次元生成システムは一つまたは複数の補完イメージを生成し、観察者が一方の目で第１のイメージまたは（第１の補完イメージから逆方向へシフトさせた）第２の補完イメージを観察し、もう一方の目で補完イメージを観察した時に、イメージの中に奥行きがあるように錯覚させる（例えば、立体３次元イメージ）。
本発明の他の実施形態によれば、立体３次元システムは複数の第１の一連の２次元イメージ（ビデオ）から一連の２次元補完イメージを推定およびレンダリングするように適合化されている。ここで、一連の補完イメージは、第１の一連のイメージを結合した時に、第１の一連のイメージでキャプチャされたシーンの一連の立体イメージを生成する。言い換えると、３次元生成システムは一連の補完イメージを生成し、観察者が一方の目で第１の一連のイメージを観察し、もう一方の目で一連の補完イメージを観察した時に、イメージの中に奥行きがあるように錯覚させる（例えば、立体３次元映画／ビデオ）。
本発明の実施形態によれば、（図１に示す）立体３次元イメージの生成プロセスは、以下のプロセスを含む。
ａ．立体３次元イメージに変換する第１の２次元データセットを受け取る受け取りステップ。
ｂ．２次元イメージデータセットの中から１以上の各オブジェクトを識別する識別ステップ。
ｃ．識別されたオブジェクトを特徴付ける特徴付けステップ。オブジェクトを特徴付ける特徴付けステップは、多重プロセスであっても良い。ここで、オブジェクトは、まず、固定または非固定のオブジェクトとして、または、静止した／動いているオブジェクトとして、または、人か／人でないかなどによって、補助的に特徴付けられ、さらに、識別したオブジェクトの視認可能な特徴に基づいて第１のサブグループ内で特徴付けられる。さらに、あるオブジェクトは、同じイメージ内の他のオブジェクトの特徴から影響を受け、または、アシストされて特徴付けられる（例えば、もし、すでに特徴付けられたテーブルが明らかになっていれば、イスとして特徴付けられる、あるいは、人の胴体として特徴付けられたオブジェクトの上の丸いオブジェクトは、胴体とは別に、頭として特徴付けられる、あるいは、信号機が特徴付けられているイメージ上のものは、車として特徴付けられる、など）。さらに別の実施形態では、特徴付けは参照モデルに基づいている。参照モデルは、関連するデータベースに記憶されている、または、モデルパラメ−タとオブジェクトの要素／特徴との関連性に基づいて外部から提供される。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。
ｄ．特徴付けられたオブジェクトまたはオブジェクト要素を可能な参照モデルへ関連付ける関連付けステップ。いくつかの実施形態によれば、参照モデルは２次元または３次元モデルである（‘９５８出願に記載の骨格モデルも含むが、それに限られない）。更に他の実施形態によれば、クラウドベースのオブジェクト認証の実現を目的としている（例えば、適切なデータネットワークを通してアクセスされる外部データベースやオブジェクト認証、モデリングリソースなど）。
ｅ．イメージデータセット内の識別されたオブジェクトの物理的特徴に基づいて、イメージデータセット内の識別されたオブジェクトへ関連する参照モデルを挿入する挿入ステップ。このプロセスは関連する参照モデルの歪曲化や変換、スケーリングを含んでいる。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、必要に応じて変形したものも含めて、ここで本明細に組み込まれる。
ｆ．第１のイメージをキャプチャした撮像装置、所望の視点、または、他のオブジェクトに関係して、識別されたオブジェクトとオブジェクト要素に関する奥行き情報の推定または見積りを行う見積もりステップ。第１のイメージをキャプチャした撮像装置からのイメージ内における各画素の一部どうしの距離が、逐次的にまたは同時並行で決定される。他の実施形態においては、参照モデルと関連付けられたオブジェクト（モデル化オブジェクト）に対するプロセスと、参照モデルに関連付けられないオブジェクト（非モデル化オブジェクト）に対するプロセスとは分けて実行される。
（ｉ）．モデル化オブジェクト‐いくつかの実施形態によれば、モデル化オブジェクトおよびオブジェクト要素に関する奥行き情報は、イメージデータセット内のオブジェクトの空間的な特徴とモデル化オブジェクトの既知のパラメータとの関係から推定される（例えば、もし、モデル化オブジェクトが５４年式のマスタングである場合、撮像装置とオブジェクト間の距離は、イメージ内のマスタングのタイヤの大きさと、既知の５４年式マスタングのタイヤの大きさとの比に基づいて決定される。同様に、具体的な事例がほとんど無い場合でも、多くの車のタイヤは同程度のサイズであることから距離が見積もられ、このような見積もりはどのような車に関しても可能である）。さらに別の実施形態では、‘９５８出願で詳細に記載されているように、非固定のオブジェクト（例えば、人）についても奥行き情報を見積もることができる。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。更に、あるオブジェクトに関する奥行き情報は、当該オブジェクトと既に奥行き情報が決定された他のオブジェクト間の空間的な関係に基づいて見積もられる（例えば、イメージの中で人がイスに座っている場合、イスに関する奥行きデータは座っている人に関する奥行き情報と同じである）。さらに他の実施形態では、あるオブジェクトの奥行き情報は、一連のイメージ（例えば、ビデオ映像）のうち、前のイメージ内の同一オブジェクトに関する奥行き情報に基づいて決定される。さらに、あるオブジェクトの奥行き情報は、一連のイメージ内での空間的な位置に基づいて決定される（例えば、もし撮像装置がイメージ間で既知の距離だけ移動したと判断される場合、または、他のオブジェクトがイメージ内で既知の距離だけ移動した場合、単純な三角測量によって当該オブジェクトの奥行きを決定できる）。上記の方法の如何なる組み合わせ、および／または、上記の方法の繰り返しも使用できることも理解されたい。他の実施形態によれば、モデル化オブジェクトの異なる要素それぞれの奥行き情報は、イメージ内の（目的とする）要素の外観や、当該要素の同一オブジェクトの異なる要素の外観との関係や、当該要素のイメージ内の他のオブジェクトとの関係に基づいて推定されてもよい（例えば、図９Ａ、９Ｂの例では、人間の手は胴体よりも撮像装置の近くにあると判断され得るし、図５の例では、あるテーブルの脚は他の脚よりも撮像装置の近くにあると判断され得るし、立方体のある側面は他の側面よりも撮像装置の近くに存在し得る）。
（ｉｉ）．非モデル化オブジェクト‐非モデル化オブジェクトの距離を決定する本発明の他の実施形態は、上記の方法に加えて、モデル化オブジェクトの空間的な位置関係、それらの位置、または、一連のイメージを通した位置の変化に基づいて、これらのオブジェクトの距離を見積もる見積もりステップを含んでいる（例えば、多重イメージをキャプチャしている間にカメラの配置または位置が変わる場合は、静止オブジェクトの奥行きの計算は容易に実行できる。それと同様に、奥行き情報を持ち得る非静止オブジェクトが一連のイメージを通して動いた場合、静止オブジェクトとオブジェクト情報を持ち得るオブジェクトとの空間的な位置関係の変化に基づいて、静止オブジェクトの奥行きを見積もることができる）。
ｇ．決定された撮像装置からの距離／オブジェクトの所望の視点／オブジェクト要素／第１のイメージの画素／エピポーラ幾何学に基づいて、それぞれのオブジェクト／オブジェクト要素／画素の右側※への水平シフト量を計算する計算ステップ。言い換えると、水平移動はオブジェクト／オブジェクト要素／画素のそれぞれについて計算され、この移動は第２の視点を得るために必要である。ここで、第２の視点は、元イメージが右目で見たイメージである場合、左目から見たイメージに対応する。すなわち、オブジェクトの水平シフトは、イメージをキャプチャしている時に撮像装置が右目の位置から左目の位置に移動した場合（オリジナルイメージと結合する補完イメージを生成する場合）に生じるイメージ内でのオブジェクトの視認可能な水平シフトに対応し、基礎的な幾何学に基づいて明らかに、このシフトはオブジェクトの撮像装置からの距離に依存する（遠くのオブジェクトほどシフト量は小さくなる。逆もしかり）。あるいは、左目用と右目用の２つの補完イメージを結合する場合、１つは中心から左目側へ、２つ目は中心から右目側へシフトする。
図３Ａと３Ｂは、上述の水平シフトを図示したものである。これらの図は、左目と右目の視野（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ：ＦＯＶ）内にある３つの異なる奥行きにあるオブジェクト１００（Ａ、Ｂ、Ｃ）についての２つの例を示している。この３つのケースは、観察面１０１からの距離が異なる３つのオブジェクト１００を表している。両方の例において、両目の視野内における位置が互いに近くにあるオブジェクト（例えば、それぞれの目の間で水平シフトが小さいオブジェクト）は、観測面１０１から離れたオブジェクトとして見える。逆に、両目の視野内における位置が互いに離れている位置にあるオブジェクトは、観測面１０１に近いオブジェクトとして見える。もし、左目と右目の視野の間で同じ位置にあるオブジェクトがあれば、そのオブジェクトは無限遠にあるように見える。右目の視野内で左寄りにあるオブジェクトは、左目の視野内にあるオブジェクトと比較してより観測面に近くにあるように見える。
また、図３Ａと３Ｂから、カメラからより遠いオブジェクトの外観は視野内で小さく見え、カメラに近いオブジェクトの外観は視野内で大きく見えることが分かる。例えば、図３Ａでは、位置Ａのオブジェクト１００は、位置Ａよりもカメラ１０２に近い位置Ｃにある同じオブジェクトよりも、両目の視野内で小さく現れる。位置Ａにあるオブジェクトのイメージは、左目と右目の視野内において中心に近い位置にあり、これによりオブジェクトは遠くに見える。位置Ｃにあるオブジェクトは左目の視野内の右端、および、右目の視野内の左端にあり、これによりオブジェクトは観測者に近くにあるように見える。
図４Ａと４Ｂは、水平シフト量が、撮像装置の前（例えば、両目の間の領域内）に直接置かれたオブジェクトに依存していることについて説明するものである。図４Ｂに示しているように、このようなオブジェクトは、水平シフトが生じた結果、補完イメージ内で逆方向（鏡面）に表われる。
異なる奥行きに配置されたオブジェクト要素に関する水平シフトの追加の計算例が図５に示されている。この例では、カメラによってキャプチャされ、左目に表示されたオブジェクト１２０の２次元イメージがある。オブジェクト１２０のオブジェクト要素ａ、ｂ、ｃ、ｄ、ｅ、ｆが識別されており、オブジェクト要素ｃ、ｄ、ｅ、ｆはカメラに近く、オブジェクト要素ａ、ｂはカメラから離れていると判断されるように、これらの奥行きが見積もられている。その結果、それぞれのオブジェクト要素の左側へのシフト量が計算される‐オブジェクト要素ａ、ｂのカメラから離れる方向へのシフト量は２と計算される（オブジェクト要素ａに対してはｘ＝１１からｘ＝９、オブジェクト要素ｂに対してはｘ＝２３からｘ＝２１へのシフト量が計算される）。また、カメラに近いオブジェクト要素ｃ、ｄ、ｅ、ｆのシフトは４と計算される（オブジェクト要素ｄとｆはｘ＝２６からｘ＝２２へシフトし、オブジェクト要素ｃとｅはｘ＝１０からｘ＝６へシフトする）。その結果、右目に表示されるシフトされたイメージ１２１がレンダリングされる。
ｈ．それぞれのオブジェクト／オブジェクト要素に適用される変更観察角度（ａｎｇｌｅ ｏｆ ｖｉｅｗ：ＡＯＶ）を計算する計算ステップ。この変更は第１の２次元イメージ内におけるオブジェクト／オブジェクト要素の位置と、それぞれのオブジェクトまたはオブジェクト要素間の間隔に基づいており、この間隔は（１）第１のイメージをキャプチャした撮像装置、（２）所望の（仮想的な）視点、または、（３）お互いの関連性、から決定される。言い換えると、イメージをキャプチャした時（元のイメージに結合させる補完イメージを生成する場合）に、撮像装置が右目の位置から左目の位置（仮想的な観測点）へ移動した場合、所望の視点からのそれぞれのオブジェクトの奥行きに基づいて、観測されるオブジェクトの観察角度の変更が計算される。一方、左目用のイメージと右目用のイメージの２つの補完イメージが結合される場合、１つは中心から左目の方へ、２つ目は中心から右目の方へシフトする。基礎的な幾何学から明らかに、この変更は撮像装置からの距離（遠くのオブジェクトの変更は小さくなる。逆もしかり。）と、視野内の位置に依存している。図５、６に典型的なオブジェクトの変更観察角度を示している。
ｉ．それぞれのオブジェクトに対する変更観察角度を生成する生成ステップ。いくつか実施形態によると、３次元参照モデルと関連付けられたモデル化オブジェクトに対応する変更した観察角度（仮想的な視点）は、各オブジェクト／オブジェクト要素の適用された３次元モデルおよび所望の要求角度（例えば、仮想的な視点）から見たモデルの最適な２次元投射（オブジェクト／オブジェクト要素の見ため）に基づいて生成される。本プロセスは‘９５８出願において詳細に記載されている。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、ここで本明細に組み込まれる。本発明のいくつかの実施形態によれば、オブジェクトに関連する３次元データは、メモリに記憶された複数の時空間フレーム内において、複数の角度からキャプチャされたオブジェクトから構成されている。
３次元データは、第１の２次元イメージではカメラには映っておらず、２次元補完イメージの中で表示されるべきオブジェクト要素を補完するために使用される。言い換えると、第２のイメージにおいて表示されていないオブジェクトの一部に関連する１つのイメージのデータは、必要に応じて第２のイメージの変更観察角度を構成するために用いられる＊＊。
図６と７は、観察角度の変更の例を示しており、これらの生成は本発明のいくつかの実施形態に基づいている。図６ａは、異なった角度からキャプチャされ、メモリに記録された立方体オブジェクトのモデルを示している。図６ｂは、キャプチャされた立方体オブジェクトを示している。本システムは、キャプチャされたイメージを左目の視野内に表示する。図６ｃは、右目の視野に適するように変更された観察角度を示している。
図７は、システムメモリに記憶されたオブジェクトイメージから生成した２次元補完イメージの例を示している。
図７ａは、メモリに記憶されたオブジェクトの３次元データセットの例を示している。オブジェクトまたはカメラが互いに相対的に動くことで、複数の角度からオブジェクトのイメージをキャプチャした多重時空間ビデオを構成する間に、本システムによってオブジェクトの３次元データが収集される。図７ｂは、カメラによって撮影された図７ａに示すオブジェクトのイメージを表しており、このイメージは左目の視野内に表示される。３次元データはシステムメモリに記憶されているため、オブジェクトの２次元イメージは任意の観察角度でレンダリングされる。図７ｃは、図７ｂのイメージの角度を相対的にシフトさせてレンダリングした図７ａのオブジェクトを示している。この表示イメージは、オブジェクトの立体３次元イメージを生成するために右目の視野に表示される。
その他の実施形態によれば、オブジェクトの変更観察角度を生成することは、オブジェクトの異なる観察角度を生成するために、オブジェクトのエッジの画素／テクスチャをコピーまたは引き延ばすことを含んでいる。例えば、変更観察角度において視認可能なオブジェクトの一部に関連したデータが利用できない場合、このデータはオブジェクトの最も近い視認可能なエッジのテクスチャに置きかえられる。言い換えると、３次元データが利用できないオブジェクトに対する変更観察角度を生成することは、変更観察角度の形の基礎的な幾何学計算を含む変更観察角度の見積もりに基づいており、ここで、テクスチャは、表示されている部分から“新たに表示される”部分へコピーされる。
ｊ．第１の２次元イメージにおいてキャプチャされたシーンを表す補完２次元イメージデータを生成する生成ステップ。ここでは、（１）各オブジェクト／オブジェクト要素／画素に対して計算されたシフト量に基づいて、第１の２次元イメージ内の各オブジェクト／オブジェクト要素／画素の位置が右側にシフトされる※、そして、（２）生成されたそれぞれのオブジェクトまたはオブジェクト要素の変更されたイメージが表示される。
図８は、本発明のいくつかの実施形態に関連した補完２次元イメージデータの例を示している。図８ａは、異なる奥行きに配置されたオブジェクト１１１、１１２、および１１３を含むシーンの例を示している。１０２Ａ、Ｂ、およびＣは、３つの異なる観察方向（ｖｉｅｗｉｎｇ ａｎｇｌｅ）を表しており、１０２Ｂは元のイメージをキャプチャした位置、１０２Ａと１０２Ｃは（それぞれ）左目側と右目側にシフトさせた観察方向を表している。図８Ｂは生成された補完イメージを示しており、ここでＢは元々のキャプチャイメージ、Ａは左目用の補完イメージ、Ｃは右目用の補完イメージを示している。見ての通り、オブジェクト１１１と１１２、１１３の外観は相対的な奥行きに基づいて水平方向にシフトし、それによって、それぞれの観察角度は変化している（シフトと観察角度の変更は説明するために誇張して示している。）。
ｋ．生成した補完２次元イメージデータをレンダリングするレンダリングステップ。
ｌ．第１の２次元イメージ内でキャプチャされたシーンの立体３次元イメージを生成するため、レンダリングされた補完２次元イメージを、第１の２次元イメージまたは第２の補完イメージへ結合する結合ステップ。
ｍ．レンダリングされた立体３次元イメージを保存する保存ステップ。
図９Ａと９Ｂは、本願発明の他の実施形態における、元の２次元イメージから３次元立体イメージを生成する他の例を示している。この例（図９Ａ）では、カメラの方へ右腕（１０５）を伸ばしている人の２次元イメージが示されている。この例において、イメージ内の左腕（１０６）の長さは、人体の物理的な寸法に対する解剖学的な比率内にあり、左腕が胴体の横に置かれ、胴体と同じ平面上にあることを示している。この平面上にある左腕と胴体とはカメラまでの距離が同じである。右腕（１０５）のイメージは左腕（１０６）のイメージよりも短く、これは右腕がカメラの方を指しているまたはカメラから遠ざかった位置にあることを示している。しかしながら、右手の掌と指は左手の掌と指よりも大きく、人体の物理的な比率からすると不釣り合いに大きい。これは腕がカメラの方を指していることを示している。相対的な掌と指の大きさと腕の長さは、カメラから胴体までの距離に対する、右の掌まで相対的な距離を示している。
本発明のいくつかの実施形態によれば、第２のイメージは、体の他のパーツのカメラからの相対的な距離に応じてシフト量が異なることを用いて推定される。カメラに近い体のパーツのシフト量はより大きく、カメラから離れている体のパーツのシフト量はより小さくなる。
図９Ｂは、図９Ａに示す体の元イメージの例を示しており、カメラでキャプチャされたイメージは‘ａ’、生成された補完イメージは‘ｂ’とマークされている。図から分かるように、カメラからの距離がほぼ同じである体のパーツは左側へ同じ量だけシフトしている（“小さい水平シフト”とマークされている）。右手（１０５）の掌（１０７）は胴体よりも多くシフトしている（“大きい水平シフト”とマークされている）。腕の左側へのシフト量は、胴体の横の肩の近くの同じシフト量（“小さい水平シフト”とマークされている）から、掌の近くの最も大きいシフト量（“大きい水平シフト”とマークされている）まで徐々に大きくなっている。人の３次元立体映像を生成するために、キャプチャされたイメージ（添え字‘ａ’）は左目に表示され、シフトしたイメージ（添え字‘ｂ’）は右目に表示される。
本発明の他の実施形態によれば、３次元ビデオ／フィルムを生成するために、一連のイメージ（例えばビデオ）に対して上述の処理を順次実行してもよい。また、本発明のさらに他の実施形態によれば、上述の一連のイメージに対して上述の処理を実施する時、一連の中の任意のイメージ関して、蓄積され、計算が実行されたデータは、一連のイメージに対して実行される処理に用いてもよい（例えば、静止イメージが解析される時、または、軌跡と速度が見積もられる時に、１つのイメージから収集された任意のオブジェクトの一部分に関するテクスチャデータは、当該特定部分が視界から隠れているような第２のイメージにおいて当該オブジェクトの変更観察角度を生成するために用いられてもよい。また、１つのイメージから得た奥行き情報は第２のイメージのために用いられてもよい。この詳細は全て‘９５８出願に記載されている。）。更に、いくつかの計算は合成された一連のイメージ上で実行される（例えば、一連のイメージ上でのオブジェクトの動きは、イメージに関するデータの確認に用いられる）。
※本明細を通して、観測者の左目に表示するイメージを得るために、オブジェクトまたはオブジェクト要素、画素を右へシフトすることについて記載している。ここで、右へシフトすることについての記載は任意に選択されうるものであり、代わりに観測者の右目に表示するイメージを得るために左へシフトさせるように実行され得ることは明らかであることを理解されたい。その結果、右へのシフトに関するいかなる記載も、本説明を適宜変更して左へシフトすることも含んでいるとみなされたい。さらに、本開示内容を通した記載は、立体視を生成するために、一方の目に表示する補完イメージを生成しつつ、もう一方の目に元イメージを表示するものである。元イメージから互いに反対方向にシフトさせた２つの補完イメージ（一つは右目用、もう一つは左目用）についても同様に、立体イメージを生成するために用いられると理解されるべきであり、ここでの開示内容を必要に応じて変形したものも含むと理解されたい。
※※本明細を通して、本出願人による米国出願番号Ｎｏ．１１／７４２，９５８、名称“ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ３Ｄ ＳＰＡＣＥ−ＤＩＭＥＮＳＩＯＮ ＢＡＳＥＤ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ”を参照しており、これは、ここで全て本明細に組み込まれる。本発明に記載されているオブジェクトの骨格３次元モデルについての説明、および、このようなモデルのオブジェクトへ関連付け、オブジェクトへのモデルの適用、これらのモデルに基づいた計算および見積もりは、‘９５８出願の記載を参照して理解されたい。
本発明のいくつかの実施形態によれば、２次元イメージまたはビデオから立体３次元イメージまたはビデオを生成するための（図２に示される）立体３次元生成システムは、以下と機能的に関連付けられている、または、以下の機能から構成される。
ａ．‘９５８出願に記載されているデータの３次元表示を行う装置。
ｂ．１以上の一連の２次元イメージデータセットを受け取る受け取りモジュール。この受け取りモジュールは、受け取ったイメージを記憶するための記憶手段またはバッファを含んでいる。
ｃ．以下のデータを受け取る３次元表示装置インターフェースモジュール：（１）受け取ったイメージ内に表われている１以上のオブジェクトに関する奥行き情報、または、（２）受け取ったイメージ内の１以上のオブジェクトに関連する、３次元モデル、または、関連するデータベースに登録されたモデルとの関連性。
ｄ．１以上の個々のオブジェクト識別モジュール ※※ 。これは、受け取ったイメージ内の個々のオブジェクト（例えば、テーブル）またはオブジェクト要素（例えば、テーブルの脚）を識別するよう適合化されている。
ｅ．上記の段落００５６のステップｃに記載されているプロセスを実行するための処理論理回路を備えるオブジェクトキャラクタライザ ※※ 。オブジェクトキャラクタライザは、その機能を補助する外部サービスと通信する分散型データネットワークと機能的に関連している。
ｆ．上記の段落００５７のステップｄに記載されているような、識別されたオブジェクトを最適な参照モデルに関連付けるための処理論理回路を備える、参照モデル相関部 ※※ 。参照モデル相関部は、この目的のために選択されたモデルを記憶している最適なデータストレージと機能的に関連しており、更に、その機能を補助する外部サービスと通信する分散型データネットワークと機能的に関連している。あるいは、関連するデータネットワークを検索し、最適な参照モデルを読み出して関連付けるよう適合化されたクラウドベースのオブジェクト認識モジュールと関連している。
ｇ．参照モデルを、受け取ったイメージデータ内の識別されたオブジェクトの外観の特徴に適用する（変形、変換、拡大縮小を含む）よう適合化された処理論理回路を備えるモデル挿入ユニット。このコンポーネントについては‘９５８出願内に記載されている（骨格挿入ユニット）。本願は、‘９５８出願の一部継続出願であり、‘９５８出願に記されている全ての関連記載は、本プロセスにも関連する可能性があり、必要に応じて変形したものも含めて、ここで本明細に組み込まれる。
ｈ．（上記の段落００５９のステップｆに記載されているような）第１のイメージをキャプチャした撮像装置、または、互いの関係、または、所望の視点から、各オブジェクトおよびオブジェクト要素の距離を決定する処理論理回路を備えるオジェクト奥行き推定／見積もりモジュール ※※ 。あるいは、または、同時に、オジェクト奥行き推定／見積もりモジュールは、第１のイメージをキャプチャした撮像装置から、イメージ内のそれぞれの画素または画素の一部までの距離を推定するまたは見積もる処理論理回路を備える。他の実施形態によれば、上記の段落００６０および段落００６１のステップｆ（ｉ）とｆ（ｉｉ）に記載されているように、モデル化オブジェクトと非モデル化オブジェクトの奥行きを決定するための、オブジェクト奥行き推定／見積もりモジュールまたは処理論理回路は、別々に提供されている。
ｉ．以下の要素から構成される補完イメージデータ計算部：（１）イメージ内のオブジェクト／オブジェクト要素／画素の決定された距離に基づいて、イメージの各オブジェクト／オブジェクト要素／画素に対する右へのシフト量※を計算するための処理論理回路を備える水平シフト計算部。このシフトは、左目からの視界に対応する第２視点を得るために、各オブジェクト／オブジェクト要素／画素に対して適用される（上記の段落００６２ないし段落００６６のステップｇに全て記載されている）；（２）イメージ内の識別された各オブジェクト／オブジェクト要素に適用する観察角度の変更を計算するための変更観察角度計算部。この計算は、イメージ内のオブジェクト／オブジェクト要素の位置およびイメージをキャプチャする撮像装置からそれぞれのオブジェクトとオブジェクト要素までの決定された距離、またはお互いの関係性、または所望の視点に基づいて行われる（上記の段落００６７のステップｈに全て記載されている）。
ｊ．オブジェクト／オブジェクト要素の変更イメージ（ｍｏｄｉｆｉｅｄ ｖｉｅｗ）を生成する変更観察角度生成部 ※※ 。ここで、変更イメージは補完イメージデータ計算部によって実行される計算に基づいて変更される。変更観察角度生成部は以下の要素を備える：（１）オブジェクトの３次元モデル、および、これらのモデルの異なる２次元投射に基づいてオブジェクトの変更した観察角度を生成するための観察角度生成プロセス。ここで、このプロセスは‘９５８出願において詳細に述べられており、そこに記載されている本プロセスに関連する内容は、ここで本明細に組み込まれる。さらに、‘９５８出願における非固定オブジェクトの観察角度の変更に関する記載は、本発明の３次元モデルに関わる任意のオブジェクトにも関連し、同様の原理に基づいて、必要に応じて変更させながら、任意のオブジェクトの変更観察角度が生成される；（２）（段落００６８のステップｉに記載されているような）あるオブジェクトの異なる観察角度によるイリュージョンを生成するために当該オブジェクトの端部の画素またはテクスチャをコピーまたは引き延ばすことによって、非モデル化オブジェクト、および／または、必要データを含まないモデルと相関のあるオブジェクトの変更観察角度を生成する処理論理回路。
ｋ．任意の２次元イメージ内でキャプチャされたシーンを表す、補完２次元イメージデータセットを生成するための処理論理回路を備える、補完イメージデータ生成部。ここでは、（１）補完イメージデータ計算部で計算されたオブジェクト／オブジェクト要素／画素のシフト量に基づいて、各オブジェクト／オブジェクト要素／画素が、当該２次元イメージ内での位置から右側へシフトされる。そして、（２）補完イメージデータ計算部の計算に基づいて変更観察角度生成部で生成された、各オブジェクト／オブジェクト要素の変更イメージが表示される。
ｌ．補完イメージデータ生成部で生成されたイメージデータセットをレンダリングするための処理論理回路を備える、レンダリングモジュール。
ｍ．元の２次元イメージ内でキャプチャされたシーンの立体３次元イメージを生成するために、レンダリングされた補完２次元イメージを、生成された２次元イメージまたは第２の補完２次元イメージと結合するよう適合化された立体イメージ生成部。
ｎ．ディスプレイやデータストレージ、ユーザーインターフェース、コントローラ、あるいはその他の補助的な装置などのシステムの制御を補助する補助モジュールおよびハードウェア。
本発明のいくつかの実施形態によれば、オブジェクトの特徴付け、または、その後の参照モデルとの関連付けを含んでいる。
整合／識別／認証アルゴリズムのうち、１以上は、コンテンツについての追加の特徴情報が生成されたときに、イメージのコンテンツに関する既知の特徴情報（例えば、タイトルや俳優などの様々なコンテンツパラメータを示すメタデータタグ）、または、以前のコンテンツについての特徴情報（例えば、メタデータや特徴パラメータ）を参照して実行される。特徴付けられるコンテンツと共に受け取った既知の特徴情報は、コンテンツと共に受け取った特徴データに基づいて外部のデータベースから読み出される、あるいは、１以上のアルゴリズムの一つによって生成／抽出される。本発明の他の実施形態によれば、既知の特徴情報は、与えられた整合／識別／認証アルゴリズムの調整や重み付けまたはその他の条件付けに用いられる。１以上のアルゴリズムの一つによって生成された特徴情報は、有効かそうでないかに分類される。
本発明のいくつかの実施形態によれば、１回目の整合／認識／認証の解析が反復して実行される間に、１以上のアルゴリズムによって有効ではない特徴情報が生成される。１回目の反復解析時に、コンテンツと共に受け取った、または、外部データベースから読み出した特徴情報によって、解析の調整、重み付けまたはその他の条件付けがされる。本発明の他の実施形態によれば、１回目の反復解析が実行された時点で生成されたいずれの特徴情報も、１回目の反復解析の後に、１以上のアルゴリズムの調整、重み付けまたはその他の条件付けに用いられる。
本発明の他の実施形態によれば、１以上のアルゴリズムのいくつかまたは全てはコンテンツの２回目の反復解析を実行するために用いられ、１回目が有効または非有効のいずれであっても、２回目の反復の間に非有効な特徴情報が生成される。２回目の反復の間、コンテンツと共に受け取った、または、外部データベースから読み出された、または、１回目の反復時に生成された特徴情報のうちのいくつかまたは全ては、１以上のアルゴリズムの調整、重み付けまたはその他の条件付けに用いられる。
本発明の他の実施形態によれば、コンテンツは１つ以上のシーンまたは１つ以上のシーンの断片（例えば、同じシーンに対して複数のカメラが設置された場合）を含んでおり、このコンテンツはシーン／断片間の境界が定義またはマークされるように分割される。コンテンツを特徴付ける１回目または２回目または両方の反復解析でシーン／断片の分割が実行され、または、１以上のアルゴリズムによる解析の調整、重み付けまたはその他の条件付けを行うために、または、シーン／断片の境界を考慮して解析が実行される。
本発明のいくつかの実施形態によれば、以下のものが提供される：（１）特徴付けされるマルチメディアコンテンツを受け取るように適合化されたコンテンツ受け取りモジュール；（２）受け取ったコンテンツのうち、すでにあるコンテンツを特徴付けるタグまたはメタデータ（例えば、映画やテレビ番組のタイトルや俳優のリスト、コンテンツ内の音楽のタイトルなど）を抽出するように適合化されたメタデータ抽出モジュール；（３）受け取ったコンテンツに関する特徴情報の追加のために、１以上の（外部）データベースリソース（例えば、Ｇｏｏｇｌｅ、ｆｌｉｘｔｅｒなど）を検索するように適合化された外部データベース照会モジュール（例えば、もし映画／番組のタイトルのみが分かっている場合、キャラクターや関連する俳優のリストが読みだされる。分かっている俳優／キャラクターの顔のイメージや声などが読み出される、など。）；（４）１以上の整合／認識／認証アルゴリズムを動かすよう構成された処理論理回路エンジン（例えば、プロセッサー）の１以上のクラスター。ここでアルゴリズムは以下のものに適合化されている：（ａ）音の動きの追尾（オブジェクトの位置の推定）、（ｂ）顔の認証（映画内の俳優の顔の整合を試みる）、（ｃ）声の認証（すなわち、話している話者を識別する）、（ｄ）オブジェクト追尾（動き、位置）、（ｅ）話し声の認識（話し声をテキストに変換する）、（ｆ）効果音認識（爆発音や飛行機、ヘリコプターなどを識別する）、（ｇ）オブジェクト認証（瓶、缶、車など）、（ｈ）動き認証（キャラクターの動き、オブジェクトの動き、カメラの動きなど）；（５）１以上のアルゴリズムから特徴データを受け取る、および、１以上のアルゴリズムに特徴データを提供するよう適合化されたデータ操作モジュール（例えば、コンテンツと共に受け取った特徴データを保存するテーブルを含むデータベースを有するデータベースアプリケーションのインターフェース。この特徴データはグローバルデータベースから受け取ったもので、一つまたは複数のアルゴリズムによって生成される）。
言い換えると、本発明のいくつかの実施形態によれば、オブジェクトの特徴には任意のシーンに関連する状況のデータが考慮される。
上記の要素のそれぞれ異なる多くの可能な組み合わせを含むそれぞれ異なる実施形態に基づいたシステムおよび方法によって、特徴の異なる組み合わせが得られることは明らかである。また、本システムの一つの要素によって実行されるように記載されているいくつかの機能が、本発明の他の実施形態において、本システムの異なる要素によって実行されうることは、当該技術分野における当業者によって理解されるべきである。
本発明の実施形態の詳細な説明および請求項における、“備える（ｃｏｍｐｒｉｓｅ）”や、“含む（ｉｎｃｌｕｄｅ）”、“有する（ｈａｖｅ）”という各単語およびこれらの単語を用いた文は、これらの単語に関連付けられたリスト内の部材に限定されるわけではない。
本開示内容に記載または記述されている内容は、本発明の一例および少数の応用例のみである。本発明は、他の様々な組み合わせや用途に対して適用可能であり、ここで記載されている本発明の範囲内で変更または変形を行うことができると理解されたい。
本発明のいくつかの特徴がここで記載および記述されたことによって、当該技術分野における当業者によって多くの変更例、代替例、変形例、均等物の実施が可能になると考えられる。そのため、添付の請求項は本発明の精神を逸脱しない範囲で、そのような全ての変更例、変形例をカバーすることを目的としていることを理解されたい。

Claims (18)

  1. 立体イメージを生成する方法であって、
    シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りステップと、
    前記第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別する識別ステップと、
    前記第１の非固定オブジェクトに３次元骨格モデルを関連付ける関連付けステップと、
    前記骨格モデルの少なくとも一部に基づいて前記第１の非固定オブジェクトに関する奥行き情報を決定する決定ステップと、
    前記シーンの第２の観察方向に対応したシフト量であって、前記シーン内のおける、前記第１の非固定オブジェクトの位置のシフト量を、前記第１の非固定オブジェクトに関する決定された前記奥行き情報に基づいて、計算する計算ステップと、
    第２の観察方向から見た前記シーンを表す補完２次元イメージデータセットを生成する生成ステップと、を備え、
    前記生成ステップは、計算されたシフトに基づいて、前記シーン内において、第１の非固定オブジェクトの位置をシフトするシフトステップを備える
    ことを特徴とする立体イメージ生成方法。
  2. 動画像列を構成する一連のイメージに対して、前記方法を実行する実行ステップを更に備える、
    ことを特徴とする請求項１に記載の方法。
  3. 前記補完２次元イメージデータセットと前記第１の２次元イメージデータセットを結合することにより、前記シーンの立体的なイメージを生成する生成ステップを更に備える、
    ことを特徴とする請求項１に記載の方法。
  4. 前記補完２次元イメージデータセットと、前記第１の２次元イメージデータセットから前記請求項１の方法の手順に従って生成した第２の補完２次元イメージデータセットとを結合することにより、前記シーンの立体イメージを生成する生成ステップを更に備える
    ことを特徴とする請求項１に記載の方法。
  5. 前記第１の３次元骨格モデルの少なくとも一部に基づいて、第２の観察方向から見た前記第１の非固定オブジェクトの外観を表すように、前記第１の非固定オブジェクトの外観を変更する変更ステップを更に備える
    ことを特徴とする請求項１に記載の方法。
  6. 前記第１の２次元イメージデータセット内の固定オブジェクトを識別する識別ステップと、
    前記固定オブジェクトと前記第１の非固定オブジェクトとの間の空間的な関係に基づいて前記固定オブジェクトの奥行きを推定する推定ステップと、を更に備える
    ことを特徴とする請求項１に記載の方法。
  7. 前記固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、第２の観察方向に対応するように、前記第１のイメージデータセット内において、固定オブジェクトの外観を変更する変更ステップを更に備える
    ことを特徴とする請求項１に記載の方法。
  8. 前記方法がリアルタイムで実行される、
    ことを特徴とする請求項１に記載の方法。
  9. 立体イメージを生成するシステムであって、
    シーンの２次元イメージを表す第１の２次元イメージデータセットを受け取る受け取りモジュールと、
    前記第１の２次元イメージデータセット内の第１の非固定オブジェクトを識別するために、前記受け取りモジュールと機能的に関連付けられた個別オブジェクト識別モジュールと、
    前記第１の非固定オブジェクトを３次元骨格モデルに関連付けるために、前記識別モジュールと機能的に関連付けられた参照モデル関連付け部と、
    前記骨格モデルの少なくとも一部に基づいて前記第１の非固定オブジェクトに関する奥行き情報を決定する奥行き推定モジュールと、
    第２の観察方向から見た前記シーンに対応したシフト量であって、前記シーン内のおける、前記第１の非固定オブジェクトの位置のシフト量を、前記第１の非固定オブジェクトに関する決定された前記奥行き情報に基づいて計算する水平シフト計算モジュールと、
    第２の観察方向から見た前記シーンを表す補完２次元イメージデータセットを生成するレンダリングモジュールと、を備え、
    前記生成する工程は、計算された前記シフト量に基づいて、前記シーン内において、第１の非固定オブジェクトの位置をシフトする工程を含む、ことを特徴とする立体イメージ生成システム。
  10. 前記第１の３次元骨格モデルの少なくとも一部に基づいて、第２の観察方向から見た前記第１の非固定オブジェクトの外観を表すように、前記第１の非固定オブジェクトの外観を変更する変更観察角度生成部を更に備える
    ことを特徴とする請求項９に記載のシステム。
  11. 前記固定オブジェクトの端に沿った１以上の画素のテクスチャを隣接画素に複製することにより、前記第２の観察方向に対応するように、第１のイメージデータセット内において、固定オブジェクトの外観を変更するための変更観察角度生成部を更に備える
    ことを特徴とする請求項９に記載の方法。
  12. 従来の２次元イメージデータセットから立体イメージを生成する方法であって、
    前記２次元イメージデータセット内の１以上のオブジェクトを識別する識別ステップと、
    少なくとも１つの識別されたオブジェクトに対して、前記識別されたオブジェクトの少なくとも１つの視認可能な特徴を表す少なくとも１つのパラメータを含む参照モデルを選択する選択ステップと、
    前記イメージ内の識別されたオブジェクトの前記少なくとも１つの視認可能な特徴の外観を、選択された前記参照モデルのパラメータと比較することによって、 前記２次元イメージ内の識別されたオブジェクトの奥行きを推定する推定ステップと、
    前記推定された奥行きに基づいて、生成されている立体イメージフレームの補完イメージフレームの各ペアにおける識別されたオブジェクトのインスタンス間の水平方向シフト量を計算する計算ステップと、を備える
    ことを特徴とする方法。
  13. 前記選択ステップは、前記２次元イメージに関するメタデータを考慮する工程を含む
    ことを特徴とする請求項１２に記載の方法。
  14. 少なくとも部分的に、既に実施された前記参照モデルの選択に基づいて、第２の識別されたオブジェクトに対する参照モデルを選択する選択ステップを更に備える
    ことを特徴とする請求項１２に記載の方法。
  15. 前記参照モデルは３次元モデルである
    ことを特徴とする請求項１２に記載の方法。
  16. 前記３次元モデルは前記モデルの要素間の空間的な制約を含んだ骨格モデルである
    ことを特徴とする請求項１５に記載の方法。
  17. 前記奥行きの推定が、少なくとも部分的に、前記骨格モデルの制約に基づいている
    ことを特徴とする請求項１６に記載の方法。
  18. 前記選択ステップは、前記２次元イメージに関する背景を考慮する工程を含む
    ことを特徴とする請求項１２に記載の方法。
JP2013541469A 2011-01-23 2012-01-23 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路 Pending JP2014504074A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161435311P 2011-01-23 2011-01-23
US61/435,311 2011-01-23
PCT/IB2012/050308 WO2012098534A1 (en) 2011-01-23 2012-01-23 Methods, systems, devices and associated processing logic for generating stereoscopic images and video

Publications (1)

Publication Number Publication Date
JP2014504074A true JP2014504074A (ja) 2014-02-13

Family

ID=46515219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541469A Pending JP2014504074A (ja) 2011-01-23 2012-01-23 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路

Country Status (6)

Country Link
US (1) US8928654B2 (ja)
EP (1) EP2628303A1 (ja)
JP (1) JP2014504074A (ja)
KR (1) KR20140030138A (ja)
CA (1) CA2806520C (ja)
WO (1) WO2012098534A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018160853A (ja) * 2017-03-23 2018-10-11 直人 横内 動画変換システム、動画変換方法及び動画変換プログラム

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템
KR20110134327A (ko) * 2010-06-08 2011-12-14 엘지전자 주식회사 영상 처리 방법 및 그에 따른 영상 표시 장치
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8581962B2 (en) * 2010-08-10 2013-11-12 Larry Hugo Schroeder Techniques and apparatus for two camera, and two display media for producing 3-D imaging for television broadcast, motion picture, home movie and digital still pictures
WO2012029371A1 (ja) * 2010-08-30 2012-03-08 シャープ株式会社 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置
JP2014504074A (ja) 2011-01-23 2014-02-13 エクストリーム リアリティー エルティーディー． 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
KR101779423B1 (ko) * 2011-06-10 2017-10-10 엘지전자 주식회사 영상처리방법 및 영상처리장치
US9118902B1 (en) * 2011-07-05 2015-08-25 Lucasfilm Entertainment Company Ltd. Stereoscopic conversion
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
JP2013123153A (ja) * 2011-12-12 2013-06-20 Sony Corp 画像処理装置、その制御方法およびプログラム
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9501831B2 (en) * 2012-10-02 2016-11-22 Google Inc. Identification of relative distance of objects in images
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US20230156350A1 (en) * 2013-09-30 2023-05-18 Duelight Llc Systems, methods, and computer program products for digital photography
US10303242B2 (en) 2014-01-06 2019-05-28 Avegant Corp. Media chair apparatus, system, and method
US10409079B2 (en) 2014-01-06 2019-09-10 Avegant Corp. Apparatus, system, and method for displaying an image using a plate
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9823474B2 (en) 2015-04-02 2017-11-21 Avegant Corp. System, apparatus, and method for displaying an image with a wider field of view
US9995857B2 (en) 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
CN108369639B (zh) * 2015-12-11 2022-06-21 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和***
US11409239B2 (en) * 2016-02-17 2022-08-09 De La Rue Authentication Solutions Inc. Method for determining authenticity using images that exhibit parallax
JP6652004B2 (ja) * 2016-07-04 2020-02-19 富士通株式会社 情報処理装置、インタラクション方法、およびインタラクションプログラム
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
CN111768496B (zh) * 2017-08-24 2024-02-09 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及计算机可读存储介质
GB2573170B (en) * 2018-04-27 2021-12-29 Canon Kk 3D Skeleton reconstruction from images using matching 2D skeletons
US11127189B2 (en) 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data
EP3834167A4 (en) * 2018-08-06 2022-05-04 Olive Seed Industries, LLC METHODS AND SYSTEMS FOR CUSTOMIZING LOCATION-LEVEL VISITOR EXPERIENCES
US10440294B1 (en) * 2018-09-05 2019-10-08 Google Llc Compact color and depth imaging system
CN110035270A (zh) * 2019-02-28 2019-07-19 努比亚技术有限公司 一种3d图像显示方法、终端及计算机可读存储介质
CN115486062A (zh) * 2019-12-19 2022-12-16 艾伊3D公司 用于展示立体图像的方法及显示***
US11361508B2 (en) * 2020-08-20 2022-06-14 Qualcomm Incorporated Object scanning using planar segmentation
US20230237730A1 (en) * 2022-01-21 2023-07-27 Meta Platforms Technologies, Llc Memory structures to support changing view direction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057373A (ja) * 1991-01-22 1993-01-14 Olympus Optical Co Ltd 立体電子スチルカメラ
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP2008508590A (ja) * 2004-07-30 2008-03-21 エクストリーム リアリティー エルティーディー． ３ｄ空間次元に基づく画像処理のためのシステムおよび方法
JP2010515303A (ja) * 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4376950A (en) 1980-09-29 1983-03-15 Ampex Corporation Three-dimensional television system using holographic techniques
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5515183A (en) 1991-08-08 1996-05-07 Citizen Watch Co., Ltd. Real-time holography system
US5691885A (en) 1992-03-17 1997-11-25 Massachusetts Institute Of Technology Three-dimensional interconnect having modules with vertical top and bottom connectors
JP3414417B2 (ja) 1992-09-30 2003-06-09 富士通株式会社 立体画像情報伝送システム
US5745719A (en) 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5835133A (en) 1996-01-23 1998-11-10 Silicon Graphics, Inc. Optical system for single camera stereo video
US6115482A (en) 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US5909218A (en) 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
JP3337938B2 (ja) 1996-04-25 2002-10-28 松下電器産業株式会社 ３次元骨格構造の動き送受信装置、および動き送受信方法
US6445814B2 (en) 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
US5852450A (en) 1996-07-11 1998-12-22 Lamb & Company, Inc. Method and apparatus for processing captured motion data
US5831633A (en) 1996-08-13 1998-11-03 Van Roy; Peter L. Designating, drawing and colorizing generated images by computer
JPH10188028A (ja) 1996-10-31 1998-07-21 Konami Co Ltd スケルトンによる動画像生成装置、該動画像を生成する方法、並びに該動画像を生成するプログラムを記憶した媒体
US6243106B1 (en) 1998-04-13 2001-06-05 Compaq Computer Corporation Method for figure tracking using 2-D registration and 3-D reconstruction
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6529643B1 (en) 1998-12-21 2003-03-04 Xerox Corporation System for electronic compensation of beam scan trajectory distortion
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6657670B1 (en) 1999-03-16 2003-12-02 Teco Image Systems Co., Ltd. Diaphragm structure of digital still camera
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6597801B1 (en) 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
US7123292B1 (en) 1999-09-29 2006-10-17 Xerox Corporation Mosaicing images with an offset lens
JP2001246161A (ja) 1999-12-31 2001-09-11 Square Co Ltd ジェスチャー認識技術を用いたゲーム装置およびその方法ならびにその方法を実現するプログラムを記憶した記録媒体
GB2358098A (en) 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
EP1117072A1 (en) 2000-01-17 2001-07-18 Koninklijke Philips Electronics N.V. Text improvement
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6554706B2 (en) 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6906687B2 (en) 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
JP4047575B2 (ja) 2000-11-15 2008-02-13 株式会社セガ 情報処理装置における表示物体生成方法、これを実行制御するプログラム及びこのプログラムを格納した記録媒体
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
US7061532B2 (en) 2001-03-27 2006-06-13 Hewlett-Packard Development Company, L.P. Single sensor chip digital stereo camera
US6862121B2 (en) 2001-06-05 2005-03-01 California Institute Of Technolgy Method and apparatus for holographic recording of fast phenomena
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7680295B2 (en) 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
CA2359269A1 (en) 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
WO2003039698A1 (en) 2001-11-02 2003-05-15 Atlantis Cyberspace, Inc. Virtual reality game system with pseudo 3d display driver & mission control
US20050063596A1 (en) 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
US6833843B2 (en) 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
AU2002361483A1 (en) 2002-02-06 2003-09-02 Nice Systems Ltd. System and method for video content analysis-based detection, surveillance and alarm management
AU2003280516A1 (en) 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
JP3866168B2 (ja) 2002-07-31 2007-01-10 独立行政法人科学技術振興機構 多重構造を用いた動作生成システム
US8013852B2 (en) 2002-08-02 2011-09-06 Honda Giken Kogyo Kabushiki Kaisha Anthropometry-based skeleton fitting
US8460103B2 (en) 2004-06-18 2013-06-11 Igt Gesture controlled casino gaming system
AU2003292490A1 (en) * 2003-01-17 2004-08-13 Koninklijke Philips Electronics N.V. Full depth map acquisition
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
AU2003289108A1 (en) 2003-04-22 2004-11-19 Hiroshi Arisawa Motion capturing method, motion capturing device, and motion capturing marker
EP1627294A2 (en) 2003-05-01 2006-02-22 Delta Dansk Elektronik, Lys & Akustik A man-machine interface based on 3-d positions of the human body
US7418134B2 (en) 2003-05-12 2008-08-26 Princeton University Method and apparatus for foreground segmentation of video sequences
US7831088B2 (en) 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
JP2005020227A (ja) 2003-06-25 2005-01-20 Pfu Ltd 画像圧縮装置
JP2005025415A (ja) 2003-06-30 2005-01-27 Sony Corp 位置検出装置
US7755608B2 (en) 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
JP2007531113A (ja) 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
US20070183633A1 (en) 2004-03-24 2007-08-09 Andre Hoffmann Identification, verification, and recognition method and system
US8036494B2 (en) 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7366278B2 (en) * 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US8432390B2 (en) 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
US8872899B2 (en) 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
GB0424030D0 (en) 2004-10-28 2004-12-01 British Telecomm A method and system for processing video data
US7386150B2 (en) 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification
US7903141B1 (en) 2005-02-15 2011-03-08 Videomining Corporation Method and system for event detection by multi-scale image invariant analysis
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7774713B2 (en) 2005-06-28 2010-08-10 Microsoft Corporation Dynamic user experience with semantic rich objects
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
JP2007302223A (ja) 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
CN101479765B (zh) * 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和***
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7783118B2 (en) 2006-07-13 2010-08-24 Seiko Epson Corporation Method and apparatus for determining motion in images
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7936932B2 (en) 2006-08-24 2011-05-03 Dell Products L.P. Methods and apparatus for reducing storage size
US8356254B2 (en) 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
US20080104547A1 (en) 2006-10-25 2008-05-01 General Electric Company Gesture-based communications
US8756516B2 (en) 2006-10-31 2014-06-17 Scenera Technologies, Llc Methods, systems, and computer program products for interacting simultaneously with multiple application programs
US7885480B2 (en) 2006-10-31 2011-02-08 Mitutoyo Corporation Correlation peak finding method for image correlation displacement sensing
US8793621B2 (en) 2006-11-09 2014-07-29 Navisense Method and device to control touchless recognition
US8075499B2 (en) 2007-05-18 2011-12-13 Vaidhi Nathan Abnormal motion detector and monitor
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
CA2684020C (en) 2007-04-15 2016-08-09 Extreme Reality Ltd. An apparatus system and method for human-machine-interface
WO2008134745A1 (en) 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8094943B2 (en) 2007-09-27 2012-01-10 Behavioral Recognition Systems, Inc. Background-foreground module for video analysis system
US8005263B2 (en) 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
US9451142B2 (en) 2007-11-30 2016-09-20 Cognex Corporation Vision sensors, systems, and methods
US8107726B2 (en) 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
US9189886B2 (en) 2008-08-15 2015-11-17 Brown University Method and apparatus for estimating body shape
CA2735992A1 (en) 2008-09-04 2010-03-11 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
EP2350925A4 (en) 2008-10-24 2012-03-21 Extreme Reality Ltd METHOD, SYSTEM AND ASSOCIATED MODULES AND SOFTWARE COMPONENTS FOR PRODUCING A MAN-MACHINE INTERFACE BASED ON IMAGE SENSOR
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
CA2748037C (en) 2009-02-17 2016-09-20 Omek Interactive, Ltd. Method and system for gesture recognition
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8466934B2 (en) 2009-06-29 2013-06-18 Min Liang Tan Touchscreen interface
US8270733B2 (en) 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
KR101577106B1 (ko) 2009-09-21 2015-12-11 익스트림 리얼리티 엘티디. 인간 기계가 가전 기기와 인터페이싱하기 위한 방법, 회로, 장치 및 시스템
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
US20110292036A1 (en) 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
JP2014504074A (ja) 2011-01-23 2014-02-13 エクストリーム リアリティー エルティーディー． 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
WO2013069023A2 (en) 2011-11-13 2013-05-16 Extreme Reality Ltd. Methods systems apparatuses circuits and associated computer executable code for video based subject characterization, categorization, identification and/or presence response

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057373A (ja) * 1991-01-22 1993-01-14 Olympus Optical Co Ltd 立体電子スチルカメラ
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP2008508590A (ja) * 2004-07-30 2008-03-21 エクストリーム リアリティー エルティーディー． ３ｄ空間次元に基づく画像処理のためのシステムおよび方法
JP2010515303A (ja) * 2006-12-22 2010-05-06 クゥアルコム・インコーポレイテッド 複雑適応２Ｄ−ｔｏ−３Ｄビデオシーケンス変換

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018160853A (ja) * 2017-03-23 2018-10-11 直人 横内 動画変換システム、動画変換方法及び動画変換プログラム
JP2021192541A (ja) * 2017-03-23 2021-12-16 株式会社Ｆｒｅｅ−Ｄ 動画変換システム、動画変換方法及び動画変換プログラム
JP2022031304A (ja) * 2017-03-23 2022-02-18 株式会社Free-D 動画変換システム、動画変換方法及び動画変換プログラム

Also Published As

Publication number Publication date
CA2806520A1 (en) 2012-07-26
EP2628303A1 (en) 2013-08-21
WO2012098534A1 (en) 2012-07-26
US8928654B2 (en) 2015-01-06
KR20140030138A (ko) 2014-03-11
US20120176477A1 (en) 2012-07-12
CA2806520C (en) 2016-02-16

Similar Documents

Publication Publication Date Title
JP2014504074A (ja) 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
Terzić et al. Methods for reducing visual discomfort in stereoscopic 3D: A review
US9445072B2 (en) Synthesizing views based on image domain warping
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
TWI523488B (zh) 處理包含在信號中的視差資訊之方法
JP6208455B2 (ja) ３ｄディスプレイ装置およびその映像処理方法
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
Devernay et al. Stereoscopic cinema
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
CN105723705B (zh) 用于自动立体多视图显示器的图像的生成
CN102929091A (zh) 数字球幕立体电影的制作方法
CN107005689B (zh) 数字视频渲染
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
CN101697597A (zh) 产生3d影像的方法
KR101177058B1 (ko) 마커 기반 3차원 입체 시스템
JP2011529285A (ja) 再現描写メディア中への両眼ステレオ情報の包含のための合成構造、メカニズムおよびプロセス
US10110876B1 (en) System and method for displaying images in 3-D stereo
WO2009109804A1 (en) Method and apparatus for image processing
WO2013069624A1 (ja) 立体画像処理装置および立体画像処理方法
Regalbuto Remote Visual Observation of Real Places through Virtual Reality Headsets
CN113382225B (zh) 一种基于全息沙盘的双目全息展示方法及装置
JP4591997B2 (ja) 立体視映像表示装置
Bouchard Perception and detection of occlusion-stereopsis conflicts in stereoscopic imagery
Rastogi et al. StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos)
JP2007017558A (ja) 立体画像表示装置および立体画像表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140912