JPH11509064A - 画像を表現し組み合わせる方法とシステム - Google Patents
画像を表現し組み合わせる方法とシステムInfo
- Publication number
- JPH11509064A JPH11509064A JP9505870A JP50587097A JPH11509064A JP H11509064 A JPH11509064 A JP H11509064A JP 9505870 A JP9505870 A JP 9505870A JP 50587097 A JP50587097 A JP 50587097A JP H11509064 A JPH11509064 A JP H11509064A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mosaic
- camera
- viewpoint
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
ある場面(15)をモザイクに撮像し、その場面の新しい視点を選択し、その新しい視点(112)から見た場面のそのモザイクから合成画像を作成する画像処理システム(10)である。第2の画像(114)およびその合成画像を結合して、第2の画像および場面の中にある物体をリアルに結合したものを包含する複合画像を発生する。本システムを使用すれば、プロダクション用のセットや他の場面は一度だけ作り、その後で本システムによって撮像するだけでよい。そうすれば、画像処理によって、その場面のいかなる図形でも、別の撮像された演出者や他の物体と合成したり結合したりして、複合画像を発生できる。このようにして、プロダクションのセットや他の場面を、物理的な場面を再作成することなく繰り返し再使用できる。
Description
【発明の詳細な説明】
画像を表現し組み合わせる方法とシステム
本発明は、画像処理システムに関し、より特定的には、モザイク画像から1場
面の合成画像を取り出すと共に、別個に発生された第2の画像と合成画像を結合
し合成画像内に現れる第2の画像の対象物を有するリアルな複合画像を形成する
、画像処理システムおよび付随する方法に関する。
映画やテレビジョンのプログラムを制作するために、娯楽産業は反復するセッ
トの設置およびセットの解体を含む「セット」の作成に制作費の50%も費やす
。典型的なテレビジョンのプログラムの製作に関して、極端な量の時間及び努力
が、セットを繰り返し設置し解体するために費やされている。プロダクションの
セットを使用すると共に制作するために必要とされる膨大な時間が、このような
セットの有用性を限定し、結果として脚本家およびプロデューサの創造性および
柔軟性を限定する。さらに、複雑なおよび/または大きなセットの利用は、プロ
グラムの制作費を増大させる。
セットの利用に関連するコストを削減するために、コンピュータ・グラフィッ
クスを使用して対象物や場面を合成的に発生する試みがなされてきた。しかしな
がら、細部がコンピュータ発生の画像に加えられるに連れて、処理時間とコスト
が劇的に上昇するので、これらのグラフィック技法は一般に細部に欠ける画像を
生成する。そのようなものとして、現在のところ3次元の対象物および場面を粗
雑に(crude)描写するものにコンピュータ・グラフィックスを分類する(releg
ate)。さらに、画像詳細の欠如すると、画像をリアルでないまたは合成的な見
かけにする。
今までは、セットを物理的に一度制作し次いで電子的に再使用することを可能
にしセットの様々な視点を表現する(render)と共に、プロダクション・セット
を記録する、ことが可能な画像処理システムは存在しなかった。その上、場面を
記録し、場面のいかなる眺望も合成画像として表現し、それから合成画像内に第
2の画像の対象物をリアルに含む複合画像が形成されるように第2の画像と合成
画像を結合する、ことが可能なステムは存在しなかった。
従って、プロダクション・セットをその後の反復使用のために電子的に画像化
し保存することによって、プロダクション・セットを反復して制作し、設置し、
解体することに関する必要を除く最新のシステムの必要性が、その分野に存在す
る。さらに、プロダクション・セットといった場面を画像化し、その場面を電子
的に保存し、動く視点を含むいかなる視点からも画像化された場面をリアルに見
ることを許容し、新視点を表す合成化された画像を他の画像と結合することこと
を許容するシステムに対する必要性が、存在する。
本発明は、3次元の場面(例えばプロダクション・セット)を画像化しその場
面の複数の画像を発生すると共に、その複数の画像を画像処理を行うためのシス
テムである。画像処理は、複数の画像をメモリから、または直接に画像源から取
り出すこと、画像をモザイクに組み合わせること、場面の新しい視点を選択する
こと、その新視点から場面の合成画像を表現することを含む。ついで、この合成
画像は、第2の画像と組み合わされる。第2の画像と合成画像との組み合わせは
、2個の画像のリアルな組み合わせを含む複合画像を発生する。
さらに、第2の画像を生成して行くにつれて、カメラの視点の指標を生成する
ために、システムはカメラの姿勢、すなわちカメラの回転、変換およびズームを
監視する。システムは、合成画像内に示される場面の眺望が第2の画像を発生す
るために使われるカメラの姿勢をリアルタイムに追跡するように、この姿勢情報
を使用し場面の眺望を更新する。このようなものとして、第2の画像が合成画像
と結合されると、複合画像は場面内の第2の画像の対象物をリアルに示す。例え
ば、場面がプロダクション・セットであり第2の画像が一人またはそれ以上の演
技者による演技であるとすると、複合画像はプロダクション・セット内での演技
である。このシステムを用いて、演技が画像化される間にカメラ動作によりカメ
ラの姿勢が変化するにつれて、プロダクション・セットの眺望は第2画像カメラ
の動作と一致するように表現される。このため、複合画像の観察者には、演技が
プロダクション・セットでリアルに起こっているように見える。
本発明の教示は、添付する図面とともに詳細な説明に考慮することによって容
易に理解され、その図面は、
図1は、本発明に従った画像処理システムの高水準のブロック図を示し、
図2は、本発明に従ったプロダクション・セットの画像化する際に有用なハー
ドウェア配置の概略図を示し、
図3は、画像のモザイクに基づく表現を示し、
図4は、カメラ追跡処理を実行するために使われる、本発明に従ったハードウ
ェアを示し、
図5は、カメラ・パラメータ測定および追跡処理のフローチャートを示し、
図6は、画像組み立て処理のブロック図を示す。
理解を容易にするため、図に共通な同一成分を示すのに、出来る限り同一の参
照符号を用いる。
本発明は、プロダクション・セットといった3次元の場面を記録すると共に、
引き続いてその場面の眺望をいかなる視点からでも再生成するための、画像処理
システムおよび付随する方法である。次いで、このシステムは、再生成された眺
望(合成画像)と、場面から個別的に画像化された、例えば「現実の」演技者の
第2の画像とを組み合わせ、複合画像を形成する。システムは、第2の画像を作
るために使用されたカメラの視点からのその場面の合成画像と第2の画像を組み
合わせる。このようなものとして、場面の「合成的な」眺望は、第2の画像を形
成するために使用されるカメラの動作を追跡する。このため、複合画像は、その
場面環境内での第2の画像内の対象物、例えばプロダクション・セット内で演技
する演技者をリアルに描写する。一般に、場面の画像と第2の画像とはビデオ画
像、すなわち、画像フレームの連続であり、おのおのは画素のアレイを含む。こ
のようなものとして、複合画像は、ビデオを形成する一連の画像である。広範な
意味では、本発明は、静止写真といった個々の画像、または映画画像およびビデ
オといった動画、またはアニメーション画、またはそれらのいかなる組み合わせ
も含む画像の任意のディジタル表示の処理しまた組み合わせるために使用され得
る。
図1は、本発明に従った画像処理システム10の高水準ブロック図である。特
に、図1は、システムを実現するハードウェアと、システムハードウェアにより
実行されシステムの機能を達成する処理ステップとの組み合わせを示す。
システム10は、コンピュータシステム30、場面画像化カメラ15、第2の
画像化カメラ20、カメラの方位センサ55および/またはカメラ位置配置シス
テム60といった少なくとも一つのカメラ・パラメータセンサ、ビデオ録画装置
25、コンピュータ・システムに対する一つまたはそれ以上の入力および出力装
置を備える。コンピュータ・システムは、メモリ50(例えば、ランダムアクセ
スメモリ、フロッピ・ディスク、ハード・ディスク等)内に存在し一つまたはそ
れ以上のプログラムによって実行することによってプログラムされる中央処理ユ
ニット(CPU)35を有する汎用コンピュータ・システムであってもよい。C
PUは、読み出し専用メモリ、電源、コプロセッサ等といったよく知られた支援
回路40と一緒に機能する。コンピュータシステムは、従来の入力装置によって
制御され、従来の出力装置を経由して情報を表示する。ビデオ録画装置は、CP
Uがリアルタイムでビデオを処理できるかどうか、または場面画像化カメラ15
および/または第2画像カメラからのビデオが処理前に録画されることを必要と
するかどうかに依存して使用される随意の(オプションの、optional)システム
である。また、ビデオ録画装置は、システムによって発生される出力画像116
を保存するために使用される。ビデオ録画装置は、ビデオテープ、半導体メモリ
、ディスク・ドライブ・メモリ、フロッピ・メモリ(floptical memory)等を含
む任意のタイプのビデオ録画媒体を使用してもよい。
このシステムは3つの主要処理、すなわち、セットの様々な画像を容易に処理
しモザイク画像を作るというような様式で3次元の場面を記録する画像描写(re
ndering)処理100、第2の画像を生成しその画像を生成するために使用され
るカメラ20のカメラ位置を追跡する追跡処理102、および場面のモザイク画
像から得られる(derived)合成画像と第2画像を組み合わせる複合処理104
を実施する。簡単のために、3つの主要処理は単独のコンピュータ30によって
実施されるものとして示されているが、これらの処理は別個のコンピュータ・シ
ステム上で実施され得ることを理解すべきである。このようなものとして、3つ
の処理の各々は、異なる場所においてまた異なる時間に実施されることが出来る
。さらに、3つの主要処理は単独のコンピュータで実施されてもよく、異なった
時間に実施されてもよい。
より明確に言えば、ステップ106において、画像描写処理は、位置、方向お
よびズームといった様々なカメラ・パラメータを用いて動作するカメラ15を使
用してプロダクションセットの各種眺望を記録する。これらの画像(典型的には
ビデオ画像)は、ビデオ記憶装置25を用いて保存され、またはコンピュータの
メモリ内に保存される。ステップ108では、セットの様々な画像眺望は、セッ
トの画像モザイク表現内に組み合わされる。好ましくは、モザイク表現は、モザ
イクがリアルな3次元の画像、つまりモザイクはいわゆる3次元モザイクであり
、この画像を引き続いて再現するための十分な情報を含むように、視差情報と画
像の2次元描写とを含む。
以下の開示から明らかになるように、第2の画像は多くの像(imagery)源に
よって供給され得るが、例証として、システムは、第2の画像を形成するために
追跡システム102とカメラ20を使用する。ステップ110において、第2の
画像が生成されるとき、システムはカメラ視点の指標も記録する。この指標は、
典型的には、カメラの方位センサ55および/または位置選定システム60の少
なくとも1つを使用して測られる位置(x、y、z)、方向(θ、φ、ψ)およ
びズーム(M)といったカメラ・パラメータの少なくとも一つである。これらの
パラメータは、複合化処理(composite)104によって引き続いて使用される
。
複合化処理104は、第2の画像を場面の合成された画像と組み合わせる。特
に、カメラ・パラメータは、合成画像を生成するためにその場面を見るべき視点
を決定するために使用される。ステップ112において、システムは、モザイク
表現をカメラ・パラメータと組み合わせ、第2の画像を記録するために使用され
るカメラ位置から見られる場面の合成画像を得る(または合成する)。次いで、
ステップ114において、システムはこの合成された画像をステップ110にお
いて生成された第2の画像と組み合わせる。最終画像が、ステップ116におい
て表示され、そこではこの画像(典型的には画像のビデオシーケンス)は場面内
の第2の画像の対象物を含む。重要なことは、第2画像カメラ眺望は変化する、
すなわちカメラが左右[上下]に動き(パンし、pan)および傾斜する、ときに
、場面の合成画像が変化しカメラの動作に一致する。その結果、第2の画像の対
象物は、あたかも3次元場面と同時に画像化されているように現れる。このよう
な
ものとして、もし場面がプロダクション・セットであり、また第2の画像が演技
者を含んでいると、複合画像はプロダクション・セット上で演技をしている演技
者を含む。
以下に、画像処理システムを構成する処理の各々を個別に詳細に論じる。
図2は、場面のモザイク表現を発生するために画像描写処理によって使用され
る、3次元場面、例証的にはスタジオまたはプロダクションのセット200内の
カメラのハードウェア配置を示す。モザイクは、1994年11月14日に出願
の譲渡された「モザイクに基づく画像処理システム」と題する米国特許出願番号
08/339,491号に開示され、ここに参照して取り入れた2次元モザイク
・システム、または1995年6月22日に出願された「視差依存法を用いた画
像結合のための方法およびシステム」と題する米国特許出願番号 、代理人
明細書番号11789に開示され、ここに参照して取り入れた3次元モザイク・
システムといったモザイク発生システム(図示せず)によって発生される。これ
らのモザイク作成システムの各々は、有用なモザイクを描写するために十分に機
能するであろう。しかしながら、最良の結果を得るためには、3次元モザイク作
成技法が好ましい。
代理人明細書11789出願内に記載されているように、モザイクに関する新
しい視点の3次元の場面および姿勢(回転、変換およびズーム)を表す既存の3
Dモザイクが与えられると、システムは場面の合成画像を得ることができる。こ
のようなものとして、場面の異なった視点を有する異なるカメラを用いて場面を
捉えることによって、カメラの視点以外の視点からの場面の眺望である画像を合
成できる。勿論、単独のカメラが異なる位置からの場面を画像化する(撮影する
)ために使用され得、これらの画像からモザイクを発生できる。
図2は、スタジオの3Dモザイク表現を作成してまたそのモザイクから場面の
合成画像を得るために使われる3次元スタジオ200(またはプロダクション・
セット)内のカメラのハードウェア配置を示す。スタジオは、システムによって
記録される3次元場面の単なる1タイプを例証するにすぎない。勿論、それは歴
史的事件、スポーツ・イベント等のフィルム場面を含む任意の3次元場面と置き
換えできる。3Dモザイク発生処理は、場面を表す1つまたはそれ以上のモザイ
クを生成するために場面の複数の画像を用いる。モザイク内の穴やモザイク内の
他の異常を避けるために、モザイクはあらゆる一連の重複する画像から発生され
ることができるが、カメラの位置に関する2次元のグリッド(格子)を用いて場
面を慎重に画像化することが最良である。このようなものとして、2次元グリッ
ド202、複数の1フィート×1フィート平方を規定するものが、セットに近い
領域内にカメラ位置を規定するために用いられる。一般的に、グリッド平方の特
定サイズ、すなわちカメラ位置の数は、場面の複雑性によって変わる。また、グ
リッドの形状は、例えばスポーツ・イベントといった記録される場面のタイプが
、グリッドにより制限される可能性があることに依存して変わる。
モザイクに対する画像を生成するために、カメラ204はグリッド平方の各々
から画像(または一連の画像、例えばビデオ)を記録する。画像は典型的には、
各グリッド平方について種々のカメラのパン(カメラの左右[上下]への移動、
pan)、傾斜、回転およびズームの位置において記録され、複数の視点から複数
の画像を発生する。画像描写処理は、各カメラ位置において記録された種々の画
像から3Dモザイクを発生する。同様に、3Dモザイクは、グリッド点の各々に
おいて他のカメラ位置について発生される。例えば、(モザイク画像部分のみが
描写される)3Dモザイク206、208、210は、グリッド位置212,2
14、および216から記録されるような場面を表す。これらの3Dモザイクは
、例えば位置220から見たような場面を表す合成画像218を作るために合体
される(マージされる、merge)。合成の視点において発生される画像は、「実
際の」カメラ視点ではないが、むしろ各種のモザイク内に含まれる情報から合成
される。
モザイクを発生し3次元の場面を正確に表すために、その描写処理は、各カメ
ラ位置において記録された画像を登録する。登録処理は、典型的には、階層的な
直接登録技法を使用し、画像をワープして整列させるために使用できる変換パラ
メータを決める。一旦整列されると、その画像は場面のモザイクを形成するため
に互いにマージ(または融合)させることができる。1994年11月14日に
出願された米国特許出願番号08/339491号は、階層的な直接登録を用い
てモザイクを生成するための例証的技法を開示する。さらに、一旦モザイクが発
生されると、従来の画像マージおよび融合技法を用いて追加の画像をモザイクに
追加できる。
より特定的には、図3に示すように、各カメラ位置においてで記録される各種
画像は、複数のモザイク、つまり各グリッド点に対して一つのモザイク300に
結合される。モザイクの各々を形成するために、カメラは各グリッド点において
パンされ、傾斜され、回転され、そしてズームされる。このようなものとして、
各グリッド点に対して、システムは4つのカメラパラメータに関する画像情報を
含むモザイクを発生する。各モザイクは特定の3次元位置に関係付けられている
ので、モザイクはアドレス指定可能な3次元配列を形成する。各モザイクは、パ
ラメータ変換302および動作移動フィールド304によってそれの近辺のモザ
イクに関係付けされている。画像化されたプロダクション・セットは典型的には
静止状態なので、動作移動フィールドは画像内の対象物の視差、すなわち場面の
3次元構造を表す。この視差運動は、また場面の「形状」とも呼ばれる。換言す
れば、カメラがある位置から位置へと移動するにつれて、視差は場面内の対象物
を背景に対して移動させる、例えばカメラがパンするにつれて、前面の椅子は背
景の壁に対して移動するように思われる。あるモザイクを次のモザイクに関係づ
けるパラメータ変換だけでなくモザイクも、例えばカメラが物理的に動くときの
背景の動きと、例えば場面の3次元の幾何学的配置を表す視差情報のような動作
移動フィールド情報とを、保存することにより、全体の場面が任意の視点から再
生され、また3次元幾何学的配置は失われない。このため、所与の3次元モザイ
クは、場面のパノラマ眺望を表す画像モザイクと場面の3次元幾何学的配置を表
す形状モザイクとを備える。
場面の合成画像眺望を発生するために用いられる処理は、「画像トウィーニン
グ(tweening)」として知られる。この処理は、個別モザイク(例えばモザイク
206、208および210)の各々を合成の視点(例えば位置220)にワー
プする。このため、各3Dモザイクが各グリッド点について発生されると、その
3Dモザイクはグリッド点に関係するメモリ(モザイク蓄積装置222)内に保
存される。新しい視点位置が与えられるとモザイクがメモリから呼び出され新し
い視点から場面を表す合成画像を発生する。画像化される場面の複雑性に依存し
て、システムはメモリ内の3Dモザイクの各々、またはそれらモザイクのある小
さな一組(subset)を再呼出しことができ、例えば新視点に最も近いそれらのモ
ザイクのみを再呼出しする。画像トウィーニング処理224を用いて、再呼出し
された各3Dモザイクは新視点(例えば位置220)にワープされ(warp)、ま
たモザイクは新しい眺望画像218を形成すためにマージされる。画像合体(画
像融合としても知られる)は、典型的には合成画像を形成するために使われる様
々なモザイクの画素(ピクセル、pixel)を平均化することによって達成される
。しかしながら、画像マージの他の形式が当業者に知られ、これら3Dモザイク
に適用され得る。画像融合技法の例については、付与された米国特許番号5,3
25,449および米国特許出願番号08/059,616を見られたい、また
ここに参照することのよって取り入れる。画像トウィーニング処理によって発生
された結果は、場面200の新視点を表す合成画像(例えば画像218)である
。合成画像はリアルタイムで作られるので、下記に論ずるように、合成画像は第
2の画像のリアルタイム作成物と組み合わせられる。
勿論、この描画処理は、プロダクション・セットのグラフィック画像を発生す
るコンピュータ支援デザイン(CAD)処理に置き換えたり補強することができ
る。コンピュータの処理力がより高価でなくなるので、CAD処理が手頃なコス
トでプロダクション・セットのリアルな画像を発生し得るであろうことは予見さ
れる。典型的には、グラフィック的に発生される画像は、「リアルな」画像を模
擬する生地(texture)を用いて「塗られた」複数の相互に連結された多角形(
ポリゴン)を構成する。生地は、多角形により表される表面上に写される各種の
前もって計算されまたは捕捉された画素パターンを含む。改良された計算によれ
ば、多角形およびそれに関連する生地が写実性を達成できる。
このようなグラフィック的に発生された場面は、場面の異なる眺望を表す複数
のモザイクを構成することができる。大量の時間が、場面のグラフィック画像を
発生するために費やされる可能性がある。これらのモザイクは表現され、上記の
ごとく、場面の任意の視点をリアルタイムで合成することを可能にする。このよ
うなものとして、グラフィック的に発生される場面は、上記で論じたモザイクと
同様な方法で用いられ、合成視点からの合成画像を発生される。結果的に、時間
と費用は、グラフィック的に発生される場面の画像を発生するために費やされ得
るが、一旦それらが発生されると、本発明のシステムは場面の新眺望をリアルタ
イムで表現できる。
カメラは第2の画像を発生するために用いられるが、カメラの追跡処理はハー
ドウェアとソフトウェアの組み合わせを用いカメラに関する視点の各種の指標を
追跡し記録する。図4は、第2の画像の一人またはそれ以上の演技者の演技(図
示せず)および/またはある他の対象物を画像化するためのカメラ20と、視点
の指標を保存し補正するためのコンピュータシステム30とを含むサウンドステ
ージ402を示す。この例証的例に関しては、視点の指標は少なくとも一つのカ
メラパラメータであり、また典型的にはコンピュータシステムによって補正され
る一組のカメラパラメータである。補正された一組のカメラパラメータを用いて
、第2の画像が引き続いて合成画像と組み合わされ複合画像を発生される。
典型的には、画像複合処理中にクロマ・キー(chroma-key)技法の使用を容易
にするために、第2の画像の対象物は青い(または時には緑の)スクリーンの前
に置かれる。例証の部屋402では、壁404は青に塗られている。カメラ位置
の追跡を助けるために、壁は部屋402の上部の周りに配置される一連の指標4
08、例えば画像化されている場面の外側にある青い壁上の青いXを含む。勿論
、指標はスタジオ内の床上または任意の他の位置にあっても良い。これらの指標
は、互いに同じであるかまたは特有であってもよい。さらに、青い壁上に青い指
標を使用することによって、指標は容易に第2の画像から抽出され、合成画像と
組み合わせるための第2の画像の対象物のみを残す。
好ましくは、これらの指標408は、第2画像カメラ20の頂上に位置する一
つまたはそれ以上の「追跡」カメラ406(その一つを表示)によって連続的に
画像化される。それとは別に、詳細を下記に論ずるように、第2画像カメラが第
2の画像を生成するときに、指標は第2画像カメラによって直接画像化されても
よい。いずれの場合も、一旦処理され合成画像と組み合わされると、指標はもし
少しでも現れると、画像複合処理によって第2の画像から抽出されるように設計
されているので、指標は第2の画像の部分とはならない。
追跡カメラに加えて、第2画像カメラがズームセンサ410および各種のカメ
ラ方位センサ412とともに用意される(outfit)。高速コンピュータシステム
30が、カメラのパラメータだけでなく追跡カメラからの出力ビデオを保存する
。別法として、追跡カメラのビデオ信号は、別に、ビデオテープのようなビデオ
信号記録媒体に保存されてもよい。同じように、第2画像カメラからのビデオ信
号(今後、演技画像または第2の画像と称する)は、合成画像とリアルタイムに
組み合わせるために直接に複合化処理に送られるか、その代わりに、ビデオ信号
はビデオテープといった記録媒体に記録されてもよい。
カメラ位置の決定は、2つのステップを用いて達成される、すなわち、ステッ
プ1では、システムはカメラ位置を粗く見積もりをするためにカメラパラメータ
を直接測定し、そしてステップ2では、ステップ1のカメラパラメータを改善(
訂正)するために追跡カメラによる指標画像(以後「参照画像」と呼ぶ)を用い
る。第2の画像を生成する間にカメラが移動するに連れて、コンピュータ30は
パラメータメモリ414内に7つのカメラパラメータ、すなわち、位置(x,y
,z)、回転(θ)、パン(φ)、傾斜(ψ)およびズーム(M)を記録する。
位置パラメータを発生するために、位置配置システム60は、例えば部屋の隅で
あるように任意に選択された原点に相対してx,y,z位置を測定する。他のカ
メラパラメータを発生するために、システムは、カメラのパン、傾斜、回転、お
よびズームを追跡するための商業的に利用できるセンサシステム、例えばカリフ
ォルニア州のアルティメット コーポレーション オブ チャッツワース製のメ
モリヘッドを用いる。
カメラ位置パラメータ(x,y,z)は、超音波、赤外線、または広域スペク
トル技術に基づいた位置配置システムを用いて達成される。例えば、典型的な商
業的に利用できる超音波距離測定器は、1.5パーセントの精度を有する。典型
的なスタジオでは、3次元の位置を決定するために3つの超音波距離測定器を用
いて、そのような精度はカメラ位置の誤差が3インチ未満となる。カメラパラメ
ータにおけるこのような精度は、カメラ位置を見積もるためには十分であるが、
演技画像を合成画像と組み合わせることによってリアルな画像を発生するために
十分な精度まで位置を見積もりを一段と高める(refine)ために、さらなる情報
が追跡カメラから必要になるであろう。パラメータ補正は、処理416で達成さ
れる。補正されたカメラパラメータは、第2の画像と合成画像とを組み合わるた
めに複合化処理によって用いられる。
あるスタジオでは、カメラ位置、もし一つを越えるカメラが使われるならば複
数のカメラ位置が固定される。これらの配置では、位置原点に相対的なカメラ位
置が、固定され、また一度だけ決めるられる必要がある。その後は、カメラの動
作は、パン、傾斜、回転、およびズームの商業的に利用できるセンサによって専
ら測られる。これらのセンサは、直接に測定したパラメータのさらなる高精度化
(refinement)や補正なしに、カメラパラメータを決めるために十分な精度であ
る。従って、追跡カメラおよびスタジオの指標は必要ないでしょう。
図5は、カメラ視点の指標を生成するカメラパラメータ測定および補正処理5
00の詳細フローチャートを示す。この処理は、カメラ視点の指標を作るために
利用可能な多くの技法のうちの2例を含む。本発明は、さらなる高精度化なしに
カメラの位置と方向を単に正確に測定することを含むこれらの技法のいずれを含
めてもよい。
本発明のシステムは、例証的に2つのカメラパラメータの高精度化する方法の
1つを用いる。カメラパラメータは、一緒にすると、カメラの動作を規定する。
第1の方法510はスタジオのシンボリック表現を用い、第2の方法512はス
タジオの画像表現を用いる。
スタジオのシンボリック表現のためには、各ランドマーク(目印)の位置は、
ステップ514で、例えばスタジオの隅に座標システムの原点を有する、固定さ
れた座標システムを参照した絶対値(absolute terms)で予め測定される。ステ
ップ524において提供される追跡カメラ画像を用いて、本方法はカメラの姿勢
、すなわち、参照座標システムに相対するカメラの回転、変換およびズームパラ
メータを決定する。カメラの姿勢は、ステップ516において先ず測定されたカ
メラパラメータを用いて動作を見積もり、次いでその値を姿勢算定処理を用いて
見積もりを高精度化(補正)することによって計算される。場面の方位指標を用
いてカメラ姿勢の決定および見積もりは、よく知られた技法である。例えば、ク
マー(Kumar)らの「姿勢見積もりの粗い方法および感度解析」、CVGI
P、イメージ・アンダースタンディング、60巻、3号、11月、313頁〜3
42頁(1994年)を参照しなさい。この技法を用い、また画像における指標
間の
対応が与えられると、本技法は、参照または「世界」座標システムを「カメラ座
標システム」へ写像する(map)回転および変換マトリックスを決定する。この
論文に記載されている技法は、センサによって先ず見積もられたカメラ姿勢が高
精度化され正確なカメラパラメータを計算するように、スタジオの壁の指標に適
用される。本システムは、十分な精度が得られるまで、参照画像の画像ピラミッ
ド表現の水準を通してカメラ姿勢を繰り返す。ステップ520で、本システムは
補正されたカメラ姿勢を出力する。
スタジオの画像表現については、ステップ502において、スタジオ全体が室
内の種々の既知の位置(例えば、グリッドパタンを用いて)から画像化され、ま
た追跡カメラからのビデオ信号は一連の参照画像として保存される。ステップ5
04では、指標のこれらの参照画像は、カメラ位置配置システムと方位センサに
よって測られるようなカメラ位置の配列を参照して保存される。配列は、グリッ
トパターンを持つ各グリット位置において測られものとしてカメラ位置を各参照
画像内の指標の特定の眺望に写像する(map)。このような方法で、ステップ5
06において、カメラ動作(例えば、既知の参照座標システムに関連するカメラ
の回転、変換およびズームを表す一組のカメラパラメータ)が与えられると、シ
ステムは、ステップ508において、指標の特定の眺望を呼び戻す、すなわちシ
ステムは特定の参照画像を呼び戻す。典型的には、画像を用いて素早い計算を可
能にするために、各参照画像は画像ピラミッドとして保存される。画像ピラミッ
ドは、各水準が前の水準より低い解像度を有する一連の水準として単一の画像を
表す際に使われることは、当業者によく知られていることである。一般に、画像
ピラミッドは、より低い解像度を持つ水準を作るために、各ピラミッド水準内に
ラプラシアンまたはグアシアン・フィルタ画素によって形成される。画像処理法
分野において画像ピラミッドを使用する2例がアンダーソンらの米国特許番号4
,692,806号および、ファン・デル・ワルの米国特許番号4,703,5
14号に開示されている。画像表現を用いて、参照画像自身が、測定されたカメ
ラパラメータと参照整列情報との間の相対的整列を計算するオフセット・パラメ
ータを計算するために用いられる。
カメラパラメータが各参照画像と関連づけられるので、これらのカメラパラメ
ータは各参照画像を発生するためのカメラの姿勢である。本カメラパラメータは
、測定されたカメラパラメータによって同定される本カメラ位置に向かって最も
近いグリッド位置から撮られた画像を表現する参照画像をメモリから選ぶために
用いられる。その後、本システムは、ステップ522で、ステップ524で提供
される演技画像と関連づけられた指標の画像(以後「ランドマーク画像」と呼ぶ
)を用いて参照画像をワープさせ(warp)整列させる。反復処理を施すために、
ランドマーク画像は、典型的にはフィルタされ画像ピラミッドを形成する。画像
をワープすること(warping)は,ステップ526を通じて、参照画像がランドマ
ーク画像と正確に整列されるまで、参照画像とランドマーク画像との画像ピラミ
ッドにわたって反復して行われる。参照画像とランドマーク画像を整列するため
に必要な変換は、ステップ528において、各種センサ、特に位置配置システム
によって報告されるものとしてカメラパラメータの不正確さを示す一組のオフセ
ットパラメータを生成する。これらのオフセットパラメータは、次いでステップ
530において、測定されたカメラパラメータを補正し部屋の原点に相対するか
なり正確なカメラ位置を達成するために用いられる。ステップ532で出力され
る補正されたパラメータは、参照座標システムに相対する実際のカメラ位置を示
す。このような画像調整法は、K.J.ハンナの「エゴ運動と運動からの構造と
の直接的な多重解像評価」、可視運動の関するIEEEワークショップの議事録
、ニュージャージー州プリンストン、1991年10月7−9日、156〜16
2頁、および参照としてここに取り入れた、ハンナの付与された米国特許番号5
,259,040によって開示されている。加えて、付与された米国特許出願番
号 ,代理人明細書番号11789,「視差依存技法を用いる画像組み合
わせのための方法とシステム」という発明の名称である、1995年6月22日
に出願され、またここに参照として取り入れたものが、画像整列法を開示してい
る。
別に、本システムは、追跡カメラを用いすことなく、第2画像カメラを用いて
指標を画像化することによってカメラ位置を追跡する。このようなものとして、
指標画像は、本質的に、第2の画像内に埋め込まれ、そして参照画像は第2画像
カメラを用いて予め記録される。この別法では、第2画像カメラの視野は、第2
の画像の対象物だけでなく指標も画像化するために十分なほど広い。オフセット
パラメータを計算するために用いられる処理は、上記と同じままであり、例えば
、参照画像がワープされ(warp)ランドマーク画像(ここでは第2画像の一部)
と整列され、参照および指標の画像を整列するために使用される画像ワープ(im
age warping)の程度に基づいてオフセットパラメータを計算する。引き続いて
、画像の構成中に、指標は最終画像から隠す(mask)ことができる。カメラ方位
指標の追跡および利用に関する各種技法は、1994年3月31日出願の譲渡さ
れた米国特許出願番号08/222,207号、1995年1月30日出願の出
願番号08/380,484号,および1995年5月31日出願の出願番号0
8/456,020号に論じられている。これら各特許出願の開示は、ここに参
照することによって取り入れる。
さらに、パラメータのいくつかは、他のパラメータほど正確に決める必要がな
い。このようなものとして、絶対的なカメラ位置の計算は単純化される。単純化
は、ズーム、パン、傾斜、および回転といったカメラパラメータのいくつかの平
滑化(スムージング、smoothing)を含み、一方、位置パラメータ(x,y,z
)といった他のパラメータは上記のランドマーク画像化技法の一つを用いて補正
される。このような方法で、指標画像化技法は、3つの変数に唯一に適用する必
要があり、4つの他の変数は測定されたパラメータの平均化または内挿を用いて
数学的に計算される。
前節は、場面(例えば、プロダクション・セット、背景の画像等)の3次元の
モザイクを発生することと、第2の画像に関連づけられる視点の指標だけでなく
第2の画像もまた発生することとについて論じた。前節の論議は追跡処理を用い
て第2の画像を作成することに焦点を当てたが、第2の画像はコンピュータグラ
フィックス、アニメーション技法、第2の3Dモザイクから表現される第2の合
成される画像、歴史的フィルム、写真等を含むあらゆる数のソースによっても発
生されることができる。本節では、本発明のシステムが第2の画像を場面の3次
元モザイクから抽出した合成画像と組み合わせる処理について記述した。その結
果は、場面内に第2の画像の対象物を示すリアルな複合画像である。
図6は、画像複合化処理104のブロック図を示す。上記のように、画像描写
処理100は、経路606上において、場面の複数の画像602および604か
らの合成画像を提供する。トウィーニング処理は、カメラ追跡処理102中に、
経路612上に、生成された補正カメラパラメータを用いて合成画像を発生する
。7つの補正カメラパラメータは、画像描写処理100内でトウィーニング処理
への入力を形成する。これらの7つのパラメータから、トウィーニング処理は、
場面が第2画像カメラの位置から見られるように場面(例えばプロダクション・
セット背景場面等)の眺望を表す合成画像を画像モザイクから発生する。
従来のクロマ・キー画像構成技法を用いて、経路614上における第2の画像
が、経路606上における合成された画像と組み合わされる。一般的に言えば、
クロマ・キー技法は、青の画素検出器608を用いて、青色を有する画素のため
の第2の画像を監視する(モニタする、monitor)。検出された各青の画素は、
画素位置を基本に画素位置上において、合成された画像からの画素と置換される
。この置換処理は、スイッチ610により例証される。複合あるいは最終の画像
116は、合成された画像と第2の画像との継ぎ目のない組み合わせである。本
システムは、出力画像が典型的なビデオ信号であるような、ビデオの各フレーム
に関する複合化処理を実行する。加えて、第2の画像を生成するカメラが参照シ
ステムに関連して動くと、場面がカメラ位置とともに変化するような更新され合
成された画像を生成するために、新しいカメラパラメータがトウィーニング処理
に送られる。このようなものとして、本システムは、場面内の第2の画像の対象
物のビデオ画像を生成する。第2の画像の対象物が演技でありまた場面がプロダ
クションセットであるならば、セットは高価な設置や分解の費用なしに再使用で
きる。このようなシステムは、ほとんどいかなるプロダクションにとっても、制
作費と制作時間を節約させる。
クロマ・キー技法を使用しない画像組み合わせへの別のアプローチが利用可能
である。一つのこのようなアプローチは、譲渡された米国特許出願番号08/0
59,610号、代理人明細書番号11023 出願の名称「画像融合の
方法およびその装置」、および付与された米国特許番号5,325,449号に
開示され、ともに参照することによってここに取り入れる。本発明は、第2の画
像からの指標だけでなく背景(またはその一部)も隠しまたは除くことができ、
除かれたり隠されたりした部分を合成された画像の適当な部分と置換できる任意
の画像複合化技法を使用できる。
時には、合成された画像は、演技を記録する中に使用される照明効果にふさわ
しくない照明効果を含むことがある。本システムは、処理に合う各種の照明を用
いて、この問題に適応できる。
具体的には、複合画像を生成する際にさまざまな光のレベルを調節するために
、モザイクに関する個別の画像を発生させる間中3つの異なる光レベルを使用す
る。事実、各グリット点に関して3つのモザイクが生成され、1つのモザイクが
1つの光レベルに関して発生される。画像合成中には、合成された画像は、合成
された画像内の各画素に対する3つのモザイクの画素照度を内挿することによっ
て生成される。内挿で用いられる荷重はユーザが定義するので、システム・オペ
レータは演出画像において照明に適合する照明レベルを達成するために、3つの
モザイクの内の1つの包含の程度や排除の程度を調節できる。
先の照度補償処理に加えて、本システムはある数の画像フィルタ技法や画像強
調技法を使用し、画像の特定の部分(portion(s))の照度レベルを調節してもよ
い。例えば、第2の画像の物体を照射するために使用される光の方向に直角な表
面を有する合成された画像内の物体を強調し、照射もされているように見えるよ
うにできる。このような方法で、場面の合成された画像は、第2の画像と同時に
記録されたごとく見える。
具体的には、照射が場面上に投影されると、照明と直角な構造体は通常はコン
トラストを有する。新しい照明方向を合成する1つのアプローチは、さまざまな
配向において画像を構造に分解し、その構造をおのおのの配向において修正し、
次にその画像を再組み合わせして変更された出力画像を生成することである。例
えば、1つの画像は、配向されたラプラス・ピラミッドを用いて勾配のある配向
およびスケール(scale)のいくつかのバンドに分解できる。このピラミッドは
、変更されていないすべてのバンドを合計すると最初の画像になるという特性を
有する。画像上に異なる照明角度の効果を合成するために、望ましい合成照明角
度に直角な配向バンドは増幅され、望ましい照明角度に並行な配向バンドは減衰
される。図示するために、配向されたラプラス・ピラミッドは、さまざまなスケ
ールにおけるフィルタされた一組の4画像になる入力画像から計算されることが
で
きる。次に、フィルタされた各画像を生成したフィルタ配向と望ましい合成照明
との間が成す角度のコサインが計算される。次に、フィルタされた画像にこの利
得を乗算する。これは、各スケールにおける各配向について実行される。次に、
画像は再組み合わせされ出力画像を生成する。調節することによって、オペレー
タが望ましい照明が得られるまでさまざまな照明設定を反復することを可能とす
る。
その上、フィルタされた各画像に関する単一利得よりはむしろ画像構造に依存
して適応的に、配向フィルタ出力に対する利得を調節できる。このことは、より
正確な照明合成を考慮している。なぜなら、特定の画像特徴を他の特徴と異なっ
て処理できるからである。例えば、明暗のはっきりとした(hard)影エッジを明
暗のはっきりとした物理的エッジと区別でき、操作可能なフィルタ等は、基礎の
フィルタの小さいセットだけを用いて任意の配向においてフィルタをかけること
を考慮できる。これは、画像表示がより豊かになるので、より正確な照明合成を
考慮することができる。
本発明によるシステムは、引き続いて繰り返し使用するためのプロダクション
・セットを撮像する例示の応用以外にも多くの実用的な用途がある。他の応用分
野にはビデオ・ゲームの製作があり、逐次的な合成画像がゲームが進行するにつ
れて発生されるように「リアルな」場面を表現することができる場合である。第
2の画像は、コンピュータで発生されたアニメーションのキャラクタでもよい。
このキャラクタは、例えば、システムに接続されたジョイ・スティックなどの入
力装置を操作するユーザによって指示されるように場面を動き回るであろう。各
ユーザ・コマンドに対して、新しい合成場面画像が場面モザイクから表現される
。このようなものとして、ユーザは描写処理に用いられた視点指標を制御して、
またアニメーション化されたキャラクタはその視点の後に続くであろう。さらに
、キャラクタは、キャラクタが現在の視点に従って第2のモザイクから作成され
るように第2のモザイクから合成されることができる。その上、多分コンピュー
タ・ケームの他のプレーヤを表す他のキャラクタを同様な方法で場面に追加でき
る。その結果、仮想現実が生成され、各ユーザ視点に従って位置と外見を変える
場面内のさまざまな物体やキャラクタを表す。
本発明の教示を包含するさまざまな実施態様を詳細に記述されると共に示され
たが、これらの教示を包含したまま他の多くの変更例を工夫することが当業者に
は可能であろう。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 バーゲン,ジェイムズ,アール.
アメリカ合衆国 ニュージャージー州 ホ
ープウェル イースト プロスペクト ス
トリート 57
(72)発明者 ハンナ,キース,ジェイムズ
アメリカ合衆国 ニュージャージー州 プ
リンストン ジョン ストリート 212
(72)発明者 ウィリアムズ,ケヴィン
アメリカ合衆国 ペンシルヴァニア州 ヤ
ードリー マディソン ドライヴ 1213
(72)発明者 ティンカー,マイク
アメリカ合衆国 ペンシルヴァニア州 ヤ
ードリー ハイランド ドライヴ 35
Claims (1)
- 【特許請求の範囲】 1.場面の複数の第1の画像を含むモザイクを発生するステップと、 第2の画像を発生するステップと、 前記第2の画像を発生すると同時に視点の指標を生成するステップと、 視点の前記指標に応じて、前記モザイクから合成画像を表現するステップと、 前記合成画像を前記第2の画像と合成し、複合画像を生成するステップと、 を備える画像処理の方法。 2.前記モザイクは複数のモザイクである、請求項1に記載の方法。 3.前記第2の画像を発生する前記ステップは、第2のモザイクから前記第2の 画像を表現するステップを含む、請求項1に記載の方法。 4.視点の前記指標は少なくとも1つのカメラ・パラメータである、請求項1に 記載の方法。 5.第2の画像を発生する前記ステップは、クロマ・キー技法を使用して該第2 の画像から除去できる色を有する背景の前で演技を画像化するステップを更に備 える請求項1に記載の方法。 6.視点の指標を生成する前記ステップは、3次元位置、パン、傾斜、回転およ びズームであるカメラ・パラメータの群から選択された少なくとも1つのカメラ ・パラメータを記録するステップを更に備える請求項1に記載の方法。 7.視点の指標を生成する前記ステップは、 前記第2の画像として演技が画像化される場所に近くの複数の指標を提供する ステップと、 前記第2の画像を発生すると同時に前記複数の指標を参照画像として画像化す るステップと、 を更に備える請求項1に記載の方法。 8.前記ランドマーク画像化ステップは、カメラを使用して前記第2の画像を発 生するステップを更に備える請求項7に記載の方法。 9.前記第2の画像を発生するために使用されたカメラとは別個の追跡カメラを 用いて前記ランドマーク画像化ステップが遂行される請求項7に記載の方法。 10.複数の視点から見られた前記指標を表す複数の参照画像を画像化するステ ップを更に備える請求項7に記載の方法。 11.前記複数の参照画像を用いて視点の前記指標を補正するステップを更に備 える請求項10に記載の方法。 12.視点の前記指標によって示される視点を最も良く表す視点を表す参照画像 を選択するステップと、 前記選択された参照画像をワープさせ、視点の前記指標によって表される前記 視点から発生されたランドマーク画像と整列させるステップと、 前記整列に応じて、視点の前記指標を補正するためのオフセットパラメータを 計算するステップと、 前記補正された視点の指標に応じて、前記合成された画像を発生するステップ と、 を更に備える請求項11に記載の方法。 13.指標の絶対位置を測定するステップと、 前記指標の絶対位置と視点の前記指標によって表されるカメラ位置の測定値と に応じてカメラ位置を計算するステップと、 を更に備える特徴とする請求項11に記載の方法。 14.前記モザイクは、場面のパノラマ的眺望を表す画像モザイクと場面の3次 元幾何学的配置形状を表す形状モザイクとを含む3次元モザイクである、請求項 1に記載の方法。 15.前記合成画像は前記3次元モザイクから表現される、請求項14に記載の 方法。 16.前記モザイク発生ステップが、 複数のグリット点から場面を画像化するステップと、 前記グリット点の各々においてモザイクを発生するステップと、 特定のグリット点を基準にして前記モザイクの各々を保存するステップと、 を更に備える請求項15に記載の方法。 17.前記グリット点の各々においてモザイクを発生する前記ステップは、 グリット点の各々において複数のモザイクを発生するステップであって、この グリット点では前記モザイクの各々が場面の異なる照明レベルにおいて発生され 、 前記合成された画像と前記第2の画像との照明レベルを一致させることによっ て前記合成された画像を作成するステップと、 を更に備える請求項16に記載の方法。 18.視点の指標はユーザ制御の入力装置によって生成される、請求項1に記載 の方法。 19.場面を表す第1の画像のモザイクを発生するためのモザイク発生手段と、 第2の画像のために視点の指標を発生するための視点指標手段と、 前記モザイク発生手段および前記視点指標手段に接続され、視点の指標に対応 する場面の眺望を表す前記モザイクから導かれる合成画像を生成するための描写 手段と、 前記表現手段および前記視点指標手段に接続され、前記合成された画像と前記 第2の画像とを組み合わせ複合画像を形成するための合成手段と、 を備える画像処理システム。 20.前記モザイク発生手段は、 複数のモザイクを発生するための手段であって、前記複数のモザイク内の各モ ザイクは固有の位置からの場面のパノラマ的眺望を表すための手段を、更に備え る請求項19に記載のシステム。 21.前記視点指標手段は、 前記カメラが前記第2の画像を生成するにつれて前記カメラの位置を追跡する ための手段と、 前記追跡手段に接続され、前記カメラ姿勢を視点の指標として発生するための 手段と、 を更に備える請求項19に記載のシステム。 22.前記視点指標手段は、ユーザ・コマンドに応じて、視点の前記指標を生成 するための手段を、更に備える請求項19に記載のシステム。 23.前記合成手段は、クロマ・キー処理を用いて前記合成された画像と前記第 2の画像と組み合わせるための手段を、更に備える請求項19に記載のシステム 。 24.前記カメラ姿勢は、3次元位置、パン、傾斜、回転およびズームであるカ メラ・パラメータの群から選択された視点の指標を含む、請求項21に記載のシ ステム。 25.第2の場面を表す画像の第2のモザイクを発生するための第2のモザイク 発生手段と、 前記視点指標手段および前記第2のモザイク発生手段に接続され、前記第2の 画像を生成するための第2の作成手段と、 を更に備える請求項19に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US49993495A | 1995-07-10 | 1995-07-10 | |
US08/499,934 | 1995-07-10 | ||
PCT/US1996/011221 WO1997003416A1 (en) | 1995-07-10 | 1996-07-08 | Method and system for rendering and combining images |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11509064A true JPH11509064A (ja) | 1999-08-03 |
Family
ID=23987358
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9505870A Ceased JPH11509064A (ja) | 1995-07-10 | 1996-07-08 | 画像を表現し組み合わせる方法とシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US6522787B1 (ja) |
EP (1) | EP0838068B1 (ja) |
JP (1) | JPH11509064A (ja) |
DE (1) | DE69635347T2 (ja) |
WO (1) | WO1997003416A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010517129A (ja) * | 2007-01-22 | 2010-05-20 | トタル イメルシオン | ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置 |
JP2010118739A (ja) * | 2008-11-11 | 2010-05-27 | Sony Corp | スイッチャ制御装置、スイッチャ制御方法および画像合成装置 |
Families Citing this family (138)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6268862B1 (en) | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
US7092012B2 (en) * | 1996-11-15 | 2006-08-15 | Canon Kabushiki Kaisha | Image processing apparatus and method, storage medium, and communication system |
US6084590A (en) * | 1997-04-07 | 2000-07-04 | Synapix, Inc. | Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage |
US20010043219A1 (en) * | 1997-04-07 | 2001-11-22 | John S. Robotham | Integrating live/recorded sources into a three-dimensional environment for media productions |
US6124864A (en) * | 1997-04-07 | 2000-09-26 | Synapix, Inc. | Adaptive modeling and segmentation of visual image streams |
US6160907A (en) * | 1997-04-07 | 2000-12-12 | Synapix, Inc. | Iterative three-dimensional process for creating finished media content |
US6034739A (en) * | 1997-06-09 | 2000-03-07 | Evans & Sutherland Computer Corporation | System for establishing a three-dimensional garbage matte which enables simplified adjusting of spatial relationships between physical and virtual scene elements |
US6356297B1 (en) * | 1998-01-15 | 2002-03-12 | International Business Machines Corporation | Method and apparatus for displaying panoramas with streaming video |
US6522325B1 (en) * | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
US6535226B1 (en) | 1998-04-02 | 2003-03-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
US7015951B1 (en) * | 1998-05-08 | 2006-03-21 | Sony Corporation | Picture generating apparatus and picture generating method |
US6912293B1 (en) * | 1998-06-26 | 2005-06-28 | Carl P. Korobkin | Photogrammetry engine for model construction |
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
JP2000184278A (ja) * | 1998-12-16 | 2000-06-30 | Sony Corp | 画像混合装置及び画像処理装置 |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
JP2001034737A (ja) * | 1999-07-16 | 2001-02-09 | Minolta Co Ltd | 画像合成装置、画像合成処理方法および画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7477284B2 (en) * | 1999-09-16 | 2009-01-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for capturing and viewing stereoscopic panoramic images |
US7230653B1 (en) * | 1999-11-08 | 2007-06-12 | Vistas Unlimited | Method and apparatus for real time insertion of images into video |
JP2004500756A (ja) * | 1999-11-24 | 2004-01-08 | ダートフィッシュ エルティーディー. | ビデオシーケンスと時空正規化との調整および合成 |
JP4541482B2 (ja) | 2000-02-29 | 2010-09-08 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
AU2001250802A1 (en) * | 2000-03-07 | 2001-09-17 | Sarnoff Corporation | Camera pose estimation |
US7522186B2 (en) * | 2000-03-07 | 2009-04-21 | L-3 Communications Corporation | Method and apparatus for providing immersive surveillance |
EP1287518B1 (en) * | 2000-04-07 | 2010-09-15 | Dartfish SA | Automated stroboscoping of video sequences |
US6904182B1 (en) * | 2000-04-19 | 2005-06-07 | Microsoft Corporation | Whiteboard imaging system |
JP2001351811A (ja) * | 2000-05-25 | 2001-12-21 | National Institute Of Advanced Industrial & Technology | 錫含有粒状磁性酸化物粒子およびその製造方法 |
US6701030B1 (en) * | 2000-07-07 | 2004-03-02 | Microsoft Corporation | Deghosting panoramic video |
US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
US6704460B1 (en) * | 2000-07-10 | 2004-03-09 | The United States Of America As Represented By The Secretary Of The Army | Remote mosaic imaging system having high-resolution, wide field-of-view and low bandwidth |
JP4010753B2 (ja) * | 2000-08-08 | 2007-11-21 | 株式会社リコー | 形状計測システムと撮像装置と形状計測方法及び記録媒体 |
EP1354292B1 (en) * | 2000-12-01 | 2012-04-04 | Imax Corporation | Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY |
JP2002224982A (ja) * | 2000-12-01 | 2002-08-13 | Yaskawa Electric Corp | 薄型基板搬送用ロボットおよび薄型基板検出方法 |
US6768499B2 (en) * | 2000-12-06 | 2004-07-27 | Microsoft Corporation | Methods and systems for processing media content |
US7103677B2 (en) * | 2000-12-06 | 2006-09-05 | Microsoft Corporation | Methods and systems for efficiently processing compressed and uncompressed media content |
US6912717B2 (en) * | 2000-12-06 | 2005-06-28 | Microsoft Corporation | Methods and systems for implementing dynamic properties on objects that support only static properties |
US6882891B2 (en) * | 2000-12-06 | 2005-04-19 | Microsoft Corporation | Methods and systems for mixing digital audio signals |
US7447754B2 (en) * | 2000-12-06 | 2008-11-04 | Microsoft Corporation | Methods and systems for processing multi-media editing projects |
US6774919B2 (en) * | 2000-12-06 | 2004-08-10 | Microsoft Corporation | Interface and related methods for reducing source accesses in a development system |
US6959438B2 (en) * | 2000-12-06 | 2005-10-25 | Microsoft Corporation | Interface and related methods for dynamically generating a filter graph in a development system |
US7114162B2 (en) * | 2000-12-06 | 2006-09-26 | Microsoft Corporation | System and methods for generating and managing filter strings in a filter graph |
US6983466B2 (en) * | 2000-12-06 | 2006-01-03 | Microsoft Corporation | Multimedia project processing systems and multimedia project processing matrix systems |
US7287226B2 (en) * | 2000-12-06 | 2007-10-23 | Microsoft Corporation | Methods and systems for effecting video transitions represented by bitmaps |
JP4145484B2 (ja) * | 2000-12-15 | 2008-09-03 | 飛島建設株式会社 | 写真測量サービスシステム |
JP4878083B2 (ja) * | 2001-03-13 | 2012-02-15 | キヤノン株式会社 | 画像合成装置及び方法、プログラム |
US6912313B2 (en) * | 2001-05-31 | 2005-06-28 | Sharp Laboratories Of America, Inc. | Image background replacement method |
DE10126790A1 (de) * | 2001-06-01 | 2003-01-02 | Micronas Munich Gmbh | Verfahren und Vorrichtung zur Darstellung von wenigstens zwei Bildern in einem Gesamtbild |
US7206434B2 (en) * | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
US20030043172A1 (en) * | 2001-08-24 | 2003-03-06 | Huiping Li | Extraction of textual and graphic overlays from video |
US7239345B1 (en) * | 2001-10-12 | 2007-07-03 | Worldscape, Inc. | Camera arrangements with backlighting detection and methods of using same |
JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
CA2478671C (en) * | 2002-03-13 | 2011-09-13 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
US20040027365A1 (en) * | 2002-08-07 | 2004-02-12 | Sayers Craig P. | Controlling playback of a temporal stream with a user interface device |
GB2392072B (en) * | 2002-08-14 | 2005-10-19 | Autodesk Canada Inc | Generating Image Data |
WO2004021337A1 (en) * | 2002-09-02 | 2004-03-11 | Samsung Electronics Co., Ltd. | Optical information storage medium and method of and apparatus for recording and/or reproducing information on and/or from the optical information storage medium |
JP4185052B2 (ja) * | 2002-10-15 | 2008-11-19 | ユニバーシティ オブ サザン カリフォルニア | 拡張仮想環境 |
US7221775B2 (en) * | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
DE60330898D1 (de) * | 2002-11-12 | 2010-02-25 | Intellivid Corp | Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen |
US20040100581A1 (en) * | 2002-11-27 | 2004-05-27 | Princeton Video Image, Inc. | System and method for inserting live video into pre-produced video |
US7388598B2 (en) | 2003-02-14 | 2008-06-17 | Image Ensemble, Inc. | 3D camera system and method |
CA2523680C (en) * | 2003-05-02 | 2015-06-23 | Allan Robert Staker | Interactive system and method for video compositing |
SG138442A1 (en) * | 2003-05-13 | 2008-01-28 | Honeywell Int Inc | Combined imaging system |
AU2004250976B2 (en) * | 2003-06-19 | 2010-02-18 | L-3 Communications Corporation | Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system |
US7259778B2 (en) * | 2003-07-01 | 2007-08-21 | L-3 Communications Corporation | Method and apparatus for placing sensors using 3D models |
DE10337877A1 (de) * | 2003-08-18 | 2005-03-17 | Basf Ag | Verfahren zur Detektion der durch einen Umwelteinfluss hervorgerufenen Eigenschaftsänderung einer Probe |
US7286157B2 (en) * | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
US7346187B2 (en) * | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
US7324137B2 (en) * | 2004-01-29 | 2008-01-29 | Naomichi Akizuki | System for automatically generating continuous developed still image from video image of inner wall of tubular object |
US7671916B2 (en) * | 2004-06-04 | 2010-03-02 | Electronic Arts Inc. | Motion sensor using dual camera inputs |
CA2633650A1 (en) * | 2004-11-04 | 2006-05-18 | Megamedia, Llc | Apparatus and methods for encoding data for video compositing |
KR100603601B1 (ko) * | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
US20060125928A1 (en) * | 2004-12-10 | 2006-06-15 | Eastman Kodak Company | Scene and user image capture device and method |
DE602006020422D1 (de) | 2005-03-25 | 2011-04-14 | Sensormatic Electronics Llc | Intelligente kameraauswahl und objektverfolgung |
US20070031063A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a composite image from a set of images |
FR2889753A1 (fr) * | 2005-08-09 | 2007-02-16 | Total Immersion Sa | Systeme permettant a un utilisateur de visualiser un cockpit virtuel dans un environnement video |
US7611293B2 (en) | 2005-08-30 | 2009-11-03 | Image Ensemble, Inc. | 3D rover camera system and method |
US9036028B2 (en) | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
US7999807B2 (en) | 2005-09-09 | 2011-08-16 | Microsoft Corporation | 2D/3D combined rendering |
EP1977395B1 (en) * | 2006-01-27 | 2018-10-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
US7778491B2 (en) * | 2006-04-10 | 2010-08-17 | Microsoft Corporation | Oblique image stitching |
US7825792B2 (en) * | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
US7671728B2 (en) | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
CN102685533B (zh) * | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和*** |
US7912319B2 (en) * | 2006-08-28 | 2011-03-22 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Systems and methods for panoramic image construction using small sensor array |
US20080077963A1 (en) * | 2006-09-22 | 2008-03-27 | Navarre Joseph | Method for distributing video clips produced using chroma key processing |
US20080147488A1 (en) * | 2006-10-20 | 2008-06-19 | Tunick James A | System and method for monitoring viewer attention with respect to a display and determining associated charges |
JP4793449B2 (ja) * | 2006-11-10 | 2011-10-12 | 三菱電機株式会社 | ネットワーク映像合成表示システム |
US8125520B2 (en) * | 2006-11-21 | 2012-02-28 | Honeywell International Inc. | System for establishing references for multi-image stitching |
JP5121258B2 (ja) * | 2007-03-06 | 2013-01-16 | 株式会社東芝 | 不審行動検知システム及び方法 |
US20080303902A1 (en) * | 2007-06-09 | 2008-12-11 | Sensomatic Electronics Corporation | System and method for integrating video analytics and data analytics/mining |
US8009200B2 (en) * | 2007-06-15 | 2011-08-30 | Microsoft Corporation | Multiple sensor input data synthesis |
AU2013260677B2 (en) * | 2007-11-14 | 2015-11-26 | Intergraph Software Technologies Company | Method and apparatus of taking aerial surveys |
CA2840860C (en) * | 2007-11-14 | 2015-05-26 | Intergraph Software Technologies Company | Method and apparatus of taking aerial surveys |
GB2456802A (en) * | 2008-01-24 | 2009-07-29 | Areograph Ltd | Image capture and motion picture generation using both motion camera and scene scanning imaging systems |
WO2010002921A1 (en) | 2008-07-01 | 2010-01-07 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
GB2465791A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Rendering shadows in augmented reality scenes |
US8260084B2 (en) * | 2009-02-05 | 2012-09-04 | Seiko Epson Corporation | Binary image stitching based on grayscale approximation |
US8111300B2 (en) * | 2009-04-22 | 2012-02-07 | Qualcomm Incorporated | System and method to selectively combine video frame image data |
US8385591B1 (en) | 2009-04-28 | 2013-02-26 | Google Inc. | System and method of using images to determine correspondence between locations |
US8781159B2 (en) * | 2009-05-13 | 2014-07-15 | Applied Vision Corporation | System and method for dimensioning objects using stereoscopic imaging |
WO2011149558A2 (en) | 2010-05-28 | 2011-12-01 | Abelow Daniel H | Reality alternate |
US20120002112A1 (en) * | 2010-07-02 | 2012-01-05 | Sony Corporation | Tail the motion method of generating simulated strobe motion videos and pictures using image cloning |
EP2408191A1 (en) * | 2010-07-16 | 2012-01-18 | MediaScreen Bildkommunikation GmbH | A staging system and a method for providing television viewers with a moving perspective effect |
KR101688153B1 (ko) * | 2010-08-11 | 2016-12-20 | 엘지전자 주식회사 | 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기 |
US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
US20130063558A1 (en) * | 2011-09-14 | 2013-03-14 | Motion Analysis Corporation | Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System |
US8782565B2 (en) | 2012-01-12 | 2014-07-15 | Cisco Technology, Inc. | System for selecting objects on display |
US20130286161A1 (en) * | 2012-04-25 | 2013-10-31 | Futurewei Technologies, Inc. | Three-dimensional face recognition for mobile devices |
EP2670130B1 (en) * | 2012-06-01 | 2019-03-27 | Alcatel Lucent | Method and apparatus for mixing a first video signal and a second video signal |
US9489925B2 (en) * | 2013-01-04 | 2016-11-08 | Texas Instruments Incorporated | Using natural movements of a hand-held device to manipulate digital content |
US10332560B2 (en) | 2013-05-06 | 2019-06-25 | Noo Inc. | Audio-video compositing and effects |
US20150062287A1 (en) * | 2013-08-27 | 2015-03-05 | Google Inc. | Integrating video with panorama |
US9317175B1 (en) * | 2013-09-24 | 2016-04-19 | Amazon Technologies, Inc. | Integration of an independent three-dimensional rendering engine |
GB2537296B (en) * | 2014-01-16 | 2018-12-26 | Bartco Traffic Equipment Pty Ltd | System and method for event reconstruction |
US9886784B2 (en) | 2014-01-22 | 2018-02-06 | Express Scripts Strategic Development, Inc. | Systems and methods for rendering a mosaic image featuring persons and associated messages |
US9554060B2 (en) | 2014-01-30 | 2017-01-24 | Google Inc. | Zoom images with panoramic image capture |
CN104599317B (zh) * | 2014-12-18 | 2017-10-31 | 深圳市魔眼科技有限公司 | 一种实现3d扫描建模功能的移动终端及方法 |
USD763915S1 (en) | 2015-01-22 | 2016-08-16 | Express Scripts, Inc. | Display with a computer icon |
US9606423B2 (en) | 2015-05-06 | 2017-03-28 | Tailorframe Oy | System and method for improving chroma key compositing technique in photography |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US10147211B2 (en) * | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
CN105741233B (zh) * | 2016-01-27 | 2020-01-17 | 桂林长海发展有限责任公司 | 一种视频图像球面拼接方法及*** |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US11165972B2 (en) * | 2017-10-09 | 2021-11-02 | Tim Pipher | Multi-camera virtual studio production process |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
JP7254464B2 (ja) * | 2018-08-28 | 2023-04-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
KR102581146B1 (ko) * | 2018-11-23 | 2023-09-21 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
JP2020167517A (ja) * | 2019-03-29 | 2020-10-08 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
US11138760B2 (en) * | 2019-11-06 | 2021-10-05 | Varjo Technologies Oy | Display systems and methods for correcting drifts in camera poses |
US11272164B1 (en) * | 2020-01-17 | 2022-03-08 | Amazon Technologies, Inc. | Data synthesis using three-dimensional modeling |
GB2604386A (en) * | 2021-03-04 | 2022-09-07 | Mo Sys Engineering Ltd | Display controller for a display wall |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3233508A (en) * | 1955-04-11 | 1966-02-08 | Gen Precision Inc | Simulated viewpoint displacement method |
US3081557A (en) * | 1960-04-06 | 1963-03-19 | Gen Precision Inc | Abstract visual display system |
US3439105A (en) * | 1965-03-24 | 1969-04-15 | Singer General Precision | Visual display system |
US3580978A (en) * | 1968-06-06 | 1971-05-25 | Singer General Precision | Visual display method and apparatus |
US4231642A (en) * | 1979-08-01 | 1980-11-04 | Collender Robert B | Stereoscopic motion picture-circular to linear scan translator-method and apparatus |
US4323920A (en) * | 1980-05-19 | 1982-04-06 | Collender Robert B | Stereoscopic television (unaided with lip sync) on standard bandwidth-method and apparatus |
US4393394A (en) * | 1981-08-17 | 1983-07-12 | Mccoy Reginald F H | Television image positioning and combining system |
US4515450A (en) * | 1982-09-29 | 1985-05-07 | Mcdonnell Douglas Corporation | Transparency for use with a flying spot scanner to generate images |
US4758892A (en) * | 1984-04-27 | 1988-07-19 | Ampex Corporation | System for producing a video combine from multiple video images |
US4797942A (en) * | 1987-03-02 | 1989-01-10 | General Electric | Pyramid processor for building large-area, high-resolution image by parts |
FR2661061B1 (fr) | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
US5187571A (en) * | 1991-02-01 | 1993-02-16 | Bell Communications Research, Inc. | Television system for displaying multiple views of a remote location |
US5187754A (en) * | 1991-04-30 | 1993-02-16 | General Electric Company | Forming, with the aid of an overview image, a composite image from a mosaic of images |
EP0595808B1 (en) | 1991-07-19 | 1999-06-23 | Princeton Video Image, Inc. | Television displays having selected inserted indicia |
ES2099832T3 (es) * | 1991-08-28 | 1997-06-01 | United Technologies Corp | Sistema de control vertical para helicoptero. |
US5259040A (en) | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
DE4229377B4 (de) * | 1992-09-03 | 2006-03-23 | Bts Holding International Bv | Farbstanzverfahren für Bildsignale |
EP0605045B1 (fr) * | 1992-12-29 | 1999-03-31 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes |
JP3058774B2 (ja) * | 1993-01-29 | 2000-07-04 | 株式会社河合楽器製作所 | 映像合成装置及び映像合成方法 |
JPH0777665A (ja) * | 1993-03-29 | 1995-03-20 | Canon Inc | 画像表示装置及びその為の画像撮影装置 |
US5613032A (en) * | 1994-09-02 | 1997-03-18 | Bell Communications Research, Inc. | System and method for recording, playing back and searching multimedia events wherein video, audio and text can be searched and retrieved |
JPH08237407A (ja) * | 1994-12-09 | 1996-09-13 | Xerox Corp | 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法 |
US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
-
1996
- 1996-07-08 WO PCT/US1996/011221 patent/WO1997003416A1/en active IP Right Grant
- 1996-07-08 JP JP9505870A patent/JPH11509064A/ja not_active Ceased
- 1996-07-08 EP EP96923611A patent/EP0838068B1/en not_active Expired - Lifetime
- 1996-07-08 DE DE69635347T patent/DE69635347T2/de not_active Expired - Fee Related
-
1997
- 1997-08-25 US US08/917,402 patent/US6522787B1/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010517129A (ja) * | 2007-01-22 | 2010-05-20 | トタル イメルシオン | ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置 |
JP2010118739A (ja) * | 2008-11-11 | 2010-05-27 | Sony Corp | スイッチャ制御装置、スイッチャ制御方法および画像合成装置 |
Also Published As
Publication number | Publication date |
---|---|
DE69635347T2 (de) | 2006-07-13 |
EP0838068B1 (en) | 2005-10-26 |
US6522787B1 (en) | 2003-02-18 |
WO1997003416A1 (en) | 1997-01-30 |
DE69635347D1 (de) | 2005-12-01 |
EP0838068A1 (en) | 1998-04-29 |
EP0838068A4 (en) | 2000-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11509064A (ja) | 画像を表現し組み合わせる方法とシステム | |
US6724386B2 (en) | System and process for geometry replacement | |
Capel | Image mosaicing | |
KR100271384B1 (ko) | 패턴 키 삽입 기법을 이용하는 비디오 합성방법 및 장치 | |
US9117310B2 (en) | Virtual camera system | |
US6396495B1 (en) | Producing image data in a virtual set | |
CN111371966B (zh) | 一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质 | |
JP2003099799A (ja) | 変化のないシーン内の静止した3dの物理的な物体の動きをシミュレートするための方法 | |
EP0903695B1 (en) | Image processing apparatus | |
JP2004088247A (ja) | 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム | |
Bartczak et al. | Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time | |
JP3538263B2 (ja) | 画像生成方法 | |
Saito et al. | View interpolation of multiple cameras based on projective geometry | |
JPH07162744A (ja) | 動画像処理装置 | |
KR102571744B1 (ko) | 3차원 콘텐츠 생성 방법 및 장치 | |
JP2022131777A (ja) | 情報処理装置、それを含むシステム、情報処理方法およびプログラム | |
GB2312582A (en) | Insertion of virtual objects into a video sequence | |
Kunert et al. | An efficient diminished reality approach using real-time surface reconstruction | |
JP2005063041A (ja) | 3次元モデリング装置、方法、及びプログラム | |
Linz et al. | Space-time visual effects as a post-production process | |
JP2003216970A (ja) | 三次元画像処理装置、三次元画像処理システム、三次元画像処理方法および三次元画像処理プログラム | |
JP4886349B2 (ja) | 模擬視界生成装置 | |
KR102196032B1 (ko) | 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템 | |
JP3230481B2 (ja) | テレビジョン画像の合成方式 | |
JP2004013869A (ja) | 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A313 | Final decision of rejection without a dissenting response from the applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A313 Effective date: 20061218 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070130 |