JP4217305B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4217305B2 JP4217305B2 JP26204298A JP26204298A JP4217305B2 JP 4217305 B2 JP4217305 B2 JP 4217305B2 JP 26204298 A JP26204298 A JP 26204298A JP 26204298 A JP26204298 A JP 26204298A JP 4217305 B2 JP4217305 B2 JP 4217305B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- computer model
- dimensional computer
- boundary
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【発明の属する技術分野】
本発明は、三次元コンピュータ・モデルの動画で(複数の)物体の表現を生成するために、動画を表示するデータを処理する画像処理装置に関するものである。
【0002】
【従来の技術】
現在、ビデオから生成される画像やその他の動画の内容、即ちデータは、そのデータを取り込むカメラの視野特性に依存する。より詳細には、観察者が物体を見る位置は、そのシーンをカメラが観察する位置及び観察する方向によって決定される。
【0003】
この制約の解決策として、ビデオデータを使用してシーンの動的三次元コンピュータモデルを作り出し、所望のどの観察方向からもシミュレーションされた眺めを生成してユーザに表示することのできる、対話式システムが提案されてきている。
【0004】
【発明が解決しようとする課題】
本発明は、このような対話式システムを実現するための画像処理装置を提供することを目的とする。すなわち、ビデオ画面内を移動する物体を確実に効率よく三次元コンピュータモデル内に表現可能とする画像処理装置を提供する。
【0009】
【課題を解決するための手段】
この課題を解決するために、本発明の画像処理装置は、シーン内を移動している物体の一連の画像を定義する画像データを処理して、前記シーン内での物体の位置に対応する三次元コンピュータモデル内の複数の位置における前記物体の表現を定義する信号を発生する画像処理装置であって、ユーザによる前記三次元コンピュータモデルに対応する画像に対する複数点の指定に応じて、前記画像の静的背景の水平表面を三次元コンピュータモデル内の静的背景の水平平面に変換する変換値を算出して、前記画像と前記三次元コンピュータモデルとの間の変換を定義する設定手段と、複数の画像の前記画像データを処理して、前記画像内の前記物体の境界を表わす各画像のそれぞれの多角形を定義する第1処理手段と、前記物体のそれぞれの位置を表す少なくとも1つの平面状表面を三次元コンピュータモデル内で定義する第2処理手段であって、前記算出された変換値を用いて前記画像内の前記物体の境界を表わす前記多角形を三次元コンピュータモデル内に投影し、各平面状表面を、三次元コンピュータモデル内の前記静的背景の水平表面上にある底辺と、前記画像内の前記物体の境界を表わす前記多角形のそれぞれ1つに対応する位置及びサイズとで定義し、三次元コンピュータモデル内の前記静的背景の水平表面に対して垂直平面内にあるように定義する第2処理手段と、前記画像データに応じて前記物体の形状を表すために、前記平面状表面のテクスチャデータを生成する第3処理手段とを含むことを特徴とする画像処理装置。
【0010】
ここで、前記第2処理手段が、前記平面状表面の幅が前記画像データ中の境界の多角形の幅で定義され、前記平面状表面の高さが前記画像データ中の境界の多角形のアスペクト比を使って決定されるように、前記平面状表面を定義するよう構成される。また、前記物体の境界を表わす多角形が矩形である。また、前記矩形の辺が画像の辺に平行である。また、前記第2処理手段が、1つの前記平面状表面が、前記三次元コンピュータモデル内の物体の各位置を表わすように定義されるよう構成される。また、前記第2処理手段が、複数の接続された平面状表面が前記三次元コンピュータモデル内の物体の各位置を表わすために定義されるよう構成される。また、前記境界多角形内で前記物体の位置を定義するマスクを抽出するために前記画像データを処理する手段を更に含む。また、前記三次元コンピュータモデルを創出する手段を更に含む。また、観察方向から前記三次元コンピュータモデルの画像用の画像データを作成するため、前記平面状表面上にテクスチャデータをレンダリングする手段を更に含む。
【0013】
本発明によれば、三次元コンピュータモデル内の物体の平面表現を定義するため、移動している物体の画像を処理する画像処理装置が提供される。画像内の物体の位置を用いてモデル内での位置を決定し、この物体に対応する画像データをその表現の際に使用する。物体を表現するため、複数の平面を使用することが可能である。又、本発明は、画像データ内に記録される移動中の物体の位置を表すために三次元コンピュータモデル内で平らな表面を定義し、上記画像データを用いてその表面のテクスチャデータを作成して、その表現を表示できるようにする画像処理装置を提供する。テクスチャデータは、物体の画像からの実画素データでよい。
【0014】
【発明の実施の形態】
次に、添付の図面を参照しながら、本発明の実施の形態をその一例によって説明する。
【0015】
<本実施の形態の画像処理装置の構成例>
図1は、本実施の形態の画像処理装置の全体的な構成例を示すブロック図である。
【0016】
本装置には、メモリ6に接続された中央処理装置(CPU)4を含むコンピュータ2が設けられ、メモリ6は、CPU4によって実行されるオペレーションを定義するプログラムを格納し、CPU4によって処理される対象物体データ及び画像データを格納する働きをする。
【0017】
メモリ6にはディスクドライブ8が結合される。ディスクドライブ8は、フロッピーディスク10など取り外し可能なデータ記憶媒体を受け入れると共に、その媒体に格納されたデータやプログラムをメモリ6に転送する働きをする。ディスクドライブ8を使用して、CPU4に対する操作命令を、取り外し可能なデータ記憶媒体からメモリ6に入力することが可能である。
【0018】
ディスクドライブ8を使用して、CPU4によって処理される画像データを、取り外し可能なデータ記憶媒体からコンピュータ2に入力することも可能である。その代わりに又はそれに加えて、ソニー社製のDCR−PC7などディジタル画像データ出力装置を有するビデオカメラ12から、処理される画像データを直接メモリ6に入力することも可能である。画像データをメモリ6に入力する前にカメラ12に格納したり、又は上記データをカメラ12で収集すると同時にリアルタイムでメモリ6に転送することも可能である。また、ディジタルカメラ12の代わりに非ディジタルのビデオカメラから画像データを入力することも可能である。この場合、上記カメラで撮った画像をディジタイザ(図示せず)を用いてディジタル化し、そこからディジタル画像データを生成してメモリ6に入力する。更に、画像データを格納する局所の又は遠隔のデータベースからの接続(図示せず)を介して、画像データをメモリ6にダウンロードすることも可能である。
【0019】
CPU4の入力ポートには、例えばキーボード及び/又はマウスやトラッカボールなどの位置感応入力装置を含むユーザ命令入力装置14が結合されている。
【0020】
又、CPU4にはフレームバッファ16が結合される。フレームバッファ16は、例えば、画像の1画素に対し1つ(又は数個)の記憶位置を与えることによって、CPU4によって生成された少なくとも1つの画像に関する画像データを格納するように構成された、メモリ装置を含んでいる。各画素ごとにフレームバッファ内に格納される値が、画像内の画素の色又は輝度を定義する。
【0021】
フレームバッファ16には、このフレームバッファ16に格納される画像を従来の方法で表示する、表示装置18が結合されている。またフレームバッファ16には、ビデオテープレコーダ(VTR)20、又はペーパプリンタや35mmフィルムレコーダなどその他の画像記録装置も結合される。
【0022】
ハードディスクドライブなどデータ記憶容量の大きい大容量記憶装置がメモリ6に(通常はCPU4を介して)結合され、またフレームバッファ16にも結合される。大容量記憶装置22は、CPU4によって処理されたデータをメモリ6から受け取り、又は表示装置18で表示されるデータをフレームバッファ16から受け取ることができる。
【0023】
CPU4、メモリ6、フレームバッファ16、表示装置18と大容量記憶装置22は、例えばSunMicrosystems社から発売されているSparcStationのようなワークステーションなど、市販の完成システムの一部から構成することが可能である。
【0024】
本実施の形態としてコンピュータ2に実行させるための操作命令は、フロッピーディスク10やその他のデータ記憶媒体に格納されたプログラムの形で、市販用として供給することができ、又は、例えばデータリンク(図示せず)などを介したコンピュータ2への信号として伝送することができる。その結果、受信側コンピュータ2は、本発明を組み込んだ装置に再構成される。
【0025】
図2に、CPU4によって処理する画像データの集合体の例を概略的に示す。
【0026】
例として、図2には、フットボール競技場34(コーナー36、38、40、42で定義された)内を動いている2人の人間30、32を示す。競技場34とその中での人間30、32の動きは、固定した観察位置に取り付けられかつ固定した観察方向を有するビデオカメラ12によって記録される。
【0027】
<本実施の形態の画像処理の手順例>
図3に、本実施の形態で実行される画像処理動作例の例を示す。
【0028】
図3を参照すると、ステップS2では、カメラ12によって観察されるシーンの静的背景(即ち、動いていない部分)の三次元コンピュータモデルが、ユーザによって創出される。またステップS2では、この背景シーンの画像パラメータも設定される。
【0029】
図4に、図3のステップS2で実行される処理段階の例をより詳細に示す。
【0030】
図4を参照すると、ステップS20では静的背景をモデル化する。すなわち、図2に示す例では、フットボール競技場34がモデル化される。これは、市販のモデリングパッケージを使用して従来の方法で実施される。
【0031】
ステップS22では、カメラ12を使用して、静的背景の複数の参照画像を記録する。本実施の形態では、ビデオの4つのフレームがカメラ12によって記録される。複数の参照画像は、以下に更に説明するように、背景の採光条件の経時的な変化やノイズ、「静的」背景内での(例えば、動いている木の枝や葉によって引き起こされる)好ましくない動きを考慮に入れるために記録される。
【0032】
ステップS24では、画像空間(即ち、カメラ12によって記録される画像)と三次元(3D)世界空間(即ち、ステップS20で三次元コンピュータモデルが創出された空間)との間での変換が計算される。変換は、画像空間での(対象物体がその上で移動する)基平面と3D世界空間(3Dコンピュータモデル)での基平面との間のマッピングである。この変換は、カメラの絶対位置や観察されているシーン(図2の例では、フットボール競技場34)に関連するカメラの位置が前もって決定されて乃至、同様にカメラの像形成のパラメータ(焦点長さ、CCDのサイズ、ズーム設定など)も前もって決定されてないため、実施される。この変換によって、以下に説明するように、画像空間での対象物体の位置や大きさに基づいて、確実で効率的な方法での3Dコンピュータモデルにおける対象物体の表現の創出が可能になる。
【0033】
ステップS24での変換を計算するため、ステップS22で記録した背景の画像の1つを表示装置18上でユーザに表示する。ユーザは、CPU4からの催促に応じて、シーン内の対象物体が動く平面上にある画像内の複数の点(本実施の形態では4点)を指定する。すなわち、図2に示す例を参照すると、フットボール競技場34のコーナーの点36、38、40、42を指定することになる(競技場は人間30、32が動く表面を表す)。ビデオ画像内で識別された点に対応する、ステップS20で創出された三次元コンピュータモデル内の点も、ユーザによって定義される。例えば、所定の観察方向からの三次元コンピュータモデルの眺めを表示装置18でユーザに表示し、対応する点を入力手段14を使用して指定する。CPU4は、次いで、ビデオ画像内で指定した点の位置と、三次元コンピュータモデル内で指定した対応する点の位置とを用いて、従来の方法、例えば次の方程式を用いて、画像空間と3D世界空間との間の変換演算を行う。
【0034】
【数1】
【0035】
ただし、n=1,…,4、Xn及びYnは世界空間内の点、xn及びynは画像空間内の点を示し、A〜Hは次式によって得られる。
【0036】
【数2】
【0037】
これは、画像空間での基平面と3Dコンピュータモデル(3D世界空間)での基平面との間の変換を定義している。
【0038】
ステップS26では、CPU4は静的背景の参照画像の画素パラメータを計算する。これは、ステップS22で記録した複数の画像から、各画素ごとに平均グレーレベルμを計算することによって実行される。即ち、4つのフレームのそれぞれの対応する画素のグレーレベルを考慮し、平均をとる。求めた平均の分散σも算出する。次に、各画素のグレーレベル用「ウィンドウ」をμ±(2σ+F)に設定する。ただし、Fは、ビデオカメラ12の利得や雑音などの変数を考慮に入れるように設定されたエラーファクタである。本実施の形態では、グレースケールレベルの合計数は256であり、エラーファクタFは5グレースケールレベルに設定される。
【0039】
ステップS26で各画素ごとに設定される「ウィンドウ」は、画素が静的背景の画像の一部を形成する場合にとるグレースケール値の広がりを表す(ビデオカメラ12の観察位置及び方向は一定であり、したがって背景の一部を形成する画素のグレースケール値が採光の変化やノイズによるエラーに応じてのみ変化する)。以下に説明するように、これらの「ウィンドウ」は、背景上を動作中の(したがって、定義されたウィンドウの外側で画素値を移動させる)対象物体を識別するために使用される。
【0040】
図3を再び参照すると、ステップS4では「アクション」の画像、即ち背景上で対象物体が動いている画像(例えば、フットボール競技場34の人物30,32の動き)がビデオカメラ12によって記録される。
【0041】
ステップS6では、CPU4がステップS4で記録した画像の画像データを処理して、画像内の「静的背景」の一部ではない対象物体、即ち背景上を動作中の対象物体を識別する。次に、CPU4は、この対象物体の情報とステップS2で定義した三次元コンピュータモデルとを用い、カメラ12によって記録されたシーンの三次元コンピュータモデルを示すタイムスタンプ付きの三次元物体データを創出する。
【0042】
図5に、ステップS6でCPU4によって実行される処理動作例の例を示す。
【0043】
図5を参照すると、ステップS30では、CPU4が画像内の対応する画素について、処理中の画像データの各画素のグレーレベルを、ステップS26で予め設定したグレースケール「ウィンドウ」と比較する。その画素について予め定義されたウィンドウの外側にあるグレーレベルを有するどの画素も、「前景」画素、即ち背景上を動作中の対象物体の一部を形成する画素となる可能性があると見なされる。従って、ステップS30では、CPU4が、どの画素が対応して予め計算されたウィンドウの外側のグレースケールレベルを持つかの記録を保持する。
【0044】
ステップS32では、ノイズを除去するために、画像データをCPU4で処理する。このようなノイズは、例えば、ビデオカメラ12がCCD(電荷結合素子)カメラである場合は量子効果によって、またカメラ12からのデータを圧縮するために用いられるデータ圧縮技術によって、またCPU4で処理されるビデオデータのフレーム取り込みに使用するフレームグラッバによってなど、数々の方法によって画像データ中に導入される。また、このようなノイズは、動作中の対象物体の境界に近接する画像データでしばしば発生するノイズのこともある。
【0045】
図6に、図5のステップS32でノイズを除去するために画像データを処理する際に、CPU4が実行する動作を示す。
【0046】
図6を参照すると、ステップS50では、従来の方法、例えばR.M.Haralick、L.G.Shapiro著「Computer and Robot Vision Volume 2」,Addison−Wesley Publishing Company,1993 ISBN 0−201−56943−4(v.2)の583頁に示される方法で、CPU4が画像データに「縮小」マスクを適用する。この操作では、3×3の画素マスクを画像データに適用し、このマスクによって定義される9つの画素の各組ごとに、「前景」画素(ステップS30で識別された)数と「背景」画素数をカウントする。マスク内の大多数の画素が背景画素である場合、中央の画素は背景画素であると定義される(たとえその画素が、以前に前景画素であると識別されたとしても)。マスク内の大多数の画素が前景画素である場合は、何の変化も生じない。この操作は、縮小マスクが全ての画像データに適用されるまで繰り返される。
【0047】
ステップS52では、従来の方法、例えばR.M.Haralick、L.G.Shapiro著「Computer and Robot Vision Volume 2」,Addison−Wesley Publishing Company,1993 ISBN 0−201−56943−4(v.2)の583頁に示される方法で、CPU4が画像に「増大マスク」を適用する。この操作は、マスク内の大多数の画素が前景画素である場合、中央の画素は前景画素であると定義され(たとえその画素が、以前に背景画素であると識別されたとしても)、マスク内の大多数の画素が背景画素である場合は何の変化も生じないこと以外は、ステップS50と同様の方法で実行される。ステップS52の効果は、ステップS50での縮小マスク操作で誤って背景画素であると設定された画素を、前景画素に復帰させることである。
【0048】
図5を再び参照すると、ステップS34では、前景画素の集団を識別するためにCPU4がデータの処理を行う。これは、同じ特性を有する画素の集団を識別するために、従来の方法によって実行され、まず画像データを走査して前景画素を識別し、次に隣接する画素を反復的に検討して接続された全ての前景画素を識別する。
【0049】
ステップS36では、CPU4がステップS34で識別された前景画素の次の集団(ここで、ステップS36によって初めて実行されるのは第1の集団である)を考察し、この集団の画素数が30よりも大か否か判定する。
【0050】
画素数が30以下である場合、その集団は全体画像(本実施の形態では、768画素×512画素)の比較的小さな部分を形成するので、ノイズを表すと見なせる。この場合、その集団はそれ以上は処理されない。一方、集団の画素数が30より大である場合は、その集団は動作中の物体を表すと見なされ、更に処理が実行される。
【0051】
ステップS38では、CPU4は画素集団の大きさを決定する。本実施の形態では、CPU4が、二次元画像内で画像の辺に平行な辺を有する集団の境界四角形を決定することにより、この処理を実施する。。
【0052】
ステップS40では、CPU4が、ステップS24で算出された変換値を用いてステップS20でコンピュータモデルが形成された三次元世界空間に、ステップS38で決定された境界四角形を投影する。これによって、三次元コンピュータモデル内に1つの平面が作成され、以下に示すように、この平面上には動作中の対象物体のビデオ画像がユーザに表示するために投影される。本実施の形態では、三次元コンピュータモデル内の平面は垂直であり、その底辺は、ステップS24でユーザが選択した点によって定義される3Dモデル内の表面上にある(対象物体は、観察されるシーンと共に、対応する実世界表面、図2の例ではフットボール競技場34上を動くと想定されるためである)。
【0053】
図7に、図5のステップS40で行われる境界平面の変換の際に、CPU4によって実行される動作を示す。
【0054】
図7を参照すると、ステップS62では、CPU4が、ステップS24で予め算出した変換値を用いて座標変換を行うことによって、境界四角形の底辺の2つのコーナーを像空間から三次元世界空間に投影する。境界四角形の底辺の各コーナーは、ステップS24で予め選択された点によって定義される表面にあるコンピュータモデルの三次元世界空間内の点へと変換される。
【0055】
ステップS64では、CPU4が、ステップS62で変換されたコーナー間の距離を決定することにより、三次元世界空間内の境界四角形の幅を計算する。
【0056】
ステップS66では、CPU4が像空間内の境界四角形の幅と高さの比と、ステップS64で計算された三次元世界空間内の幅とを用いて、三次元世界空間内の境界四角形の高さを計算する(即ち、境界四角形のアスペクト比が、像空間と三次元世界空間とで同一に維持される)。
【0057】
図5を再び参照すると、ステップS42では、CPU4が、予めステップS40で計算された三次元世界空間内の境界四角形の位置と大きさを格納すると共に、ビデオ画像内の境界四角形から抽出された境界四角形のテクスチャデータ及び「前景マスク」、即ち前景画素に対応する境界四角形内の画素を識別するマスクも格納される。抽出されたテクスチャデータは、3D世界空間内の境界四角形のテクスチャマップを効果的に提供する。
【0058】
ステップS44では、ステップS34で識別された前景画素の他の集団でまだ未処理のものが存在するかどうか、CPU4が判定する。考察中のビデオフレーム用の前景画素の全ての集団が上述の方法によって処理されるまで、ステップS36からS44が繰り返される。この段階では、動作中の各対象物体の位置を表わす1つの平面(境界四角形)が配置され、更に、これら動作中の対象物体のテクスチャ画像データを、後でユーザによって選択される観察点に基づき平面上に投影できるように格納する、三次元コンピュータモデルが作成されている。従ってこのデータは、カメラ12から得られる1つの二次元画像(ビデオフレーム)の、三次元コンピュータモデルに対応する。
【0059】
図3を再び参照すると、ステップS8では、ステップS4でカメラ12によって記録され未だ処理されていない他の画像(ビデオフレーム)が存在するか否か、CPU4が判定する。ステップS4でカメラ12により記録された全ての画像が上述の方法で処理されるまで、ステップS6及びS8が繰り返される。
【0060】
ステップS10では、CPU4が、ユーザに選択された所望の観察点からの画像を、表示装置18でユーザに表示する。この段階でCPU4によって表示される画像は、予め創出された三次元モデルの対象物体データを使用して作成された、シミュレーションされたビデオ画像である。
【0061】
図8は、ステップS10での画像表示の際にCPU4によって実行される処理動作を示す。
【0062】
図8を参照すると、ステップS70では、対象物体が観察される方向が入力装置14を使用してユーザにより定義される。
【0063】
ステップS72では、ステップS70で選択された観察方向に従って、3D世界空間を視野空間へと変換する。この変換によって、モデル化された空間全体よりも通常は狭い範囲である特定の視野が識別される。従って、ステップS74では、視野からはみ出る表面又はその一部を除去するために、CPU4がクリッピング処理を実行する。
【0064】
この段階に至るまでは、CPU4によって処理される対象物体データが三次元座標での位置を定義する。ステップS76では、3Dコンピュータモデルを構成する三角形の面の頂点が投影されて、二次元画像を定義する。
【0065】
画像を二次元に投影した後に、「前向き」、即ち観察者に面している三角形表面、及び「後ろ向き」、即ち観察者が視認できない三角形表面を識別することが必要である。従って、ステップS78では、後ろ向きの面を識別して選別する。すなわち、ステップS78の後には、視認される多角形の三角形の面を識別する頂点が二次元内で定義されている。
【0066】
ステップS80では、CPU4によって表面を定義する二次元データが走査変換され、画素値を生成する。この段階では、画像内の背景を表す表面をレンダリングすると共に、ステップS42で格納された適正なビデオテクスチャデータによって、ステップS40で先に決定された境界四角形もレンダリングされる。境界四角形内の前景画素のみが格納されたビデオテクスチャデータでレンダリングされるが、これらの画素は格納された「前景マスク」によって定義される。その他の画素は、背景テクスチャデータでレンダリングされる。ステップS80で作成されたレンダリングデータは、シミュレーションされたビデオフレームを表す。ここで、背景は、ステップS20で創出されたコンピュータモデルから作成され、動作中の各対象物体は、ビデオ画像から抽出された動作中の対象物体の画像データが投影される背景(図2の例では、フットボール競技場34)の水平表面から延びる、垂直な平面として表される。
【0067】
ステップS82では、ステップS80で生成した画素値が、表面ごとにフレームバッファに書き込まれ、これにより、完全な二次元画像のデータが生成される。
【0068】
ステップS84では、CPU4によって、画素値を定義する信号が生成される。この信号は、表示装置18上に対象物体の画像を生成するために用いられ、かつ/又は、例えばビデオテープレコーダ20のビデオテープなどに記録される。(生成した画像を、このビデオテープから更に生成画像を記録することが可能である。)表示又は記録のために、この信号を遠隔の受信機に伝送することも可能である。
【0069】
ステップS86では、ステップS6で先に創出されたタイムスタンプ付きの他の「フレーム」の三次元対象物体データで、ユーザに未だ表示されていないものが存在するかどうか、CPU4が判定する。このような対象物体データの全てのフレームが上述の方法に基づいて表示されるまで、ステップS70からS86が繰り返され、これによって、シミュレーションされた動く画像のシーケンスを所望の観察方向からユーザに表示することができる。表示中、ユーザがいつでも観察方向を変えることができるのは当然である。
【0070】
上述の実施の形態に対し、様々な変更点を加えることが可能である。
【0071】
図3を再び参照すると、上述の実施の形態では、ステップS4で全ての画像を記録した後、ステップS6(画像データを処理して動作中の対象物体を識別、そこから対象物体データを創出)を実行する。同様に、ステップS6及びS8を完了した後、ステップS10(画像の表示)を実行する。しかしながら、ステップS4、S6、S10を、所望の観察方向からユーザに対し画像を実時間表示させるように実行することが可能である。即ち、ビデオカメラ12によって次のデータのフレームが記録される間に、ステップS6及びS10をビデオデータの1つのフレーム上で実行することができる。この実時間操作が可能なのは、ステップS6及びS10の処理要件がCPU4上で特に面倒なものではなく、また、1/30秒間以内という、ビデオフレームを記録する合間の時間で処理が実施できるからである。
【0072】
上述の実施の形態では、動作中の物体は、グレースケール値を基に識別される。しかしながら、それに加えて又はその代わりに、色及び赤外の値のウィンドウを設定し、これらの画像特性を用いて前景物体を識別することも可能である。
【0073】
上述の実施の形態では、CPU4によって処理する画像を記録するのに1台のビデオカメラ12を使用している。同様に、3D世界空間内の1つの境界四角形が計算され、そこにビデオ画像データがレンダリングされる。このシステムには、ユーザが境界四角形の平面内の観察方向を選択する場合、その境界平面によって定義される動作中の対象物体が、ユーザに表示されない(ユーザにとっては「エッジオン(edge on)」状態にあるから)という問題がある。この問題は、ステップS4で「動作中」の画像を同時に記録するために複数のカメラを使用することによって、また、閉平面を形成するように接続した複数の平面(例えば複数の垂直な平面)で各対象物体を表現することによって、対処できる。ユーザに表示するために1つの平面上にレンダリングされるビデオ画像データは、表示される境界平面の垂線に最も近い観察方向をどのビデオカメラが持っているかを決定することによって、選択される(そのカメラからのビデオデータが、境界四角形のテクスチャデータとして使用される)。
【0074】
上述の実施の形態では、カメラに向かう動作中の対象物体の表面に関するデータのみが記録されるように、1台のビデオカメラ12によって画像データを記録する。従って、ステップS70(図8)で、カメラ12に向かう観察方向をユーザが選択する場合、カメラ12によって視認されたビデオ画像データが境界四角形上でレンダリングされ、実際にはユーザには対象物体の反対側の表面の画像が表示されていても、そのビデオ画像データがユーザに表示される。この問題は、反対方向を向いている第1及び第2のカメラを使用することによって、また、ユーザが選択する観察方向に最も近い観察方向をどのビデオカメラが持っているかを判定することにより、境界四角形上にレンダリングされるビデオデータを選択する(このカメラで得られるビデオデータが、境界四角形上でレンダリングされる)ことによって、克服することができる。
【0075】
なお、本発明は、複数の機器(例えばホストコンピュータ,インタフェイス機器,リーダ,プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0076】
また、本発明の目的は、前述したように実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0077】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0078】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0079】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0080】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応する処理を実行するプログラムコードを格納することになる。
【発明の効果】
以上説明したように、本発明により、ビデオ画面内を移動する物体を確実に効率よく三次元コンピュータモデル内に表現可能とする画像処理装置を提供できる。
【0081】
すなわち、本発明によれば、三次元コンピュータモデル内の物体の平面表現を定義するため、移動している物体の画像を処理する画像処理装置が提供される。画像内の物体の位置を用いてモデル内での位置を決定し、この物体に対応する画像データをその表現の際に使用する。物体を表現するため、複数の平面を使用することが可能である。又、本発明は、画像データ内に記録される移動中の物体の位置を表すために三次元コンピュータモデル内で平らな表面を定義し、上記画像データを用いてその表面のテクスチャデータを作成して、その表現を表示できるようにする画像処理装置を提供する。テクスチャデータは、物体の画像からの実画素データでよい。
【0082】
【図面の簡単な説明】
【図1】本実施の形態の画像処理装置の構成要素の一例を示す概略図である。
【図2】本実施の形態の動的環境から得られるビデオデータの集合体の例を示す概略図である。
【図3】本実施の形態において、動画を定義する信号を処理し、三次元コンピュータモデルを創出し、所望の観察方向からの画像をユーザに表示するために、本実施の形態で実行される処理動作例を示す最上位レベルのフローチャートである。
【図4】図3のステップS2で実行される処理動作例を示すフローチャートである。
【図5】図3のステップS6で実行される処理動作例を示すフローチャートである。
【図6】図5のステップS32で実行される処理動作例を示すフローチャートである。
【図7】図5のステップS40で実行される処理動作例を示すフローチャートである。
【図8】図3のステップS10で実行される処理動作例を示すフローチャートである。
Claims (9)
- シーン内を移動している物体の一連の画像を定義する画像データを処理して、前記シーン内での物体の位置に対応する三次元コンピュータモデル内の複数の位置における前記物体の表現を定義する信号を発生する画像処理装置であって、
ユーザによる前記三次元コンピュータモデルに対応する画像に対する複数点の指定に応じて、前記画像の静的背景の水平表面を三次元コンピュータモデル内の静的背景の水平平面に変換する変換値を算出して、前記画像と前記三次元コンピュータモデルとの間の変換を定義する設定手段と、
複数の画像の前記画像データを処理して、前記画像内の前記物体の境界を表わす各画像のそれぞれの多角形を定義する第1処理手段と、
前記物体のそれぞれの位置を表す少なくとも1つの平面状表面を三次元コンピュータモデル内で定義する第2処理手段であって、前記算出された変換値を用いて前記画像内の前記物体の境界を表わす前記多角形を三次元コンピュータモデル内に投影し、各平面状表面を、三次元コンピュータモデル内の前記静的背景の水平表面上にある底辺と、前記画像内の前記物体の境界を表わす前記多角形のそれぞれ1つに対応する位置及びサイズとで定義し、三次元コンピュータモデル内の前記静的背景の水平表面に対して垂直平面内にあるように定義する第2処理手段と、
前記画像データに応じて前記物体の形状を表すために、前記平面状表面のテクスチャデータを生成する第3処理手段とを含むことを特徴とする画像処理装置。 - 前記第2処理手段が、前記平面状表面の幅が前記画像データ中の境界の多角形の幅で定義され、前記平面状表面の高さが前記画像データ中の境界の多角形のアスペクト比を使って決定されるように、前記平面状表面を定義するよう構成されることを特徴とする請求項1に記載の画像処理装置。
- 前記物体の境界を表わす多角形が矩形であることを特徴とする請求項1又は2に記載の画像処理装置。
- 前記矩形の辺が画像の辺に平行であることを特徴とする請求項3に記載の画像処理装置。
- 前記第2処理手段が、1つの前記平面状表面が、前記三次元コンピュータモデル内の物体の各位置を表わすように定義されるよう構成されることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 前記第2処理手段が、複数の接続された平面状表面が前記三次元コンピュータモデル内の物体の各位置を表わすために定義されるよう構成されることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記境界多角形内で前記物体の位置を定義するマスクを抽出するために前記画像データを処理する手段を更に含むことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記三次元コンピュータモデルを創出する手段を更に含むことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 観察方向から前記三次元コンピュータモデルの画像用の画像データを作成するため、前記平面状表面上にテクスチャデータをレンダリングする手段を更に含むことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB97196943 | 1997-09-16 | ||
GBGB9719694.3A GB9719694D0 (en) | 1997-09-16 | 1997-09-16 | Image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11149575A JPH11149575A (ja) | 1999-06-02 |
JP4217305B2 true JP4217305B2 (ja) | 2009-01-28 |
Family
ID=10819160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP26204298A Expired - Fee Related JP4217305B2 (ja) | 1997-09-16 | 1998-09-16 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6421459B1 (ja) |
EP (1) | EP0903695B1 (ja) |
JP (1) | JP4217305B2 (ja) |
DE (1) | DE69812518T2 (ja) |
GB (1) | GB9719694D0 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1352518B1 (en) | 2001-01-11 | 2009-03-04 | Smal Camera Technologies, INC. | Adaptive sensitivity control, on a pixel-by-pixel basis, for a digital imager |
US6747647B2 (en) * | 2001-05-02 | 2004-06-08 | Enroute, Inc. | System and method for displaying immersive video |
GB2382033A (en) * | 2001-07-16 | 2003-05-21 | Samantha Bhalla | A sports analysis system intended for use in a betting game |
US20030046177A1 (en) * | 2001-09-05 | 2003-03-06 | Graham Winchester | 3-dimensional imaging service |
GB2383915B (en) * | 2001-11-23 | 2005-09-28 | Canon Kk | Method and apparatus for generating models of individuals |
US7190809B2 (en) | 2002-06-28 | 2007-03-13 | Koninklijke Philips Electronics N.V. | Enhanced background model employing object classification for improved background-foreground segmentation |
US7173666B1 (en) | 2002-08-22 | 2007-02-06 | Smal Camera Technologies | System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor |
US20040189828A1 (en) * | 2003-03-25 | 2004-09-30 | Dewees Bradley A. | Method and apparatus for enhancing a paintball video |
US7884848B2 (en) * | 2005-05-25 | 2011-02-08 | Ginther Mark E | Viewing environment and recording system |
US9158975B2 (en) * | 2005-05-31 | 2015-10-13 | Avigilon Fortress Corporation | Video analytics for retail business process monitoring |
US8131077B2 (en) * | 2007-04-03 | 2012-03-06 | Flashfoto, Inc. | Systems and methods for segmenting an image based on perceptual information |
GB2452508A (en) | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
DE102007056835A1 (de) | 2007-11-26 | 2009-05-28 | Robert Bosch Gmbh | Bildverarbeitunsmodul zur Schätzung einer Objektposition eines Überwachungsobjekts, Verfahren zur Bestimmung einer Objektposition eines Überwachungsobjekts sowie Computerprogramm |
US9311567B2 (en) | 2010-05-10 | 2016-04-12 | Kuang-chih Lee | Manifold learning and matting |
US9525802B2 (en) | 2013-07-24 | 2016-12-20 | Georgetown University | Enhancing the legibility of images using monochromatic light sources |
US9269126B2 (en) * | 2013-07-24 | 2016-02-23 | Georgetown University | System and method for enhancing the legibility of images |
US11074827B2 (en) * | 2017-08-25 | 2021-07-27 | Aurora Flight Sciences Corporation | Virtual reality system for aerial vehicle |
CN108597010A (zh) * | 2018-04-19 | 2018-09-28 | 北京知道创宇信息技术有限公司 | 三维巡航渲染方法及装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0437313A (ja) | 1989-12-06 | 1992-02-07 | Texas Instr Inc <Ti> | 論理状態検出センス回路装置及び検出方法 |
US5341467A (en) * | 1991-12-30 | 1994-08-23 | Xerox Corporation | Method and apparatus for generating and displaying freeform strokes of varying or constant width using adaptive forward differencing |
CA2132515C (en) * | 1992-03-20 | 2006-01-31 | Glen William Auty | An object monitoring system |
US5363297A (en) * | 1992-06-05 | 1994-11-08 | Larson Noble G | Automated camera-based tracking system for sports contests |
EP0669758B1 (en) | 1993-09-06 | 2000-03-08 | Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho | Time-varying image processor and display device |
FR2710434B1 (fr) * | 1993-09-20 | 1995-11-10 | Daver Gil | Dispositif d'acquisition en temps réel de données relatives à des personnes en mouvement. |
EP0742987A4 (en) | 1994-01-10 | 1998-01-07 | Richard C Fuisz | VIEWING IMAGES FROM SELECTED VIEWING DIRECTIONS |
US5511153A (en) | 1994-01-18 | 1996-04-23 | Massachusetts Institute Of Technology | Method and apparatus for three-dimensional, textured models from plural video images |
JP3638637B2 (ja) * | 1994-06-17 | 2005-04-13 | 株式会社ナムコ | ポリゴンデータ変換装置及び3次元シミュレータ装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US5714997A (en) | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
US5671086A (en) * | 1995-04-18 | 1997-09-23 | The Regents, University Of California | Method and apparatus for accurately manipulating an object during microelectrophoresis |
FR2741225A1 (fr) | 1995-11-13 | 1997-05-16 | Production Multimedia Apm Atel | Console de camera virtuelle |
US6268862B1 (en) | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
US6124862A (en) | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
-
1997
- 1997-09-16 GB GBGB9719694.3A patent/GB9719694D0/en not_active Ceased
-
1998
- 1998-09-15 EP EP98307474A patent/EP0903695B1/en not_active Expired - Lifetime
- 1998-09-15 US US09/153,041 patent/US6421459B1/en not_active Expired - Lifetime
- 1998-09-15 DE DE69812518T patent/DE69812518T2/de not_active Expired - Lifetime
- 1998-09-16 JP JP26204298A patent/JP4217305B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP0903695B1 (en) | 2003-03-26 |
JPH11149575A (ja) | 1999-06-02 |
US6421459B1 (en) | 2002-07-16 |
DE69812518T2 (de) | 2003-12-11 |
EP0903695A1 (en) | 1999-03-24 |
GB9719694D0 (en) | 1997-11-19 |
DE69812518D1 (de) | 2003-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4217305B2 (ja) | 画像処理装置 | |
KR102049245B1 (ko) | 화상처리 장치, 화상처리 방법, 화상처리 시스템 및 기억매체 | |
US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
JP6560480B2 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US6914599B1 (en) | Image processing apparatus | |
US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
KR100443552B1 (ko) | 가상 현실 구현 시스템 및 방법 | |
US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
US20020080139A1 (en) | Apparatus and method of interactive model generation using multi-images | |
CN109711246B (zh) | 一种动态物体识别方法、计算机装置及可读存储介质 | |
JP2010109783A (ja) | 電子カメラ | |
JP2008102972A (ja) | 自動3dモデリングシステム及び方法 | |
JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
CN109064533B (zh) | 一种3d漫游方法及*** | |
JP6762570B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20030146922A1 (en) | System and method for diminished reality | |
Soh et al. | Texture mapping of 3D human face for virtual reality environments | |
JP2001052208A (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
JP2000057376A (ja) | 新視点画像生成方法 | |
JP3706545B2 (ja) | 画像の生成方法及びそれに用いるプログラム | |
US11228706B2 (en) | Plate reconstruction of obscured views of a main imaging device using capture device inputs of the same scene | |
JP3403143B2 (ja) | 画像処理方法、その装置および記憶媒体 | |
JP6759300B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022102015A1 (ja) | 画像情報取得装置、画像情報取得方法及びコンピュータープログラム | |
JP2000348199A (ja) | テクスチャマッピング方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050908 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20050908 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080502 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080701 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080728 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081024 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |