JP4098882B2 - 仮想現実感生成装置及び方法 - Google Patents
仮想現実感生成装置及び方法 Download PDFInfo
- Publication number
- JP4098882B2 JP4098882B2 JP13759598A JP13759598A JP4098882B2 JP 4098882 B2 JP4098882 B2 JP 4098882B2 JP 13759598 A JP13759598 A JP 13759598A JP 13759598 A JP13759598 A JP 13759598A JP 4098882 B2 JP4098882 B2 JP 4098882B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shadow
- virtual reality
- virtual
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【発明の属する技術分野】
本発明は、画像表示手段を用いて仮想現実感を生成する装置および方法に関する。
【0002】
【従来の技術】
画像表示手段を用いた仮想現実感生成装置および方法に関する従来技術には、次のようなものがある。
まず、視野の大部分を覆うことにより仮想現実感を向上させることを目的とした画像表示装置としては、ヘッドマウントディスプレイや、文献 C. C.Neira, D. J. Sandin, T. A. DeFanti: "Surround-Screen Projection-BasedVirtual Reality: The Design and Implementation of the CAVE", ACMProc. of SIGGRAPH 93, Anaheim, CA, 1993, pp. 135--142 で挙げられている装置などがある。これらの装置は、ユーザの視野の大部分を仮想世界の映像で覆い実世界の情報を遮断することでユーザに自分が仮想世界内に存在するという感覚を与えるというものである。
【0003】
また、表示される画像内にユーザ自身の姿が埋め込まれることにより仮想現実感を向上させることを目的とした技術としては、渋谷,田村他「自己映像パフォーマンス」,monthly 画像ラボ,vol. 7, No. 4, 1996, pp. 51--54.において解説されているクロマキー合成等の手法がある。
これは、撮影した映像から色を手掛かりにしてユーザの姿を切り出し、仮想環境の映像に重ねて表示するもので、ユーザの分身を実際に仮想世界内に埋め込むことで仮想現実感を向上させるというものである。
【0004】
さらに、影を用いて仮想世界のリアリティを向上させることを目的とした装置としては、特開平7−129796号公報に記載の臨場感生成装置がある。
この装置は、3次元モデルの各種情報を基にユーザとの対話的処理により仮想世界(明細書中では「仮想環境」という言葉が用いられている)に付ける影のリアリティの向上を図ることで、仮想世界自体のリアリティをも向上させるというものである。
【0005】
【発明が解決しようとする課題】
従来の装置・技術においては、画像表示手段を用いてユーザの視覚に訴える仮想世界の表現がどんなに緻密なものであっても、ユーザの影がないために、ユーザが「仮想世界における自分の存在感」を十分に体感することができず、どこか違和感のある仮想現実感しか得ることができなかった。
【0006】
本発明の目的は、仮想現実感を向上させるために、ユーザの影を、画像表示手段上に表示することにある。
【0007】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
画像表示手段を備える仮想現実感生成装置であり、
ユーザ情報入力手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記ユーザ情報入力手段は仮想現実感生成装置内におけるユーザを含む像を画像情報として前記画像処理手段に供給し、
該画像処理手段は前記ユーザ情報入力手段から供給される画像情報と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【0008】
また、画像表示手段を備える仮想現実感生成装置であり、
画像撮影手段と、画像処理手段と、記憶手段に格納された仮想世界を表現するデータとを備え、
前記画像撮影手段は装置内においてユーザが存在し得る空間の一部または全部を撮影した画像情報を前記画像処理手段に供給し、
前記画像処理手段は前記画像撮影手段から供給される画像と前記仮想世界を表現するデータを用いて仮想世界におけるユーザに関連する影の情報を生成し、該生成した情報に基づいて前記画像表示手段が表示に用いる画像を生成し、
前記画像表示手段は前記画像処理手段によって生成された画像を表示するようにしている。
【0009】
また、画像を用いて仮想現実感を生成する仮想現実感生成方法であり、
仮想世界の情報と、ユーザの位置・姿勢・動きの情報の一部または全部を用いて、仮想世界における、ユーザの影、あるいはユーザに関連する物体の影、あるいはその両方の影を生成し、生成した影を付加した仮想世界を元にして、ユーザに提示する画像を生成するようにしている。
【0010】
また、仮想世界内でのユーザの影と略一致する影を生成する2次元の遮光板を作成し仮想世界内に埋め込むことにより、ユーザの3次元形状が未知のまま仮想世界内でのユーザの影のシミュレートを行うようにしている。
【0011】
【発明の実施の形態】
以下、図1〜図9を用いて、本発明の第1の実施の形態による仮想現実感生成装置について詳細に説明する。
まず、図1を用いて本発明の第1の実施形態による仮想現実感生成装置の全体構成について説明する。図1は、本発明の第1の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
正面スクリーン1111、右側面スクリーン1112、左側面スクリーン1113、床面スクリーン1114はすべて背面投射型スクリーンであり、それぞれ対応する画像投影手段から投影された画像を表示するものである。
ユーザ6011は、前記4枚のスクリーンによって囲まれる空間(以下では「仮想体験空間」とする)内において仮想世界を体感することができる。
一例を挙げると、図1の例においては、ユーザ6011は例えば「街路樹712の立ち並んだ『階段のある道』702を右端から左端に向かって渡る」という仮想体験をすることができる。
【0012】
ビデオカメラ1211、ビデオカメラ1221、ビデオカメラ1231、ビデオカメラ1241のそれぞれは、ユーザ6011の視界を遮らないように設置され、ユーザ6011を含む仮想体験空間内の映像を撮影する。
撮影した画像および仮想世界表現データ(物体の3次元形状や光源情報など)をもとに、仮想世界におけるユーザ6011の影を計算し、表示したものが影613である。
影613の計算の方法については、図2以下で説明する。
【0013】
次に、図2を用いて本発明の第1の実施形態による仮想現実感生成装置のシステム構成について説明する。
図2は本発明の第1の実施形態による仮想現実感生成装置のシステムブロック図である。
画像処理装置20は、中央演算処理装置21と、外部記憶装置22と、主記憶装置23と、画像入力手段1311〜1341とから構成されている。画像入力手段1311〜1341は、例えば、画像キャプチャボードである。
【0014】
主記憶装置23には、必要に応じて、外部記憶装置22からユーザ切り出しプログラム2311、遮光板配置プログラム2312、付影処理プログラム2313、仮想空間表現プログラム2314、画像入力手段制御プログラム2315、画像表示手段制御プログラム2316、仮想世界表現データ2321および画像撮影手段の内部・外部パラメータ2322が読み込まれる。
画像撮影手段1211、1221、1231および1241によって撮影された画像は、それぞれ画像入力手段1311、1321、1331および1341を介して画像処理装置20に入力され、主記憶装置23内に入力画像2323として記憶される。画像撮影手段としては、例えば、ビデオカメラを用いる。
画像撮影手段およびその他の手段(例えば、床面に埋め込んだ圧力センサ等)はユーザ情報入力手段を構成するが、ユーザ情報入力手段は画像撮影手段に限られるものではなく、ユーザ情報を入力できるものであればよい。
【0015】
仮想空間表現プログラム2314は、仮想世界全体あるいは仮想世界の一部の情報を、画像表示手段11の入力となるべき画像データに変換し、画像表示手段11に出力するものである。
画像表示手段11としては、例えば、図1においてはスクリーン1111〜1114と、そのそれぞれに映像を投影する複数台のプロジェクタ、およびそれらのプロジェクタに画像信号を供給するグラフィックボードを用いる。
ここで、画像表示手段11に表示する画像データへの変換は、スクリーンの配置を考慮した上で、例えばユーザの視点あるいはユーザの視点に近い視点からの透視変換、あるいは仮想体験空間内のある一点を「ユーザの視点」と仮定した透視変換を行うことで実現できる。
ここで、前者の「ユーザの視点位置」の推定は、例えばヘッドトラッキング技術を用いることにより実現することができる。
【0016】
画像入力手段制御プログラム2315および画像表示手段制御プログラム2316は、それぞれ画像キャプチャボードやグラフィックボード・プロジェクタの制御を行うためのドライバソフトである。
【0017】
付影処理プログラム2313は、仮想世界表現データ2321が与えられた時に、仮想世界に影を付加するプログラムである。これは、通常の3次元レンダリングツールに用いられている技術を用いることで実現することができる。
そのような技術としては、例えばレイトレーシング技術(光線追跡法)がある。
レイトレーシングについては文献「レンダリングの種類」(日経CG、1997年1月号、pp。156−160)などに記述がある。また、レイトレーシングは非常に時間がかかるため、厳密さを犠牲にした簡便な方法がいくつか知られており、本発明は影の厳密な正確さを要求するものではないので、そのいずれかを用いることもできる。
【0018】
仮想世界表現データ2321は仮想世界の3次元形状データ23211、光源データ23212およびユーザの(仮想世界における)視点位置のデータ23213を備えるものである。
ここで、仮想世界の3次元形状データ23211は、例えば、多角形(ポリゴン)データ(例えば座標値の分かっている頂点のシリアル番号の組)の形で与えられるものとする。
また、光源データ23212には、例えば光源の強さや光源の位置・向きなどがある。
また、ユーザの視点位置23213のデータは、仮想世界におけるユーザの視点位置だけではなく、画像投影面の配置などの透視変換を行うために必要なデータをすべて含むものとする。これらのデータは時々刻々変化する可能性があるが、個々の間の相対関係を外部記憶装置から読み込んでおけば、具体的な位置データ等はユーザにどのような仮想体験をさせるかに依存してその都度簡単な計算により求めてやることができる。
【0019】
ユーザ切り出しプログラム2311については図4で、遮光板配置プログラム2312については図6で詳しく説明する。また、各種データ2322〜2328は、図3以降の処理で使用されるデータであり、使用される部分で詳細を説明する。
【0020】
図3は、本実施形態において、ユーザの影付き画像が表示されるまでのフローチャートである。
図3〜図8では、現実世界のビデオカメラ1211の位置に対応する仮想世界での位置に光源があると仮定し、単一のビデオカメラ1211からの入力画像を用いてユーザの影付き画像を表示する方法について説明する。
まず、ステップ3001で、入力画像2323を読み込む。次に、ステップ3002において、入力画像からユーザの姿のシルエットを切り出す。この処理は、ユーザ切り出しプログラム2311によって行われるものであり、図4で説明する。
次に、ステップ3003において、ステップ3002において切り出されたユーザのシルエットから遮光板を生成し、それを3次元の仮想世界内に配置する。この処理は、遮光板配置プログラム2312によって行われるものであり、図6で説明する。
その後、ステップ3004にて遮光板が配置された仮想世界に対して付影処理プログラム2313により付影処理を行い、ステップ3005にて仮想空間表現プログラム2314によって影の付加された仮想世界の表示を行う。
「影の付加された仮想世界」を表すデータが表示用仮想世界表現データ2328であり、このデータが、実際に仮想空間表現プログラム2314を用いて画像に変換される元となるデータとなる。
【0021】
図4は本実施形態におけるユーザ切り出しプログラム2311の動作を示すフローチャートであり、図5はユーザ切り出しプログラム2311の動作の一例を示す図である。
ユーザ切り出し処理が始まると、まず、ステップ3101において画像撮影手段の内部・外部パラメータ2322の読み込みを行う。
画像撮影手段の内部・外部パラメータ2322としては、例えば、ビデオカメラの焦点距離や画角、装置内でのビデオカメラの位置・向きの情報などがある。
この情報は、各パラメータが固定であれば外部記憶装置22から読み込んでもよいし、固定とは限らないのであれば、画像撮影手段(制御装置を含む)から逐次パラメータを受け取る。
【0022】
次に、ステップ3102において、表示用仮想世界表現データ2328を読み込む。
次にステップ3103において、理想入力画像2324を計算する。
理想入力画像2324とは、「ユーザがいない状態でスクリーンに投影されている映像を撮影した場合に得られる画像」であり、これは、画像撮影手段の内部・外部パラメータ2322と前のフレームの表示用仮想世界表現データ2328(後述する遮光板自体を取り除いたもの)とから求めることができる。
その後、ステップ3104およびステップ3105において、入力画像2323(理想入力画像のデータに基づき投影した投影像上にいるユーザを撮影した画像である。)と理想入力画像2324を比較することにより、ユーザが写っている部分(あるいはユーザに関連する物体の部分、あるいはその両方)であるユーザシルエット画像2325と、ユーザが写っておらず背景がそのまま撮影されている部分である背景残留画像2326(ハッチ付けしたユーザ画像は、この位置にユーザ画像があったことを示すものである)を求めて、ユーザ切り出し処理を完了する。
ここで、「ユーザに関連する物体」は、「現実世界にはないが、仮想世界に存在し、ユーザの位置等により位置等が変化するもの」である。例えば、仮想世界でユーザのはいているスキー板がある。
なお、図5において入力画像2323は、図1のビデオカメラ1211によって撮影されたものであり、ユーザと、背景とが写っている。
なお、図5の画像2323の左端に斜めに描かれている長い線は道路の端の線を、図5の画像2323の左下に描かれている短い線は街路樹の幹を表している。 図6は本実施形態における遮光板配置プログラム2312の動作を示すフローチャートであり、図7および図8は遮光板配置プログラム2312の動作の一例を示す図である。
遮光板配置処理が始まると、まず、ステップ3201においてユーザ切り出し処理において計算したユーザシルエット画像2325を読み込む。
次にステップ3202において、遮光板の形状を決定する。
この動作の例が図7であり、ユーザシルエット画像2325からユーザが写っている部分を覆うような矩形領域23271を切り取り、その領域内でユーザが写っている部分の透明度が0(不透明)に、ユーザが写っていない部分の透明度が1(透明)になるような遮光板形状データ23272を生成する。
遮光板形状データ23272は、実際には複数のポリゴン(多角形)から構成されるポリゴン群のデータである。
【0023】
次に、ステップ3203において、遮光板形状データ23272と仮想世界におけるユーザの位置および大きさとから、仮想世界における遮光板の大きさを決定する。
遮光板形状データ23272と仮想世界における遮光板の大きさとを合わせて遮光板基礎データ23273と呼ぶ。
次に、ステップ3204において背景残留画像2326を読み込み、軸位置23262を決定する。
これは、背景残留画像2326の底辺23263に平行で、かつ、ユーザが写っていた場所を横切るような直線のうち、背景残留画像2326の底辺23263に最も近い直線23261と、ユーザが写っていた場所との交点として求めることができる。
このような点が複数存在する場合には、例えば「一番左側の点」などという基準により選べばよい。
【0024】
次に、ステップ3205において仮想世界の3次元形状データを読み込み、ステップ3206においてユーザの視点位置データを読み込み、ステップ3207において画像撮影手段の内部・外部パラメータ2322を読み込む。
これらのデータから、仮想空間表現プログラム2314との整合性を考えると、軸位置23262の仮想世界内での位置23214を算出することができる。
これは、例えば、仮想空間表現プログラム2314が表示する画像データを透視変換により生成していれば、その逆変換を施してやればよい。
これらの処理を行った後、ステップ3208において仮想世界における遮光板の配置を決定する。
これは、これまでの処理により、遮光板基礎データ23273と軸位置23262の仮想世界内での位置23214とが分かっているので、遮光板をどの位置にどの角度で配置するかを決定してやればよい。
ここで、位置に関しては、遮光板基礎データ23273において軸位置23262に対応する点を求め(これは、ユーザの輪郭がユーザシルエット画像2325と背景残留画像2326で共通なので容易に求められる)、その点が位置23214に一致するようにすればよい。
角度については、撮像面に平行に配置するのが望ましい(撮像面の向きについては、画像撮影手段の内部・外部パラメータ2322から得られる)が、本発明は影の形の厳密さを要求するものではないので、例えば、ビデオカメラの光軸方向ベクトルを水平面に射影したベクトルを作り、そのベクトルに垂直な鉛直面に平行に配置するようにしてもよい。
遮光板の配置に関するデータと遮光板基礎データ23273を合わせて、遮光板データ2327とする。
【0025】
以上の処理の後、付影処理プログラム2313によりユーザの影を付けた表示用仮想世界表現データ2328を作成し、それを仮想空間表現プログラム2314により変換して画像表示手段11に出力することで、求めたい映像を得ることができる。
なお、付影処理プログラム2313によりユーザの影を付けた表示用仮想世界表現データ2328を作成する際、影付け処理後に遮光板自体は取り除く(遮光板自体が仮想空間表現プログラム2314により変換されて画像表示手段11から投影されないようにするため)点に注意する。
【0026】
図9は、本実施形態においてビデオカメラの位置と光源位置との整合性が取れていない場合の処理の一例を示す図である。
ビデオカメラを必要なだけ多数配置したり、モーションコントロールカメラを用いて必要な画像が撮影できるようにビデオカメラの撮影位置をコントロールするといった工夫により、そもそもこのような場合が起こらないようにしてやることもできるが、ここでは、ソフトウェアによる処理によりこのような場合にも本発明が使用できることを示す。
まず、ビデオカメラ1211およびビデオカメラ1221の中点に対応する仮想世界内の位置に光源が存在すると仮定する。
この場合、まず、ビデオカメラ1211、ビデオカメラ1221のそれぞれによって撮影された入力画像から、これまでの説明と同様の手順により、それぞれ遮光板形状データ232721、遮光板形状データ232722を生成する。
【0027】
次に、これらの遮光板形状データから、モルフォロジー演算や多角形ボロノイ図などを利用してユーザのシルエットの骨格線を求めたものがそれぞれ画像23281、画像23282である。
これらの骨格線の端点や交差点を用いて、画像23281と画像23282の対応を求め、その対応と2枚の遮光板形状データ232721、232722からモーフィング処理によって求めた新たな遮光板形状データが遮光板形状データ232723である。
仮想世界における軸位置を例えばビデオカメラ1211によって撮影された入力画像を元に決めてやり、「遮光板形状データ232721において軸位置に対応する点」に対応する遮光板形状データ232723の点がその仮想世界における軸位置に一致するようにすることで、遮光板の配置位置を決めることができる。
また、撮像面の向きあるいは光軸方向ベクトルをビデオカメラ1211・ビデオカメラ1221の該当するパラメータの平均値としてやることにより、説明した方法と同様の方法によって配置角度を決めることができる。
【0028】
なお、モーフィング処理は、例えば、
T. Beier, S. Neely: "Feature Based Image Metamorphosis", ACM Proc. ofSIGGRAPH 92, Chicago, IL, 1992, pp. 35--42;
S. M. Seitz, C. R. Dyer: "View Morphing", ACM Proc. of SIGGRAPH 96, New Orleans, LA, 1996, pp. 21--30;などの文献に見られるように、よく知られた技術である。
なお、特徴点の抽出は、従来のモーションキャプチャ技術で用いられているように、ユーザの指先などの特徴となる点にマーカーを付けて、それを用いて認識を行うような処理とすることもできる。
さらに、骨格線抽出には、文献S. Iwasawa, et al. : "Real-Time Estimation of Human Body Posture from Monocular Thermal Images", Proc. of Computer Vision and Pattern Recognition, Puerto Rico, 1997, pp. 15--20.に述べられているような熱センサを用いたシステムを補助的に用いてもよい。
なお、上記実施形態においては、光源位置を2台のビデオカメラの中間点に対応する仮想世界内の位置としたが、モーフィング処理を複数枚の画像から行ったり、補間のパラメータを適宜変更することにより、ユーザの姿を捕らえている複数台のビデオカメラが作る3次元凸包内の任意の点に対応する仮想世界内の位置に光源がある場合のすべてに対して、本実施例を適用することができる。
【0029】
また、光源が前記3次元凸包内のどの点にも対応しない仮想世界内の位置にある場合にも、例えば、前記3次元凸包内の点に対応する仮想世界内の位置のうち、今の光源位置に最も近い点を光源位置とした時の遮光板データをそのまま用いるようにすることにより、影の近似精度は低下するものの、本実施例を適用することが可能である。
さらに、本実施例ではユーザシルエット画像2325から矩形領域23271を切り取ってから遮光板形状データ23272を生成したが、仮想世界においてユーザの大きさが変化したり、遮光板の生成時にモーフィングを行ったりといったことがない場合には、ユーザシルエット画像2325全体を1つの矩形領域として扱って遮光板データを生成することができる。この場合、遮光板の配置は、仮想世界表現データ2321および画像撮影手段の内部・外部パラメータとから決定することができるため、処理を簡単にすることができる。
【0030】
また、上記実施形態においては、ユーザの影を付加するために遮光板を作成し仮想世界内に配置したが、本発明による装置では、ユーザの影と同じような影を生成することのできる遮光物を仮想世界内に配置することができればよく、影の生成方法としては遮光板を用いた方法に限るものではない。
例えば、複数のビデオカメラを用いて撮った複数枚の画像からステレオ視などの手法によりユーザの3次元形状を求め、それを仮想世界内に配置することで影を生成するようにすることもできる。
また、上記実施形態においては、影を付加するのに、厳密にユーザの姿に基づいたものを考えたが、本発明による装置では、たとえばユーザの動きだけを認識し、仮想世界内で、あらかじめ用意した3次元人間モデルにユーザと同じ動きをさせて影を生成するということもできる。
この方法を取った場合、厳密にユーザの姿に基づいて生成する場合に比べ、計算量を減少させることができる。
また、この場合には、ユーザの動きを検出する方法としては、画像によるものに限る必要はない。
例えば、ユーザが仮想世界においてスキーのジャンプを体感する場合に、前からの風圧を背中につけたワイヤを引っ張ることでシミュレートするのであれば、仮想世界内でのユーザの前傾姿勢の様子を張力センサを用いて推測し、それに基づいて遮光板の配置角度を調節することで、前傾姿勢の場合の影のシミュレートを行うことができる。
【0031】
また、上記実施形態においては、現実世界のユーザの動作・姿勢と仮想世界でのユーザの動作・姿勢が一致する場合にユーザの影を付加する処理についてのみ説明したが、仮想世界に対して行う補正はこれに限るものではない。
例えば、ユーザが仮想世界においてスキーのジャンプを体験する場合には、スキー板の3次元モデルを用意し、ユーザそのものではなく「スキー板を履いたユーザ」の影を計算し、付加することになる。
このように、本発明の本質は、「ユーザが実際に仮想世界である体験をしているとして、その時のユーザに関連する影を付加した」仮想世界をユーザに体感させることにあり、現実世界におけるユーザの姿勢や動作は影を付加する情報として有用ではあるものの、仮想世界に付加する影とは独立なものである。
【0032】
なお、上記実施形態のように複数の画像表示手段を備えている場合、各画像表示手段に表示する画像は、画像表示手段毎に独立に計算することができることに注意する。
【0033】
なお、上記実施形態においては、画像表示手段として直方体の面のうち4面を背面投射型スクリーンとするようなものに2次元の画像を投影するものを用いたが、本発明における画像表示手段としてはこれに限るものではない。
スクリーンを前面投射型に変えたものはもちろん、例えば、液晶シャッタ眼鏡や偏光眼鏡等との組合せによりユーザに立体映像を見せるものであってもよいし、ヘッドマウントディスプレイのようにプロジェクタとスクリーンの組合せで構成されるシステムではないようなものであってもよい。
後者の場合には、理想入力画像は実世界の背景となるため、実世界ではユーザ以外は動かないという条件の元では、理想入力画像を毎回計算しなおす必要がなくなり、実現が容易になる。
また、本発明における手法は、ユーザの影を写すことさえできればよいので、視野の大部分を覆うような画像表示システムに限る必要もなく、例えば、図1と同じ仮想現実感を生成するために、街路樹の模型を並べ、床面だけを画像表示手段としたような構成も考えられる。
以上説明したように、本実施形態によれば、ユーザは、自分の仮想世界における体験に即した影を体感することができ、仮想現実感を向上させることができる。
それにより、例えば、陽光の強弱など仮想世界における光の状態の変化をより現実的に体感することができる。
【0034】
【発明の効果】
以上に述べたように、本発明によれば、ユーザが体感している仮想世界を考慮して生成した、ユーザに関連する影を、画像表示手段上に表示することで、仮想現実感を向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による仮想現実感生成装置の全体構成を示す概念図である。
【図2】本発明の第1の実施形態による仮想現実感生成装置のシステムブロック図である。
【図3】本発明の第1の実施形態による仮想現実感生成装置における影付き画像表示処理の処理内容を示すフローチャートである。
【図4】本発明の第1の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を示すフローチャートである。
【図5】本発明の第1の実施形態による仮想現実感生成装置におけるユーザ切り出しプログラムの処理内容を説明するための図である。
【図6】本発明の第1の実施形態による仮想現実感生成装置における遮光板配置プログラムの処理内容を示すフローチャートである。
【図7】本発明の第1の実施形態による仮想現実感生成装置において遮光板の作成方法を説明するための図である。
【図8】本発明の第1の実施形態による仮想現実感生成装置において遮光板を配置する際の基準の取り方を説明するための図である。
【図9】本発明の第1の実施形態による仮想現実感生成装置において複数のビデオカメラの画像から適切な遮光板を作成する方法を説明するための図である。
【符号の説明】
11 画像表示手段
21 中央演算処理装置
22 外部記憶装置
23 主記憶装置
1211〜1241 画像撮影手段
1311〜1341 画像入力手段
Claims (8)
- 仮想世界の情報を記憶する記憶部と、
画像を生成する生成部と、
前記生成部の生成した画像を表示面に表示する表示部と、
前記表示面の一部または全部を含む領域を撮像する撮像部と、
を備え、
前記生成部は、前記仮想世界の情報及び前記撮像部の撮影した画像に基づいて前記撮像部の撮像範囲内に存在する物体の影を付加した仮想世界の画像を生成することで、前記物体の影が、仮想世界における前記物体と該物体の影との位置関係に対応する現実世界での位置に知覚されるべく表示されるようにすることを特徴とする仮想現実感生成装置。 - 請求項1記載の仮想現実感生成装置であって、
前記撮像部は1つの撮像装置であり、
前記物体の影は仮想世界における光源の位置が現実世界における前記撮像装置の位置に対応する場合の影であることを特徴とする仮想現実感生成装置。 - 請求項2記載の仮想現実感生成装置であって、
さらに、前記撮像装置の位置を仮想世界における光源の位置に対応するように制御する撮像位置制御部を備えたことを特徴とする仮想現実感生成装置。 - 請求項1記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記物体の影は仮想世界における光源の位置が現実世界における前記複数の撮像装置のうちの一つの位置に対応する場合の影であることを特徴とする仮想現実感生成装置。 - 請求項1記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記生成部は、前記複数の撮像装置の撮影した画像からモーフィング処理によって生成した物体のシルエット形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 請求項1記載の仮想現実感生成装置であって、
前記撮像部は複数の撮像装置を備え、
前記生成部は、前記複数の撮像装置の撮影した画像から生成した物体の三次元形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 請求項1記載の仮想現実感生成装置であって、
物体の三次元形状を表現するためのモデルを記憶する記憶部と、
物体の動きに関する情報を検出して前記モデルのパラメタを取得する取得部を備え、
前記生成部は、前記モデルと前記パラメタから生成した物体の三次元形状に基づいて前記物体の影の形状を決定することを特徴とする仮想現実感生成装置。 - 生成部の生成した画像を表示する表示部を備え、所定の空間範囲内に対して仮想現実感を生成する仮想現実感生成装置であって、
仮想世界の情報を記憶する記憶部と、
前記所定の空間範囲内に存在する物体のシルエット形状を抽出する抽出部と、
前記物体の現実世界における位置に関する情報から、仮想世界において前記物体の影を合成すべき基準位置を決定する決定部と、
を備え、
前記生成部は、前記仮想世界の情報と前記シルエット形状と前記基準位置とに基づいて前記物体の影を付加した仮想世界の画像を生成することを特徴とする仮想現実感生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13759598A JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13759598A JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11316853A JPH11316853A (ja) | 1999-11-16 |
JP4098882B2 true JP4098882B2 (ja) | 2008-06-11 |
Family
ID=15202383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13759598A Expired - Fee Related JP4098882B2 (ja) | 1998-05-01 | 1998-05-01 | 仮想現実感生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4098882B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4512240B2 (ja) * | 2000-07-27 | 2010-07-28 | 株式会社バンダイナムコゲームス | ゲームシステム及び情報記憶媒体 |
JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
KR101419044B1 (ko) * | 2013-06-21 | 2014-07-11 | 재단법인 실감교류인체감응솔루션연구단 | 3d 가상 객체의 그림자를 표시하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
KR20150097291A (ko) * | 2014-02-18 | 2015-08-26 | 엘지전자 주식회사 | 영상표시장치 및 그것의 제어방법 |
CN106327454B (zh) * | 2015-07-03 | 2019-06-07 | 株式会社理光 | 合成图像的方法和装置 |
JP6400550B2 (ja) * | 2015-09-18 | 2018-10-03 | 日本電信電話株式会社 | 空間像演出装置、空間像演出装置の制御方法および映像システム |
US10607403B2 (en) * | 2017-10-04 | 2020-03-31 | Google Llc | Shadows for inserted content |
JP7073702B2 (ja) * | 2017-12-11 | 2022-05-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及び情報処理プログラム |
-
1998
- 1998-05-01 JP JP13759598A patent/JP4098882B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11316853A (ja) | 1999-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
EP1883052A2 (en) | Generating images combining real and virtual images | |
CN110431599A (zh) | 具有虚拟内容扭曲的混合现实***及使用该***生成虚拟内容的方法 | |
KR101096617B1 (ko) | 공간 멀티 인터랙션 기반 3차원 입체 인터랙티브 비전 시스템 및 그 방법 | |
CN110419061A (zh) | 具有多源虚拟内容合成的混合现实***及使用该***生成虚拟内容的方法 | |
US20220398705A1 (en) | Neural blending for novel view synthesis | |
KR20190062102A (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
JPH09319896A (ja) | 3次元画像作成装置 | |
JP4098882B2 (ja) | 仮想現実感生成装置及び方法 | |
JP4892405B2 (ja) | 画像処理装置および方法 | |
US20210037225A1 (en) | Method of modifying an image on a computational device | |
JPH0950540A (ja) | 画像生成方法 | |
JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
JP3850080B2 (ja) | 画像生成表示装置 | |
JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP2000030080A (ja) | Vrシステム | |
WO2022055368A1 (en) | Method for applying a vignette effect to rendered images | |
JPH1188910A (ja) | 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成プログラムを記録した媒体、3次元モデル再生装置、3次元モデル再生方法及び3次元モデル再生プログラムを記録した媒体 | |
US6633291B1 (en) | Method and apparatus for displaying an image | |
JP2021047468A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2000067265A (ja) | 画像処理装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040317 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080314 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |