JP7097125B1 - 映像生成方法及び画像生成プログラム - Google Patents

映像生成方法及び画像生成プログラム Download PDF

Info

Publication number
JP7097125B1
JP7097125B1 JP2021208810A JP2021208810A JP7097125B1 JP 7097125 B1 JP7097125 B1 JP 7097125B1 JP 2021208810 A JP2021208810 A JP 2021208810A JP 2021208810 A JP2021208810 A JP 2021208810A JP 7097125 B1 JP7097125 B1 JP 7097125B1
Authority
JP
Japan
Prior art keywords
virtual
image
virtual space
user
generation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021208810A
Other languages
English (en)
Other versions
JP2023093276A (ja
Inventor
陽介 川上
哲朗 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Celsys Inc
Original Assignee
Celsys Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Celsys Inc filed Critical Celsys Inc
Priority to JP2021208810A priority Critical patent/JP7097125B1/ja
Application granted granted Critical
Publication of JP7097125B1 publication Critical patent/JP7097125B1/ja
Priority to PCT/JP2022/030471 priority patent/WO2023119715A1/ja
Publication of JP2023093276A publication Critical patent/JP2023093276A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】三次元仮想空間に基づいて二次元の映像を得る際に要するメモリ容量、演算処理装置計算量等のリソースを節約する映像生成方法を提供する。【解決手段】ユーザの仮想的な位置または前記ユーザの仮想的な位置の周辺に配置された仮想カメラから三次元の仮想空間を撮像した映像を生成する映像生成方法であって、ユーザが属する第1の仮想空間を特定し、ユーザが属しない仮想空間のうち撮像対象とする単数又は複数の第2の仮想空間を特定し、第1の仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像を第1の画像生成手法で生成し、第2の仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像に相当する映像を第2の画像生成手法で生成する。【選択図】図7

Description

本発明は、映像生成方法及び画像生成プログラムに関する。
ユーザが仮想空間の中にいるかのように、ユーザに映像を知覚させて、ユーザの視覚等を通じて仮想現実をユーザに体験させる技術が存在する。
例えば、既存の技術では、ユーザが知覚可能な現実環境に配置される立体形状の対象物を備える映像処理システムであって、立体形状の対象物に対応する映像が関連づけられて対象物に配置される映像認識情報と、映像認識情報を認識して映像を対象物に重ね合わせる映像処理プログラムが提供される。そして、この既存の技術は、更に映像認識情報を認識する認識手段を備え、映像処理プログラムは、対象物に映像を重ね合わせる際に認識手段と映像認識情報との間の距離に応じて対象物の映像認識情報を透過させる程度を変更する(例えば、特許文献1参照)。
また、他の既存の技術では、ドアの先の景色が、ドアを通して仮想カメラを介して見える仮想空間の映像が提供される。そして、この仮想カメラがそのドアを通過すると、仮想カメラに別の仮想空間の映像が撮像される(例えば、非特許文献1参照)。
また、建物の内側(床、天井、壁)を、モデリングなしで描画する手法として、インテリアマッピングが知られている(例えば、非特許文献2参照)。
ここで、仮想空間内に、ユーザが移動するためのドアを多数設けると、ユーザはいずれのドアがいずれの部屋につながっているかが判然としなくなってしまう等の問題があった。
特に、昨今のXR技術を用いるメタバースに関する技術においては、広範囲にわたる疑似的世界が構築される傾向にあり、ユーザの迷いの問題は顕著になっている。
また、例えば、ドアを介して、ユーザが複数の部屋間を移動できる場合、いずれのドアがいずれの部屋につながっているかを判然とさせるために、ドアの向こうを可視化できるようにすると良いが、隣の部屋をドア越しに都度レンダリングすると、その処理が極めて大きな負荷となり、反応が遅くなるなどの現象が発生し、ユーザが楽しめる環境ではなくなってしまう。
特開2021-60789号公報
「[無料化アセット]あちら側の景色がポータルの先に綺麗に見える!「どこでもドア」のようにドアを潜ると別の場所へテレポートもできるポータルシステムが面白い「World Portal System」」https://www.asset-sale.net/entry/World_Portal_System(2021年12月20日アクセス) Joost van Dongen"Interior Mapping - A new technique for rendering realistic buildings" https://www.proun-game.com/Oogst3D/CODING/InteriorMapping/InteriorMapping.pdf(2021年12月20日アクセス)
開示の技術は、三次元仮想空間に基づいて二次元の映像を得る際に要するメモリ容量、演算処理装置(processing unit)計算量等のリソースを節約することを目的とする。なお、演算処理装置はCPUおよびGPUを含む。
開示の技術によれば、ユーザの仮想的な位置または前記ユーザの仮想的な位置の周辺に配置された仮想カメラから三次元の仮想空間を撮像した映像を生成する映像生成方法であって、前記ユーザが属する第1の仮想空間を特定することと、
前記ユーザが属しない空間のうち撮像対象とする単数又は複数の第2の仮想空間を特定することと、前記第1の仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した映像を第1の画像生成手法で生成することと、前記第2の仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した映像に相当する映像を第2の画像生成手法で生成することと、を有する映像生成方法が提供される。
また、開示の技術によれば、上記方法をコンピュータに実行させるプログラムが提供される。
開示の技術によれば、三次元仮想空間を二次元の映像にする際に要するメモリ容量、演算処理装置の計算量等のリソースを節約することができる。
図1Aは、三次元仮想空間である部屋10Aに存在する複数のオブジェクト12を、部屋10Aとは異なる仮想空間である部屋10Bに存在するユーザ20Aの背後に置かれた仮想カメラ11で、ガラス115越しに撮像している映像100を示している。図1Bは、仮想カメラ11で三次元仮想空間10Aおよび10Bを撮像した映像100を示している。 図2は、インテリアマッピングの技術を説明する図である。 図3A乃至図3Dは、仮想カメラ11Aを用いた画像生成手法の一例を示す図である。 図4は、互いに異なる三次元仮想空間である部屋R1、部屋R2及び部屋R3の各々に、出口専用のドア55及び入り口専用のドア50が設定されている図を示している。 図5は、同じドア321を経由して同じ部屋400にユーザが入っても、ユーザが異なる場合には、同じドア321を経由してもユーザ毎に異なる部屋に戻ることができることを示す図である。 図6は、実施形態のハードウエア構成図である。 図7は、実施形態の処理フローの概要を示している。 図8は、通過できる扉をユーザに簡便に提示するフローを示している。 図9は、例えばガラス115のような透明物質の面と仮想カメラの撮像方向との角度によって、ガラス115の透明度を異ならせる例を示す図である。 図10は、図9に示したガラス115とカメラの撮像方向とのなす角度に応じた映像生成のフローを示す図である。 図11は、三次元仮想空間を利用するユーザに対して、三次元仮想空間への没入感を増大させるフローを示している。 図12A及び、図12Bは、ユーザにとって関連度の高い第2の仮想空間を、ユーザに対して簡便に知らしめる処理フローを示している。 図13は、ユーザが仮想空間を移動した場合の映像生成手法を切り換えるフローを示している。 図14は、インテリアマッピングの他の実施形態を示す図である。 図15は、キューブマップを用いた実施形態の描画方法を示す図である。 図16Aは、半分のキューブ1604Aを示した図である。16Bは、斜めの向きのキューブを用いた例を示す図である。 図17A及び図17Bは、キューブマップ以外の環境マッピング手法が用いられる例を示した図である。 図18は、ポリゴンとテクスチャを使って、インテリアマッピングで描画した場合と同様の描画結果を得る実施形態を示す図である。 図19は、既に図14等で説明したキューブCU1を用いたキューブマップを用いて、キューブの中心1851から前記5面のポリゴン1820に投影して、ポリゴン1820用のテクスチャデータを作る図である。 図20は、キューブマップを介在させずにテクスチャをポリゴンにベイクする処理の例を示している。 図21は、奥の壁面に相当する仮想平面VP1を、手前の仮想平面VP2に移動させて仮想平面VP2の位置に配置する図である。 図22A及び図22Bは、カメラの位置による、長方形のオブジェクトの描画結果の差を示す図である。 図23Aは、左右の壁面に相当する仮想平面2305を取り除き、奥の壁面に相当する仮想平面2310を延長した図である。図23Bは、画像の折れ2221が解消している長方形のオブジェクトの描画2360を示した図である。 図24は、仮想平面2405の替わりに、仮想円筒面(あるいは仮想球面)2410を使う実施形態の図である。 図25A及び図25Bは、三次元仮想空間の移動パターンと入口から見える景色を示す図である。 図26は、仮想空間におけるユーザの仮想的な位置に仮想カメラを配置するフローを示している。 図27は、仮想空間におけるユーザの仮想的な位置の背後の位置に仮想カメラを配置するフローを示している。
三次元仮想空間に存在するオブジェクトを可視化するために、仮想的なカメラから三次元空間を撮像した映像を得る技術が存在する。例えば、オブジェクトから仮想カメラのレンズを通して撮像面に到達する光の色(光の強さを含む。本明細書において以下同様である。)を、撮像面のピクセル毎に計算することで、三次元仮想空間を映像にすることができる。この技術として種々のレンダリング技術が存在する。
コンピュータが、三次元仮想空間に基づいて、撮像面に到達する光の色を逐一計算し、レンダリングを実行すると、一般的なコンピュータではメモリが不足しがちとなり、描画が遅延する等の問題があった。
特に、昨今のコンピュータグラフィックでは、三次元オブジェクトに使用されるポリゴン数の増加が著しく、描画の遅延の問題が顕著であった。また、演算処理能力及びメモリ量が限られ、比較的長期間に亘って使用されるハードウエアであるゲーム機やスマートフォンなどにおいては、描画負荷を軽減する工夫が特に必要とされている。
また、頭部に装着して仮想現実を体験させるHMD(ヘッドマウントディスプレイ)などにおいては、立体視用に右目用と左目用の2つの映像を生成する。このように仮想現実を体験させる複数の映像を得るためには、更に精細な画像を複数生成することが求められている。表示装置の精細化と呼応して、求められる映像の精細度も上昇しかつダイナミックレンジも増大しており、映像を構成するのに必要とされるピクセル数、情報量も増大している。
このため、以下に説明する開示の技術は、映像を生成する際に、オブジェクトの描画に対して限られたハードウエアリソースを適切に割り当てることを目的としている。
また、開示の技術は、三次元仮想空間に存在するオブジェクトの描画に相当する映像を得るためのハードウエアリソースの消費を削減することを目的としている。
節約されたリソースを活用して、例えばドア越しの映像を効率的に描画することにより、ユーザが三次元仮想空間を移動する際に迷いにくくすることができる。
以下、図面を用いて、実施形態を説明する。実施形態は、特許請求の範囲に定義された技術の例示を示すものであり、限定するためのものではない。
図1Aは、三次元仮想空間である部屋10Aに存在する複数のオブジェクト12を、部屋10Aとは異なる仮想空間である部屋10Bに存在するユーザ20の背後に置かれた仮想カメラ11で、ガラス115越しに撮像している。
図1Bは、仮想カメラ11で三次元仮想空間10A及び10Bを撮像した映像100を示している。映像100には、部屋10Bの内壁及びドア114、ドア114の周辺およびユーザ20に相当するキャラクタ30の後ろ姿の画像が含まれている。
映像100には、ドア114のガラス115越しに、部屋10Aの中を描画した映像113が見える。
例えば、部屋10Aの三次元モデルと、部屋10Aの中に存在する複数のオブジェクト12が複数のポリゴンで構成されているとする。この場合、仮想カメラ11に映し出される映像100を生成するには、複数のポリゴンにより構成される複数のオブジェクト12から仮想カメラのレンズを通過して、仮想カメラの撮像素子の各ピクセルに到達する光の色を計算することとなる。この映像100を生成する操作は、例えばレンダリングと称される。
ドア114のガラス115越しに見える映像をレンダリングにより生成するには、例えば、部屋10Aの複数のオブジェクト12からの光が、ドア114に存在するガラス115を通過して仮想カメラ11のレンズを介して撮像素子に到達する光を特定することになる。このためには、ガラス115を通過する光線であるのか、ガラス115を通過できず、部屋10Aと部屋10Bの間の壁にさえぎられてしまう光線であるのかを計算することも当然に必要とされる。すべてのオブジェクト12について、このような計算を行って、1枚の映像が生成される。したがって、オブジェクト12の数が多くなったり、複雑であったりする場合には、1枚の映像を計算するにも、多くの計算リソースを必要とする。動画を生成するには、1秒間に例えば30枚の映像を計算することが必要とされ、多くの計算リソースを消費することとなる。
なお、「ユーザが存在する仮想空間」又は「ユーザが仮想空間の近隣に存在していて、その仮想空間に最もかかわりを持っている仮想空間」を、「ユーザが属する仮想空間」と称する。
図2は、インテリアマッピングの技術を説明する図である。既に例示したように、非特許文献2に開示されたインテリアマッピングの技術が存在する。
インテリアマッピングの技術では、仮想カメラ11からガラス115の点Aに至る直線を延長し、仮想平面113A(例えば、部屋10Aの内壁に相当する面)との交点である点Bを求める。仮想平面113Aには、予め室内の風景を模したテクスチャが対応付けられている。点Bの座標からテクスチャ座標が導出される。テクスチャの情報とテクスチャ座標から色が取得される。仮想カメラ11の映像を計算する演算処理装置は、この色を点Aの位置に対応付け、仮想カメラ11の撮像面の対応するピクセルの位置における撮像データとする。
なお、この手法では、部屋の中にある置物や家具を描画するには、その位置に追加の仮想平面を配置することが望ましい。
そして、図1Aに示すように、三次元仮想空間である部屋10Bにユーザを仮想的に存在させることができる。すなわち、ユーザの目の位置又はユーザの周辺(例えば背後)に仮想カメラ11を配置して、部屋10Bの中をユーザが移動するときの光景を仮想カメラ11に撮像させることにより、ユーザに対して、ユーザがあたかも部屋10Bを移動しているがごとき映像をユーザに提供できる。
なお、ユーザが部屋10Bから部屋10Aの中に入った場合には、部屋10Aの中に存在するオブジェクト12の各々を仮想カメラ11で撮像した映像を精細な画像生成手法を用いて生成することで、部屋10Aの状況が精細に撮像されるようにすることが望ましい。そして、ユーザが部屋10Aに属している場合には、例えば部屋10Aに隣接している部屋10Bに存在していて、部屋10Aからドア114のガラス115越しに見える部屋10Bのオブジェクト(例えば図1Aのオブジェクト12B)については、インテリアマッピングを用いて、簡易な手法で映像を生成することが望ましい。
以上のようにすることによって、ユーザが属する仮想空間において、精細な画像生成手法を用い、前記ユーザが属しない仮想空間については、上記精細な画像生成手法よりも計算リソースを消費しない画像生成手法(例えば、インテリアマッピング)を用いることで、ユーザにとって、リアリティに富んでいてかつ違和感のない映像が生成できると共に、映像生成に要する全体的な計算リソースの消費を削減できる。このことによって、例えばより高速に所望の映像を生成することができる。
ユーザ20が部屋10Bの中でドア114に十分に近づき、映像100の全てまたは殆どがガラス越しに部屋10Aを見た映像113で占められる場合には、ユーザ20は部屋10Bには属せず部屋10Aに属するものとして、ガラス越しの映像113を精細な画像生成手法で生成し、部屋10Bに存在するオブジェクト12Bを簡便な画像生成手法で生成してもよい。
図3Aは、仮想カメラ11Aを用いた画像生成手法の一例を示す図である。
部屋R1は、1つの仮想空間を構成している。そして、部屋R2は、部屋R1とは異なる仮想空間を構成している。
部屋R1には、ユーザ20A及び複数のオブジェクト12Aが存在している。ユーザ20Aの背後には、仮想カメラ11Aが存在しており、映像を撮像している。この場合、ユーザ20Aの位置にユーザのキャラクタを配置し、仮想カメラ11Aが、ユーザ20Aのキャラクタをも撮像してもよい。
図3Aの場合において、仮想カメラ11Aが部屋R1の領域に存在しているが、図3Bのようにカメラの位置は、部屋R2であってもよい。この場合には、壁面320が存在しないと仮定して、仮想カメラ11Aが部屋R1の中のオブジェクトを精細な画像生成手法で生成することが望ましい。
なお、ユーザ20Aの位置から見える映像を撮像する場合には、仮想カメラ11Aの位置をユーザ20Aの位置と重ねればよい。この場合には、ユーザ20Aのキャラクタの頭部は撮像された映像に映りこまないこととなる。後述する図3C及び図3Dにおいても同様である。
図3Cは、ユーザ20Aが属する部屋R2とは異なる部屋R1に、オブジェクト12Aが存在する場合の仮想カメラを用いた画像生成手法の一例を示す図である。
部屋R1と部屋R2との間には、光を透過するガラスを有するドア114が存在している。複数のオブジェクト12Aは、部屋R1に存在している。そして、ユーザ20Aは、部屋R1とは異なる仮想空間である部屋R2に存在している。
この場合には、ユーザ20Aが属する部屋R2とは異なる部屋R1に複数のオブジェクト12Aが存在しているため、部屋R1に関する画像生成手法は、例えば上述のインテリアマッピングが用いられて、より計算量の少ない画像生成手法が用いられることが望ましい。
図3Dは、ユーザ20Aが属する部屋R2に複数のオブジェクト12Bが存在し、ユーザ20Aが属しない部屋R1に複数のオブジェクト12Aが存在しており、ドア114越しにオブジェクト12Aがユーザから見えるときの映像の生成を例示した図である。
図3Dの複数のオブジェクト12Bは、精細な画像生成手法により、映像が生成され、ドア114越しに見える部屋R1の複数のオブジェクト12Aについては、簡便な画像生成手法であるインテリアマッピング等が用いられることが望ましい。
このようにすることによって、ユーザ20Aが属する部屋R2における複数のオブジェクト12Bについては、精細な画像生成手法が用いられ、ユーザ20Aが属しない部屋R1における複数のオブジェクト12Aについては、簡便な画像生成手法が用いられる。このように、画像生成手法を使い分けることで、より少ない計算リソースで映像を生成することができる。
図4は、互いに異なる三次元仮想空間である部屋R1、部屋R2及び部屋R3の各々に、出口専用のドア55及び入り口専用のドア50が設定されている図を示している。入口専用のドア50は、該当する部屋の外から中に入ることができるドアである。また、出口専用のドア55は、該当する部屋の中から外に出ることができるドアである。
各部屋は異なる三次元仮想空間であることから、各部屋の出口専用のドア55と他の部屋の入り口専用のドア50とを任意に結び付けておくことができる。この結び付けは、あらかじめ定めておいてもよいし、ユーザが結びつけを変えられるようにしてもよい。
1つの例として、下記のような実施形態が可能である。
[実施形態1](図4)
・ユーザは自分の部屋に入口を1つだけ設けることができる。
・ユーザは自分の部屋に出口を任意の個数だけ設けることができる。
・1つの出口に対しては、その出口の行先の部屋を1つだけ設定できる。
このような設定にすることによって、ユーザは、他のユーザが自分の部屋に入って来る入口を1つに限定することができる。また、自分が他のユーザの部屋へ移動するための出口は、自分が行きたい行先の部屋の個数と同じ個数の出口を設けることになる。
可能な実施形態は、上記の実施形態に限定されるものではない。例えば、特定のユーザRの美術作品が展示されている部屋R3には、ユーザは、部屋R3に至るドアが多く複数設けられているようにしてもよい。このようにすることによって、ユーザは、自分の美術作品が展示されている部屋R3に、容易に到達することができる。或いは、案内所などが設けられている部屋には、いずれのユーザに対しても、容易に入出できるように、ドアの設置を予めアレンジしておいてもよい。このようにすることによって、仮想三次元仮想空間をユーザが容易に利用できる環境を提供することができる。
さらに、前記の実施形態1を拡張した実施形態として、下記の実施形態が可能である。
[実施形態2](図25A及び図25B)
・入口専用のドアであっても、その入口から部屋に入ってきた場合に限って、その入口から部屋を出て元の部屋に戻ることを可能にする。
・入口専用ドアから戻る場合、戻り先の部屋の入口から入るものとする。
この設定によって、出口専用のドアから部屋に入ることは発生しない。
そして、ドアには、透明のガラスが設置されており、ガラス越しに、移動できる先の部屋の内部が見えるようにしておくことが望ましい。このようにすることによって、ユーザは、ドアの先にある部屋の様子がわかるため、広大な三次元仮想空間において、迷子になってしまうことを防止できる。
上記実施形態1(図4)の場合、出口のドアのガラスには、移動先の部屋をその部屋の入口から見た様子が表示される。入口のドアからは移動できないので、入口のドアのガラスには何も表示されない。
上記実施形態2(図25A及び図25B)の場合、入口ドアから元の部屋に戻ると、移動に応じて表に示すように入口ドアの向こうの様子が変化する。
図5は、同じドア321を経由して同じ部屋400にユーザが入っても、ユーザが異なる場合には、同じドア321を経由してもユーザ毎に異なる部屋に戻ることができることを示す図である。
図5において、部屋410にいたユーザ20Cが、ドア324を経由して部屋400に入るときに、部屋400にドア321から入ることが示されている。また、部屋420にいたユーザ20Bが、ドア325を経由して部屋400に入るときに、部屋400にドア321から入ることが示されている。
部屋400にいるユーザ20Cは、ドア321を経由し、部屋410のドア322を経由して、元の部屋410に戻ることができるようにしてもよい。また、部屋400にいるユーザ20Bは、ドア321を経由し、部屋420のドア323を経由して、元の部屋420に戻ることができるようにしてもよい。
また、部屋400にいるユーザ20Cは、ドア321越しに、元の部屋410のオブジェクトをドア322から見た様子が見えるようにしてもよい。また、部屋400にいるユーザ20Bは、ドア321越しに、元の部屋420のオブジェクトをドア323から見た様子が見えるようにしてもよい。
このようにすることで、ユーザ毎にそれぞれが通って来た部屋を逆の順序で辿って仮想空間である部屋を移動することを可能とさせ、ユーザが複雑な経路に迷わないようにすることができる。
図6は、実施形態のハードウエア構成図である。
実施形態のハードウエア構成は、CPU501、本実施形態のプログラム及びデータが格納され得るROM502、RAM503、ネットワークインターフェース505、入力インタフェース506、表示インタフェース507、外部メモリインタフェース508を有する。これらのハードウエアは、バス504によって相互に接続されている。
ネットワークインターフェース505は、ネットワーク515に接続されている。ネットワーク515には、有線LAN、無線LAN、インターネット、電話網などがある。入力インタフェース506には、入力部516が接続されている。表示インタフェース507には、表示部517が接続される。表示部517は、複数の表示装置により実現されてもよい。外部メモリインタフェース508には、記憶媒体518が接続される。記憶媒体518は、RAM、ROM、CD-ROM、DVD-ROM、ハードディスク、メモリーカード、USBメモリ等であってもよい。
以下に、実施形態の処理フローについて説明する。
図7は、実施形態の処理フローの概要を示している。各ステップについて説明する。
[ステップS702]ユーザが属する第1の仮想空間を特定する。ここで、属するとは、例えば、ユーザが第1の仮想空間内に存在する場合だけでなく、ユーザが第1の仮想空間と近い位置にいて、第1の仮想空間に入ろうとしている場合、第1の仮想空間にユーザの芸術作品が飾られており、その第1の仮想空間に接近している場合等が挙げられる。その他、ユーザと第1の仮想空間との間に、特別な関係が存在している場合が挙げられる。
[ステップS704]ユーザが属しない仮想空間のうち撮像対象とする単数又は複数の第2の仮想空間を特定する。撮像は、仮想カメラによって行われる。
[ステップS706]第1の仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像を第1の画像生成手法で生成する。第1の画像生成手法は精細な画像生成手法であることが望ましい。
[ステップS708]第2の仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像に相当する映像を第2の画像生成手法で生成する。第2の画像生成手法は、インテリアマッピングなどの、映像を生成するための計算リソースを節約できる手法が用いられるのが望ましい。
以上の処理によって、ユーザにとってかかわりの強いオブジェクトに対しては、精細な画像生成手法が用いられ、それ以外のオブジェクトについては、より簡便な映像生成手法が用いられる。このようにすることによって、映像生成に要する計算リソースを節約しつつ、ユーザに対して、満足のゆく適切な映像の生成が行われる。
図8は、移動先となり得る仮想空間をユーザに簡便に提示するフローを示している。以下に、ステップについて説明する。
[ステップS802]第1の仮想空間から第2の仮想空間にユーザが移動できる扉を表示する。
[ステップS804]第2の仮想空間に存在するオブジェクトを、扉を介して仮想カメラによって撮像した映像に相当する映像を、第2の画像生成手法で生成することによって、扉が透明度を有するがごとき映像を生成し、ユーザが扉を通過できることを示す。
このような処理を施すことによって、ユーザに対して、移動できる仮想空間の様子を事前に知らしめることができ、ユーザにとって、より利用価値の高い三次元仮想空間が提供できる。
図9は、例えばガラス115のような透明物質の面と仮想カメラの撮像方向との角度によって、ガラス115の透明度を異ならせる例を示す図である。
図9は、図2と類似した図であり、同様の引用符号が付されている。仮想カメラ11からの撮像方向と、ガラス115とのなす角度θが所定の角度以下である場合には、例えば、ガラス115の透明度を減少させてもよい。角度θが所定の角度よりも小さくなる場合は、ガラス115における環境光の反射などが多くなり、ガラス115を介して、部屋10Aの中のオブジェクトが認識しづらい状況となるのが、現実世界においては、多くの場合に経験されることである。このため、このような条件下では、ガラス115の透明度を減少させることで、より自然な映像が再現される。或いは、ガラス115の透明度を不透明にしてもよい。不透明にした場合には、ガラス115から見える部屋10Aの中のオブジェクトの映像を生成する処理を省略できる。このため、より計算リソースの消費を削減することができる。
図10は、図9に示したガラス115とカメラの撮像方向とのなす角度に応じた映像生成のフローを示す図である。
[ステップS1002]仮想カメラの撮像方向と仮想空間に設けられた透明物体の面とのなす角度に応じて、透明物体の透明度を異ならせる。
このようにすることによって、より自然な映像を生成できる。或いは、ガラス115を不透明にすることで、計算リソースの消費を削減することができる。
図11は、三次元仮想空間を利用するユーザに対して、三次元仮想空間への没入感を増大させるフローを示している。
[ステップS1102]仮想空間におけるユーザの仮想的な位置にユーザに対応するキャラクタを配置する。ユーザに似せたキャラクタ或いは、既存のキャラクタの中からユーザにより選択されたキャラクタが、三次元仮想空間内に置かれる。
図26は、仮想空間におけるユーザの仮想的な位置に仮想カメラを配置するフローを示している。
[ステップS1602]仮想空間におけるユーザの仮想的な位置に仮想カメラを配置する。このようにすることによって、ユーザに対応する仮想的なキャラクタの目から見える三次元仮想空間に関する映像が生成される。このように配置することによって、ユーザの目の位置から見た三次元仮想空間を描画することになり、より現実的な体験をユーザに提供できる。
図27は、仮想空間におけるユーザの仮想的な位置の背後の位置に仮想カメラを配置するフローを示している。
[ステップS1702]仮想空間におけるユーザの仮想的な位置の背後の位置に仮想カメラを配置する。このように配置することによって、三次元仮想空間内に存在するユーザの分身であるキャラクタを映像の中に含めることができる。
図12A及び、図12Bは、ユーザにとって関連度の高い第2の仮想空間を、ユーザに対して簡便に知らしめる処理フローを示している。
図12Aにおけるステップを以下に説明する。
[ステップS1202]複数の仮想空間のうちのいずれの仮想空間からユーザが現在の仮想空間に入ったかに応じて、第2の仮想空間を特定する。この処理によって、広大な全仮想空間内において、ユーザがたどってきた仮想空間を容易にユーザに知らしめることができる。このようにすることによって、ユーザが移動してきた仮想空間を戻ることが容易にでき、ユーザが仮想空間内で迷子になってしまうことを防止できる。
[ステップS1204]ユーザが移動できる先の仮想空間を第2の仮想空間として特定する。この処理によって、ユーザがどの仮想空間とかかわりを持っているかをユーザに容易に知らしめることができる。
図13は、ユーザが仮想空間を移動した場合の映像生成手法を切り換えるフローを示している。
[ステップS1302]ユーザが、第1の仮想空間から第2の仮想空間に移動することにより、第2の仮想空間が新たな第1の仮想空間になり、第1の仮想空間が新たな第2の仮想空間になった場合、新たな第1の仮想空間となった仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像を第1の画像生成手法で生成し、新たな第2の仮想空間となった仮想空間に存在するオブジェクトを仮想カメラによって撮像した映像に相当する映像を第2の画像生成手法で生成する。
この処理によって、精細な画像生成手法と簡便な画像生成手法を切り換えることができる。ユーザにとって、より関心度の高いオブジェクトに対して、精細な画像生成手法を動的に切り替えて使用することによって、ユーザにとって違和感のない映像が少ない計算リソースによって生成される。
<インテリアマッピングの変形例>
建物の内側(床、天井、壁)を、モデリングなしで描画する手法として、「インテリアマッピング」が知られている。
以下に、インテリアマッピングの変形例について、図面を参照しながら説明する。
図2に戻る。図2では、部屋の内面(床、天井、壁)を、ポリゴンでモデリングする替わりに、部屋の内面に相当する仮想平面113Aに対応付けたテクスチャ画像を用いた。仮想カメラ11の視点から窓115の点Aに至る直線を延長する。部屋の内面である仮想平面113Aとの交点である点Bを求める。点Bの座標からテクスチャ座標が導出される。テクスチャ画像とテクスチャ座標から色が取得される。この手法により、窓115越しに、部屋の内面が存在するかのような画像を得ることができる。
図2に示した手法では、部屋の中にある置物や家具などのオブジェクトを描画するには、その位置に追加の仮想平面を配置することが望ましい。
図14は、インテリアマッピングの他の実施形態を示す図である。
本実施形態の手法では、追加の仮想平面を配置することなく、部屋の中にある置物や家具などのオブジェクトに相当する映像を描画することができる。そのために、キューブマッピングなどの環境マッピングを利用することができる。
以下に、本実施形態の処理を説明する。
1)環境マップの作成
本発明の手法では、予めキューブマップなどの環境マップを用意する。
図14にキューブマップの作成方法を示す。まず、ポリゴン等で作られた壁面1404および置物や家具などのオブジェクト12Cを配置する。壁面および置物や家具は、多数のポリゴンを使って精細に作られていてもよい。また、壁面および置物や家具には、テクスチャが貼られていることが望ましい。キューブマッピング用のキューブCU1を、図14のように外壁である窓1402から距離L、部屋の幅の中央に配置することが望ましい。キューブCU1を配置する位置は、この例に限られるものではなく、この例とは異なる配置であってもよい。
前記の図1A、図1Bを用いた説明において、下記のように述べた。
ユーザ20が部屋10Bの中でドア114に十分に近づき、映像100の全てまたは殆どがガラス越しに部屋10Aを見た映像113で占められる場合には、ユーザ20は部屋10Bには属せず部屋10Aに属するものとして、ガラス越しの映像113を精細な画像生成手法で生成し、部屋10Bに存在するオブジェクト12Bを簡便な画像生成手法で生成してもよい。
距離Lは、この「十分に近づいた」と判定する距離としてもよい。このように設定することで、簡便な画像生成手法から精細な画像生成手法に切り替わる際に発生する映像の不連続さを、軽減することができる。
置物や家具のオブジェクト12Cの表面の点Pとキューブの中心1406とを直線で結び、その直線とキューブCU1との交点P1を求める。同様に、壁面1404の表面の点Qとキューブの中心1406とを直線で結び、その直線とキューブCU1との交点Q1を求める。図14の例では、置物や家具のなどのオブジェクト12Cの表面の点Pは、点P1にマッピングされ、点P1の色は点Pの色になる。同様に、壁面の点Qは、点Q1にマッピングされる。このようにしてキューブCU1を作成する。
2)環境マップを使用した描画
図15は、キューブマップを用いた実施形態の描画方法を示す図である。窓1402上の点A2を描画する際の色は、以下のようにして求められる。
壁面に相当する位置に、仮想平面1504を配置する。仮想カメラ11と点A2とを結ぶ直線を延長し、仮想平面1504との交点である点Qを求める。点QとキューブCU1の中心1406とを直線で結び、その直線とキューブとの交点である点Q1を求める。点Q1の色を点A2の色として用いて、窓1402を描画する。
上記1)、2)の手法を用いることにより、窓1402の奥にあたかも壁面(部屋の内壁)および置物や家具が存在するような描画結果が得られる。
<他の変形例>
図16Aは、半分のキューブ1604Aを示した図である。
キューブマップをさらに球面にマッピングして用いてもよい。通常のキューブマップ(1604A及び1604B)は全球(1602A及び1602B)に相当する周囲環境をマッピングするので、その全体を全球面にマッピングして使用するが、図16Aのように、全球(1602A及び1602B)に相当する周囲環境をマッピングされたキューブのうちの、部屋側(図の左側)の半分のキューブ1604Aだけを用いて半球1602Aに相当する周囲環境を半球面にマッピングしてもよい。この場合、半球1602Aに相当する周囲環境に存在するオブジェクトのみが半球面にマッピングされる。
図16Bは、斜めの向きのキューブを用いた例を示す図である。
図16Bのように、キューブマップ用のキューブ1606の向きは、部屋の窓1402と平行な向きに限られるものではなく、斜めの向きであってもよい。
図17A及び図17Bは、キューブマップ以外の環境マッピング手法が用いられる例を示した図である。
図17Aにおいて、三次元仮想空間の半分の空間の周囲環境を、半球面1702Aを介して平面上の円領域である環境マップテクスチャ1760にマッピングする例を示す。例えば、O1-S1の視線方向に見える周囲環境の色を取得し、環境マップテクスチャ1760の平面に点S1から下した垂線の足をT1とし、T1の色として前記取得した周囲環境の色を用いることで、O1を視点として半球1702A側に見えるオブジェクトの色を環境マップテクスチャ1760に投影して固定することができる。
この環境マップテクスチャ1760を用いることで、三次元仮想空間上でのO1-S1方向の色が簡便に取得できる。
図17Bは、三次元仮想空間の全方向の周囲環境を、全球面1750と半球面1702Bとを介して環境マップテクスチャ1770にマッピングする例を示した図である。例えば、まず、O2-S2の視線方向に見える周囲環境の色を取得する。O1-S2の延長線と、半球1702Bと交わる点S3を求める。環境マップテクスチャ1760の平面に点S3から下した垂線の足をT2とし、T2の色として前記取得した周囲環境の色を用いることで、O2を視点とした全方向の周囲環境の色を環境マップテクスチャ1770に投影して固定することができる。
この環境マップテクスチャ1770を用いることで、三次元仮想空間上でのO2-S2方向の色が簡便に取得できる。
図18は、ポリゴンとテクスチャを使って、インテリアマッピングで描画した場合と同様の描画結果を得る実施形態を示す図である。以下に、実施形態を説明する。
<1-1下準備>
1)図14の方法で、まずキューブマップを作る。
2)図18は、部屋を上から見た図である。この図のように、床、天井、奥の壁、左右の壁の5つの壁面(1810)に相当する5面をポリゴン1820で作る。計算リソースの消費を削減する観点からは、使用するポリゴンの枚数は少ないほうがよい。使用するポリゴンの枚数は、例えば、4角形ポリゴンなら5枚、3角形ポリゴンなら10枚となる。
3)元のオブジェクト1810および1830(壁面および置物や家具など)を取り除き、前記5面のポリゴン1820を配置する。
図19のように、既に図14等で説明したキューブCU1を用いたキューブマップを用いて、キューブの中心1851から前記5面のポリゴン1820にキューブマップを投影して、ポリゴン1820用のテクスチャデータを作る。
この処理は、テクスチャをポリゴンにベイクすると称する。置物や家具などのオブジェクト1830の表面の点Pは、キューブマップの点P1から、ポリゴン上の点P2に投影される。壁面の点Qは、キューブマップの点Q1から、ポリゴン上の点Q2に投影される。このようにして得られるテクスチャ画像は、部屋の壁面だけでなく、部屋の中にある置物や家具などのオブジェクトも描きこまれたものになる。
<1-2描画>
前記5面のポリゴンとベイクしたテクスチャを、テクスチャマッピングされたポリゴンの描画の手法で描画する。この描画手法は、ポリゴンの描画手法として広く採用されている。
図20は、キューブマップを介在させずテクスチャをポリゴンにベイクする処理の例を示している。
この手法においては、図20のように、部屋の壁面および部屋の中にある置物や家具等のオブジェクトの点(点Pおよび点Q)を、キューブマップの中心に相当する点1851から、5面のポリゴン1820に投影してテクスチャデータを作る。すなわち、ポリゴン1820にテクスチャをベイクする。点Pは点P2に投影される。点Qは点Q2に投影される。
その後の映像を生成する処理は、既に述べた仮想カメラを用いて実現できる。
図18ないし図20では、図を見やすくするために、ポリゴン1820の位置を壁面1810の位置から僅かにずらして、わかりやすく図示してあるが、両者は同一の位置であってもよい。両者が同一の位置の場合には、点Qと点Q2の位置は一致する。
<インテリアマッピングを使った描画の他の変形例>
たとえば、図20等で説明したように、ポリゴンとベイクテクスチャを使った従来の描画手法でも、インテリアマッピングと同様の描画結果を簡便に得ることができ、計算リソースを削減できる。
しかしながら、図15等のインテリアマッピングには、以下に述べるような変形例によって、映像がより自然となる、従来手法にはない描画上の利点がある。
<2-1仮想平面を移動させて描画する実施形態>
図21に示すように、置物や家具の表面の点Pは、キューブマップの点P1にマッピングされている。図21のカメラの位置から見た場合、本来の正しい見え方としては、置物上の点Pは、外壁(窓)上の点S4の位置に描画されるべきである。
しかし、前述の仮想平面1820を使って描画すると、点S5の位置に描画され、正しい位置の点S4と間にずれを生じる。なお、このずれは、ポリゴンとベイクテクスチャを使った従来の描画手法でも発生する。
そこで、図21の奥の壁面に相当する仮想平面VP1を、手前の仮想平面VP2に移動させて仮想平面VP2の位置に配置する。これによって、点S4にはキューブマップのP1の色が描画されて、正しい描画結果が得られる。
なお、奥の壁面上に存在する点は、この仮想平面VP1から仮想平面VP2への移動よって、描画される位置がずれて描画さえることになる。そのため、この変形実施形態は、奥の壁面よりも、ある特定の奥行に、より重要な(あるいはより多くの)オブジェクトが配置されている場合に、使用することが好ましい。
図21の例では奥の壁面に相当する仮想平面VP1を仮想平面VP2に移動させたが、これ以外の実施形態として、左右の壁面に相当する仮想平面や、床や天井に相当する仮想平面を、それぞれの平面の法線方向に移動させてもよい。
<2-2一部の仮想平面を取り除く変形例>
図22A及び図22Bは、カメラの位置による、長方形のオブジェクトの描画結果の差を示す図である。
一例として、奥の壁面よりも、仮想カメラ方向に手前に長方形のオブジェクトが配置されているとする。カメラの位置が、キューブマップ(不図示)の中心に一致する場合には、図22Aのように正しい描画結果2210が得られる。しかし、本実施形態のインテリアマッピングは、壁面に描かれた絵と同様の見え方をするため、カメラの位置を変えると、例えば図22Bのように、仮想平面の境界2221で、オブジェクトの画像2220に折れ2221が発生する。なお、このような折れは、ポリゴンとベイクテクスチャを使う従来の描画手法でも発生する。
図23Aは、左右の壁面に相当する仮想平面2305を取り除き、奥の壁面に相当する仮想平面2310を延長した図である。
キューブマップの点P1の色が、仮想平面2310上の点P6を介して、窓2320上の点P7の位置に適用されて、仮想カメラ11で撮像される。
図23Bは、画像の折れ2221が消失している長方形のオブジェクトの描画2360を示した図である。この手法は、正確な見え方の画像が得られるわけではないが、折れ2221が解消されることにより、不自然さが軽減されるという利点がある。
図23Aおよび図23BAの例では左右の壁面に相当する仮想平面を取り除いたが、これ以外の実施形態として、床に相当する仮想平面を取り除いてもよいし、天井に相当する仮想平面を取り除いてもよい。
<2-3仮想円筒面、仮想球面を使う変形例>
図24は、仮想平面2405の替わりに、仮想円筒面(あるいは仮想球面)2410を使う実施形態を示す。キューブマップCU1上のP1の色が、仮想円筒面2410上の点Q8を介して、窓2420上の点S8に適用されて、仮想カメラ11で撮像される。この実施形態で得られる画像は全体的に歪むこととなる。しかしながら、複数の仮想平面を使用した場合に仮想平面の境界で生じる折れ2221が、本実施形態では発生しないので、不自然さが軽減されるという利点がある。
図3Cおよび図3Dでは、部屋R1と部屋R2とが隣接してドアで繋がっているように、模式的に図示されている。しかし、そもそも部屋R1と部屋R2とは互いに異なる三次元仮想空間であるから、必ずしも隣接しているとは限らない。
そのため、上記の一連の実施形態では、1つの仮想カメラに基づいて、第1の仮想空間に関する画像生成と、第2の仮想空間に関する画像生成とを行うために、第1の仮想空間と第2の仮想空間のうちの少なくとも一方を移動および/または回転させて、第1の仮想空間と第2の仮想空間とが繋がるように仮想的に配置して画像生成を行う。
一方、これとは別に、2つの仮想カメラに基づいて画像生成する方法もまた可能である。この手法では、第1の仮想カメラは第1の仮想空間に関する画像生成に使用され、第2の仮想カメラは第2の仮想空間に関する画像生成に使用される。第2の仮想カメラは、
第1の仮想カメラに基づく第1の仮想空間に関する画像生成と整合するように、第2の仮想空間に配置される。
しかし、両手法の違いは、仮想空間に対して座標変換(移動および/または回転)を
施すか、あるいは座標変換(移動および/または回転)を用いて第1の仮想カメラから第2の仮想カメラを導出するか、の違いであって、本質的には、両手法は等価である。
本明細書に開示された各実施形態は、請求項に記載された発明を限定するものではなく、例示として取り扱われることは言うまでもない。
各実施例は排他的なものではなく、適宜組み合わせることができる。或いは、ある実施形態の一部の要素を他実施形態の要素と入れ換えることができる。
加えて、例示したフローチャートの各フローは、矛盾のない限り順番を入れ替えることができる。また、矛盾のない限り、例示された1つのフローを、異なるタイミングで、複数回実行することができる。また、矛盾のない限り、複数のフローを同時に実行したりすることができる。また、全てのステップが必須のものではなく、矛盾の無い限り、一部のステップが存在しないか、実行されなくてもよい。また、各ステップは、オペレーティングシステム又はハードウエアで実行されてもよい。また、プログラムは、非一時的な媒体に記憶された状態で配布することができる。
上述の実施形態を実現するプログラム及び方法は、図7に示されるハードウエア構成を備えるコンピュータにより実行され得る。すなわち、実施形態のプログラムは、コンピュータに実行させる方法として、インプリメントされてもよい。
プログラムは記憶媒体718、ROM702、又はRAM703に記憶されてもよい。
各実施形態は、プログラムをインストールしたハードウエアの装置としてインプリメントされ得る。
ガラスは透明物体の一例である。部屋は仮想空間の一例である。
504 バス
505 ネットワークインターフェース
506 入力インタフェース
507 表示インタフェース
508 外部メモリインタフェース
515 ネットワーク
516 入力部
517 表示部
518 記憶媒体
718 記憶媒体

Claims (10)

  1. ユーザの仮想的な位置または前記ユーザの仮想的な位置の周辺に配置された仮想カメラから三次元の仮想空間を撮像した映像を生成する映像生成方法であって、
    前記ユーザが属する第1の仮想空間を特定することと、
    前記ユーザが属しない仮想空間のうち撮像対象とする単数又は複数の第2の仮想空間を特定することと、
    前記映像の第1の部分映像であって、前記第1の仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した第1の部分映像を第1の画像生成手法で生成することと、
    前記映像の第2の部分映像であって、前記第2の仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した映像に相当する第2の部分映像を第2の画像生成手法で生成することと、
    を有し、
    前記第2の画像生成手法は、前記第1の画像生成手法よりも、前記オブジェクトに対応する映像の生成に要する計算において、より少ない計算リソースを消費する画像生成手法であり、
    当該映像生成方法は、
    前記ユーザが、前記第1の仮想空間から前記第2の仮想空間に移動することにより、前記第2の仮想空間が新たな前記第1の仮想空間になり、前記第1の仮想空間が新たな前記第2の仮想空間になった場合、前記新たな前記第1の仮想空間となった仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した第3の部分映像、を前記第1の画像生成手法で生成し、前記新たな前記第2の仮想空間となった仮想空間に存在するオブジェクトを前記仮想カメラによって撮像した映像に相当する第4の部分映像、を前記第2の画像生成手法で生成して、前記第3の部分映像と前記第4の部分映像とを有する新たな映像を生成すること
    を更に有する映像生成方法。
  2. 前記第2の画像生成手法は、インテリアマッピングの手法である、
    請求項に記載の映像生成方法。
  3. 前記第1の仮想空間から前記第2の仮想空間に前記ユーザが移動できる扉を表示することと、
    前記第2の仮想空間に存在するオブジェクトを、前記扉を介して前記仮想カメラによって撮像した映像に相当する映像を、第2の画像生成手法で生成することによって、前記扉が透明度を有するがごとき映像を生成し、前記ユーザが前記扉を通過できることを示すこと、
    を更に有する、請求項1又は2に記載の映像生成方法。
  4. 前記仮想カメラの撮像方向と前記仮想空間に設けられた透明物体の面とのなす角度に応じて、前記透明物体の透明度を異ならせること、
    を更に有する、請求項に記載の映像生成方法。
  5. 前記仮想空間における前記ユーザの仮想的な位置に前記ユーザに対応するキャラクタを配置すること、
    を更に有する、請求項1ないしのうちいずれか1項に記載の映像生成方法。
  6. 前記仮想空間における前記ユーザの仮想的な位置に前記仮想カメラを配置すること、
    を更に有する、請求項1ないしのうちいずれか1項に記載の映像生成方法。
  7. 前記仮想空間における前記ユーザの仮想的な位置の背後の位置に前記仮想カメラを配置すること、
    を更に有する、請求項1ないしのうちいずれか1項に記載の映像生成方法。
  8. 前記第2の仮想空間を特定することは、
    複数の仮想空間のうちのいずれの仮想空間から前記ユーザが現在の仮想空間に入ったかに応じて、前記第2の仮想空間を特定すること、
    を含む請求項1ないしのうちいずれか1項に記載の映像生成方法。
  9. 前記第2の仮想空間を特定することは、
    前記ユーザが移動できる先の仮想空間を前記第2の仮想空間として特定すること、
    を含む請求項1ないし7のうちいずれか1項に記載の映像生成方法。
  10. 請求項1ないしのうちいずれか1項に記載の映像生成方法をコンピュータに実行させるプログラム。
JP2021208810A 2021-12-22 2021-12-22 映像生成方法及び画像生成プログラム Active JP7097125B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021208810A JP7097125B1 (ja) 2021-12-22 2021-12-22 映像生成方法及び画像生成プログラム
PCT/JP2022/030471 WO2023119715A1 (ja) 2021-12-22 2022-08-09 映像生成方法及び画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021208810A JP7097125B1 (ja) 2021-12-22 2021-12-22 映像生成方法及び画像生成プログラム

Publications (2)

Publication Number Publication Date
JP7097125B1 true JP7097125B1 (ja) 2022-07-07
JP2023093276A JP2023093276A (ja) 2023-07-04

Family

ID=82320482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021208810A Active JP7097125B1 (ja) 2021-12-22 2021-12-22 映像生成方法及び画像生成プログラム

Country Status (2)

Country Link
JP (1) JP7097125B1 (ja)
WO (1) WO2023119715A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308344A (ja) 2002-04-18 2003-10-31 Gifu Prefecture 屋内空間設計支援装置および方法
JP2005122680A (ja) 2003-03-28 2005-05-12 Art Core:Kk 広告宣伝用のパース画とパース画を用いた住宅広告宣伝用媒体とパース画の作成方法
JP2007164557A (ja) 2005-12-15 2007-06-28 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
WO2017187821A1 (ja) 2016-04-28 2017-11-02 ソニー株式会社 情報処理装置及び情報処理方法、並びに3次元画像データの伝送方法
JP2018106643A (ja) 2016-12-28 2018-07-05 セコム株式会社 空間モデル処理装置
JP2019175323A (ja) 2018-03-29 2019-10-10 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308344A (ja) 2002-04-18 2003-10-31 Gifu Prefecture 屋内空間設計支援装置および方法
JP2005122680A (ja) 2003-03-28 2005-05-12 Art Core:Kk 広告宣伝用のパース画とパース画を用いた住宅広告宣伝用媒体とパース画の作成方法
JP2007164557A (ja) 2005-12-15 2007-06-28 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
WO2017187821A1 (ja) 2016-04-28 2017-11-02 ソニー株式会社 情報処理装置及び情報処理方法、並びに3次元画像データの伝送方法
JP2018106643A (ja) 2016-12-28 2018-07-05 セコム株式会社 空間モデル処理装置
JP2019175323A (ja) 2018-03-29 2019-10-10 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Joost van Dongen,Interior Mapping A new technique for rendering realistic buildings,CGI 2008 Conference Proceedings ,2008年,<URL:https://www.proun-game.com/Oogst3D/CODING/InteriorMapping/InteriorMapping.pdf>,[令和4年1月19日検索]、インターネット

Also Published As

Publication number Publication date
WO2023119715A1 (ja) 2023-06-29
JP2023093276A (ja) 2023-07-04

Similar Documents

Publication Publication Date Title
CN107852573B (zh) 混合现实社交交互
US8866848B2 (en) Image processing device, control method for an image processing device, program, and information storage medium
JP4271236B2 (ja) リアルタイムの3次元インタラクティブ環境を提供するシステム及び方法
CN105513112B (zh) 图像处理方法和装置
JP2020042802A (ja) 3次元コンテンツ内の場所に基づく仮想要素モダリティ
CN106157359A (zh) 一种虚拟场景体验***的设计方法
US11508141B2 (en) Simple environment solver using planar extraction
JP2009237680A (ja) プログラム、情報記憶媒体および画像生成システム
US20120120071A1 (en) Shading graphical objects based on face images
CN105389090A (zh) 游戏交互界面显示的方法及装置、移动终端和电脑终端
JP6934957B2 (ja) 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法
JPH10198822A (ja) 画像合成装置
JPWO2019123548A1 (ja) 画像生成装置および画像生成方法
TWI277014B (en) Image display method and image display device
JP2020532022A (ja) 全視角方向の球体ライトフィールドレンダリング方法
JP7097125B1 (ja) 映像生成方法及び画像生成プログラム
JP2012234411A (ja) 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法
JP4496823B2 (ja) 画像処理装置及び方法、並びに画像表示システム
KR101428577B1 (ko) 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스 기반 입체 지구본을 제공하는 방법
WO2022089061A1 (zh) 物体标注信息呈现方法、装置、电子设备及存储介质
TWI669633B (zh) Mixed reality interaction method and system thereof
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
CN113476835B (zh) 一种画面显示的方法及装置
US11830140B2 (en) Methods and systems for 3D modeling of an object by merging voxelized representations of the object
Hertzmann Toward a theory of perspective perception in pictures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7097125

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350