JP6473872B2 - 映像構築装置、擬似視覚体験システム、および映像構築プログラム - Google Patents

映像構築装置、擬似視覚体験システム、および映像構築プログラム Download PDF

Info

Publication number
JP6473872B2
JP6473872B2 JP2015152945A JP2015152945A JP6473872B2 JP 6473872 B2 JP6473872 B2 JP 6473872B2 JP 2015152945 A JP2015152945 A JP 2015152945A JP 2015152945 A JP2015152945 A JP 2015152945A JP 6473872 B2 JP6473872 B2 JP 6473872B2
Authority
JP
Japan
Prior art keywords
image
flow
space
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015152945A
Other languages
English (en)
Other versions
JP2017033312A (ja
Inventor
岡本 勝
勝 岡本
修次 河村
修次 河村
和浩 高下
和浩 高下
公太 橋詰
公太 橋詰
司 岸村
司 岸村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanken Sangyo Co Ltd
Hiroshima City University
Original Assignee
Sanken Sangyo Co Ltd
Hiroshima City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanken Sangyo Co Ltd, Hiroshima City University filed Critical Sanken Sangyo Co Ltd
Priority to JP2015152945A priority Critical patent/JP6473872B2/ja
Publication of JP2017033312A publication Critical patent/JP2017033312A/ja
Application granted granted Critical
Publication of JP6473872B2 publication Critical patent/JP6473872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、頭部装着ディスプレイに出力する3次元(3D)映像を構築する映像構築装置などに関する。
頭部に装着するディスプレイ装置として頭部装着ディスプレイ(ヘッドマウントディスプレイ;以下、HMDと略称する)が知られている。HMDは、左右の目に違う映像を映し出すことも可能であるため、左右の映像を微妙に変えることにより3D映像を構築することができる。HMDに映し出される映像には、2種類が存在し、映し出される映像のすべてがコンピュータグラフィックス(以下、CGと略称する)で構成されるバーチャルリアリティ(Virtual Reality;以下、VRと略称する)映像と、HMDに映し出される映像の一部が、ビデオカメラで撮像される実空間映像で構成され、残りの一部が、CGで構成される拡張現実(Augmented Reality;以下、ARと略称する)映像である。
例えば、特許文献1には、AR映像に関する技術が開示されている。特許文献1に開示された技術では、実空間映像と、仮想空間画像とを合成表示することにより、仮想世界をより現実世界に近づけることを可能にしている。
特開平6−176131号公報(1994年6月24日公開)
しかしながら、本発明者らの調査によれば、本願の出願時点において、上記特許文献1に開示された技術を含め、従来のHMDに関する技術では、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにするという観点については全く考慮されていないことが判明した。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる映像構築装置などを提供することにある。
上記の課題を解決するために、本発明の一態様に係る映像構築装置は、頭部装着ディスプレイに出力する3次元映像を構築する映像構築装置であって、仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像を生成する閉空間映像生成部と、上記閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する演算部と、算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する流れ画像生成部と、上記閉空間映像と上記流れ画像とを合成することで3次元映像を構築する画像合成部と、を備えたことを特徴としている。
上記構成によれば、仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像と、物理流関連データを視覚的に表示する流れ画像と、が合成された3次元映像を構築することができる。このため、上記構成によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる。なお、「物理流関連データ」の例としては、例えば、特定の物理現象に基づく物理量の流れを示す流線データまたはベクトルデータを例示することができる。
本発明の一態様に係る映像構築装置は、上記流れ画像生成部は、上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して、上記流れ画像を生成することが好ましい。上記構成によれば、各セル空間の中心に最も近い位置以外の位置に対応付けて設定された物理量の流れを示す物理流関連データが除外されるため、物理流関連データが密に表示され過ぎることを抑制することができる。
本発明の一態様に係る映像構築装置は、上記流れ画像生成部は、上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して、上記流れ画像を生成することが好ましい。上記構成によれば、興味領域と交差しないセル空間に対応付けられた物理流関連データが除外されるため、物理流関連データが密に表示され過ぎることを抑制することができる。
本発明の一態様に係る映像構築装置は、上記画像合成部が、上記構造物の全体を外部から俯瞰する3次元映像を構築することが可能になっていても良い。上記構成によれば、閉空間の内部において、現在の視点の位置が分からなくなった場合に、構造物の全体を外部から俯瞰することで、現在の視点の位置を再認識させることが可能になる。
本発明の一態様に係る映像構築装置は、上記画像合成部が、上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした3次元映像を構築することが可能になっていても良い。上記構成によれば、閉空間の内部の様子を構造物の外面の一部を透視して外部から視覚することが可能になる。
本発明の一態様に係る映像構築装置は、上記画像合成部が、上記仮想空間における上記構造物の背景画像を、晴天に雲が点在する天空を示す天空画像とした3次元映像を構築することが可能になっていても良い。上記構成によれば、点在する雲との相対的な位置関係の変化により、視点を移動させたときの構造物の奥行き感や構造物の移動量などを体感し易くすることができる。
本発明の一態様に係る映像構築装置は、上記画像合成部が、実空間に設置される現物のマーカーに対応する仮想マーカー画像を生成し、上記拡張現実空間における上記マーカーが設置された位置と対応する位置に上記仮想マーカー画像が表示されるようにした3次元映像を構築することが可能になっていても良い。上記構成によれば、拡張現実空間におけるマーカーの設置位置と、仮想マーカー画像の表示位置と、を比較することで、拡張現実空間に重畳表示されるCGオブジェクトの位置が正しく表示されているか否かを確認することが可能になる。
本発明の一態様に係る擬似視覚体験システムは、上記の何れかの映像構築装置と、上記頭部装着ディスプレイと、を備えていることが好ましい。上記構成によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる擬似視覚体験システムを実現できる。
本発明の一態様に係る擬似視覚体験システムは、上記頭部装着ディスプレイに出力される3次元映像は、上記仮想空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、上記仮想空間における上下方向を回転軸の方向とする旋回操作に限定されていても良い。上記構成によれば、3つの回転軸に基づいて旋回する自由回転と比較してユーザが元の位置に戻り易くなる。
本発明の各態様に係る映像構築装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像構築装置が備える各部(ソフトウェア要素)として動作させることにより上記映像構築装置をコンピュータにて実現させる映像構築プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、仮想空間または拡張現実空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができるという効果を奏する。
本発明の実施の一形態に係る擬似視覚体験システムの全体構成を示すブロック図である。 上記擬似視覚体験システムの基本動作の流れを示すフローチャートである。 上記擬似視覚体験システムの間引き動作の流れを示すフローチャートである。 (a)〜(e)は、それぞれ、上記擬似視覚体験システムが備えるHMDを頭部に装着して頭部を様々な方向に動かしたときに表示される流線データの例を示す図である。 (a)は、場面構築パラメータ(シーンパラメータ)を作成、設定する画面の例を示す図であり、(b)は、場面構築パラメータに関するXMLファイルの一部を抜粋したデータの例を示す図である。 (a)は、起動処理フローの流れを示すフローチャートであり、(b)は、シーングラフ構築フローの流れを示すフローチャートである。 (a)は、ベクトルデータ構築フローの流れを示すフローチャートであり、(b)は、VR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。 AR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。 レンダリングループフローの流れを示すフローチャートである。 (a)は、シーンレンダリングフローの流れを示すフローチャートであり、(b)は、背景画像に天空画像を設定した場合の視点の移動前の状態を示す図であり、(c)は、背景画像に天空画像を設定した場合の視点の移動後の状態を示す図であり、(d)は、背景画像が無地(背景画像なし)の場合の視点の移動前の状態を示す図であり、(e)は、背景画像が無地(背景画像なし)の場合の視点の移動後の状態を示す図である。 (a)は、VR映像での外形(構造物の外面)に係るレンダリングフローの流れを示すフローチャートであり、(b)は、カリング前の3次元映像の様子を示す図であり、(c)は、カリング後の3次元映像の様子を示す図である。 (a)は、AR映像での外形(構造物の外面)に係るレンダリングフローの流れを示すフローチャートであり、(b)は、ワイヤーフレーム画像(仮想マーカー画像)を表示していない場合における現物のマーカー付近の映像の例を示し、(c)は、ワイヤーフレーム画像を表示した場合における現物のマーカー付近の映像の例を示す。 (a)は、流線図シーンのレンダリングフローの流れを示すフローチャートであり、(b)は、コンター図シーンのレンダリングフローの流れを示すフローチャートであり、(c)は、ベクトル図シーンのレンダリングフローの流れを示すフローチャートである。 (a)ベクトルデータレンダリングフローの流れを示すフローチャートであり、(b)は、興味領域の設定方法の例を示す図である。 視点位置操作受付フローの流れを示すフローチャートである。 (a)は、俯瞰操作入力受付フローの流れを示すフローチャートであり、(b)は、通常モードにおける3次元映像の表示例を示す図であり、(c)は、俯瞰モードにおける3次元映像の表示例を示す図である。
本発明の実施の形態について図1〜図16に基づいて説明すれば、次の通りである。以下、説明の便宜上、特定の項目にて説明した構成と同一の機能を有する構成については、同一の符号を付記し、その説明を省略する場合がある。
〔擬似視覚体験システム〕
図1に基づき、本発明の実施の一形態に係る擬似視覚体験システム10の構成について説明する。図1は、擬似視覚体験システム10の全体構成を示すブロック図である。同図に示すように、擬似視覚体験システム10は、HMD1(ヘッドマウントディスプレイ;頭部装着ディスプレイ)、PC2(パーソナルコンピュータ;映像構築装置)、および入力インターフェース3を備える。
(HMD1)
HMD1は、頭部位置姿勢センサー11、およびカメラ12を備えた頭部装着ディスプレイ(ヘッドマウントディスプレイ)である。HMD1を頭部に装着したユーザは、VR空間またはAR空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像と、特定の物理現象に基づく物理量の流れを示す物理流関連データを視覚的に表示する流れ画像と、が合成された3次元映像(VR映像またはAR映像)を視覚することができるようになっている。ここで、「物理流関連データ」の例としては、例えば、特定の物理現象に基づく物理量の流れを示す流線データまたはベクトルデータを例示することができる。また、VR空間(仮想空間)とは、コンピュータネットワーク上の仮想的な空間やコンピュータが作り出した環境のことであり、すべての対象がコンピュータグラフィクスなどで構成される空間のことである。AR空間(拡張現実空間)とは、ユーザが直接知覚できる現実世界の対象物に対して、コンピュータがさらに情報を付加・提示して構成される環境のことであり、現実世界を撮像した撮像映像と、コンピュータグラフィクスなどとの組合せで構成される空間のことである。
ここで、構造物の具体例としては、熱処理炉などの工業炉や、冷蔵倉庫、工場、住居などエアコンが設置された建築物などを例示することができる。閉空間の例としては、熱処理炉などの工業炉の内部の空間や、冷蔵倉庫、工場、住居などエアコンが設置された建築物などの内部の空間を例示することができる。
なお、閉空間とは、完全に外部と遮断された空間に限らない。実際の構造物、建築物における空間では、窓、換気口、出入りのための開閉部分(住居ではドア)など外部と連通する部分が存在することが多い。このような空間においても、その空間を構成する領域の表面積に対して開口部分が極小であれば、流体解析にほとんど影響せず、実質的に閉空間とみなすことができ、本発明が適用できる。
また、構造物が熱処理炉などの工業炉の場合、特定の物理現象に基づく物理量の流れとしては、例えば、熱処理炉などの工業炉の内部にて対流する空気流を例示することができる。また、構造物が、エアコンが設置された建築物の場合、特定の物理現象に基づく物理量の流れとしては、エアコンからの風の流れを例示することができる。
頭部位置姿勢センサー11は、赤外線センサーおよびジャイロコンパスなどで構成することができ、HMD1を頭部に装着して、頭を様々な方向に動かしたときの頭部位置および姿勢の変化を検出する。
カメラ12は、ユーザが現実世界を視覚している状況に対応したカメラ映像(撮像映像)を取得するために設けられており、カメラ12が取得したカメラ映像を用いてAR映像(3次元映像)が生成される。
(PC2)
PC2は、表示情報変更部21、データベース22(記憶部)、マーカー認識部23、3D映像構築部24、および表示コントローラ25を備えたパーソナルコンピュータである。
表示情報変更部21は、入力インターフェース3を介したユーザの入力操作により、HMD1に出力される3次元映像の表示情報を変更するものである。表示情報変更部21は、例えば、3次元映像としてVR映像およびAR映像の何れかを選択したり、後述するシーンパラメータ(場面構築パラメータ;例えば、表示ベクトル数など)の値を変更したりするなどの処理を実行する。表示情報変更部21による表示情報の変更結果は、3D映像構築部24に通知される。
データベース22(記憶部)には、シーンパラメータの値や、流体解析の結果などの特定の物理現象に基づく物理量の解析結果などが格納されている。なお、特定の物理現象に基づく物理量は、上述した閉空間に設定される座標に対応付けて記憶されている。
マーカー認識部23は、カメラ12による撮像映像の中から予め決定されたマーカー(例えば、2次元バーコード)を認識する。マーカー認識部23によるマーカーの認識結果は、3D映像構築部24に通知される。後述する3D映像構築部24のマーカー情報特定部243は、撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別し、画像合成部248は、このパターンに対応付けられたCGオブジェクト(例えば、後述する仮想マーカ画像)を、撮像映像中のマーカーの位置に重畳して表示する3次元映像を構築する。
3D映像構築部24は、主として、VR空間またはAR空間における構造物の閉空間を表示する閉空間映像と、特定の物理現象に基づく物理量の流れを示す物理流関連データを視覚的に表示する流れ画像と、が合成された3次元映像を構築する処理を実行する。
3D映像構築部24は、頭部位置姿勢特定部241、カメラ映像取得部242、マーカー情報特定部243、閉空間映像生成部245、演算部246、流れ画像生成部247、画像合成部248、および表示モード切替部249を備える。
頭部位置姿勢特定部241は、頭部位置姿勢センサー11の検出結果をもとに、HMD1を装着したユーザの頭部位置・姿勢を特定する処理を実行するものである。カメラ映像取得部242は、カメラ12が撮影した撮像映像を取得する処理を実行するものである。撮像映像は、AR映像の3次元映像を構築するために使用される。
マーカー情報特定部243は、撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別する処理を実行する。閉空間映像生成部245は、VR空間またはAR空間における構造物の閉空間を表示する閉空間映像を生成する処理を実行する。
演算部246は、データベース22に格納されている流体解析の結果などの特定の物理現象に基づく物理量の解析結果などに基づき、閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する処理を実行する。流れ画像生成部247は、算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する処理を実行する。
また、流れ画像生成部247は、上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して(間引いて)、上記流れ画像を生成する処理を実行する。これにより、各セル空間の中心に最も近い位置以外の位置に対応付けて設定された物理量の流れを示す物理流関連データが除外されるため(間引かれるため)、物理流関連データが密に表示され過ぎることを抑制することができる。
また、流れ画像生成部247は、上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して(間引いて)、上記流れ画像を生成する処理を実行する。これにより、興味領域と交差しないセル空間に対応付けられた物理流関連データが除外されるため(間引かれるため)、物理流関連データが密に表示され過ぎることを抑制することができる。
画像合成部248は、上記閉空間映像と上記流れ画像とを合成することで3次元映像を構築する処理を実行する。また、画像合成部248は、上記構造物の全体を外部から俯瞰する3次元映像を構築する処理を実行しても良い。これにより、閉空間の内部において、現在の視点の位置が分からなくなった場合に、構造物の全体を外部から俯瞰することで、現在の視点の位置を再認識させることが可能になる。
また、画像合成部248は、上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした3次元映像を構築する処理を実行する。カリングとは描画するときに裏表描画しないように片方の面を描画しない処理のことである。具体的には、構造物の外面の法線に基づき、表面(または前面)および裏面を特定し、表面をカリングして裏面(閉空間の内部)だけを表示する。これにより、閉空間の内部の様子を構造物の外面の一部を透視して外部から視覚することが可能になる。
また、画像合成部248は、VR空間における構造物の背景画像を、晴天に雲が点在する天空を示す天空画像(Skybox画像)とした3次元映像を構築する処理を実行しても良い。これにより、点在する雲との相対的な位置関係の変化により、視点を移動させたときの構造物の奥行き感や構造物の移動量などを体感し易くすることができる。
また、画像合成部248は、実空間に設置される現物のマーカーに対応する仮想マーカー画像(例えば、ワイヤーフレーム画像)を生成し、AR空間におけるマーカーが設置された位置と対応する位置に上記仮想マーカー画像が表示されるようにした3次元映像を構築する処理を実行しても良い。これにより、AR空間における現物のマーカーの設置位置と、仮想マーカー画像の表示位置と、を比較することで、AR空間に重畳表示されるCGオブジェクトの位置が正しく表示されているか否かを確認することが可能になる。
表示モード切替部249は、入力インターフェース3を介したユーザの入力操作に基づき、構築される3次元映像の表示モードを様々なモードに切り替える処理を実行するものである。表示モードの具体例としては、カメラを大きく引いて(ズームアウト処理して)、構造物の全体を外部から俯瞰できる3次元映像を構築する俯瞰モードや、構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした3次元映像を構築するカリングモードや、VR空間における構造物の背景画像を、天空画像(Skybox画像)とした3次元映像を構築するSkyboxモードなどを例示することができる。
以上のように擬似視覚体験システム10(またはPC2)によれば、VR空間またはAR空間における構造物の閉空間を表示する閉空間映像と、物理流関連データを視覚的に表示する流れ画像と、が合成された3次元映像を構築することができる。このため、VR空間またはAR空間における構造物の閉空間の内部において、特定の物理現象に基づく物理量の流れを視覚的に体験できるようにすることができる。
〔擬似視覚体験システムの基本動作〕
次に、図2に基づき、擬似視覚体験システム10の基本動作について説明する。図2は、擬似視覚体験システム10の基本動作の流れを示すフローチャートである。
ステップS(以下、「ステップ」を省略する)101では、後述するシーンパラメータ設定画面(図5の(a)参照)を見ながらユーザが入力インターフェース3を介してシーンパラメータの設定を変更するか否かを決定し、設定変更ありの場合(YES)は、S102に進む。一方、設定変更なしの場合(NO)は、S103に進む。
S103では、ユーザが入力インターフェース3を介してVRコンテンツ(VR映像)またはARコンテンツ(AR映像)の何れの3次元映像を視覚するかを決定して選択する。その結果、VRコンテンツが選択された場合(YES)は、表示情報変更部21のVR/AR選択部211が、VRコンテンツが選択された旨を3D映像構築部24に通知して、S104に進む。一方、ARコンテンツが選択された場合(NO)は、表示情報変更部21のVR/AR選択部211が、ARコンテンツが選択された旨を3D映像構築部24に通知して、S108に進む。
S102では、表示情報変更部21の設定情報変更部212が、シーンパラメータの設定をユーザの指示に従って変更し、変更結果を3D映像構築部24に通知して、S103に進む。S104では、頭部位置姿勢特定部241が、頭部位置姿勢センサー11の検出結果に基づき、頭部位置・姿勢を特定し、特定結果を画像合成部248に通知して、S105に進む。
S105では、画像合成部248が、特定された頭部位置・姿勢に応じて3次元映像を構築し、構築した3次元映像を表示コントローラ25に渡して、S106に進む。なお、ここで、上記では説明しなかった、画像合成部248が3次元映像を構築するまでの特徴的な動作を説明する。まず、閉空間映像生成部245が上述した閉空間映像を生成する。次に、演算部246が、データベース22に格納されたシーパラメータおよび流体解析の解析結果などに基づいて、閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の流線データまたはベクトルデータを算出する。次に、流れ画像生成部247が、算出された複数の流線データまたはベクトルデータの中から選択した流線データまたはベクトルデータを視覚的に表示する流れ画像を生成する。次に、画像合成部248は、上記閉空間映像と、上記流れ画像と、を合成して3次元映像を構築する。
次に、S106では、表示コントローラ25が、受け取った3次元映像をHMD1に出力してS107に進む。S107で動作を終了させる場合(YES)は、終了に進む。一方、動作を終了させない場合(NO)は、S101に戻る。
次に、S108では、カメラ映像取得部242が、カメラ12が撮影した撮像映像を取得し、撮像映像の中にマーカーが存在しているか否かを確認し、S109に進む。S109では、撮像映像の中にマーカーが存在している場合(YES)は、S110に進む。一方、撮像映像の中にマーカーが存在していない場合(NO)は、S111に進む。
S110では、マーカー情報特定部243が、マーカー情報を特定し、すなわち撮像映像の中でのマーカーの位置を特定するとともに、マーカーのパターンを識別する処理を実行し、S112に進む。
S111では、頭部位置姿勢特定部241が、頭部位置姿勢センサー11の検出結果に基づき、頭部位置・姿勢を特定し、特定結果を画像合成部248に通知して、S112に進む。S112では、S110で、マーカー情報が特定されている場合は、画像合成部248は、撮像映像の中のマーカーの位置を調整して撮像映像を合成し、3次元映像を構築して、S106に進む。一方、S112では、S111で頭部位置・姿勢を特定した場合は、画像合成部248は、頭部位置・姿勢に応じて撮像映像を合成し、3次元映像を構築して、S106に進む。
〔間引き動作について〕
次に、図3に基づき、間引き動作について説明する。図3は、間引き動作の流れを示すフローチャートである。S201では、流れ画像生成部247は、閉空間を複数のセル空間に分割して、S203に進む。S202からS208までの間の動作は、分割したセル空間ごとに実施される。S203では、流れ画像生成部247が、セル空間の中心点を算出し、S205に進む。
S204からS206までの間の動作は、セル空間内のベクトルデータ(または流線データ)ごとに実施される。S205では、流れ画像生成部247が、ベクトルデータとセル空間の中心点との距離を算出し、S207に進む。
S207では、流れ画像生成部247は、セル空間の中心点から最も近いベクトルデータ(または流線データ)を選択し、それ以外の位置に対応付けて設定された物理量の流れを示す流線データまたはベクトルデータを除外して(間引いて)、上記流れ画像〔セル空間の中心点から最も近いベクトルデータ(または流線データ)のみを表示〕を生成する。
〔HMD1装着時にユーザが視覚する流線データの例〕
次に、図4に基づき、HMD1装着時にユーザが視覚する流線データの例について説明する。図4の(a)〜図4の(e)は、それぞれ、HMD1を頭部に装着して頭部を様々な方向に動かしたときに表示される流線データの例を示す図である。これらの図では、熱処理炉の内部にて対流する空気流を視覚的に表示した流線形状を流線データとして表示している。例えば、図4の(a)は、HMD1を頭部に装着した状態で、上方向を見上げたときに、ユーザが視覚する流線データの例である。次に、図4の(b)は、HMD1を頭部に装着した状態で、左方向に頭を旋回させたときにユーザが視覚する流線データの例である。図4の(c)は、HMD1を頭部に装着した状態で顔を正面に向けたときにユーザが視覚する流線データの例である。図4の(d)は、HMD1を頭部に装着した状態で、右方向に頭を旋回させたときにユーザが視覚する流線データの例である。図4の(e)は、HMD1を頭部に装着した状態で、下方向を見下ろしたときに、ユーザが視覚する流線データの例である。
〔シーンパラメータについて〕
次に、図5に基づき、シーンパラメータ(場面構築パラメータ)について説明する。図5の(a)は、シーンパラメータを作成、設定する画面の例を示す図である。シーンパラメータは、上述した流れ画像を生成するためのパラメータである。例えば、図5の(a)に示す、「データ設定 スケール1」、「外形設定 STLファイル」、「流線設定 CSVファイル 表示ベクトル数 X:20・・・・」、「色設定 グラデーション20」などは、シーンパラメータの例である。図5の(b)は、シーンパラメータに関するXMLファイルの一部を抜粋したデータの例を示す図である。
〔起動処理のフローおよびシーングラフ構築フロー〕
次に、PC2に関し、図6に基づき、起動処理のフローおよびシーングラフ構築フローについて説明する。図6の(a)は、起動処理フローの流れを示すフローチャートである。
図6の(a)に示すS301では、流れ画像生成部247がデータベース22からシーンパラメータを読み込んで、S302に進む。次に、S302では、データベース22から流体解析などの解析結果を読み込んで、S303に進む。次に、S303では、後述するシーングラフ構築フローを実行し、S304〜S306に進む。S304では、トラッキングループが開始される。S305では、レンダリングループが開始される。S306では、入力操作受付ループが開始される。ここで、レンダリングとは、画像や画面の内容を指示するデータの集まり(数値や数式のパラメータ、描画ルールを記述したものなど)をコンピュータプログラムで処理して、具体的な画素の集合を得ることである。
次に、図6の(b)は、シーングラフ構築フローの流れを示すフローチャートである。図6の(b)に示すS401では、流れ画像生成部247は、流線図シーン(流線データの表示)を構築して、S402に進む。次に、S402では、流れ画像生成部247は、コンター図シーン(輪郭線の表示)を構築して、S403に進む。ここで、コンター図シーンのコンター(輪郭線)とは、等値線の間の帯ごとに段階的に色彩表示したもののことである。
次に、S403では、流れ画像生成部247は、ベクトル図シーン(ベクトルデータの表示)を構成する。
〔ベクトルデータ構築フロー〕
次に、図7の(a)に基づき、ベクトルデータ構築フローについて説明する。図7の(a)は、ベクトルデータ構築フローの流れを示すフローチャートである。図7の(a)に示すS501では、流れ画像生成部247は、データベース22から流体解析などの解析結果のレコードを読み込んで、S502に進む。S502では、流れ画像生成部247は、シーンパラメータから空間分割数を取得してS503に進む。S503では、流れ画像生成部247は、セル空間の構築処理を実行して、S504に進む。S504では、可視データ(ベクトルデータまたは流線データ)の削減処理を実行する。
次に、セル空間の構築処理について説明する。図7の(a)に示すS5031からS5034までの間のステップは、すべてのレコード(ベクトルデータまたは流線データ)に対して実行される。S5032では、流れ画像生成部247は、レコードの座標データからセル空間座標を生成して、S5033に進む。S5033では、流れ画像生成部247は、セル空間座標に対応するセル(空間)にレコードを追加する。
次に、可視データの削減処理について説明する。図7の(a)に示すS5041からS5044までの間のステップは、すべてのセル空間に対して実行される。S5042では、流れ画像生成部247は、セル空間に含まれるレコードから最も中心点に近い位置のベクトルデータ(または流線データ)を探して、S5043に進む。S5043では、流れ画像生成部247は、セル空間に含まれるレコードから最も中心点に近い位置以外のレコードを捨てる(除外する、間引く)。
〔VR映像の頭部位置姿勢情報更新フロー〕
次に、PC2に関し、図7の(b)に基づき、VR映像の頭部位置姿勢情報更新フローについて説明する。図7の(b)は、VR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。図7の(b)に示すS601からS604までの間のステップは、フレーム毎に実行される。S602では、頭部位置姿勢特定部241は、頭部位置姿勢センサー11の検出結果からHMD1の位置・姿勢を取得(特定)し、その結果を画像合成部248に通知して、S603に進む。S603では、画像合成部248が、データベース22のメモリ上のHMD1の位置・姿勢情報を更新する。
〔AR映像の頭部位置姿勢情報更新フロー〕
次に、図8に基づき、AR映像の頭部位置姿勢情報更新フローについて説明する。図8は、AR映像の頭部位置姿勢情報更新フローの流れを示すフローチャートである。S701からS708までの間のステップは、フレーム毎に実行される。S702では、頭部位置姿勢センサー11のセンサー使用モードに設定されているか否かについて確認し、センサー使用モードに設定されている場合は、S706に進む。一方、センサー使用モードに設定されていない場合は、S703に進む。S706では、頭部位置姿勢センサー11の検出結果からHMD1の位置・姿勢を取得(特定)し、その結果を画像合成部248に通知して、S707に進む。
S703では、マーカー認識部23が、マーカーを認識してS704に進む。S704では、マーカー認識部23が、マーカーを認識した場合、S705に進む(YES)。一方、マーカー認識部23がマーカーを認識しなかった場合、S706に進む。S705では、マーカー情報特定部243が、マーカーに基づいて、HMD1の位置・姿勢を取得(特定)し、その結果を画像合成部248に通知して、S707に進む。S707では、画像合成部248が、データベース22のメモリ上のHMD1の位置・姿勢情報を更新する。
マーカーによる画像認識でAR表示をすると大きな構造物になればなるほど、精度が良くないため認識結果の姿勢の細かなブレが問題になった。そこで、上記の処理(S707)では、一度マーカーを認識して実世界と仮想世界の位置合わせを済ませた後は、より精度の高い赤外線センサーおよびジャイロコンパスの数値を使って姿勢補正することで表示のブレを軽減するようにしている。
〔レンダリングループフロー〕
次に、図9に基づき、レンダリングループフローについて説明する。図9は、レンダリングループフローの流れを示すフローチャートである。S801からS805までの間のステップは、フレーム毎に実行される。S802では、画像合成部248は、設定されたカメラの位置・姿勢を更新して、S803に進む。S803では、画像合成部248が、シーンレンダリングを実行し、3次元映像を構成して、表示コントローラ25に送り、S804に進む。S804では、表示コントローラ25が3次元映像をHMD1に送信(出力)する。
〔シーンレンダリングフロー〕
次に、図10の(a)に基づき、シーンレンダリングフローについて説明する。図10の(a)は、シーンレンダリングフローの流れを示すフローチャートである。S8031では、画像合成部248が、カメラの設置(視点の設定)を行い、S8032に進む。S8032では、画像合成部248が、背景画像として、Skybox画像を配置し、S8033に進む。S8033では、閉空間映像生成部245が、構造物の外形のレンダリングを実行し、S8034に進む。S8034では、流れ画像生成部247が現在のシーンを判定し、流線図シーンの場合は、S8035に進み、コンター図シーンの場合は、S8036に進み、ベクトル図シーンの場合は、S8037に進む。
S8035では、流れ画像生成部247が流線図シーンのレンダリングを実行する。S8036では、流れ画像生成部247がコンター図シーンのレンダリングを行う。S8037では、流れ画像生成部247が、ベクトル図シーンのレンダリングを行う。
〔背景画像に天空画像(Skybox画像)を設定した場合の3次元映像〕
次に、図10の(b)〜図10の(e)に基づき、背景画像に天空画像(Skybox画像)を設定した場合の3次元映像について説明する。図10の(b)は、背景画像に天空画像を設定した場合の視点の移動前の状態を示す図である。図10の(c)は、背景画像に天空画像を設定した場合の視点の移動後の状態を示す図である。図10の(d)は、背景画像が無地(背景画像なし)の場合の視点の移動前の状態を示す図である。図10の(e)は、背景画像が無地(背景画像なし)の場合の視点の移動後の状態を示す図である。
図10の(d)および(e)に示すように、背景画像が無地(単一色)の場合、背景から得られる位置情報が無いため、空間認識力が低下し、奥行き感や異動量を把握しにくいという問題が生じた。そこで、図10の(b)および(c)に示すように青空の仮想背景(天空画像)を設定することで、雲の見え方の違い等から自分の向きや位置に関する情報が得られるようになったため、上記の問題が軽減された。
〔VR映像での外形のレンダリングフロー〕
次に、図11の(a)に基づき、VR映像での外形(構造物の外面)に係るレンダリングフローについて説明する。図11の(a)は、VR映像での外形に係るレンダリングフローの流れを示すフローチャートである。図11の(a)に示すS901では、閉空間映像生成部245が、構造物の外面の裏面をレンダリングするか否かを決定し、裏面のレンダリングを行う場合、S902に進む(YES)。一方、裏面のレンダリングを行わない場合、S903に進む。S902では、閉空間映像生成部245が、裏面のレンダリングを行って、S903に進む。S903では、閉空間映像生成部245が、構造物の外形の前面をレンダリングするか否かを決定し、前面のレンダリングを行う場合、S904に進む(YES)。一方、前面のレンダリングを行わない場合、動作を終了する。S904では、閉空間映像生成部245が、前面のレンダリングを行う。
〔カリングについて〕
次に、図11の(b)および図11の(c)に基づき、カリングについて説明する。一般にカリングとは、描画するときに裏表描画しないように片方の面を描画しない処理のことである。図11の(b)は、構造物の外形の前面をカリングする前の3次元映像の様子を示す図である。一方、図11の(c)は、構造物の外形の前面をカリングした後の3次元映像の様子を示す図である。読み込まれた構造物の外形形状(STL)の外面の法線方向から、外面の表(前面)と裏(裏面)を判別し、表の場合は透過(描画しない)、裏の場合は描画する。表面が透過されるため、構造物の外からでも内部構造が把握できる。ここでは、VR映像でベクトルデータまたは流線データを表示する際に、外形のCGが邪魔になる場合があったため、前面をカリングして、裏面だけを表示するようにしている。
〔AR映像での外形のレンダリングフロー〕
次に、図12の(a)に基づき、AR映像での構造物の外形(構造物の外面)に係るレンダリングフローについて説明する。図12の(a)は、AR映像での外形に係るレンダリングフローの流れを示すフローチャートである。S905では、画像合成部248が、マーカーをレンダリングするか否かを決定し、マーカーをレンダリングする場合は、S906に進む(YES)。一方、マーカーをレンダリングしない場合は、S907に進む(NO)。S906では、画像合成部248が、マーカーのワイヤフレームレンダリング〔ワイヤーフレーム画像(仮想マーカ画像)のレンダリング〕を行い、S907に進む。S907では、閉空間映像生成部245が、構造物の外形のレンダリングを行うか否かを決定し、外形のレンダリングを行う場合には、S908に進む(YES)。一方、外形のレンダリングを行わない場合は、動作を終了する(NO)。S908では、閉空間映像生成部245が、構造物の外形のワイヤーフレームレンダリングを行う。
〔ワイヤーフレーム画像(仮想マーカー画像)〕
次に、図12の(b)および(c)に基づき、ワイヤーフレーム画像(仮想マーカー画像)について説明する。図12の(b)は、ワイヤーフレーム画像を表示していない場合における現物のマーカー付近の映像の例を示す。一方、図12の(c)は、ワイヤーフレーム画像を表示した場合における現物のマーカー付近の映像の例を示す。マーカーが印刷されているボードと同じ形状、同じサイズのワイヤーフレーム画像(仮想マーカー画像)を用意し、マーカーに対して同じ位置に表示されるように設定する。マーカー認識時にワイヤーフレーム画像を表示させ、現実のボードとワイヤーフレーム画像との重なりを見ることで、正しい位置認識ができているか確認できる。
〔各シーンのレンダリングフロー〕
次に、図13に基づき、流線図シーン、コンター図シーン、およびベクトル図シーンの各シーンのレンダリングフローについて説明する。図13の(a)は、流線図シーンのレンダリングフローの流れを示すフローチャートである。図13の(a)に示すS1001では、流れ画像生成部247が、流線形状のレンダリングを行い、S1002に進む。S1002では、流れ画像生成部247が、ベクトルデータのレンダリングを行う。
次に、図13の(b)は、コンター図シーンのレンダリングフローの流れを示すフローチャートである。図13の(b)に示すS1003では、流れ画像生成部247がコンターデータのレンダリングを行う。次に、図13の(c)は、ベクトル図シーンのレンダリングフローの流れを示すフローチャートである。図13の(c)に示すS1004では、流れ画像生成部247が、ベクトルデータのレンダリングを行う。
〔ベクトルデータレンダリングフロー〕
次に、図14の(a)に基づき、ベクトルデータレンダリングフローについて説明する。図14の(a)は、ベクトルデータレンダリングフローの流れを示すフローチャートである。S2001では、流れ画像生成部247は、閉空間内の一部の領域を上記流線データまたはベクトルデータを表示する領域である興味領域として設定し、この興味領域とセル空間との交差判定を実行するか否かを決定し、交差判定を実行する場合は、S2002に進む(YES)。一方、交差判定を実行しない場合は、S2005に進む(NO)。
S2002では、流れ画像生成部247は、興味領域とセル空間の交差判定を行い、S2003に進む。S2003では、興味領域と交差しないセル空間に対応付けられたベクトルデータ(または流線データ)を非活性化(除外)して、S2004に進む。S2004では、興味領域と交差するセル空間に対応付けられたベクトルデータ(または流線データ)を活性化(選択)して、S2006に進む。
S2005では、すべてのセル空間に対応付けられたベクトルデータ(または流線データ)を活性化(選択)して、S2006に進む。S2006では、流れ画像生成部247は、活性化(選択)されているベクトルデータ(または流線データ)をレンダリングして、流れ画像を作成する。なお、興味領域の設定は、特に限定されないが、例えば、図14の(b)に示すように、「1.2m前方の点を中心に縦横奥行き2mの立方体」を興味領域に設定しても良い。なお、興味領域の設定は、上述したシーンパラメータを変更することで、データごとに変更可能としても良い。
〔視点位置操作受付フロー〕
次に、図15に基づき、視点位置操作受付フローについて説明する。視点位置操作受付フローの流れを示すフローチャートである。S3001からS3004までの間のステップは、フレーム毎に実施される。S3002では、3D映像構築部24は、入力インターフェース3を介したユーザの視点位置操作入力を受付けて、S3003に進む。S3003では、画像合成部248が、視点位置・姿勢を更新する。
HMD1に出力される3次元映像は、VR空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、VR空間における上下方向を回転軸の方向とする旋回操作〔水平方向(世界座標系のY軸)のみの旋回操作〕に限定されていても良い。これにより、3つの回転軸に基づいて旋回する自由回転と比較してユーザが元の位置に戻り易くなる。
〔俯瞰操作入力受付フロー〕
次に、図16の(a)に基づき、俯瞰操作入力受付フローについて説明する。図16の(a)は、俯瞰操作入力受付フローの流れを示すフローチャートである。S4001からS4008までの間のステップは、フレーム毎に実行される。S4002では、入力インターフェース3を介してユーザによる俯瞰切替え入力を受付ける。S4003で、俯瞰切替え入力があった場合は、S4004に進む(YES)。一方、俯瞰切替え入力がなかった場合は、S4005に進む。
S4004では、表示モード切替部249は、俯瞰モードが選択されたと判断し、画像合成部248に通知し、画像合成部248は、カメラ(視点)が最大まで下がっているか(ズームアウトされているか)を確認し、カメラ(視点)が最大まで下がっている場合は、動作を終了する(YES)。一方、カメラ(視点)が最大まで下がっていない場合は、S4006に進み、画像合成部248は、カメラを少し下げる処理に応じて3次元映像を構築する。
S4005では、表示モード切替部249は、通常モードが選択されたと判断し、画像合成部248に通知し、画像合成部248は、カメラ(視点)が元の位置まで戻っているか確認し、カメラ(視点)が元の位置まで戻っている場合は、動作を終了する。一方、カメラ(視点)が元の位置まで戻っていない場合は、S4007に進み、カメラを少し戻す処理に応じて、3次元映像を構築する。
〔通常モード/俯瞰モード〕
次に、図16の(b)および図16の(c)に基づき、通常モードおよび俯瞰モードについて説明する。図16の(b)は、通常モードにおける3次元映像の表示例を示す図である。一方、図16の(c)は、俯瞰モードにおける3次元映像の表示例を示す図である。例えば、入力インターフェース3に接続されたマウスの中ボタンを押すと、押している間は俯瞰モードにする。マウスから手を離すと通常モードに戻す。俯瞰モード時は、一定距離になるまで、視線を手前側に引いて行き、図16の(c)に示すように、元の場所にアバターが表示されるようになっている。上記俯瞰モードによれば、通常モードで閉空間の内部において視点(現在のカメラ)の位置がわからなくなった場合でも、一旦カメラを大きく引いて全体を俯瞰し、表示されたアバターの位置を確認することで、通常モードの際に閉空間の内部において視点の位置がどこにあったかを確認することができる。
〔ソフトウェアによる実現例〕
PC2の制御ブロック(特に、閉空間映像生成部245、演算部246、流れ画像生成部247、および画像合成部248)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、PC2は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 HMD(頭部装着ディスプレイ)
2 PC(映像構築装置)
10 擬似視覚体験システム
245 閉空間映像生成部
246 演算部
247 流れ画像生成部
248 画像合成部

Claims (9)

  1. 頭部装着ディスプレイに出力する3次元映像を構築する映像構築装置であって、
    仮想空間または拡張現実空間における構造物の内部の閉じた空間である閉空間を表示する閉空間映像を生成する閉空間映像生成部と、
    上記閉空間内における座標に対応付けて設定される特定の物理現象に基づく物理量の流れを示す複数の物理流関連データを算出する演算部と、
    算出された複数の物理流関連データの中から特定の物理流関連データを選択し、選択した物理流関連データを視覚的に表示する流れ画像を生成する流れ画像生成部と、
    上記閉空間映像と上記流れ画像とを合成することで3次元映像を構築する画像合成部と、を備え、
    上記流れ画像生成部は、
    上記閉空間を複数のセル空間に分割し、各セル空間の中心に最も近い位置に対応付けて設定された物理量の流れを示す物理流関連データを選択し、それ以外の位置に対応付けて設定された物理量の流れを示す物理流関連データを除外して、上記流れ画像を生成することを特徴とする映像構築装置。
  2. 上記流れ画像生成部は、
    上記閉空間内の一部の領域を、上記物理流関連データを表示する領域である興味領域として設定し、上記興味領域と交差する上記セル空間に対応付けられた物理流関連データを選択し、上記興味領域と交差しない上記セル空間に対応付けられた物理流関連データを除外して、上記流れ画像を生成することを特徴とする請求項に記載の映像構築装置。
  3. 上記画像合成部は、
    上記構造物の全体を外部から俯瞰する3次元映像を構築することが可能になっていることを特徴とする請求項1または2に記載の映像構築装置。
  4. 上記画像合成部は、
    上記構造物の外面の一部をカリングすることで上記外面の一部を透視可能とした3次元映像を構築することが可能になっていることを特徴とする請求項1からまでの何れか1項に記載の映像構築装置。
  5. 上記画像合成部は、
    上記仮想空間における上記構造物の背景画像を、晴天に雲が点在する天空を示す天空画像とした3次元映像を構築することが可能になっていることを特徴とする請求項1からまでの何れか1項に記載の映像構築装置。
  6. 上記画像合成部は、
    実空間に設置される現物のマーカーに対応する仮想マーカー画像を生成し、上記拡張現実空間における上記マーカーが設置された位置に対応する位置に上記仮想マーカー画像が表示されるようにした3次元映像を構築することが可能になっていることを特徴とする請求項1からまでの何れか1項に記載の映像構築装置。
  7. 請求項1からまでの何れか1項に記載の映像構築装置と、
    上記頭部装着ディスプレイと、を備えていることを特徴とする擬似視覚体験システム。
  8. 上記頭部装着ディスプレイに出力される3次元映像は、上記仮想空間において視点を旋回させる旋回操作が可能となっており、上記旋回操作は、上記仮想空間における上下方向を回転軸の方向とする旋回操作に限定されていることを特徴とする請求項に記載の擬似視覚体験システム。
  9. 請求項1に記載の映像構築装置としてコンピュータを機能させるための映像構築プログラムであって、上記閉空間映像生成部、上記演算部、上記流れ画像生成部および上記画像合成部としてコンピュータを機能させるための映像構築プログラム。
JP2015152945A 2015-07-31 2015-07-31 映像構築装置、擬似視覚体験システム、および映像構築プログラム Active JP6473872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015152945A JP6473872B2 (ja) 2015-07-31 2015-07-31 映像構築装置、擬似視覚体験システム、および映像構築プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015152945A JP6473872B2 (ja) 2015-07-31 2015-07-31 映像構築装置、擬似視覚体験システム、および映像構築プログラム

Publications (2)

Publication Number Publication Date
JP2017033312A JP2017033312A (ja) 2017-02-09
JP6473872B2 true JP6473872B2 (ja) 2019-02-27

Family

ID=57986273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152945A Active JP6473872B2 (ja) 2015-07-31 2015-07-31 映像構築装置、擬似視覚体験システム、および映像構築プログラム

Country Status (1)

Country Link
JP (1) JP6473872B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447504B (zh) 2020-03-27 2022-05-03 北京字节跳动网络技术有限公司 三维视频的处理方法、装置、可读存储介质和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3105131B2 (ja) * 1993-07-02 2000-10-30 松下電器産業株式会社 視覚を中心とした擬似体験装置
JPH1019919A (ja) * 1996-06-28 1998-01-23 Matsushita Electric Ind Co Ltd 流線測定方法および流線測定装置
JP4056021B2 (ja) * 1997-12-05 2008-03-05 株式会社バンダイナムコゲームス 画像生成装置及び情報記憶媒体
JP2007064684A (ja) * 2005-08-29 2007-03-15 Canon Inc マーカ配置補助方法及び装置
JP4785662B2 (ja) * 2005-10-03 2011-10-05 キヤノン株式会社 情報処理装置、情報処理方法
JP4465331B2 (ja) * 2006-05-17 2010-05-19 株式会社シーピーユー 建築設計プログラム、これを格納した記録媒体、及び、このプログラムをインストールした建築cad装置

Also Published As

Publication number Publication date
JP2017033312A (ja) 2017-02-09

Similar Documents

Publication Publication Date Title
AU2021203688B2 (en) Volumetric depth video recording and playback
US9741167B1 (en) Method and system for providing an image of a virtual space to a head mounted display
EP2996088B1 (en) Method for visualising surface data together with panorama image data of the same surrounding
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR20170007102A (ko) 3차원 지도 생성 및 표시 장치 및 방법
WO2015182227A1 (ja) 情報処理装置および情報処理方法
US20160163063A1 (en) Mixed-reality visualization and method
US20160343166A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
US20150077592A1 (en) Devices, systems, and methods for generating proxy models for an enhanced scene
EP1503348A2 (en) Image displaying method and apparatus for mixed reality space
WO2019159617A1 (ja) 画像処理装置、画像処理方法およびプログラム
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2007052304A (ja) 映像表示システム
CN113168732A (zh) 增强现实显示装置和增强现实显示方法
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20170104982A1 (en) Presentation of a virtual reality scene from a series of images
KR20110088995A (ko) 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체
JP2021135776A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4724476B2 (ja) 情報処理方法及び装置
JP6695997B2 (ja) 情報処理装置
JP6473872B2 (ja) 映像構築装置、擬似視覚体験システム、および映像構築プログラム
KR100728110B1 (ko) 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
Avery et al. Visualizing occluded physical objects in unfamiliar outdoor augmented reality environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180316

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181219

R150 Certificate of patent or registration of utility model

Ref document number: 6473872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350