JP6814878B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6814878B2 JP6814878B2 JP2019513688A JP2019513688A JP6814878B2 JP 6814878 B2 JP6814878 B2 JP 6814878B2 JP 2019513688 A JP2019513688 A JP 2019513688A JP 2019513688 A JP2019513688 A JP 2019513688A JP 6814878 B2 JP6814878 B2 JP 6814878B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- virtual space
- construction
- information
- hmd2
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 59
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000010276 construction Methods 0.000 claims description 130
- 238000000034 method Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 description 95
- 238000004891 communication Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 29
- 238000012423 maintenance Methods 0.000 description 29
- 238000007689 inspection Methods 0.000 description 28
- 238000013461 design Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 210000003739 neck Anatomy 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N iron Substances [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Development Economics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Educational Administration (AREA)
- Structural Engineering (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
Description
それにもかかわらず、従来の建設現場において、作業計画は、設計図をもとに計画されるのが通常であった。そのため、実際に施工を始めてみないと気が付かない問題も多かった。
また、近年では、建設事業の効率化のため、発注者、各種コンサルタント、受注者等の建設事業関係者間で円滑なコミュニケーションを図ることが必要になっている。
この点、建設計画の立案をサポートする建設シミュレーション装置が提案されている(例えば特許文献1参照)。
前記n次元のうち、状態が変化する次元の座標(例えば時間軸の座標は、指定時刻)を取得する座標取得手段(例えば時間軸の場合には図7の時間情報取得部100)と、
取得された前記次元の前記座標における状態の前記実物体に対応するオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段(例えば図7の表示画像生成部105)と、
を備える。
図1は、本発明の一実施形態に係る情報処理システムの構成を示す図である。
本サービスとは、次のようなサービスである。即ち、所定の建設事業についての関係者が、当該建設事業で対象となる建造物について施工状態や完成時の状況等を疑似体験しながら、各種施工工程の確認をすることができるサービスが、本サービスである。
図1の例では、関係者Ua,Ubの夫々は、本サービスの提供を受けるにあたり、HMD(Head Mounted Display)2a,2bの夫々を頭部に装着し、必要に応じてコントローラ3a,3bの夫々を手に持つ。
なお、以下、関係者Ua,Ubの夫々を特に区別する必要がない場合、これらをまとめて「関係者U」と呼ぶ。また、関係者Uとまとめて呼んでいる場合、HMD2a,2bをまとめて「HMD2」と呼び、かつ、コントローラ3a,3bをまとめて「コントローラ3」と呼ぶ。
なお、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」の両方を含むものとする。また、当該画像はCG(Computer Graphics)画像(コンピュータグラフィックス画像)やAR(Augmented Reality)画像(拡張現実画像)に限られず、実際に実空間が撮像された画像も含まれてよい。
それと同様に、HMD2を装着した関係者Uは、仮想空間内において、存在位置(実空間の所定場所に対応する仮想空間内の位置)を移動して、自身の頭を動かして視線の方向(所定方向)を変化させることで、橋及びその周辺の景色の画像(関係者UがHMD2を通じて視認する画像)を変化させることができる。
これにより、関係者Ua及びUbは、任意の施工工程における建設現場のイメージを共有することができ、コミュニケーションを円滑に図ることができる。
サーバ1、HMD2a、及びHMD2bは、インターネット等の所定のネットワークNを介して相互に接続されている。HMD2a及びコントローラ3a、HMD2b及びコントローラ3bの夫々は、Bluetooth(登録商標)等により接続される。
この「TOPメニュー」から遷移可能なメニューとしては、次の5つのメニューが用意されている。即ち、計画メニュー、設計変更メニュー、検査メニュー、メンテナンスメニュー、及びコミュニケーションメニューが用意されている。
具体的には例えば、検査メニューにおいては、本サービスの一部として、タイムスライダー(Time Slider)機能が提供される。
タイムスライダー機能とは、次のような機能をいう。即ち、建造物(本例では橋)の3Dオブジェクト等の3Dデータの夫々に対して、当該仮想空間内に配置される期間が時間属性として与えられている。そこで、HMD2を装着した関係者Uは、当該建造物の施工工程を示す工程表における時間軸上の時刻(時点)を指定する。すると、指定された時刻(時点)を含む期間の時間属性が与えられた3Dデータが仮想空間内に配置される。関係者Uは、その仮想空間内に配置された3Dデータを、所望の立ち位置で所望の視点から視認することができる。つまり、関係者Uにとっては、工程表における所定期間内での過去、現在、未来のうち指定された工程段階時の建造物(橋)に対応する3Dオブジェクト等がHMD2における仮想空間上に出現することになる。
図3に示すa機能が発揮されると、仮想空間内に、完成状態の橋(建造物)に対応する3Dオブジェクト(設計図3Dホログラム)と、竣工検査の各種確認書類の夫々を選択するための各項目が羅列された検査書類メニューとが配置される。項目としては、施工計画書、工程管理、段階確認書、材料確認書、品質管理、出来形管理、写真管理、安全管理等が存在する。
関係者Uは、これらの中から所望の項目を選択することで、当該所望の項目に対応する検査書類(データ)を仮想空間内で視認することができる。
関係者Uは、これらの中から所望の工種の項目を選択することで、当該所望の工種の検査書類(データ)を仮想空間内で視認することができる。ここで、関係者Uは、複数種類の工種の項目を選択することができる。
ここで、タイムスライダーTとは、上述したタイムスライダー機能の発揮時に仮想空間内に配置される、工程表の所定期間における任意の時刻(時点)を指定するための操作子(データ)である。図3に示すc機能の例では、工程表の所定期間を示す時間軸と、当該時間軸上を自在に移動可能な時計のアイコンとから、タイムスライダーTは構成されている。この時計のアイコンの位置が、指定された時刻(時点)を示すことになる。
つまり、HMD2を装着した関係者Uは、コントローラ3を操作して、タイムスライダーTの時計のアイコンを移動させることで、工程表における時間軸上の時刻(時点)を指定する。すると、指定された時刻(時点)における建設中の状態の橋に対応する3Dオブジェクトが、仮想空間内に配置される。関係者Uは、その仮想空間内に配置された3Dデータを、所望の立ち位置で所望の視点から視認することができる。
つまり、関係者Uにとっては、タイムスライダーTの時計のアイコンを動かすだけで、工程表における所定期間内での過去、現在、未来のうち所望の工程段階時の建造物(橋)に対応する3Dオブジェクト等がHMD2における投影空間上に出現することになる。
検査メニューでは、図4に示すa機能が発揮される場合がある。この場合、仮想空間内に、完成状態の橋に対応する3Dオブジェクト(設計図3Dホログラム)と、工程表と、タイムスライダーTと、検査書類メニューとが表示される。
この図4に示すa機能により、HMD2を装着した関係者Uは、複数の検査書類をマルチウィンドウで視認しながら検査することができる。また、関係者Uは、タイムスライダーTを操作することで、図3に示すcの機能と同様に、タイムスライダー機能を発揮させることができる。
図5は、図1の情報処理システムのうちサーバのハードウェア構成の一例を示すブロック図である。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部17は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。
通信部19は、インターネットを含むネットワークNを介して他の装置(図1の例では、HMD2a及びHMD2b)との間で通信を行う。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
センサ部37は、傾斜センサ、加速度センサ、角速度センサ等の各種センサ等で構成される。センサ部37の検出情報は、例えば、仮想空間内での角度(方向)に関する各種検出情報として利用される。
コントローラ3は、HMD2のCPU31による各種処理の実行に際し、関係者Uによる指示操作、例えば、メニュー選択、視点操作、タイムスライダー機能での時刻(時点)の指示操作等を受け付ける入力機器である。
なお、説明の便宜上、本実施形態ではコントローラ3を用いているが、情報処理システムにとって特に必須な構成要素ではない。その他例えば、関係者Uの周囲にモーションセンサを設けて、関係者Uの各種ジェスチャー動作で各種指示操作をさせるようにしてもよい。
このようなタイムスライダー機能の発揮により、当該表示画像のデータが生成されて、関係者Uに提示される(関係者Uが視認する)までの一連の処理を、以下、「表示画像生成処理」と呼ぶ。
即ち、サーバ1及びHMD2やコントローラ3は、表示画像生成処理を実行するにあたり、図7に示すような機能的構成を有する。
図7は、図5のサーバ及び図6のHMDの機能的構成のうち、表示画像生成処理を実現するための機能的構成の一例を示す機能ブロックである。
サーバ1の記憶部18の一領域には、オブジェクトDB500が設けられている。さらに、図示しないが、段階確認結果書類や、マルチウィンドウに表示される検査書類、その他各種書類のデータが格納されるDBも記憶部18に設けられている。上述及び後述するように、これらの各種書類のデータも、仮想空間内に配置させて、表示画像に含めて関係者Uに提示することは当然に可能である。ただし、図8までの説明においては、説明の便宜上、仮想空間内には、建造物(橋)等の3Dオブジェクトのみが配置されるものとする。
ここで、関係者Uaが使用するHMD2aとコントローラ3aを併せてUMaと呼び、関係者Ubが使用するHMD2bとコントローラ3bを併せてUMbと呼ぶ。
以下、時間情報取得部100乃至表示制御部106の各機能ブロックの詳細について、順不同に説明する。
サーバ1の時間情報取得部100は、このようにして関係者Uにより指示された時刻を示す情報(以下、「時間情報」と呼ぶ)を、通信部19を介して取得する。
ここで、複数の関係者Uが存在する場合、夫々の時間情報は、同一であってもよいし異なっていてもよい。同一の場合には、例えば、マスタユーザ(例えば関係者Ua)と従属ユーザ(例えば関係者Ub)を予め決めておき、時間情報取得部100は、マスタユーザのコントローラ3から指定された時刻を示す情報を、時間情報として取得する。
なお、図7においては、本発明の理解を容易なものとすべく、建設途中の各状態の橋の3Dオブジェクトが、あたかも各時刻t1乃至t3に対応付けられてオブジェクトDB500に記憶されているように描画されている。しかしながら、実際には、後述する図9及び図10で説明するように、建造物の各部品等がレイヤーという単位で分割されて、各レイヤー毎に、時刻という時間軸上の1点ではなく、仮想空間内に存在する時間(時間軸上で一定の幅を有する期間)と対応付けられてオブジェクトDB500に記憶されている。
ここで、複数の関係者Uが存在する場合、視点情報は、同一であってもよいし、異なっていてもよい。ただし、疑似体験をさせるという観点では、複数の関係者U毎に夫々異なると好適である。
そこで、視点管理部103は、複数の関係者U(図7の例では関係者Ua,Ub)毎の視点情報の夫々を管理する。
なお、橋等の3Dオブジェクトに対し、視点の方向は、必ずしも3Dオブジェクトの外側(外観)から3Dオブジェクトへ向かう必要はなく、例えばオブジェクトの内側(建造物の内部)からであってもよい。これにより、例えば、施工が進むにつれ、人間が現実の視認ができなくなる実物体(建造物)の内部の状態を確認することができる。即ち、視点情報は、全方位性を有することができる。
さらに、例えば、大きな実物体を仮想空間内で縮小した3Dオブジェクト、実物体(建造物)の実物大の3Dオブジェクト、さらに拡大した大きさの3Dオブジェクトの何れに対しても、任意の位置から任意の方向を向いた視線を示す視点情報を生成可能である。これにより、建設作業従事者等の関係者Uは、仮想空間内で作業シミュレーションを事前に行うことが可能となる。つまり、視点情報は、視認対象物(3Dオブジェクト)に対して拡大性若しくは縮小性を有することができる。
即ち、図8は、図5のサーバ側の表示画像生成処理の流れを説明するフローチャートである。
ステップS2において、時間情報取得部100は、関係者Uにより指示された時刻を示す時間情報を取得する。
ステップS3において、視点情報取得部102は、仮想空間内の視点の配置位置及び当該視点の方向を示す視点情報を取得する。
ステップS4において、オブジェクト配置部101は、ステップS2の処理で取得された時間情報に基づいて、指定された時刻(時点)における建設途中又は建設後の状態の実物体(橋等の建造物)に対応する3Dオブジェクトを、仮想空間に配置させる。
ステップS5において、表示画像生成部105は、ステップS4の処理で3Dオブジェクトが配置された仮想空間において、ステップS3の処理で取得された視点情報で示される視点からみえる画像のデータを、表示画像のデータとして生成する。
ステップS6において、表示制御部106は、ステップS5の処理で生成された表示画像のデータを、通信部19を介して送信することで、関係者Uに当該表示画像を提示する。
処理の終了の指示は特に限定されないが、例えばHMD2から終了指示が送信されてきたことを採用することができる。
このような終了指示がHMD2から送信されてこない場合、ステップS7においてNOであると判定されて、処理はステップS2に戻され、それ以降の処理が繰り返される。
これに対して、終了指示がHMD2から送信されてきた場合、ステップS7においてYESであると判定されて、表示画像生成処理は終了となる。
しかしながら、上述の3Dオブジェクト等を構成する各種レイヤーを時間情報(例えば所定の期間)と紐付けることで、関係者Uが視認し得る仮想空間上の3Dオブジェクト及び、文書データ、画像及びその他のデータを決定してもよい。
以下、タイムスライダー機能を構成するデータの処理方法について、上述の第1実施形態とは異なる処理方法を採用した第2実施形態について説明する。なお、レイヤーとは、「3Dオブジェクト(3Dホログラムを含む)」、「文書データ」等、仮想空間上に配置し得る各種情報を構成する最小単位であり、例えば、橋の鉄橋部分等である。
ここで、所定の期間とは、例えば、時刻t1から時刻t5までの一定の期間を示しており、例えば、時刻t1の1時点を示すものではない。
他方、表の5段目を見ると、レイヤーb5についての情報が表示されている。レイヤーb5は、例えば、建設現場で作業員に利用される「足場」である。このレイヤーb5は、時刻t2乃至時刻t4の期間が指定されている。つまりレイヤーb5は、t2の時点で建設のための足場として仮想空間上に表示され、時刻t4、即ち橋の完成時点においては表示されないことを示している。実際の建設現場において、橋の完成段階においては、足場は完全に撤去されることになるためである。
図10は、各期間において表示されるレイヤーとの関係を説明するための図である。
例えば、時刻t1から時刻t2までの期間においては、レイヤーb1及びレイヤーb2が夫々単独で表示されている。つまり、時刻t1から時刻t2の期間の建設工程では、橋の脚部分のみが建設されている予定であることを示している。関係者Uは、時刻t1から時刻t2の期間の建設状況を確認したい場合には、当該期間の建設現場の画像を選択して表示させることができる。
この点、図9を参照して上述したように、例えば、レイヤーb5(建造用の足場)については、建設途中でのみ利用され、完成時には撤去されるのが通常である。図10を見ると、レイヤーb5は、時刻t2から時刻t3及び時刻t3から時刻t4の期間においてのみ表示されている。
つまり、レイヤーb5は、時刻t2の時点で設置され、時刻t4の時点で撤去されるということを意味している。
即ち、関係者Uは、「指定された任意の時間軸」における建設予定の3Dオブジェクトの視認が可能となるため、いわば過去、未来を自由に行き来する(タイムスライドする)ことができる。
さらに例えば、関係者Uは、横方向の時間軸(タイムライン)上において、縦方向の時間軸(タイムスライダー)をスライドさせることができ、任意の時間軸(例えば期間)における建設予定の3Dオブジェクトの画像(又は建設現場の画像)を視認することができる。
即ち、建設予定の3Dオブジェクト等の画像を表示させるような場合、従来では、通常、所定の1時刻(時点)のデータを処理、表示していた。これに対して、タイムスライダー機能では、各レイヤーの時間軸をライン(期間)となるように処理、表示することも出来るため、時間属性として、結合、連続性を有している。
即ち、
(1)従来技術においては、各レイヤーを時間属性として1時点(例えば最新の時点)しか定義できなかったのに対して、各レイヤーに時間属性として時間軸(例えば期間)を定義することができる。
(2)各レイヤーについて時間軸(期間)を定義することができるため、指定された任意の時点毎に3Dデータを作成することなく、指定された任意の時間軸における3次元データを構築することができる。
(3)(2)のように構築した各レイヤーを表示媒体(例えば図6の表示部36)で表示させることができる。
(4)(2)において指定された任意の時間軸によって、自由にタイムスライドできる4次元データ(空間情報+時間情報)を処理することができる。
(5)(4)で処理された4次元(空間情報+時間情報)を表示媒体(例えば図6の表示部36)で表示させることができる。
(6)さらに2次元データ(例えば文書データ)等をさらに紐付けて、表示させることもできる。
この「TOPメニュー」から遷移可能なメニューとしては、次の5つのメニューが用意されている。即ち、計画メニュー、設計変更メニュー、検査メニュー、メンテナンスメニュー、及びコミュニケーションメニューが用意されている。
即ち、上述の実施形態では、仮想空間の変化の方向は、時間軸の方向であったが、特にこれに限定されず、任意の軸の方向を採用することができる。
例えば、各会社を示す軸(以下、「会社軸」と呼ぶ)を定義し、この会社軸の各座標に各会社を対応させることができる。関係者Uは、この会社軸の各座標の指定を任意にできるならば、指定された座標が示す会社が建設する橋等の建造物の3Dオブジェクトを視認することができる。つまり、例えば、複数の会社のコンペで、橋等の建造物の建設担当会社が決められるならば、そのコンペに参加する複数の会社の夫々が設計した橋等の建造物を見比べることが可能になる。
さらに、関係者Uが指定可能な軸は、1つに限定されず、複数の軸を指定することもできる。例えば、会社軸と時間軸の2つの指定が可能ならば、関係者Uは、施工工程毎に、複数の会社の建設途中の夫々の状態を見比べることもできるようになる。
即ち、本発明が適用される情報処理装置は、
n次元(nは2以上の整数値)のうち少なくとも1以上の次元の方向(例えば時間軸の方向や会社軸の方向)に状態が変化する実物体(例えば橋等)に対応する3Dオブジェクトを、3次元の仮想空間に配置させる配置手段(例えば図7のオブジェクト配置部101)と、
前記n次元のうち、状態が変化する次元の座標(例えば時間軸の座標は、指定時刻)を取得する座標取得手段(例えば時間軸の場合には図7の時間情報取得部100)と、
取得された前記次元の前記座標における状態の前記実物体に対応する3Dオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点から視認し得る画像のデータを生成する画像生成手段(例えば図7の表示画像生成部105)と、
を備える情報処理装置。
これにより、関係者Uは、建設事業に詳しくなくても施工工程が直感的に理解することが期待できる。
以降、図11乃至図25を参照しつつ、本サービスの提供者が採用可能な各機能の夫々について、説明していく。
なお、「TOPメニュー」とは、例えば、仮想空間上で表示されるオブジェクト(3Dモデルとも呼ぶ)の初期画面をいう。
なお、関係者Ubは、建設予定の建造物の3Dオブジェクトの他に、検査対象物でないものを支援オブジェクトとして、例えば、建設に利用されるフォークリフト等を投影し得るものとしてもよい。
図11に示すb状況では、関係者Ubが橋の左右に移動したような場合の例が示されている。
つまり、関係者Ubは、自らが移動して視認する立ち位置を変更することで、建設予定の建造物を様々な距離や角度から視認することができる。即ち、関係者Ubは、建設現場を移動したいとき、より正確には建設現場に対応する仮想空間内を移動したいときに、自身が実際に移動することで、図6に表すHMD2bのセンサ部37が、その情報を検知して、仮想空間内での立ち位置を変更することができる。
他方、図11に示すc状況では、関係者Ubは自らが移動することなく、建設予定の建造物を見やすい位置に移動して表示させてもよい。
即ち、関係者Ubは、図11に示すb状況の場合と異なり、自ら移動して、立ち位置を変更する場合の他に、自らが移動することなく当該建造物自体を任意の場所に移動して表示させることで、様々な作業段階における建造物を様々な距離や角度から視認して、確認することができる。
本実施形態では、関係者Ubが、コントローラ3bを操作して施工工程を指定しつつ、所望の立ち位置で、所望の方向を向いた時に見える建設予定の建造物を含む建設現場の景色(その景色を写した写真)を視認することができる。
ただし、関係者Ubは、必ずしもコントローラ3bを使用して、「立ち位置」や「視線の方向(所定方向)」を決定する必要はない。例えば、HMD2bのセンサ部37が、関係者Ubの動きを検知して、関係者Ubの「立ち位置」や「視線の方向(所定方向)」を決定しても良い。
さらに、図11に示すd状況では、複数人の関係者が建設予定の建造物を視認する場合の例が示されている。つまり、図11に示すd状況で示されるように、関係者Ua及び関係者Ubは、同一の建設予定の建造物を視認することができる。ただし、関係者Ua及び関係者Ubは、同一の時間軸の建設予定の建造物を選択しなくてもよい。即ち、関係者Ua及び関係者Ubの夫々は、異なる作業段階の建設予定の建造物を選択して、視認することができてもよい。
さらに言えば、関係者Ua及び関係者Ubは、同一の建設予定の建造物を選択しなくてもよい。即ち、例えば、関係者Uaは、他の建設予定の建造物(他の橋等)を視認してもよい。
具体的に例えば、図12に示すa機能の例では、図示せぬ関係者Uにより「11月1日」の施工日Tが選択されている。そして、図示せぬ関係者Uは、タイムスライダーTで選択された施工段階に対応する建設予定の建造物、工程表及び施工計画等やそれに関する施工計画書等を確認することができる。
そして、図12に示すa機能の例では、「11月1日」のタイムスライダーTでの建設予定の建造物の状況が、図12に示すa機能の上部に表示されている。
また、図12に示すb機能の例では、この「11月1日」のタイムスライダーTにおける建設予定の建造物の施工状況を、図示せぬ関係者Uが任意の場所から視認する場合の例が示されている。
即ち、図示せぬ関係者Uは、例えば、画像に表示された人型のアイコンPを操作することで、仮想空間上での自身の立ち位置を決定することができる。
これにより、建設予定の建造物が大きく、自身が確認したい場所に移動して、実際に確認するのが難しいような場合であっても、容易に建設予定の建造物を確認することができる。
具体的には、例えば、図12に示すc機能に示すように、鉄筋周りの作業体験やシートパイル内での作業の確認が挙げられる。
即ち、図13に示すd機能を見ると、関係者Ubは、実物大の3Dオブジェクトを表示しつつ、3Dオブジェクト上の表示位置を微調整できる。図13に示すe機能に示すように、実物大の3Dオブジェクトと現実の人との接触をハイライトや音で分かるようにすることができる。図13に示すf機能に示すように、実物大の建機等を配置し工事作業をシミュレーションすることができる。
具体的には、例えば、関係者Uは、建設作業の開始前等に実物大の橋を視認して事前に検討を行うことで、鉄筋の網目に腕が通らずに作業ができないというような実際の建設作業時に生じ得る問題を、予め顕在化することができる。
つまり、関係者Uは、上述の各種機能を利用することで、より施工工程を直感的に理解しやすくなるため、仮に、関係者Uが建設作業に詳しくないような場合であっても、施工前に必要な建設工程の修正を依頼しやすくなる。
そのため、建設作業における、コストの削減、工期の短縮、安全性の向上等が期待でき、結果として、顧客満足度の向上が期待される。
図14に示すa状況では、関係者Uaと関係者Ubが、仮想空間上で建設予定の3Dオブジェクトを視認しながら議論している状況が示されている。
具体的には、図14に示すa状況では、関係者Uaと関係者Ubは、同一の3Dオブジェクトについて、夫々の希望する「立ち位置」及び「角度」から視認することができる。
つまり、当該建設事業の関係者U(発注者、コンサルタント、受注者等)は、同一の3Dオブジェクト(及び関連するデータ)を参照しながら、建設作業の各工程で生じ得る問題を予想して、「設計変更の必要があるか」、ある場合には「どのように変更するか」を議論しながら、当該3Dオブジェクトの建設作業の各工程の適否について検討することができる。
また例えば、予め複数の建設作業の工程のパターンが想定されるような場合等には、各建設作業の工程について、コスト、スケジュール、安全性等をシミュレーションした結果を確認することもできる。
次に、図14に示すb状況は、仮想空間上において、3Dオブジェクトを拡大又は縮小する場合の例を示している。
即ち、図示せぬ関係者Uは、仮想空間上で建設予定の3Dオブジェクトを、例えば、1/400倍、1/200倍、1/100倍、1/50倍、1/25倍、2倍等の倍率で拡大若しくは縮小した3Dオブジェクトを視認することもできる。
具体的に例えば、大型の建造物の場合、設計時に地質調査等を行うが、施工を始めてから設計時の想定とは異なることが判明することがある。また、これらの機能は、例えば、円滑なコミュニケーションのため、当該建設事業の関係者(発注者、コンサルタント、受注者等)が一堂に会し、意見交換を行う工事円滑化推進会議等においても十分に貢献できる。
図15に示すa機能を見ると、新しい図面データをもとに3Dオブジェクトを更新できる。変更箇所の設計図がハイライト等で判別できる。なお、図面上の変更箇所は原寸大で確認できるとよい。
つまり、例えば、上述の図14の場合のように、当該建設事業の関係者U(発注者、コンサルタント、受注者等)が意見交換を行った結果として、設計変更が必要だと判断した場合、設計変更に対応した新たな3Dオブジェクトを視認して、確認することができる。
さらに、図15に示すb機能を見ると、上述の設計変更を行った場合に、設計変更前のコスト及び設計変更後のコスト、設計変更前の工期及び設計変更後の工期が表示されている。
つまり、例えば、図示せぬ関係者Uは、上述の設計変更前後のコストや工期等を確認することができる。また、図示せぬ関係者Uは、コストや工期の他にも、例えば、スケジュールや安全性等についても確認できるものとしてもよい。
換言すれば、当該建設事業の関係者U(発注者、コンサルタント、受注者等)は、同じデータを共有し、かつ3Dオブジェクト(3Dモデル)で直感的な表現を行うことで、コミュニケーションの円滑化や、生産性の向上が期待できる。
この点、メンテナンスの担当者が、上述の情報処理システムを利用すれば、メンテナンス時の点検データだけでなく、施工時の実績データを含んで取得することができるため、より多くの情報をもとに正確な判断を下すことができるようになる。
具体的には、メンテナンス担当者は、図16に示すa状況で示すように、自身の点検したい日付をタイムスライダーTとして選択し、選択した点検データを参照することができる。図16に示すa状況の例では、点検したい日付として2016年6月頃が選択されている。
ここで、メンテナンス担当者が参照できる点検データとは、例えば、チェックリスト、写真、ドローン映像、3Dスキャンデータ等である。
つまり、図16に示すa状況の例では、メンテナンス担当者は、2016年7月頃に行われたメンテナンスで使用されたチェックリスト等を参照して、当該メンテナンスでどのようなメンテナンスが行われていたかを把握して、自身のメンテナンスについての判断を下すことができる。
また、図16に示すb状況を見ると、点検したい日付として2015年9月頃が選択されている。なお、この時メンテナンス担当者が参照できるデータは、例えば、確認書、出来形、写真等で構成された段階確認結果書類(データ)がある。
つまり、図16に示すb状況の例では、メンテナンス担当者は、2015年9月頃の時点における施工時の各種データ(確認書、出来形、写真等)を参照して、自身のメンテナンスについての判断を下すことができるのである。
また、メンテナンス担当者が、建築される実物体に足場等を設けることなく、現地に赴くことなく遠隔地からメンテナンス(維持管理、診断管理)を行うことができるので、1人の担当者でより多くの現場を担当することができるため、生産性の向上が期待できる。
即ち、本発明の一実施形態に係る情報処理システムを利用することで、関係者Uaと関係者Ubは、離れた場所にいる場合であっても、夫々の場所で同一の3Dオブジェクトを視認して、互いに建設現場のイメージを共有することができる。
具体的には、関係者Ua(例えば、外出先にいる営業担当者)と関係者Ub(例えば、現場にいる現場監督)は、夫々の場所で建設予定の3Dオブジェクトを視認しながら、互いにコミュニケーションを図ることで、実際の建設現場での作業やその工程について具体的にイメージの共有を図ることができる。
さらに言えば、このような複数の関係者が遠隔地で設計図等を見ながら、視認している3Dオブジェクトの特定箇所をマーキング等で指示しながら会話を行うというようなことも可能となる。
コミュニケーションメニューは、例えば、HMD2を利用している関係者Uaや関係者Ubが、仮想空間内に配置されている3Dオブジェクト等を、共通して視認しつつ、工事の施工状況や施工方針について検討するような場合に利用される。
具体的に説明すると、例えば、関係者Uaと関係者Ubは、互いに直接的コミュニケーションをとることができない範囲に存在するとする。
このような場合、例えば、互いに夫々のHMD2を利用して、3Dオブジェクトを視認することは可能である。しかしながら、例えば、関係者Uaと関係者Ubが、対象物の中の一領域の状況について議論をしようとする場合、相手が3Dオブジェクトのどの部分について議論をしようとしているのかを正確に把握しなければ、議論を行うことは難しい。
そこで、本実施形態におけるコミュニケーションメニューは、各関係者が円滑にコミュニケーションを図るための機能として、アバター配置機能を採用する。
このアバター配置機能は、コミュニケーションメニューに関連する機能のうち最も重要な機能のうちの1つである。アバター配置機能では、例えば、関係者Uaが装着するHMD2において、他の関係者(例えば関係者Ub)の仮想空間内における位置や角度に対応する人型のオブジェクト(以下、「アバター」と呼ぶ)を仮想空間内に配置する。
つまり、関係者Uaは、このアバタ―機能により、関係者Ubの仮想空間内における位置や角度を視覚的に把握することができるので、よりスムーズに関係者Ubとコミュニケーションをとることができるのである。
なお、HMD2が仮想空間内にアバターを配置するための具体的な方法や処理については、図18等を参照しつつ後述する。また、このHMD2が、仮想空間内に配置し、それを表示部36に表示される一連の処理を合わせてアバタ―配置処理と呼ぶ、このアバタ―配置処理についても、図18等を参照しつつ後述する。
マイクロフォンは、外部の音声を入力し、電気的な信号(このような信号を以下、「音声情報」と呼ぶ)に変換してCPU31の処理部303に供給する。
ヘッドフォンは、CPU31の処理部303から供給された音声情報を、関係者Uaや関係者Ub等の耳(鼓膜)に近接した発音体(スピーカ等)を用いて音声に変換する。
記憶部38においては、3次元データDB401と、文書データDB402と、時間属性定義DB403とが設けられている。
離れた場所に夫々存在する関係者Uaと関係者Ubとの間で会話を成立させるためには、関係者Uaと関係者Ubとは、図18に示す機能的構成を有するHMD2を夫々装着している必要がある。
ここでは、説明の便宜上、関係者Uaに装着されたHMD2側の構成及び処理について説明する。当然ながら関係者Ubに装着されたHMD2についても、以下の説明と同様の構成及び処理が実現される。
当該音声情報は、サーバ1からネットワークNを介して関係者Ubに装着されたHMD2に送信される。これにより、関係者Ubは、当該HMD2から出力される、当該音声情報に対応する音声、即ち、関係者Uaが発した音声を聴くことができる。
処理部303は、当該音声情報を通信部39において受信させ、各種処理を施したうえ、音声入出力部42に供給する。これにより、関係者Uaは、音声入出力部42から出力される、当該音声情報に対応する音声、即ち、関係者Ubが発した音声を聴くことができる。
即ち、処理部303による画像に関する処理(詳細については、後述する)が実行されると、会話の相手(例えば関係者Uaの立場では関係者Ub)のアバターが、仮想空間内の存在位置(実空間の所定場所に対応する位置)に配置されているように、HMD2を装着した人(例えば関係者Ua)に視認される。即ち、そのように視認されるような画像が、表示部36に表示される。
この場合、処理部303は、仮想空間内において、音声の発生元が当該アバターの存在位置であるとして、当該音声の発生元と、音声の送信先(HMD2を装着した人、例えば関係者Ua)との位置関係を元に音声出力のバランスを調整する処理を、音声情報に対して施す。これにより、例えば仮想空間内において、音声の送信先(HMD2を装着した人、例えば関係者Ua)の右側にアバターが存在する場合、当該アバターが発話した音声(実際には、例えば関係者Ub等の会話の相手が離れた場所で発話した音声)が、音声入出力部42の右側のスピーカから出力されて、音声の送信先の右の耳から聴聞できるようになる。
画像に関する処理とは、上述の図7を用いて説明した表示画像生成処理に対応する処理である。表示画像生成処理は、サーバ1側で実行されるものとして説明したが、必ずしもサーバ1側で全て実行される必要はない。そこで、ここでは、表示画像生成処理は、HMD2側で実行されると仮定して、以下の説明を行う。
即ち、表示画像に関する処理として、例えば、上述の表示画像生成処理を基盤とする次のような処理が処理部303により実行される。
即ち、3次元データDB401は、図7のオブジェクトDB500に対応するものである。ここでは、図9や図10で説明したように、3Dオブジェクトは、各レイヤーに区分されて、時間情報(所定の期間)と紐付けられている。
文書データDB402は、段階確認結果書類や、マルチウィンドウに表示される検査書類、その他各種書類のデータ(以下、これらをまとめて「文書データ」と呼ぶ)を格納している。
時間属性定義DB403は、3Dオブジェクトの各レイヤーと、時間情報との対応付け等を含む時間属性定義の情報を格納している。
換言すると、記憶部38は、3Dオブジェクト(3Dモデル)を3次元データDB401に、文書データ(2次元)を文書データDB402に、時間属性定義(4次元)の情報を時間属性定義DB403に、夫々格納している。
ここで、3Dオブジェクト(3Dモデル)については、最小モデル単位がレイヤーとされている。文書データについては、ファイル単位がレイヤーとされている。
そして、各レイヤーに対して、開始時刻と終了時刻により表される時間軸(期間)が、時間属性として定義される。これらの各レイヤー毎の定義の内容が、時間属性定義の情報とされている。
処理部303は、仮想空間を構築し、上述の3Dオブジェクトを配置させる。
処理部303は、この仮想空間内に、3Dオブジェクトの他、上述のタイムスライダーT等各種各様な情報を配置させる。
具体的には例えば、処理部303は、リモート環境下における仮想空間上にアバターを配置するため、次のような処理を実行する。
即ち、関係者Ub等の会話の相手のHMD2においては、存在位置を示す情報や当該存在位置における視点を特定するための情報、即ち、基準点からの位置、基準点からの高さ、首の傾き、視線等の情報が、アバター情報として取得されて、サーバ1に送信される。
ここで、基準点とは、関係者Uが装着するHMD2の仮想空間におけるアバターや3Dオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。
処理部303は、このアバター情報がサーバ1から送信されてくるので、通信部39を介して取得する。処理部303は、このアバター情報に基づいて、関係者Ub等の会話の相手のアバターを仮想空間内に配置させる。
ここで、関係者Ub等の会話の相手のHMD2においても、仮想空間が構築されているので、当該仮想空間内に、HMD2が装着された者(関係者Ua等)のアバターを配置させる必要がある。そこで、処理部303は、センサ部37からの情報等に基づいて、HMD2が装着された者(関係者Ua等)のアバター情報を生成し、通信部39を介してサーバ1に送信させる。
ここで、指定時間情報は、例えば、図示しないコントローラ3による操作のほか、サーバ1や、他のHMD2から、取得されてもよい。
さらに言えば、例えば、関係者Uaと関係者Ubが取得される指定時間情報は、同一であってもよいし、必ずしも同一でなくともよい。関係者Uaと関係者Ubに同一の指定時間情報を取得させる場合、例えば、マスタユーザ(例えば関係者Ua)と従属ユーザ(例えば関係者Ub)を予め決めておき、マスタユーザのHMD2で取得された指定時間情報を、従属ユーザのHMD2でも取得されるものとしてもよい。
なお、表示制御部301は、表示部36に表示するアバタ―について、単に表示する制御を実行するだけでなく、以下のように表示する制御を実行してもよい。
具体的に例えば、表示制御部301は、音声を発している関係者に対応するアバタ―を点滅して表示する制御を実行してもよい。
また、表示制御部301は、各関係者の氏名を、夫々の関係者に対応するアバタ―の頭上に表示する制御を実行してもよい。
また、例えば、表示制御部301は、各関係者の首の動きに連動してアバタ―の首を動かす制御を実行してもよい。
ここで、「ローカル」とは、受信者及び送信者が直接コミュニケーションできる範囲に存在する場合をいう。具体的に例えば、受信者及び送信者が同じ会議室でHMD2を利用して会議を行っているような場合である。
「リモート」とは、受信者及び送信者が直接コミュニケーションできる範囲に存在しない場合をいう。具体的に例えば、遠隔地(東京と大阪等)で互いにHMD2を利用して会議を行っている場合である。
また、送信者とは、センサ部37等で取得されたアバター情報等を送信する者をいい、受信者とは、送信者により受信されたアバター情報等を取得する者をいう。
図19に示すように、例えば、最上段の欄には、左から「ユーザの関係 送信者―受信者」、「位置」、「高さ」、「音声」、「操作」、「アバター表示」が表示されている。
最上段の「ユーザの関係 送信者―受信者」は、送信者と受信者の関係を示している。
具体的に例えば、左側が送信者を示し、右側が受信者を示しており、「ローカル―ローカル」は、送信者、受信者の両者がローカル環境にいる場合である。
また、最上段の「位置」は、送信者側が装着するHMD2のセンサ部37で取得された基準点からの位置に関する情報である。
また、最上段の「高さ」は、送信者側が装着するHMD2のセンサ部37で取得された基準点からの高さに関する情報である。
また、最上段の「音声」は、送信者側が装着するHMD2の音声入出力部42で取得された音声情報である。
また、最上段の「操作」とは、例えば、送信者側のコントローラ3等によるタイムスライダー機能を用いた3Dオブジェクトを配置させるための時間情報の操作に関する情報(以下、「操作情報」という)である。
また、最上段の「アバター表示」は、送信者側のアバターを受信者に対して表示、即ち、アバターの配置をすることである。
ここで、「○」は、「位置」、「高さ」、「操作」の場合、送信者が上述の情報を送信すること、「音声」、「アバター表示」の場合、音声の出力、アバターの配置をすることを意味する。「×」は、「位置」、「高さ」、「操作」の場合、送信者が上述の情報を送信しないこと、「音声」、「アバター表示」の場合、音声の出力、アバターの配置をしないことを意味する。
(1)「ローカル―ローカル」の場合について。
送信者1名と1名以上の受信者の両者が共にローカル環境に存在する場合は、「位置」、「高さ」、「操作」の欄が「○」となっており、送信者は、基準点からの位置、高さに関する情報、操作情報を送信する。一方、「音声」、及び「アバター表示」の欄は、「×」となっており、音声情報の出力、アバターの配置を受信者に対して行わない。
これは、発信者と受信者が共にローカル環境に存在するため、発信者は、基準点からの位置、高さに関する情報を送信するものの、アバターを配置する必要がないからである。また、音声情報についても、発信者と受信者が共にローカル環境に存在するため、音声情報を受信者へ送信するものの、出力する必要はないためである。
これにより、(1)の場合、受信者が装着するHMD2には、3Dオブジェクトが配置され、送信者のアバターは配置されない。
(2)「リモート―ローカル」の場合について。
送信者1名がリモート環境に存在して、他方、1名以上の受信者がローカル環境に存在する場合は、「位置」、「高さ」、「音声」、「操作」及び「アバター表示」が「○」となっている。即ち、送信者が、基準点からの位置、高さに関する情報、音声情報、操作情報の送信、アバターの配置を受信者に対して行う。これにより、(2)の場合、受信者が装着するHMD2には、3Dオブジェクト及び送信者の音声の出力やアバターが配置される。
(3)「ローカル―リモート」の場合について。
送信者1名がローカル環境に存在して、他方、1名以上の受信者がリモート環境に存在する場合も、「位置」、「高さ」、「音声」、「操作」及び「アバター表示」が「○」となっている。即ち、上記(2)と同様に、送信者が上述の各種情報を受信者に対して送信、アバターの配置を行う。これにより、(3)の場合、(2)と同様、受信者が装着するHMD2には、3Dオブジェクト及び送信者の音声の出力やアバターが配置される。
ここで、説明の便宜上、関係者Uaが装着するHMD2をHMD2−a、関係者Ubが装着するHMD2をHMD2−bとして説明する。
図20に示すa状況では、関係者Uaは、上述の所定の空間で、関係者Uaが装着するHMD2−aの表示部36で表示される仮想空間上で3Dオブジェクトを視認できる。
ここで、図20に示すa状況における基準点Aは、関係者Uaが装着するHMD2−aの仮想空間におけるアバターや3Dオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。そして、関係者Uaが基準点Aを設定することで、仮想空間上で基準点Aは固定されるので、図20に示すa状況において、既存の技術では、基準点Aを中心に、3Dオブジェクトを配置することができる。
ここで、基準点Aの設定方法については、特に限定されず、具体的に例えば、関係者Uaは、ここでは図示しないコントローラ3等を用いて、仮想空間上で3Dオブジェクトを配置したい任意の位置を基準点として設定してもよい。
これにより、関係者Uaは、3Dオブジェクトを視認する際に、部屋の狭さ、広さに関係なく任意の位置を基準点として設定できるので、自分の見やすい位置に3Dオブジェクト等の配置が可能となる。
また、同様に、図20に示すb状況において、ここでは、例えば、関係者Ubは、大阪支社のオフィス等の、関係者Uaとは異なる所定の空間(以下、「遠隔地」と呼ぶ)に存在する。
図20に示すb状況では、関係者Ubは、例えば、上述の遠隔地で、関係者Ubが装着するHMD2−bの表示部36で表示される仮想空間上で3Dオブジェクトを視認できる。
ここで、図20に示すb状況では、基準点A´は、基準点Aと同様に、関係者Ubが装着するHMD2−bの仮想空間におけるアバターや3Dオブジェクトの配置の位置や情報を把握するための基準となる仮想空間上の基準の点である。そして、関係者Ubが基準点A´を設定することで、仮想空間上で基準点A´は固定されるので、図20に示すb状況において、既存の技術では、基準点A´を中心に、3Dオブジェクトを配置することができる。基準点A´の設定方法については、基準点Aの設定方法と同様の方法で、関係者Ubが設定を行うことができる。
これにより、関係者Ubは、3Dオブジェクトを視認する際に、部屋の狭さ、広さに関係なく任意の位置を基準点として設定できるので、自分の見やすい位置に3Dオブジェクト等の配置が可能となる。
また、図20に示すc状況において、ここでは、例えば、関係者Ua及び関係者Ubが同一の所定の空間に存在する。
そして、図20に示すc状況において、関係者Ua及び関係者Ubが夫々装着するHMD2−a及び2−bの表示部36で表示される仮想空間上で3Dオブジェクトを視認できる。
ここで、例えば、関係者Uaが装着するHMD2−a又は関係者Ubが装着するHMD2−bは、関係者Uaが設定した基準点Aと、関係者Ubが設定した基準点A´を同じ位置にすることができる。
これにより、既存の技術において、関係者Uaが設定した基準点Aと、関係者Ubが設定した基準点A´を同じ位置にすることで、当該基準点Aからの方向、距離を既存の技術のデバイスが認識し、同一の仮想空間上に3Dオブジェクト等の配置が可能となる。
これにより、図20に示すc状況において、関係者Ua及び関係者Ubが夫々装着するHMD2−a及び2−bの仮想空間上に同一の3Dオブジェクトを配置して、関係者Uaは、当該3Dオブジェクトを、正面から視認することができ、関係者Ubは、当該3Dオブジェクトを、裏面から視認することができる。
また、関係者Ua及び関係者Ubは、同一の仮想空間を共有することで同一の3Dオブジェクトを配置して、コミュニケーションを図ることができる。
図21は、既存の技術による同一空間における関係者の移動に関する図である。
また、関係者Ua及び関係者Ubが夫々移動した場合でも上述の設定された基準点Aは固定されているため、固定された基準点Aに基づいて3Dオブジェクトが配置される。よって、関係者Ua及び関係者Ubは、自らが移動することで、同一の仮想空間上で同一の3Dオブジェクト等を様々な位置、角度で視認することができる。
リモートコミュニケーションとは、複数の関係者Uが夫々離れた距離にいる場合に、HMD2を用いてサーバ1を介して複数人夫々で同一仮想空間内にて3Dオブジェクト、アバター等を配置させて会話、会議等を行うことである。
例えば、建設業務には、多数の関係者Uが関わっている。そのため、多数の関係者Uが作業工程等の認識の共有化を行うことは非常に重要である。そこで、上述のリモートコミュニケーションを用いて複数の関係者Uが同一の3Dオブジェクト等を仮想空間上で同時に参照、操作等を行いながら、工程毎の詳細な打ち合わせの他、現場の安全性の確認等が行える。
また、例えば関係者Uaは、遠隔地に存在する関係者UbともネットワークNを介し、同一の3Dオブジェクト等を配置しながら、お互いの位置や目線などを認識しながら会話、会議等を行うことができる。
なお、関係者Uaは、遠隔地に存在する関係者Ubを仮想空間上にアバターUb´として配置させることで、より現実に近いコミュニケーションが可能となる。
そのため、関係者Uaは、関係者Uaが装着するHMD2−aの仮想空間上で、3Dオブジェクト、遠隔地に存在する関係者UbをアバターUb´として視認する。
図22の例では、関係者Uaが視認する3Dオブジェクト及び関係者UbのアバターUb´について説明する。
具体的に例えば、関係者Uaは、自らが移動しながら仮想空間上に表示された3Dオブジェクト、関係者UbのアバターUb´を視認することができる。また、関係者Ubが装着するHMD2−bは、この関係者Ubの動きに対応した関係者Ubのアバター情報(基準点Aからの位置や角度等)をセンサ部37を介して取得する。そして取得された関係者Ubのアバター情報を関係者Uaが装着するHMD2−aに送信する。
関係者Uaが装着するHMD2−aは、この関係者Ubのアバター情報を取得して、その情報に基づいて、関係者Ubに対応するアバターUb´を配置(又は再配置)して、表示部36に表示する。
つまり、このようなやりとりを行うことで、関係者Ua及び関係者Ubは、自身が装着する夫々のHMD2−a及び2−bにおいて、3Dオブジェクトからの位置関係等を反映したアバターUa´及びUb´を視認することができるので、関係者Uaと関係者Ubとが直接コミュニケーションをとることができないような離れた空間に夫々存在した場合であっても、ネットワークNを通じて、同一の仮想空間内おいて、互いに連動した表現が可能となる。なお、図23のについても同様である。
そのため、関係者Ubは、関係者Ubが装着するHMD2−bの仮想空間上で、3Dオブジェクト、東京本社のオフィス等に存在する関係者UaをアバターUa´として視認する。
図23の例では、図22の例とは異なり、関係者Ubが視認する3Dオブジェクト及び関係者UaのアバターUa´について説明する。
具体的に例えば、図22と同様に、関係者Ubは、自らが移動しながら仮想空間上に表示された3Dオブジェクト、関係者UaのアバターUa´を視認することができる。また、関係者Uaが装着するHMD2−aは、この関係者Uaの動きに対応した関係者Uaのアバター情報をセンサ部37を介して取得する。そして取得されたアバター情報を関係者Ubが装着するHMD2−bに送信する。
関係者Ubが装着するHMD2−bは、この関係者Uaのアバター情報を取得して、その情報に基づいて、関係者Uaに対応するアバターUa´を配置(又は再配置)して、表示部36に表示することができる。
ここでは、アバターの音声発信者認識について、説明の便宜上、関係者Uを関係者Ua、関係者Ub及び関係者Ucの3名で説明を行う。
また、関係者Uaが装着するHMD2をHMD2−a、関係者Ubが装着するHMD2をHMD2−b、関係者Ucが装着するHMD2をHMD2−cとして説明する。
そこで、HMD2−a、HMD2−b、及びHMD2−cの夫々は、これらの交換情報に基づいて、次のような処理を行っている。
この場合、関係者Ua、関係者Ub及び関係者Ucの夫々は、実際の人物の存在を認識することができる。そこで、関係者Ua乃至Ucの夫々に装着される各HMD2−a乃至2−cは、音声を出力せず、また、仮想空間上にアバターを配置させないようにすることができる。
仮想空間上のアバターの配置、音声の出力の有無について説明する。
そこで、例えば関係者Uaが装着するHMD2−aは、上述の現在位置の情報に加えて、アバター情報や音声情報等を交換情報として、サーバ1を介して、HMD2−b、2−cの夫々に送信する。
同様に、HMD2−bは、交換情報を、サーバ1を介してHMD2−a、2−cの夫々に送信する。HMD2−cは、交換情報を、サーバ1を介してHMD2−a、2−bの夫々に送信する。
このようにして、サーバ1は、各HMD2−a乃至2−cの夫々の交換情報を取得することができるので、例えば各HMD2−a乃至2−cの夫々の存在位置の情報に基づいて、関係者Ua、関係者Ub及び関係者Ucが一定の範囲内に存在すると判断する。即ち、サーバ1は、例えば、図19に示す(1)「ローカル―ローカル」の場合と判断する。
そのため、関係者Uaが装着するHMD2−aは、HMD2−b及び2−cからの交換情報(音声情報やアバター情報等)を受信しているものの、関係者Ub及び関係者Ucの夫々の音声出力をせず、また、関係者UbのアバターUb´及び関係者UcのアバターUc´の配置をしない。
これにより、関係者Uaが装着するHMD2−aの表示部36に表示される仮想空間には、3Dオブジェクト等は配置されるが、関係者UbのアバターUb´及び関係者UcのアバターUc´は配置されず、音声入出力部42から関係者Ub及び関係者Ucの音声の出力もされない。
同様に、関係者Ubが装着するHMD2−bは、HMD2−a及び2−cからの交換情報(音声情報やアバター情報等)を受信しているものの、関係者Ua及び関係者Ucの夫々の音声出力をせず、また、関係者UaのアバターUa´及び関係者UcのアバターUc´の配置をしない。
これにより、関係者Ubが装着するHMD2−bの表示部36に表示される仮想空間には、3Dオブジェクト等は配置されるが、関係者UaのアバターUa´及び関係者UcのアバターUc´は配置されず、音声入出力部42から関係者Ua及び関係者Ucの音声の出力もされない。
同様に、関係者Ucが装着するHMD2−cは、HMD2−a及び2−bからの交換情報(音声情報やアバター情報等)を受信しているものの、関係者Ua及び関係者Ubの夫々の音声出力をせず、また、関係者UaのアバターUa´及び関係者UbのアバターUb´の配置をしない。
これにより、関係者Ucが装着するHMD2−cの表示部36に表示される仮想空間には、3Dオブジェクト等は配置されるが、関係者UaのアバターUa´及び関係者UbのアバターUb´は配置されず、音声入出力部42から関係者Ua及び関係者Ubの音声の出力もされない。
なお、上述の存在位置の情報は、GPS機能に限られず、例えば、ビーコン等の機能による存在位置の取得、送信であってもよい。
そこで、関係者Ua及び関係者Ucの夫々が装着するHMD2−a及びHMD2−cは、関係者Ubの音声を出力し、また、仮想空間上に関係者UbのアバターUb´を配置することができる。また、関係者Ua及び関係者Ucの夫々が装着する各HMD2−a及びHMD2−cは、関係者Ua及び関係者Ucの音声を出力せず、また、仮想空間上に関係者UaのアバターUa´及び関係者UcのアバターUc´を配置させないようにすることができる。
ここで、仮想空間上のアバターの配置、音声の出力の有無について説明する。
例えば関係者Ua及び関係者Ucが装着するHMD2−a及びHMD2−cは、現在位置の情報に加えて、アバター情報や音声情報等を交換情報として、サーバ1を介して、HMD2−bに送信する。
同様に、HMD2−bは、交換情報を、サーバ1を介してHMD2−a、2−cの夫々に送信する。なお、HMD2−aとHMD2−cとの間においても、交換情報を、サーバ1を介して、相互に送信する。
このようにして、サーバ1は、各HMD2−a乃至2−cの夫々の交換情報を取得することができるので、例えば各HMD2−a乃至2−cの夫々の存在位置の情報に基づいて、関係者Ua及び関係者Ucが一定の範囲内に存在し、関係者Ubが関係者Ua及び関係者Ucと一定の範囲外に存在すると判断する。即ち、サーバ1は、関係者Ua及び関係者Ucと、関係者Ubの存在位置について、例えば、図19に示す(2)「リモート―ローカル」、又は(3)「ローカル―リモート」の場合と判断する。
そのため、図24に示すb状況の下側図のように、関係者Ua及び関係者Ucが装着するHMD2−a及びHMD2−cは、HMD2−bからの交換情報(音声情報やアバター情報等)を受信して、関係者Ubの音声を出力し、また、関係者UbのアバターUb´の配置をする。
これにより、関係者Ua及び関係者Ucが装着するHMD2−a及びHMD2−cの表示部36に表示される仮想空間には、3Dオブジェクト等が配置される他、関係者UbのアバターUb´が配置され、音声入出力部42から関係者Ubの音声が出力される。
また、同様に、関係者Ubが装着するHMD2−bは、HMD2−a及びHMD2−cからの交換情報(音声情報やアバター情報等)を受信して、関係者Ua及び関係者Ucの音声を出力し、また、関係者Ua及び関係者UcのアバターUa´及びアバターUc´の配置をする。
これにより、関係者Ubが装着するHMD2−bの表示部36に表示される仮想空間には、3Dオブジェクト等が配置される他、関係者Ua及び関係者UcのアバターUa´及びアバターUc´が配置され、音声入出力部42から関係者Ua及び関係者Ucの音声が出力される。
なお、同一の空間に存在する関係者Ua及び関係者Ucが装着するHMD2−a及びHMD2−cでは、表示部36に表示される仮想空間には、関係者UaのアバターUa´及び関係者UcのアバターUc´は配置されず、音声入出力部42から関係者Ua及び関係者Ucの音声の出力もされない。
ここで、図24に示すc状況の上側図では、リモートコミュニケーションを行う複数の関係者Uの数と、複数の関係者のアバターU´の数は同一である。
例えば関係者Ua乃至Ucの夫々が装着する各HMD2−a乃至2−cは、受信したアバター情報を基に、同一の空間にいない関係者Ua乃至UcのアバターUa´乃至Uc´を仮想空間上に配置する。
即ち、関係者Ua乃至Ucの夫々が装着する各HMD2−a乃至2−cの表示部36で表示される仮想空間上でアバターとして配置され、音声入出力部42から音声が出力されるため、関係者Ua、関係者Ub及び関係者Ucは、同一の空間に存在するかのようにお互いを認識することができる。
また、図24に示すc状況の下側図では、例えば、関係者Ub及び関係者Ucが移動することにより位置が入れ替わった場合、関係者Uaが視認できる仮想空間上の関係者UbのアバターUb´の配置も入れ替わるものである。
つまり、関係者UaのHMD2−aの処理部303は、通信部39を介して移動後の関係者Ubに対応する関係者Ubのアバター情報を取得、当該アバター情報から表示部36で表示される仮想空間上でアバターの配置の位置を変化させることができる。したがって、関係者Ubの移動により関係者UbのアバターUb´の配置の位置が変化する。
これにより、関係者Ub及び関係者Ucが移動し、夫々の位置が変わったとしても、関係者Uaは、夫々の位置が変わったことを認識することができる。
図25に示すように、関係者Uaが装着するHMD2−aの表示部36で表示される仮想空間で配置されるアバターが複数である場合、当該アバターの視認だけでは、関係者Uaは、どの関係者Uが発言したのか特定することは困難である。
そこで、関係者Ubが音声を発する者(以下、「音声発信者」と呼ぶ。)である場合は、例えば、関係者UbのアバターUb´と仮想空間上との境目(際、淵を含む。)をアバターの点滅や色彩等を変化させる。
アバターの点滅や色彩等を変化させる方法として、具体的に例えば、関係者Uaが装着するHMD2−aは、関係者Ubの音声情報を、サーバ1を介して取得し、当該音声情報を取得している間は、関係者UbのアバターUb´を点滅や色彩等を変化させることができる。
即ち、関係者Ubから音声が発せられると、当該音声は、関係者Ubが装着するHMD2−bの音声入出力部42において入力、音声情報に変換されて、関係者Ubの音声を音声情報として取得される。上述の音声情報は、ネットワークN、サーバ1を介して、関係者Uaの装着するHMD2−aの処理部303に送信される。そして、例えば、関係者Uaの装着するHMD2−aの表示制御部301は、音声情報を取得したことを条件として、関係者Ubのアバターを点滅等させるための制御をする。そして、上述の関係者Ubのアバターを関係者UaのHMD2−aの表示部36に表示させることができる。
これにより、関係者Uaは、関係者UbのアバターUb´を点滅や色彩が変化していることを視認できるので、関係者Ubが音声発信者であることを特定することができる。
これにより、関係者Uaは、どの関係者Uが発言をしているのか仮想空間のアバターで認識することができ、円滑にコミュニケーションをとることができる。また、アバターにおいて、関係者の氏名、名称等が表示することも可能であり、誰が発言しているのか認識することができ、より円滑にコミュニケーションをとることができる。
図26の例では、東京本社のオフィス等の実空間RA1には、関係者Uaが存在しており、大阪支社のオフィス等の実空間RA2には、関係者Ubと関係者Ucとが存在している。
図26に図示はしないが、関係者Ua乃至Ucの夫々は、HMD2を夫々装着している。サーバ1は、関係者Ua乃至Ucの夫々に装着される各HMD2−a乃至2−cをネットワークNを介して制御する。例えば関係者Uaに装着されるHMD2−aからは、関係者Uaの音声情報とアバター情報が送信されてくるので、サーバ1は、関係者Uaの音声情報とアバター情報を、他の関係者U(図26の例では関係者Ubと関係者Uc)の各HMD2−b及び2−cの夫々に送信する。その他の関係者Ubと関係者Ucの各アバター情報と音声情報も同様に、他の関係者Uの各HMD2に送信される。このようにして、関係者Ua乃至Ucの各アバター情報と各音声情報は、関係者Ua乃至Ucの夫々に装着された各HMD2−a乃至2−cにおいて共有される。
ここで、図26に示すように、共有されるアバター情報は、仮想空間内におけるアバターについての、基準点からの位置(X,Y座標)と、基準点からの高さ(Z座標)と、首の向き(上下左右方向)と、視線(ポインター)とを含む。音声情報は、音声(マイク入力)のデータを含む。
なお、上述の基準点からの位置に関する情報は、例えば、実空間上において予め定められた位置からHMD2までの相対的な距離を座標(X、Y、Z)として表した情報である。具体的には、上述の位置情報は、実空間上の基準点からHMD2までの位置を座標(X、Y)、実空間上の基準点からHMD2までの高さを座標(Z)とする情報である。
即ち、HMD2のセンサ部37部は、実空間上の基準点からHMDまでの相対的な距離(実空間上で取得された座標位置)に基づいて、仮想空間内の上述の座標に対応する位置にアバターを配置する。
また、首の向きは、HMD2のセンサ部37(例えば加速度センサ)によるHMD2の傾きに関する情報である。即ち、センサ部37は、HMD2の夫々を使用する関係者の首が上下左右に傾いた場合、その動きに対応した傾きに関する値を取得する。
図26の例では、実空間RA1に存在する関係者Uaが装着するHMD2−aと、実空間RA2に存在する関係者Ubと関係者Ucが装着するHMD2−b及び2−cの夫々において、上述の各種情報をネットワークNを介して共有することができる。これによりHMD2−a乃至2−cの夫々は、仮想空間内に夫々の関係者の位置等に対応したアバタ―を配置することができる。
図27の例では、図26の例と同様に、実空間RA1に関係者Uaのみが存在し、実空間RA2には関係者Ub及びUcが存在するものとする。
図27を見ると、3Dオブジェクトの相対位置が(x:−1,y:1)、アバターUb´の相対位置が(x:0,y:−3)、アバターUc´の相対位置が(x:3,y:−3)である旨が示されている。
即ち、3Dオブジェクト、アバターUb´、アバターUc´を配置すべき仮想空間内の(設定された基準点からの)位置が、夫々の相対位置であることを示している。ここで、上述の通り、アバターUb´及びアバターUc´を配置すべき仮想空間内の位置は、実空間RA2に存在する関係者Ub及び関係者Ucの(設定された基準点からの)位置に基づいて定められる。
ここで、前提として、関係者Ua乃至Ucが装着するHMD2−a乃至2−cには、基準点からの相対位置が(x:−1,y:1)の位置に3Dオブジェクトが共通して表示される。そして、例えば、関係者Ubは、このようにして表示された3Dオブジェクトを任意の位置及び角度から視認する。関係者Ubが装着するHMD2−bは、上述の通り、このような関係者Ubの動きに対応する位置情報等をネットワークを介して、関係者Uaの装着するHMD2−a等に送信することで、関係者Ubの相対位置等アバター情報等を共有することができる。
そして、関係者Uaの装着するHMD2−aでは、共有された関係者Ubの相対位置に基づいて、仮想空間内の所定の位置にアバターUb´を配置する。
図28の例では、図26の例と同様に、実空間RA1に関係者Uaのみが存在し、実空間RA2には関係者Ub及びUcが存在するものとする。
図28を見ると、3Dオブジェクトの相対位置が(x:−1,y:1)、アバターUa´の相対位置が(x:−3,y:−3)である旨が示されている。
即ち、3Dオブジェクト、アバターUa´を配置すべき仮想空間内の(設定された基準点からの)位置が、夫々の相対位置であることを示している。ここで、上述の通り、アバターUa´を配置すべき仮想空間内の位置は、実空間RA1に存在する関係者Uaの(設定された基準点からの)位置に基づいて定められる。
ここで、前提として、関係者Ua乃至Ucが装着するHMD2−a乃至2−cには、基準点からの相対位置が(x:−1,y:1)の位置に3Dオブジェクトが共通して表示される。そして、例えば、関係者Ubは、このようにして表示された3Dオブジェクトを任意の位置及び角度から視認する。関係者Ubが装着するHMD2−bは、上述の通り、このような関係者Ubの動きに対応する位置情報等をネットワークを介して、関係者Uaの装着するHMD2−a等に送信することで、関係者Ubの相対位置等アバター情報等を共有することができる。
そして、関係者Ub及び関係者Ucの装着するHMD2−b及び2−cの夫々では、共有された関係者Uaの相対位置に基づいて、仮想空間内の所定の位置にアバターUa´を配置する。
即ち、オブジェクトとは、3Dで構成されたオブジェクトに限られず、例えば、2D(平面上)で構成されたオブジェクトを採用してもよい。
即ち、アバターや3Dオブジェクトに限らず、例えば、必要な資料データや文書データ等を仮想空間上に配置してもよい。
ここで、関係者Uが装着するHMD2は、上述のリモートコミュニケーションに必要な資料データや文書データを、電子データとして文書データDB402に格納することができる。そして、関係者Uが装着するHMD2は、文書データDB402から仮想空間上に配置したい文書データを抽出する。関係者Uが装着するHMD2は、仮想空間上に、上述の文書データを、他の関係者UのアバターU´や3Dオブジェクトと共に表示できる。これにより、関係者Uは、3Dオブジェクトや必要なデータ等を同一の仮想空間上で可視化することで、広いスペ−スを使用した確認や協議を行うことができる。
換言すると、図7及び図18の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図7及び図18に特に限定されず、任意でよい。
具体的に例えば、図18の記憶部38に格納された3次元データDB401、文書データDB402、時間属性定義DB403をサーバ1の記憶部18に格納してもよい。また、処理部303をサーバ1に存在させてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
Claims (8)
- 建設現場において施工工程の順に施工が進められるものであり、n次元(nは2以上の整数値)のうち少なくとも1以上の次元の方向に状態が変化する建造物に対応し、3次元の仮想空間に配置される期間が時間属性として与えられるオブジェクトの画像のデータが記憶された記憶手段と、
前記仮想空間内での所定のユーザの視点を取得する視点取得手段と、
前記n次元のうち、状態が変化する次元の座標を取得する座標取得手段と、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成手段と、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置手段と、
を備え、
前記配置手段、前記視点取得手段、前記座標取得手段、及び前記画像生成手段は、
複数のユーザの夫々に対して独立して処理を実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理装置。 - 前記n次元のうち前記状態が変化する次元は、時間方向の次元であり、
前記座標取得手段は、前記所定時間内の所定時刻を、前記時間方向の次元の座標として取得し、
前記画像生成手段は、取得された前記所定時刻における建設途中の前記建造物に対応するオブジェクトが、前記配置手段により配置された前記仮想空間において、所定の視点からみえる画像のデータを生成する、
請求項1に記載の情報処理装置。 - 前記建造物の一部又は関連するものの夫々について、レイヤーが定義され、
各レイヤー毎に、前記時間方向について、仮想空間に存在し得る期間が対応付けられており、
前記画像生成手段は、前記各レイヤーのうち、取得された前記所定時刻を含む期間が対応付けられたレイヤーが前記配置手段により配置された前記仮想空間において、前記所定の視点からみえる前記画像のデータを生成する、
請求項2に記載の情報処理装置。 - 前記所定時間内の前記所定時刻を指定する操作を含む前記仮想空間内の操作を、前記ユーザのジェスチャー操作により受け付ける操作受付手段、
をさらに備える、
請求項2又は3に記載の情報処理装置。 - 前記配置手段は、さらに、前記ユーザに対応するオブジェクトを、前記仮想空間に配置させ、
前記仮想空間において、前記建造物に対応するオブジェクトの一部と、前記ユーザに対応するオブジェクトの一部とが重複する場合、その旨を報知する報知手段、
をさらに備える請求項1乃至4のうち何れか1項に記載の情報処理装置。 - 前記配置手段は、さらに、前記複数のユーザのうち、自身以外の1人以上の他のユーザの夫々に対応するオブジェクトを、前記仮想空間内に配置させ、
前記画像生成手段は、前記建造物に対応する前記オブジェクトと共に、前記1人以上の他のユーザの夫々に対応する前記オブジェクトが前記配置手段により配置された前記仮想空間において、前記所定の視点から視認し得る画像のデータを生成する、
請求項1乃至5のうち何れか1項に記載の情報処理装置。 - 情報処理装置が実行する情報処理方法において、
建設現場において施工工程の順に施工が進められるものであり、n次元(nは2以上の整数値)のうち少なくとも1以上の次元の方向に状態が変化する建造物に対応し、3次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記n次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含み、
前記情報処理装置は、前記配置ステップ、前記視点取得ステップ、前記座標取得ステップ、及び前記画像生成ステップの各処理を、複数のユーザの夫々に対して独立して実行し、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
情報処理方法。 - コンピュータに、
建設現場において施工工程の順に施工が進められるものであり、n次元(nは2以上の整数値)のうち少なくとも1以上の次元の方向に状態が変化する建造物に対応し、3次元の仮想空間に配置される期間が時間属性として与えられたオブジェクトの画像のデータを記憶するステップと、
前記仮想空間内での所定のユーザの視点を取得する視点取得ステップと、
前記n次元のうち、状態が変化する次元の座標を取得する座標取得ステップと、
取得された前記次元の前記座標における状態で、前記所定のユーザの視点から視認し得る前記オブジェクトの画像を生成する画像生成ステップと、
前記建造物を施工する過程の時間軸のうち所望の時点を指示可能な操作子を前記仮想空間に配置し、前記操作子により前記時間軸上で指示された時点の建設途中の状態の前記建造物の前記オブジェクトの画像を前記仮想空間に配置する配置ステップと、
を含む制御処理を、複数のユーザの夫々に対して独立して実行させ、
その結果、前記所定のユーザの視点として、前記複数のユーザ毎に相互に独立した別々の視点から視認し得る複数の前記画像のデータが、前記複数のユーザ毎に相互に独立して生成される、
プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017083028 | 2017-04-19 | ||
JP2017083028 | 2017-04-19 | ||
JP2017214245 | 2017-11-06 | ||
JP2017214245 | 2017-11-06 | ||
PCT/JP2018/016196 WO2018194137A1 (ja) | 2017-04-19 | 2018-04-19 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018194137A1 JPWO2018194137A1 (ja) | 2019-11-07 |
JP6814878B2 true JP6814878B2 (ja) | 2021-01-20 |
Family
ID=63856634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019513688A Active JP6814878B2 (ja) | 2017-04-19 | 2018-04-19 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10950050B2 (ja) |
EP (1) | EP3614345A4 (ja) |
JP (1) | JP6814878B2 (ja) |
CN (1) | CN110770798B (ja) |
WO (1) | WO2018194137A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6722786B1 (ja) * | 2019-02-05 | 2020-07-15 | 凸版印刷株式会社 | 空間情報管理装置 |
JP6717476B1 (ja) * | 2019-05-23 | 2020-07-01 | 株式会社インフォマティクス | 空間認識システム、空間認識装置、空間認識方法及びプログラム |
JP2021081943A (ja) * | 2019-11-19 | 2021-05-27 | 株式会社桑山瓦 | 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム |
JP6733927B1 (ja) * | 2019-11-27 | 2020-08-05 | 株式会社インフォマティクス | 空間認識システム、空間認識装置、空間認識方法及びプログラム |
WO2023189603A1 (ja) * | 2022-03-28 | 2023-10-05 | 日本電気通信システム株式会社 | 情報処理システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1091057A (ja) * | 1996-09-17 | 1998-04-10 | Mitsubishi Electric Corp | 技術相談支援システム |
JP3907081B2 (ja) | 1997-04-01 | 2007-04-18 | 日揮株式会社 | 建設シミュレーション装置及び記録媒体 |
JP2001249985A (ja) * | 1999-12-27 | 2001-09-14 | Ohbayashi Corp | 施工計画支援システム、施工計画支援方法、および、施工計画支援システムを実現するためのコンピュータプログラムを記録した記録媒体 |
JP2002266498A (ja) * | 2001-03-08 | 2002-09-18 | Toshiba Corp | 発電所の建設計画装置 |
US7042468B2 (en) * | 2001-05-04 | 2006-05-09 | Disney Enterprises, Inc. | Text overlay for multi-dimensional construction project models |
JP4739309B2 (ja) * | 2007-11-09 | 2011-08-03 | 株式会社リコー | 情報処理装置、及び情報処理方法 |
JP2011008351A (ja) * | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
WO2011081193A1 (ja) * | 2009-12-28 | 2011-07-07 | サイバーアイ・エンタテインメント株式会社 | 画像表示システム |
JP6235327B2 (ja) * | 2013-12-18 | 2017-11-22 | 大成建設株式会社 | 施工情報管理システムおよび施工情報管理方法 |
JP5881022B1 (ja) * | 2014-09-11 | 2016-03-09 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
JP6730577B2 (ja) * | 2015-09-25 | 2020-07-29 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
-
2018
- 2018-04-19 US US16/605,660 patent/US10950050B2/en active Active
- 2018-04-19 EP EP18788005.9A patent/EP3614345A4/en not_active Withdrawn
- 2018-04-19 WO PCT/JP2018/016196 patent/WO2018194137A1/ja unknown
- 2018-04-19 CN CN201880025502.6A patent/CN110770798B/zh active Active
- 2018-04-19 JP JP2019513688A patent/JP6814878B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3614345A1 (en) | 2020-02-26 |
US10950050B2 (en) | 2021-03-16 |
US20200118336A1 (en) | 2020-04-16 |
CN110770798A (zh) | 2020-02-07 |
JPWO2018194137A1 (ja) | 2019-11-07 |
WO2018194137A1 (ja) | 2018-10-25 |
EP3614345A4 (en) | 2020-04-08 |
CN110770798B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6814878B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3457253B1 (en) | Collaboration methods to improve use of 3d models in mixed reality environments | |
US20180356885A1 (en) | Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user | |
US20210026998A1 (en) | Rapid design and visualization of three-dimensional designs with multi-user input | |
US20110134204A1 (en) | System and methods for facilitating collaboration of a group | |
JP2012168646A (ja) | 情報処理装置、情報共有方法、プログラム及び端末装置 | |
US20220317830A1 (en) | Methods and Systems for Providing a Communication Interface to Operate in 2D and 3D Modes | |
US11537351B2 (en) | Systems and methods for virtual and augmented reality | |
KR20200067537A (ko) | 가상 환경 회의실 제공 시스템 및 방법 | |
Ayyanchira et al. | Toward cross-platform immersive visualization for indoor navigation and collaboration with augmented reality | |
US20190205647A1 (en) | Systems and methods for integrated augmented reality | |
JP7118228B2 (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
Vodilka et al. | Designing a workplace in virtual and mixed reality using the meta quest VR headset | |
Schmidt et al. | A layer-based 3d virtual environment for architectural collaboration | |
JP2022067120A (ja) | ワークプレイス計画方法、ワークプレイス計画システム、及びプログラム | |
CN116420172A (zh) | 用于集成和使用增强现实技术的***和方法 | |
TW201918940A (zh) | 資訊處理裝置、資訊處理方法及程式 | |
US20230351706A1 (en) | Scanning interface systems and methods for building a virtual representation of a location | |
US20240112412A1 (en) | Mapping a Real-World Room for A Shared Artificial Reality Environment | |
US20240112413A1 (en) | Mapping a Real-World Room for A Shared Artificial Reality Environment | |
US20240112414A1 (en) | Mapping a Real-World Room for A Shared Artificial Reality Environment | |
Lee et al. | Mirage: A touch screen based mixed reality interface for space planning applications | |
TWI799195B (zh) | 利用虛擬物件實現第三人稱視角的方法與系統 | |
JP2022155553A (ja) | 業務管理支援装置、業務管理支援システム、業務管理支援方法および業務管理支援プログラム | |
US20240211093A1 (en) | Artificial Reality Coworking Spaces for Two-Dimensional and Three-Dimensional Interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190703 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190703 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191125 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200423 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200423 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200508 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200512 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200612 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200616 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200901 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201104 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201208 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6814878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |