JP7280223B2 - Information terminal device, remote communication support method and program - Google Patents
Information terminal device, remote communication support method and program Download PDFInfo
- Publication number
- JP7280223B2 JP7280223B2 JP2020104792A JP2020104792A JP7280223B2 JP 7280223 B2 JP7280223 B2 JP 7280223B2 JP 2020104792 A JP2020104792 A JP 2020104792A JP 2020104792 A JP2020104792 A JP 2020104792A JP 7280223 B2 JP7280223 B2 JP 7280223B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- area
- positioning
- area information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、遠隔コミュニケーションを支援する情報端末装置、遠隔コミュニケーション支援方法及びプログラムに関する。 The present invention relates to an information terminal device, a remote communication support method, and a program for supporting remote communication.
遠隔でのコミュニケーションにおいて臨場感を高める遠隔会議システムの技術が存在する。例えば、特許文献１は、それぞれ利用者がディスプレイを背にするように立ち、偏光フィルムを設置したカメラで利用者をディスプレイごと撮影した映像を相手のディスプレイに表示するシステムを開示している。自分が見ている周囲と人が見ている周囲とが同じであること、方向感と距離感が対称的であること、第三者からその様子が観察できることが成り立ち、ディスプレイの前に共有区間を作り出せると主張している。特許文献２はマーカを貼り付けた自走ロボットに対し、認識した身振りや表情を適用したアバタを重畳するシステムを開示している。利用者の表情やジェスチャをアバタに反映させることで対面に近いやり取りが可能と主張している。
There is a teleconferencing system technology that enhances the sense of presence in remote communication. For example,
しかしながら、以上のような従来技術には次のような課題があった。 However, the conventional techniques as described above have the following problems.
特許文献１は利用者の移動可能範囲が限定的であるという課題がある。例えば、利用者はカメラの画角から外れることはできない。また、移動に伴う相手との位置関係の変化は反映されないという課題がある。例えば、相手はディスプレイに表示されているだけであるため、利用者が左右に移動しても相手の側面は見えない。さらに、相手とのアイコンタクトを取れないという課題がある。例えば、ディスプレイとカメラが正対する必要があるため、ディスプレイに表示されている相手を見ようとすればカメラに背を向けることになり相手のディスプレイには当該利用者の背中が表示される。
特許文献２は前記課題の一部を解決する。例えば、ロボットが移動することで視点位置を自由に変化させることができる。しかし、自走式ロボットを事前に遠隔地に用意する必要があり装置が大掛かりになるという課題がある。また、見る側と見られる側が明確に区別されていることを前提としており、仮にこの区別をなくして双方向でのコミュニケーションを実現しようとすると、双方の場所にロボットを用意する必要があるが、このような場合は想定されていない。仮にこのようにして双方向でのコミュニケーションを実現しようとすれば、相手側に用意したロボットからの映像と、目の前にいる相手のロボットにアバタを重畳する映像とが双方で表示されることになり臨場感は得られない。
以上のように、従来技術においては、臨場感ある遠隔コミュニケーションを効率的に実現することができなかった。なお、臨場感ある遠隔コミュニケーションを実現するのに利用可能な既存手法としては特許文献２でも利用されている拡張現実表示があるが、単純な拡張現実表示を特許文献２のように環境内に配置するマーカ等を利用せずに行ったとすると、例えば相手側のアバタが自分側の環境における移動不可能な領域に表示される（例えば、壁の内部に埋もれたように位置する状態で相手側のアバタが表示される）といった現象が発生する可能性があり、このような現象は遠隔コミュニケーションにおける臨場感を損なうものとなりえる（例えば、相手側アバタの近くに自分を移動させようとしても、相手側アバタは壁の内部（奥側）に存在するため、壁に遮られて移動できない）が、従来技術ではこれに対処できなかった。さらに、仮に自分側の環境における移動不可能な領域を認識したとしても、当該制約下において臨場感ある遠隔コミュニケーションを実現すべく、効率的に相手側のアバタ表示を行うことは従来技術では考慮されていなかった。
As described above, in the prior art, remote communication with presence could not be realized efficiently. As an existing method that can be used to realize remote communication with a sense of presence, there is an augmented reality display that is also used in
上記従来技術の課題に鑑み、本発明は、臨場感ある遠隔コミュニケーションを効率的に実現することを支援できる情報端末装置、遠隔コミュニケーション支援方法及びプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems of the prior art, it is an object of the present invention to provide an information terminal device, a remote communication support method, and a program capable of supporting efficient realization of realistic remote communication.
上記目的を達成するため、本発明は、自ユーザによって利用され、自ユーザと他ユーザとの間の遠隔コミュニケーションを支援する情報端末装置であって、前記自ユーザの位置及び向きを第１測位情報として取得する測位部と、前記自ユーザの移動可能範囲を推定したものとして第１領域情報を取得する計測部と、前記他ユーザより、前記他ユーザの第２様子情報と、前記他ユーザの位置及び向きとして第２測位情報と、前記他ユーザの移動可能範囲を推定したものとして第２領域情報と、を受信し、前記第１測位情報の位置及び向きに設定した仮想カメラ視点において、前記第２測位情報の位置及び向き並びに前記第２様子情報を反映した前記他ユーザのアバタ又は前記他ユーザを描画し、且つ、前記第１領域情報を近似するように前記第２領域情報を座標変換した変換第２領域情報の少なくとも一部を、前記自ユーザの移動しうる推奨範囲を表現するものとして描画する描画部と、前記描画部が描画した結果を前記自ユーザに提示する提示部と、を備えることを特徴とする。 In order to achieve the above object, the present invention provides an information terminal device that is used by the own user and supports remote communication between the own user and other users, wherein the position and orientation of the own user are used as first positioning information. a measuring unit that acquires first region information as an estimate of the user's movable range; and second state information of the other user from the other user, and the position of the other user and second positioning information as an orientation, and second area information as an estimate of the movable range of the other user, and in the virtual camera viewpoint set to the position and orientation of the first positioning information, 2. The other user's avatar or the other user reflecting the position and orientation of the positioning information and the second state information is drawn, and the coordinates of the second area information are transformed so as to approximate the first area information. a drawing unit that draws at least part of the converted second area information as representing a recommended range of movement of the user; and a presentation unit that presents the result drawn by the drawing unit to the user. It is characterized by having
また、本発明は、少なくとも１つの機器によって実行される、第１ユーザと第２ユーザとの間の遠隔コミュニケーション支援方法であって、前記第１ユーザの第１様子情報及び前記第２ユーザの第２様子情報を取得することと、前記第１ユーザ及び前記第２ユーザの位置及び向きをそれぞれ第１測位情報及び第２測位情報として取得することと、前記第１ユーザ及び前記第２ユーザの移動可能範囲を推定したものとしてそれぞれ第１領域情報及び第２領域情報を取得することと、前記第１測位情報の位置及び向きに設定した仮想カメラ視点において、前記第２測位情報の位置及び向き並びに前記第２様子情報を反映した前記第２ユーザのアバタ又は前記第２ユーザを描画し、且つ、前記第１領域情報を近似するように前記第２領域情報を座標変換した変換第２領域情報の少なくとも一部を、前記第１ユーザの移動しうる推奨範囲を表現するものとして描画し、当該描画結果を前記第１ユーザに提示することと、前記第２測位情報の位置及び向きに設定した仮想カメラ視点において、前記第１測位情報の位置及び向き並びに前記第１様子情報を反映した前記第１ユーザのアバタ又は前記第１ユーザを描画し、且つ、前記第２領域情報を近似するように前記第１領域情報を座標変換した変換第１領域情報の少なくとも一部を、前記第２ユーザの移動しうる推奨範囲を表現するものとして描画し、当該描画結果を前記第２ユーザに提示することと、を備えることを特徴とする。また、本発明は、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。 Also, the present invention is a remote communication support method between a first user and a second user, which is executed by at least one device, comprising: obtaining the position and orientation of the first user and the second user as first positioning information and second positioning information, respectively; and movement of the first user and the second user. Obtaining first area information and second area information as an estimated possible range, and obtaining the position and orientation of the second positioning information and the position and orientation of the second positioning information at the virtual camera viewpoint set to the position and orientation of the first positioning information. Transformed second area information obtained by drawing the second user's avatar or the second user reflecting the second state information and coordinate-transforming the second area information so as to approximate the first area information Rendering at least a part of the image as representing a recommended range of movement of the first user, presenting the rendering result to the first user; Rendering the avatar of the first user or the first user reflecting the position and orientation of the first positioning information and the first appearance information from a camera viewpoint, and approximating the second area information. drawing at least part of the transformed first region information obtained by coordinate-transforming the first region information as representing a recommended range of movement of the second user, and presenting the drawing result to the second user; , is provided. Further, the present invention is characterized by a program that causes a computer to function as the information terminal device.
本発明によれば、自ユーザのものとして設定する仮想カメラ配置による仮想空間内において、相手側のユーザのアバタ又は相手側のユーザを描画することにより臨場感ある遠隔コミュニケーションの支援が可能となり、また、座標変換により自ユーザと他ユーザとの間で共有される移動しうる推奨範囲を仮想空間内に描画することで、臨場感があり且つ効率的な遠隔コミュニケーションの支援が可能となる。 According to the present invention, it is possible to support remote communication with a sense of presence by drawing the avatar of the other user or the other user in the virtual space based on the virtual camera arrangement set as that of the own user. By drawing a recommended range of movement shared between the user and other users by coordinate conversion in the virtual space, it is possible to support remote communication with a sense of realism and efficiency.
図１は、一実施形態に係る情報システムの構成図である。情報システム100は、相互に遠隔コミュニケーションを行うユーザA,Bがそれぞれ利用する情報端末装置10A,10Bを少なくとも備える。情報端末装置10A,10Bは、双方向矢印L0で示されるように、ネットワークNWを介して相互に通信可能に構成されており、当該通信して各種の情報を相互で送受することにより、情報端末装置10A,10Bを用いてユーザA,Bが遠隔コミュニケーションを行うことが可能となる。
FIG. 1 is a configuration diagram of an information system according to one embodiment. The information system 100 includes at least information
情報システム100はさらにサーバ20を備えることで、双方向矢印L1,L2に示されるように、サーバ20を中継して情報端末装置10A,10Bの間で各種情報を送受し、ユーザA,B間の遠隔コミュニケーションを実現することもできる。情報端末装置10A,10Bのみで情報システム100が構成される場合（第一実施形態とする）に情報端末装置10A,10Bにおいて行う必要がある処理の一部を、サーバ20がさらに備わる場合（第二実施形態とする）では、サーバ20が担うようにしてもよい。
The information system 100 further includes a
なお、以下ではサーバ20が存在せず情報端末装置10A,10Bのみが存在する第一実施形態を前提として説明した後に、さらにサーバ20も存在する第二実施形態でサーバ20が担いうる処理に関しても説明する。
In the following, after the first embodiment in which the
情報端末装置10A,10Bはスマートフォン又はヘッドマウントディスプレイ（HMD）等のユーザA,Bが携帯又は装着するモバイル端末として構成されてもよいし、ユーザA,Bが存在する環境（例えば会議室など）に固定的に設置される装置として構成されてもよいし、これらの組み合わせとして構成されてもよい。例えば、会議室に設置されたカメラと、当該カメラとローカル通信可能に構成されたスマートフォンと、の組み合わせとして情報端末装置10A,10Bが構成されていてもよいし、このような具体的な装置構成が情報端末装置10A,10Bの間で異なっていてもよい。
The information
図２は、一実施形態に係る情報端末装置10の機能ブロック図である。図２にて、情報端末装置10は、認識部1、測位部2、計測部3、描画部4及び提示部5を備える。ここで、図１に示す情報端末装置10A,10Bの共通の構成が、図２に示す情報端末装置10の構成である。（前述の通り、情報端末装置10A,10Bは具体的なハードウェア上の構成としては互いに異なっていてもよいが、機能構成は図２に示す共通のものとすることができる。）
FIG. 2 is a functional block diagram of the information terminal device 10 according to one embodiment. In FIG. 2, the information terminal device 10 includes a
図３は、２つの情報端末装置10の間での処理の流れを機能ブロック図として示すものである。図２に示す共通構成を前提として、情報端末装置10A,10B間での情報の授受に関しては図３を参照して適宜、説明する。この際、ユーザA,B情報端末装置10A,10B間での相互の処理は共通であり、扱う情報が対称であるため、ユーザAが自ユーザであり自端末としての情報端末装置10Aを利用しており、ユーザBが他ユーザであって他端末としての情報端末装置10Bを利用しているものとして説明する。（すなわち、ユーザA,Bを入れ替えても同様の説明が成立する。）
FIG. 3 shows the flow of processing between two information terminal devices 10 as a functional block diagram. Assuming the common configuration shown in FIG. 2, information transfer between the information
なお、図３にも示されており、前述した通り、ユーザA,Bがそれぞれ利用する情報端末装置10A,10Bは図２の情報端末装置10と同様の構成であるが、図３では相互に区別するために図２の各機能部1～5の末尾にA,Bを付した符号により参照するものとする。例えば、情報端末装置10の認識部1に関して、ユーザAの情報端末装置10Aにおいては認識部1Aとして参照する。
3, and as described above, the
図２の情報端末装置10の各部の処理は以下の通りである。 The processing of each part of the information terminal device 10 of FIG. 2 is as follows.
認識部1は、情報端末装置10を利用するユーザを認識することにより、当該ユーザの様子を表すものとして様子情報を取得し、この様子情報を自端末の描画部4へと出力し、且つ、この様子情報を他端末の描画部4へと送信する。（図３にて、自ユーザAの認識部1Aでは取得した自ユーザAの様子情報を自身の描画部4Aへと出力し、且つ、他ユーザBの描画部4Bへと送信する。なお、図２では他端末へと様子情報を送信する流れを描くのは省略している。）
By recognizing a user who uses the information terminal device 10, the
認識部1で認識して取得する自ユーザに関する様子情報は、視覚的な情報として例えば表情、姿勢（ポーズ）、ジェスチャの全部又は一部に関する情報として取得することができ、任意の既存手法を用いてこうした様子情報を認識することができる。既存手法として例えば姿勢認識に関して、以下の非特許文献１の手法を用いてよい。表情認識やジェスチャ認識に関しても、任意の既存手法を用いればよい。
非特許文献１：Adrian Bulat et al., ``Toward fast and accurate human pose estimation via soft-gated skip connections,'' ArXiv, 2002.11098v1, 2020.
The state information about the own user recognized and acquired by the
Non-Patent Document 1: Adrian Bulat et al., ``Toward fast and accurate human pose estimation via soft-gated skip connections,'' ArXiv, 2002.11098v1, 2020.
認識部1では自ユーザを撮像した画像を既存手法によって処理することで様子情報を得ることができ、この撮像を行うハードウェアとしては携帯端末等のモバイル端末に標準装備されるインカメラを利用してもよいし、自ユーザが存在している環境（例えば会議室など）に配置したカメラ等を利用するようにしてもよい。この際、自ユーザの体や端末などに装着したパッシブあるいはアクティブマーカを併用することで様子情報の認識精度を向上させるようにしてもよい。
測位部2は、自ユーザの位置する座標及び向きを測位したものを測位情報として、自ユーザの描画部4へと出力し、且つ、この測位情報を他端末の描画部4へと送信する。（図３にて、自ユーザAの測位部2Aでは取得した自ユーザAの測位情報を自身の描画部4Aへと出力し、且つ、他ユーザBの描画部4Bへと送信する。なお、図２では他端末へと測位情報を送信する流れを描くのは省略している。）
The
測位部2では任意の既存手法を用いて測位情報を取得することができる。例えば、測位部2を実現するハードウェアとして携帯端末等のモバイル端末に標準装備されるGPS（全地球測位システム）、コンパス、ジャイロ等の測位センサを用いてもよい。測位部2を実現する手法として、カメラにより自ユーザの周辺環境の撮像を行い、この画像に対して既知座標の画像マッチングでカメラの位置及び向きとして測位情報を求めるようにしてもよいし、無線局による三角測量等を利用して測位情報を求めるようにしてもよい。これらの手法は、情報端末装置10の一部又は全部を構成するものとして、モバイル端末を自ユーザが携帯又は装着している前提で、このモバイル端末（又はモバイル端末内に実装されている測位センサ等）の位置及び向きを自ユーザの測位情報として求めるものであるが、自ユーザを直接的に認識してその測位情報を求めるようにしてもよい。例えば、環境に配置した１台以上のカメラで自ユーザを撮像して測位情報を求めるようにしてもよい。カメラによる測位は撮像情報の運動視差やステレオ視によるSLAM（自己位置推定及び環境地図作成）等の既存手法を利用できる。また、以上のような既存手法の任意の組み合わせを用いることもできる。
The
計測部3は、自ユーザの周辺環境を計測し、壁や什器などの障害物となる物体で自ユーザが移動できない領域以外の領域である、ユーザが移動できる領域を推定し、領域情報として自ユーザの描画部4へと出力し、且つ、この領域情報を他端末の描画部4へと送信する。（図３にて、自ユーザAの計測部3Aでは取得した自ユーザAの周辺環境の領域情報を自身の描画部4Aへと出力し、且つ、他ユーザBの描画部4Bへと送信する。なお、図２では他端末へと領域情報を送信する流れを描くのは省略している。）
The
計測部3を実現するハードウェアにはLiDAR（ライダー、光検出と測距）センサや深度カメラなどを利用してよく、３次元点群データや深度マップ等の形により、センサやカメラの位置から様々な方向を見て初めて何らかの物体の表面が現れる位置（当該位置より奥側（カメラから遠方側）はユーザが移動できない領域であり、当該位置より手前はユーザが移動できる領域であることを意味する）を記録したデータとして、領域情報を取得することができる。LiDARセンサや深度カメラから点群データや深度マップとして領域情報を得る手法には、ステレオ視等を原理とする任意の既存手法を用いてよい。
A LiDAR (lidar, light detection and ranging) sensor, depth camera, etc. may be used for the hardware that realizes the
なお、測位部2をSLAMの手法により実現している場合には、SLAMによる自己位置推定の結果として測位部2による測位情報が取得され、SLAMによって同時に３次元点群データの形式で環境地図も作成されることとなるので、この環境地図を計測部3が計測する領域情報として利用するようにしてもよい。すなわち、SLAMにより測位部2及び計測部3を実現し、自己位置推定結果を測位部2で取得する測位情報として採用し、作成される環境地図を計測部3で取得する領域情報として採用するようにしてもよい。
In addition, when the
描画部4は、自端末及び他端末の両方における認識部1、測位部2及び計測部3で以上のようにしてそれぞれ得られた様子情報、測位情報及び領域情報を用いて、自ユーザの環境に重畳表示する仮想空間において他ユーザのアバタ（分身キャラクタ）を配置して描画することにより、描画情報を得て、自端末の提示部5へと出力する。提示部5ではこの描画情報を自ユーザに対して表示して提示することにより、自ユーザは仮想空間に配置されたアバタの形で他ユーザの様子を視覚的に認識し、他ユーザとの遠隔コミュニケーションを行うことが可能となる。
The
描画部4は具体的に、以下のように（１）仮想空間を定めて他ユーザのアバタを配置し、（２）他ユーザの様子を反映して他ユーザのアバタを仮想空間内に描画し、（３）仮想空間内で移動すべきでない領域を表現するものとして仮想空間内に移動非推奨領域を描画することにより、描画情報を生成する。（説明のため、自ユーザA、他ユーザB等のように符号を明示的に区別する。） Specifically, the drawing unit 4 (1) defines a virtual space and arranges the other user's avatar, and (2) draws the other user's avatar in the virtual space by reflecting the appearance of the other user. (3) Rendering information is generated by rendering a movement non-recommended area in the virtual space as a representation of an area that should not be moved in the virtual space. (For the sake of explanation, the codes are explicitly distinguished such as own user A, other user B, etc.)
（１） 自ユーザAの描画部4Aでは、描画のための仮想空間の座標を定義するための仮想カメラの位置及び向きとして、自ユーザAの測位部2Aで取得した測位情報における位置及び向きを設定し、この仮想空間内において、他ユーザBの測位部2Bで取得され送信された測位情報における位置及び向きに、他ユーザBのアバタの視点（すなわち、アバタにおける顔の位置と、顔の正面向きとしての視線の向き）が配置されているものとして、他ユーザBのアバタを描画する。
(1) The
なお、自ユーザAの測位部2Aでは、自ユーザAの存在する環境の３次元世界座標において定義されるものとして測位情報を取得しておくことにより、他ユーザBのアバタを描画する仮想空間の座標を、自ユーザAの存在する環境（すなわち、現実世界）の３次元世界座標に一致するものとして設定することができる。これにより、自ユーザAの描画部4Aでは、自ユーザAの存在する環境において拡張現実表示される対象として、他ユーザBのアバタを描画することが可能となる。
Note that the
また、他ユーザBのアバタの測位情報における位置及び向きを自ユーザAの仮想空間に配置するためには、後述する（３）の処理における座標変換T（他ユーザBの座標から自ユーザAの座標への座標変換T）を用いればよい。すなわち、他ユーザBの測位部2Bで他ユーザBの存在する環境の３次元世界座標において定義されている測位情報（L(B)とする）に対して座標変換Tを適用することで、自ユーザAの仮想空間に配置される、変換された測位情報T(L(B))を算出すればよい。
In addition, in order to arrange the position and orientation in the positioning information of the avatar of other user B in the virtual space of own user A, the coordinate transformation T (from the coordinates of other user B to the Coordinate transformation T) to coordinates can be used. That is, by applying the coordinate transformation T to the positioning information (assumed to be L(B)) defined in the three-dimensional world coordinates of the environment in which the other user B exists in the
（２） 上記の（１）の処理により仮想空間を定義して他ユーザBのアバタの視点をこの仮想空間内に配置したうえでさらに、自ユーザAの描画部4Aでは、他ユーザBの認識部1Bで認識され送信された他ユーザBの様子情報を反映して、この仮想空間内に他ユーザBのアバタを描画する。
(2) After the virtual space is defined by the processing of (1) above and the viewpoint of the avatar of the other user B is arranged in this virtual space, the
すなわち、様子情報に表情（例えば、目の開閉状態、黒目の位置、眉の向き、口の開閉状態などで定義される表情）が含まれるのであれば、描画部4Aは当該表情を有するものとして、他ユーザBのアバタを描画する。また、様子情報に姿勢が含まれるのであれば、描画部4Aでは当該姿勢を取るものとして、他ユーザBのアバタを描画する。例えば姿勢が骨格関節位置の情報（スケルトン情報）で与えられていれば、他ユーザBのアバタの骨格関節位置を当該スケルトン情報で与えられている通りに配置して描画すればよい。また、様子情報にジェスチャが含まれるのであれば、描画部4Aでは当該ジェスチャを行うものとして、他ユーザBのアバタを描画すればよい。
That is, if the state information includes a facial expression (for example, a facial expression defined by the open/closed state of the eyes, the position of the iris, the orientation of the eyebrows, the open/closed state of the mouth, etc.), the
なお、他ユーザBのアバタに関しては、予め、他ユーザBが人間等を模した３次元CG（コンピュータグラフィックス）モデル等の形で当該アバタのモデルデータを設定しておき、このモデルデータに各種の様子情報を反映することで、描画部4Aでは他ユーザBのアバタを描画することができる。様子情報を反映したアバタの描画に関しては、任意の既存手法を用いてよい。
Regarding the avatar of other user B, model data of the avatar is set in advance by other user B in the form of a three-dimensional CG (computer graphics) model of a human being, etc., and various types of data are stored in this model data. By reflecting the situation information, the
（３） 自ユーザAの描画部4Aでは、上記の（１）の処理で設定した仮想空間において、自ユーザAが（現実世界の環境においては移動可能であったとしても）移動すべきでない領域を移動非推奨領域として描画する。具体的には、描画部4Aでは、他ユーザBの計測部3Bで取得され送信された領域情報（R(B)とする）を後述する手法により座標変換して（領域情報R(B)が当該座標変換されたものを領域情報RA(B)とする）仮想空間内に配置することで、当該座標変換された領域情報RA(B)の外部領域を、移動非推奨領域として描画することができる。
(3) In the
なお、自ユーザAは、拡張現実表示を行う仮想空間内において、座標変換された領域情報RA(B)の内部に位置することとなるため、描画部4Aでは領域情報RA(B)によって表現される表面の位置のみを描画することで、移動非推奨領域を表現するようにしてもよい。自ユーザAは仮想空間内において、表面として描画された領域情報RA(B)を視認することにより、自ユーザAから見て当該表面よりも遠方にある領域を、領域情報RA(B)の外部領域すなわち移動非推奨領域として認識することが可能となる。なお、表面として描画する際に用いる具体的なテクスチャ等は、事前に用意しておく任意内容のものを用いてよい。 Note that the user A is located inside the coordinate-transformed area information R A (B) in the virtual space in which the augmented reality display is performed. The movement non-recommended area may be represented by drawing only the position of the surface to be represented. User A sees area information R A (B) drawn as a surface in the virtual space, and thus an area that is farther from the surface as viewed from user A is displayed using area information R A (B). can be recognized as an external area, that is, a movement non-recommended area. It should be noted that any specific texture or the like that is prepared in advance may be used for drawing as the surface.
なお、移動非推奨領域は、ユーザが当該領域内に移動しないように振舞うことで遠隔コミュニケーションをより自然なものとして、臨場感を高める効果を有するものであるが、この効果に関しては図４の模式例を参照して後述する。 Note that the non-recommended movement area has the effect of making remote communication more natural by acting so that the user does not move into the area, and enhancing the sense of presence. Examples are described below.
描画部4Aにおいて他ユーザBの領域情報R(B)より仮想空間内に配置するための領域情報RA(B)を得るための座標変換（座標変換Tとする）は、自ユーザAの計測部3Aで得る領域情報をR(A)として、「T(R(B))≒R(A)」となるような座標変換Tとして算出することができる。すなわち、領域情報R(B)に座標変換Tを施した結果の領域情報T(R(B))が、可能な限り領域情報R(A)に一致して、領域情報T(R(B))と領域情報R(A)との重複が最大化するように（すなわち、変換誤差を最小化する等により領域情報R(A)を近似するように）座標変換Tを算出し、この座標変換を施した結果として仮想空間内に配置するための領域情報RA(B)=T(R(B))を得ることができる。(なお、R(A)がユーザA独自の３次元世界座標WLAで与えられ、R(B)がユーザB独自の３次元世界座標WLBで与えられていても、WLAとWLBが同じであるとみなして（WLAとWLBとの変換を求める必要なく、）単純に座標変換Tを計算すればよい。当該同じとみなすことが不要となる、WLAとWLBとが共通の世界座標系で与えられている場合も同様に、座標変換Tを計算すればよい。)
Coordinate transformation (referred to as coordinate transformation T) for obtaining area information R A (B) for arranging in the virtual space from area information R( B ) of other user B in the
なお、座標変換Tによる領域情報RA(B)によって描画して表現される移動非推奨領域は、自ユーザAが当該領域内に移動すべきでないことを表すものであるため、ユーザの移動範囲を制限するものとなる。すなわち、移動非推奨領域は遠隔コミュニケーションの臨場感を高める効果（図４で後述）を有するものの、移動非推奨領域の範囲が広いほど自ユーザAが自由に移動しうる範囲が狭くなり、遠隔コミュニケーションの利便性を損なう事態となってしまうことがありうる。しかしながら、座標変換Tによって領域情報RA(B)を算出することで、このような移動非推奨領域の範囲を最小限に留めることが可能となり、遠隔コミュニケーションの利便性を確保することが可能となる。このことは図５の模式例を参照して後述する。 Note that the non-recommended movement area drawn and represented by the area information R A (B) obtained by the coordinate transformation T indicates that the user A should not move into the area. will limit the In other words, although the non-recommended movement area has the effect of enhancing the presence of remote communication (described later in FIG. 4), the wider the non-recommended movement area, the narrower the range in which user A can move freely. It may become a situation that impairs the convenience of However, by calculating the area information R A (B) using the coordinate transformation T, it is possible to minimize the range of such movement-unrecommended areas, and to ensure the convenience of remote communication. Become. This will be explained later with reference to the schematic example of FIG.
なお、座標変換Tは、並進変換、回転変換、拡大縮小変換の全部又は一部の組み合わせとして、変換誤差を最小化する数値計算等による任意の既存手法で算出すればよい。例えば、領域情報が３次元点群データとして与えられている場合には、任意の既存手法による点群位置合わせを適用することで、並進変換及び回転変換を含むものとして座標変換Tを算出してもよいし、さらに拡大縮小変換も許容した点群位置合わせの手法として、例えば以下の非特許文献２の手法を用いてもよい。
非特許文献２：O. Hirose, ``A Bayesian Formulation of Coherent Point Drift,'' IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
Note that the coordinate transformation T may be calculated by any existing method such as numerical calculation that minimizes transformation errors as a combination of all or part of translation transformation, rotation transformation, and enlargement/reduction transformation. For example, when the region information is given as 3D point cloud data, the coordinate transformation T is calculated as including translational transformation and rotational transformation by applying point cloud registration by any existing method. Alternatively, for example, the method of
Non-Patent Document 2: O. Hirose, ``A Bayesian Formulation of Coherent Point Drift,'' IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020.
なお、座標変換Tが拡大縮小変換を伴う場合は、仮想空間内に描画されるアバタの仮想空間内での移動量にも自ずとスケール変換が施されることとなる。例えば、他ユーザBが環境内（現実世界内）において1mだけ移動した場合に、自ユーザAの仮想空間内に描画して表示される他ユーザBのアバタは仮想空間内において倍の2mだけ移動する、といったことが起こりうる。 Note that when the coordinate transformation T accompanies enlargement/reduction transformation, the amount of movement in the virtual space of the avatar drawn in the virtual space is also automatically scaled. For example, if another user B moves 1m in the environment (in the real world), the avatar of the other user B drawn and displayed in the virtual space of user A moves twice as much as 2m in the virtual space. It is possible to do so.
図４は、以上説明した描画部4による描画処理の模式例を示す図である。図４では例EX11として、ユーザAの情報端末装置10Aが配置される環境SAと、ユーザBの情報端末装置10Bが配置される環境SBと、が、両環境SA,SBが例えば会議室などの室内である場合を想定した模式例として示されている。ユーザAの環境SAにおいては、室内の壁WAや配置された什器EAをモデル化したものとして、領域情報R(A)が取得される。ユーザBの環境SBにおいては、室内の壁WBや配置された什器EBをモデル化したものとして、領域情報R(B)が取得される。
FIG. 4 is a diagram showing a schematic example of drawing processing by the
図４の例EX12では、上記の例EX11の環境SA,SB下において、描画部4A,4Bによる描画を提示部5A,5Bで表示することによりユーザA,Bにそれぞれ提供されることとなる仮想空間VA,VBの模式例が示されている。
In the example EX12 of FIG. 4, under the environments SA and SB of the above example EX11, the renderings by the
仮想空間VAでは、現実世界としての環境SAに存在するユーザAや壁WAや什器EAに対して、拡張現実表示により、相手側のユーザBのアバタBRが描画され、且つ、ユーザBの領域情報R(B)を座標変換した領域情報RA(B)で定まる移動非推奨領域を表現するものとして、環境SBの什器EBの表面領域に相当する表面EBRが描画されている。同様に、仮想空間VBでは、現実世界としての環境SBに存在するユーザBや壁WBや什器EBに対して、拡張現実表示により、相手側のユーザAのアバタARが描画され、且つ、ユーザAの領域情報R(A)を座標変換した領域情報RB(A)で定まる移動非推奨領域を表現するものとして、環境SAの什器EAの表面領域に相当する表面EARが描画されている。 In the virtual space VA, the avatar BR of the user B on the other side is drawn by augmented reality display for the user A, the wall WA, and the furniture EA existing in the environment SA as the real world, and the area information of the user B is displayed. A surface EBR corresponding to the surface area of the fixture EB in the environment SB is drawn as an expression of the movement non-recommended area determined by the area information R A (B) obtained by coordinate transformation of R(B). Similarly, in the virtual space VB, the avatar AR of the user A on the other side is drawn by augmented reality display for the user B, the wall WB, and the furniture EB existing in the environment SB as the real world. A surface EAR corresponding to the surface area of the fixture EA in the environment SA is drawn as an expression of the movement non-recommended area determined by the area information R B (A) obtained by coordinate-transforming the area information R(A) of the environment SA.
仮想空間VAにおいて、ユーザAは、表面EBRよりも奥の室内領域を、現実世界としての環境SA内においては移動可能であるが、アバタBRを介したユーザBとの遠隔コミュニケーションにおいては移動非推奨領域であるものとして認識する。仮に、ユーザAがこの移動非推奨領域内に移動したとする場合、相手側のユーザBの仮想空間VBにおいては、ユーザAのアバタARが、什器EBの内部に埋もれて位置しているものとして、不自然な形で表示されることにより、遠隔コミュニケーションの臨場感を損なう事態が発生してしまう。本実施形態ではユーザAに表面EBRとして移動非推奨領域を認識させ、その奥に移動させないように促すことで、このように臨場感を損なう事態を避けることが可能となる。 In the virtual space VA, the user A can move in the indoor area behind the surface EBR within the environment SA as the real world, but movement is not recommended for remote communication with the user B via the avatar BR. Recognize it as being an area. Assuming that user A moves into this non-recommended movement area, in user B's virtual space VB on the other side, user A's avatar AR is assumed to be buried inside fixtures EB. , a situation occurs in which the presence of the remote communication is lost due to the unnatural display. In the present embodiment, the user A is made to recognize the movement non-recommended area as the surface EBR, and is urged not to move beyond it, thereby making it possible to avoid such a situation that impairs the presence.
上記の説明で「A,B」を入れ替えることにより、同様の効果が仮想空間VBにおいても得られる。すなわち、仮にユーザBが表面EARよりも奥に移動したとすると、ユーザAの立場では相手ユーザBのアバタBRが什器EAの内部に埋もれて位置して表示されることで臨場感を損なう事態が発生するが、ユーザBの立場では表面EARよりも奥は移動非推奨領域として仮想空間VBに描画されて表示されることにより、このように臨場感を損なう事態を避けるよう、ユーザBに環境SB内での移動範囲を制限することを促すことが可能となる。 A similar effect can be obtained in the virtual space VB by interchanging "A, B" in the above description. In other words, if user B moves to the back of the surface EAR, from the standpoint of user A, the avatar BR of the other user B will be displayed buried in the furniture EA, thereby impairing the sense of presence. However, from the user B's point of view, the environment SB It is possible to encourage limiting the range of movement within.
以上、図４の模式例の通り、描画部4で移動非推奨領域を表現した描画を行うことにより、遠隔コミュニケーションの臨場感を高めることが可能となるが、ユーザの移動範囲の制限を促すこととなるため、遠隔コミュニケーションの利便性等の観点から移動非推奨領域が広く設定されることは望ましくない。すなわち、図４の例では、移動範囲を床（地面）で２次元的に表現すると、環境SA内でユーザAは現実の移動可能範囲MAを有するものの、ここから移動非推奨領域を除外することで限定された移動推奨範囲LMA内のみでの移動を促され、同様に、環境SB内でユーザBは現実の移動可能範囲MBを有するものの、ここから移動非推奨領域を除外することで限定された移動推奨範囲LMB内のみでの移動を促される。
As described above, as shown in the schematic example of FIG. 4, the
図５は、適宜の手法で算出される座標変換Tにより、広く設定されるのは望ましくない移動非推奨領域を可能な限り狭く設定すること（換言すれば、移動非推奨領域の補集合である移動推奨範囲を可能な限り広く設定すること）が可能となる模式例を例EX1～EX4と分けて示す図である。 FIG. 5 shows that a coordinate transformation T calculated by an appropriate method is used to set a non-recommended movement area that is not recommended to be widened as narrow as possible (in other words, it is a complementary set of the non-recommended movement area. FIG. 10 is a diagram showing a model example in which it is possible to set the recommended movement range as wide as possible, divided into examples EX1 to EX4.
図５の例EX1では、模式例として領域情報が２次元で与えられるものとし、ユーザA,Bがそれぞれ異なる部屋にいる状況を俯瞰した碁盤の目状の２次元領域情報をデータDA,DBとして示しており、白塗り領域は移動可能な領域であること、黒塗り領域は壁や什器などで移動不可能な領域であることを示しており、図５の例において以下同様である。以降の例EX2～EX4は、この例EX1の状況を前提として、種々の算出される変換処理T（データDA,DB同士での平面位置合わせに相当する変換処理T）で移動推奨範囲が広く設定可能となることを示すものである。 In the example EX1 of FIG. 5, it is assumed that the area information is given in two dimensions as a schematic example, and the two-dimensional area information in a checkerboard pattern that provides a bird's-eye view of the situation in which users A and B are in different rooms is used as data DA and DB. The white areas indicate movable areas, and the black areas indicate areas that cannot be moved due to walls, fixtures, etc. The same applies to the example in FIG. In the following examples EX2 to EX4, a wide recommended movement range is set by various calculated conversion processing T (conversion processing T equivalent to planar alignment between data DA and DB) based on the situation of this example EX1. It shows that it is possible.
例EX2の仮想空間は、図中の横方向のみの並進に限定して変換処理Tを算出するよう設定した際の結果として、データDAB2に示されるようにユーザAとユーザBとが隣接するような並進として変換処理Tが算出された場合を示している。灰色領域はユーザA,Bいずれかの環境において移動不可能な領域であることを示しており、図５の例において以下同様である。データDA2に示されるように、ユーザAの仮想空間では、ユーザAの移動可能な領域に対して、ユーザAがユーザBの移動不可能な領域に進入しないように灰色領域で移動制限が促されている。データDB2に示されるように、ユーザBの仮想空間も同様に移動可能領域の一部がユーザAの環境の障害物の領域として灰色領域で移動制限が促されている。 In the virtual space of example EX2, user A and user B are adjacent to each other as shown in data DAB2 as a result of setting the transformation processing T to be limited to translation in the horizontal direction only in the figure. It shows a case where the conversion processing T is calculated as a translational movement. A gray area indicates an area that cannot be moved in the environment of either user A or B, and the same applies to the example in FIG. As shown in the data DA2, in user A's virtual space, movement restrictions are urged in gray areas so that user A does not enter user B's immovable area with respect to user A's movable area. ing. As shown in the data DB2, in the user B's virtual space, a part of the movable area is also an obstacle area of the user A's environment, and the movement is restricted in a gray area.
例EX3のデータDAB3,DA3,DB3の仮想空間は、例EX2よりも変換処理Tの算出範囲を拡張し、図中の横方向及び縦方向の並進（横方向及び縦方向の組み合わせで斜めの並進を含む）に限定して変換処理Tを算出するように設定した際の結果として、ユーザA,Bが斜めに配置されるような並進として変換処理Tが算出された場合を示している。例EX2と比較すると移動制限が緩和され、移動可能な領域が広くなっていることを確認できる。さらに、例EX4のデータDAB4,DA4,DB4の仮想空間は、例EX3よりも変換処理Tの算出範囲を拡張し、図中の横方向及び縦方向の並進と回転（90°、180°、270°の回転）に限定して変換処理Tを算出するように設定した際の結果として、ユーザAの環境を時計回りで90度回転した上でユーザAとユーザBとが隣接するような並進として変換処理Tが算出された場合を示している。例EX2,EX3と比較するとさらに移動制限が緩和され、移動可能な領域がさらに広くなっていることを確認できる。 The virtual space of data DAB3, DA3, and DB3 of example EX3 expands the calculation range of conversion processing T than example EX2, and horizontal and vertical translations in the figure (horizontal and vertical combinations combine diagonal translation ), and as a result of setting to calculate the conversion processing T, the conversion processing T is calculated as a translation such that the users A and B are obliquely arranged. Compared to example EX2, it can be confirmed that movement restrictions are relaxed and the movable area is widened. Furthermore, the virtual space of data DAB4, DA4, and DB4 of example EX4 expands the calculation range of conversion processing T than example EX3, and horizontal and vertical translation and rotation (90°, 180°, 270° As a result of setting to calculate the conversion process T by limiting it to a rotation of °), the environment of user A is rotated 90 degrees clockwise, and the translation is such that user A and user B are adjacent to each other. A case where the conversion processing T is calculated is shown. Comparing with Examples EX2 and EX3, it can be confirmed that the movement restrictions are further relaxed and the movable area is further widened.
すなわち、データDA2,DA3,DA4の順番で、ユーザAが自身の仮想空間内で移動が許容される領域の広さに相当する白色のマス目の領域の個数は、５個、７個、８個と増えている。同様に、データDB2,DB3,DB4の順番で、ユーザBが自身の仮想空間内で移動が許容される領域の広さに相当する白色のマス目の領域の個数は、５個、７個、８個と増えている。これらの例にも示される通り、本実施形態においてユーザA,Bが各自の仮想空間内で移動が許容される領域の形状は、ユーザA,B間で同一となる。なお、図５の例では、データDA,DBのサイズ（横×縦）がそれぞれ3×4と4×4であり、変換処理Tの算出範囲を最も緩和した例EX4においても拡大縮小変換は許容していないが、例EX4からさらに拡大縮小変換も許容して変換処理Tを算出するように設定すると、仮想空間内での移動許容範囲はさらに拡大することとなる。 That is, in the order of data DA2, DA3, and DA4, the number of white square areas corresponding to the size of the area in which user A is allowed to move within his own virtual space is 5, 7, and 8. increasing with each. Similarly, in the order of the data DB2, DB3, and DB4, the number of white square areas corresponding to the size of the area in which user B is allowed to move within his own virtual space is 5, 7, increased to 8. As shown in these examples, in the present embodiment, users A and B have the same shape of regions in which users A and B are allowed to move within their respective virtual spaces. In the example of FIG. 5, the sizes of the data DA and DB (horizontal x vertical) are 3×4 and 4×4, respectively. Although it is not, if it is set so that scaling conversion is also allowed from example EX4 and the conversion processing T is calculated, the movement allowable range in the virtual space is further expanded.
以上の図５の例に示されるように、並進、回転及び拡大縮小変換の全部又は一部の組み合わせとして設定される座標変換Tを適用することで、各ユーザA,Bが実環境を反映した仮想空間内を自由に歩き回る等で移動しながら相手ユーザのアバタとコミュニケーションする自由度を、座標変換Tの設定される範囲内において最大限に高めることができ、移動の制約を最小化できる効果が得られる。 As shown in the example of FIG. 5 above, by applying the coordinate transformation T that is set as a combination of all or part of translation, rotation, and scale transformation, each user A and B reflects the real environment. The degree of freedom of communicating with the avatar of the other user while moving around in the virtual space can be maximized within the range set by the coordinate transformation T, and the effect of minimizing movement restrictions is achieved. can get.
以上、本実施形態の情報端末装置10A,10Bによれば、ユーザA,B間において臨場感を有する遠隔コミュニケーションの支援を、移動制約が少なく自由度が高い、ユーザA,Bの双方において快適な形で実現することができる。
As described above, according to the
以下、各種の補足的事項や追加的事項に関して説明する。 Various supplementary matters and additional matters will be described below.
＜１＞ 以上の説明は、時刻に関してある１時刻に固定されていることを前提としたが、各時刻t=1,2,3,…について同様の処理を繰り返すことにより、情報端末装置10A,10BによりユーザA,B間でのリアルタイムでの遠隔コミュニケーションの支援を行うことが可能である。 <1> In the above explanation, it is assumed that the time is fixed to one time. 10B can support remote communication between users A and B in real time.
図６は、一実施形態に係るリアルタイムでの情報端末装置10の動作のフローチャートである。ステップS1では、現時刻tが所定の処理タイミングに至ったか否かを判断し、肯定の場合（処理タイミングに至った場合）はステップS2へと進み、否定の場合（処理タイミングに至っていない場合）はステップS1へと戻ることにより、肯定判断が得られるまでステップS1で待機する。ステップS1での処理タイミングの判断は、所定の処理レートとしてよく、例えば提示部5において描画情報を表示する所定のフレームレートに一致するタイミングとしてよい。 FIG. 6 is a flowchart of real-time operation of the information terminal device 10 according to one embodiment. In step S1, it is determined whether or not the current time t has reached a predetermined processing timing. If the answer is affirmative (if the processing timing has been reached), the process proceeds to step S2, and if the answer is negative (if the processing timing has not reached). returns to step S1 and waits in step S1 until an affirmative determination is obtained. The determination of the processing timing in step S1 may be performed at a predetermined processing rate, for example, at a timing that matches a predetermined frame rate for displaying the drawing information in the presentation unit 5. FIG.
ステップS2では、認識部1、測位部2及び計測部3がそれぞれ認識、測位及び計測の処理を行い、現時刻tにおける自端末・自ユーザについての様子情報、測位情報及び領域情報を取得してから、ステップS3へと進む。ステップS3では、ステップS2で取得した現時刻tにおける自端末・自ユーザについての様子情報、測位情報及び領域情報を他端末（遠隔コミュニケーションの相手側として、自端末と同様に図６のフローをリアルタイムで実行している他端末）へと送信し、且つ、当該他端末におけるステップS2で取得されステップS3で送信された現時刻tにおける他端末・他ユーザについての様子情報、測位情報及び領域情報を自端末において受信してから、ステップS4へと進む。
In step S2, the
ステップS4では、ステップS2において取得した現時刻tにおける自端末・自ユーザについての様子情報、測位情報及び領域情報と、ステップS3において他端末から受信した他端末・他ユーザについての様子情報、測位情報及び領域情報を用いて描画部4が描画を行い、描画結果を提示部5において自ユーザに提示してから、ステップS1へと戻り、次の処理タイミングである次の現時刻t+1において、同様の処理が継続されることとなる。
In step S4, state information, positioning information, and area information about the own terminal/user at current time t acquired in step S2, and state information and positioning information about other terminals/users received from other terminals in step S3. And the
＜２＞ 図６の実施形態では、計測部3がリアルタイムで領域情報を計測し、これを用いて描画部4が描画を行うものとしたが、別の実施形態として、各ユーザの移動可能な領域を推定したものとしての領域情報は時間変化しないことを前提に、計測部3では予め各ユーザの環境において領域情報を事前に計測しておき、時間変化しない固定的な領域情報を描画部4において利用するようにしてもよい。すなわち、情報端末装置10においてリアルタイム処理を行うのは、計測部3を除いた認識部1、測位部2、描画部4及び提示部5のみであってもよい。
<2> In the embodiment of FIG. 6, the
自ユーザ及び他ユーザの両方の領域情報が事前計測されている場合、前述の座標変換Tも、時刻tに依存しない固定値として事前に算出しておき、描画部4において描画に利用することができる。
When the area information of both the own user and other users is measured in advance, the above-mentioned coordinate transformation T can also be calculated in advance as a fixed value that does not depend on the time t, and the
＜３＞ 以上の説明において、計測部3では、自ユーザが移動可能である領域を領域情報として計測するものとしたが、移動可能な領域の補集合が移動不可能な領域に該当するという関係があることにより、移動可能な領域と移動不可能な領域とは情報としては同内容であるため、移動不可能な領域として領域情報を計測するようにしてもよい。全く同様に、同内容に該当する、移動不可能な領域と移動可能な領域との境界を表す情報を、領域情報として計測するようにしてもよい。
<3> In the above description, the
＜４＞ 上記の計測部3で計測する領域情報の定義と全く同様に、以上の説明では描画部4では、仮想空間において移動非推奨領域を描画するものとしたが、補集合として同義となる移動推奨領域を描画するようにしてもよいし、これら移動非推奨領域と移動推奨領域との境界面を描画するようにしてもよい。また、描画結果が移動非推奨領域／移動推奨領域／これらの境界面である旨をユーザが理解可能となるような、任意の描画態様で描画を行えばよい。例えば、描画部4は境界面を半透明の赤色の面として、３次元仮想空間内に描画するものとの取り決めを予め設定しておき、ユーザマニュアル等の文書等によりユーザに当該取り決めを周知させておいてもよい。あるいは、仮想空間内にテキスト説明の描画を行って当該取り決めをユーザに周知させておいてもよい。こうして、ユーザは、現実の環境には存在しない半透明の赤色の面が仮想空間に描画されていることを描画情報として提示部5において確認することで、移動非推奨領域／移動推奨領域を知覚することが可能となる。
<4> In exactly the same way as the definition of the area information measured by the
すなわち、図４や図５で説明したような臨場感を有する遠隔コミュニケーションを実現するという目的上、移動非推奨領域内へとユーザが移動することは当該目的に反することから躊躇されるべきものであり、移動推奨領域内に限定して移動を行うことがユーザに推奨されることを予めユーザに周知しておき、任意の描画態様で移動非推奨領域／移動推奨領域／これらの境界面のいずれかを描画すればよい。 In other words, for the purpose of realizing remote communication with a sense of reality as described with reference to FIGS. 4 and 5, it is against the purpose of the user to move into the non-recommended movement area, and should be avoided. The user is informed in advance that it is recommended to move only within the recommended movement area, and any of the non-recommended movement area/recommended movement area/these boundary planes is drawn in an arbitrary drawing mode. You can draw either
＜５＞ 自ユーザAの描画部4Aにおいて、他ユーザBの移動可能範囲に相当し自ユーザAが当該範囲を超えて移動すべきでないことを表現する領域情報RA(B)を描画する際は、この領域情報RA(B)の全体ではなく一部のみ（又は当該一部のみが表す境界部分のみ）を描画するようにしてもよい。具体的に、この領域情報RA(B)全体のうち、自ユーザAの移動可能範囲としての領域情報R(A)との重複部分である積集合「RA(B)∩R(A)」のみを描画してもよいし、補集合として同様の内容を表す差集合「RA(B)＼R(A)」のみを描画するようにしてもよいし、これらの積集合や差集合の境界部分のみを描画するようにしてもよい。
<5> When the
図７は、上記のように一部のみ又はその境界箇所を描画することの模式例を示す図である。図７では３次元情報として領域情報が与えられている際に、模式例としてある２次元断面においてこの領域情報や対応する描画の各例が示されており、例EX20に示されるように、ある座標変換T（不図示）が計算された結果として、自ユーザAの領域情報R(A)と変換された他ユーザBの領域情報RA(B)とが示されている。（領域情報R(A),RA(B)は３次元情報の２次元断面として共に正方形の形状であり、ユーザA,Bの各環境（部屋など）ではそれぞれこの正方形内を移動可能となっている。）模式例として２次元断面において示す描画の各例が例EX21～EX24である。 FIG. 7 is a diagram showing a schematic example of drawing only a portion or a boundary portion thereof as described above. In FIG. 7, when area information is given as three-dimensional information, examples of this area information and corresponding drawing are shown in a two-dimensional cross section as a schematic example. Area information R(A) of own user A and transformed area information R A (B) of other user B are shown as a result of calculation of coordinate transformation T (not shown). (Regional information R(A) and R A (B) are two-dimensional cross-sections of three-dimensional information, both of which have a square shape, and users A and B can move within this square in each environment (room, etc.). ) Examples EX21 to EX24 are examples of drawing shown in a two-dimensional cross section as schematic examples.
この例EX20に対する描画部4Aによる描画として、例EX21,EX22にそれぞれグレー色の領域として示すように、積集合「RA(B)∩R(A)」又は補集合「RA(B)＼R(A)」をそれぞれ自ユーザAの移動可能領域及び移動不可能領域として描画するようにしてよい。（なお、補集合「RA(B)＼R(A)」は例EX22では４つの３角形領域として構成されている。）また、同内容に該当するものとして、例EX23に太線箇所で示すような境界部分BD1を移動可能領域と移動不可能領域との境界として描画してもよいし、例EX24に太線箇所で示すような境界部分BD2（境界部分BD1の一部分であり例EX24では４つの線分として構成されるものとして、自ユーザAの領域情報R(A)の内部にある境界部分BD2＝「BD1∩R(A)」）を描画してもよい。
As the drawing by the
自ユーザAの立場では、自身の置かれた環境（部屋などの現実世界）において実際に移動可能な範囲が領域情報R(A)であり、遠隔コミュニケーションを行う仮想空間における臨場感の観点から、他ユーザBに対して表示される立場で移動が許容される範囲が変換された領域情報RA(B)であるため、図７の例EX21に示される積集合「RA(B)∩R(A)」が移動許容範囲となるが、これを仮想空間（現実世界に対して重畳する仮想空間）において表現する態様としては、例EX21,E22,EX23,EX24等のいずれを用いるようにしてもよい。（なお、図７の例EX22の補集合「RA(B)＼R(A)」や例EX24の境界部分BD2は、図４の模式例においては、自ユーザAの仮想空間VAに描画した他ユーザBの移動不可能箇所としての表面EBR（環境SBの什器EBの表面領域に相当）に対応するものである。） From the standpoint of user A, the area information R(A) is the range in which user A can actually move in the environment in which he or she is placed (the real world such as a room). Since the area information R A (B) obtained by converting the range of movement permitted from the standpoint displayed to the other user B, the product set "R A (B)∩R (A)” is the allowable movement range, but as a mode of expressing this in virtual space (virtual space superimposed on the real world), use any of examples EX21, E22, EX23, EX24, etc. good too. (In the schematic example of FIG. 4, the complementary set "R A (B)\R(A)" of example EX22 in FIG. 7 and the boundary part BD2 of example EX24 are drawn in the virtual space VA of own user A. It corresponds to the surface EBR (equivalent to the surface area of the fixture EB of the environment SB) as an unmovable location for the other user B.)
なお、図７は自ユーザAの立場での例が示されているが、A,Bの符号を入れ替えることで他ユーザBでも同様の説明が成立する。特に、ユーザA,Bのそれぞれの仮想空間における移動が許容される範囲の形状は積集合「RA(B)∩R(A)」（又は積集合「RB(A)∩R(B)」）として同一形状となることで、ユーザA,Bは異なる環境（現実世界の異なる場所）に存在しながら、共通の仮想空間を共有して臨場感を有した遠隔コミュニケーションが可能となる。（前述したように拡大縮小変換によりスケールが変化することはありうる。）なお、このようにユーザA,Bで共有される仮想空間は前述の図５の例でも、５個、７個、８個の白色のマス目領域として示されている。 Note that FIG. 7 shows an example from the standpoint of user A, but the same explanation holds for other user B by replacing the signs of A and B. FIG. In particular, the shape of the range in which users A and B are allowed to move in the virtual space is the intersection "R A (B)∩R(A)" (or the intersection "R B (A)∩R(B) ”), users A and B can share a common virtual space while existing in different environments (different places in the real world), enabling remote communication with a sense of reality. (As described above, the scale may change due to scaling conversion.) Note that the virtual spaces shared by users A and B are five, seven, and eight in the example of FIG. are shown as individual white grid areas.
＜６＞ 認識部1で認識した様子情報を用いて、遠隔コミュニケーションを行う相手側の描画部4において様子情報を反映したアバタ（ユーザの分身キャラクタ）を描画するものとしたが、アバタに代えて、または加えて、いわゆる「実写アバタ」としてユーザの実写画像をビルボード（当該実写画像を配置した２次元の看板）として仮想空間内に描画するようにしてもよい。ビルボード描画を行う場合、認識部1で認識する様子情報を、環境に配置したカメラで撮像した実写画像からユーザの領域だけを切り抜いた情報とすればよく、描画部4では仮想空間内において、ユーザの測位情報で与えられる位置及び姿勢にビルボードを描画すればよい。実写画像からのユーザ領域の切り抜きは、深層学習等を用いた物体認識等の任意の既存手法を用いればよい。ビルボードはユーザの全身で構成されるものとしてもよいし、顔領域のみで構成されるものとしてもよい。顔領域のみのビルボードと、顔から下の身体部分についてのアバタと、を組み合わせて利用してもよい。
<6> Using the state information recognized by the
＜７＞ 提示部5を実現するハードウェアとして、ビデオシースルー型HMD又は光学シースルー型HMDを用いてもよい。ビデオシースルー型HMDを用いる場合、自ユーザの位置及び向きとして測位情報を取得する測位部2をハードウェアとして構成するカメラにおいて撮像された画像に対して、描画部4が描画した描画情報（他ユーザのアバタ及び移動推奨領域等を描画したもの）を重畳したものを、提示部5において提示すればよい。光学シースルー型HMDを用いる場合、以上の説明通り、描画部4が描画した描画情報のみを提示部5において提示することで、図４等で説明した拡張現実表示がユーザに提示することができる。
<7> As hardware for realizing the presentation unit 5, a video see-through HMD or an optical see-through HMD may be used. When using a video see-through HMD, the drawing information drawn by the drawing unit 4 (other user avatars and recommended movement regions) are superimposed on each other and presented by the presentation unit 5. FIG. When using an optical see-through HMD, as described above, by presenting only the drawing information drawn by the
＜８＞ 認識部1では自ユーザの様子情報の認識に加えて、自ユーザの環境における録音を行い、他ユーザの提示部5においては描画情報の表示処理に加えて自ユーザの側で録音された音声をリアルタイムで再生も行うことで、遠隔コミュニケーションにおいて双方の会話を可能としてもよい。
<8> In addition to recognizing state information of the own user, the
＜９＞ 計測部3でユーザが移動可能／不可能な領域として領域情報を計測する際に、例えば点群として領域情報を算出したうえで、点群に対応する画像に対して画像認識を適用し、点群の全体のうち自動又は手動により移動可能な所定種類の物体（手動で移動可能なものとして例えば椅子など）に該当する一部の点群を削除することで、最終的な領域情報を定めるようにしてもよい。移動可能な所定種類の物体に関しては、アバタと共に相手側の仮想空間内に所定の３次元モデルを用いて描画するようにしてもよい。
<9> When the
＜１０＞ 以上の説明では２ユーザA,B間での遠隔コミュニケーションを行う場合を例としたが、３ユーザ以上についても同様に実施可能である。例えば３人目のユーザCがさらに存在して情報端末装置10Cにより遠隔コミュニケーションをユーザA,B,C間で行う場合、自ユーザAにおいては、他ユーザBとの間で領域情報の位置合わせを座標変換TAにより行い、さらに、他ユーザCとの間で領域情報の位置合わせを座標変換TCにより行い、他ユーザB,Cのアバタ等を仮想空間に描画すればよい。また、ある１つの遠隔地としての環境に、２ユーザ以上が存在してもよい。例えば、３ユーザA,B1,B2間が存在し、ユーザAが第１の環境に存在し、ユーザB1,B2が第２の環境に存在する場合、ユーザB1,B2は領域情報が共通であるものとして扱えばよい。 <10> In the above description, the case of remote communication between two users A and B was taken as an example, but it is also possible to perform remote communication with three or more users. For example, when a third user C further exists and remote communication is performed between users A, B, and C using the information terminal device 10C, self-user A coordinates region information alignment with other user B. Transformation T A is performed, and furthermore, region information is aligned with another user C by coordinate transformation T C , and the avatars and the like of other users B and C are drawn in the virtual space. Also, two or more users may exist in one remote environment. For example, if three users A, B1, and B2 exist, and user A exists in a first environment and users B1 and B2 exist in a second environment, users B1 and B2 have common area information. It should be treated as a thing.
＜１１＞ 計測部3では点群や深度マップ等の３次元座標情報として領域情報を得た後に、ボクセルとして量子化することで、座標変換Tの算出等を高速化するようにしてもよい。描画部4で座標変換Tを算出する際に、回転変換を、３次元世界座標における鉛直方向周りの回転変換に限定するようにしてもよい。計測部3では、図５の模式例に示されるように、３次元世界座標の水平方向の平面に相当する２次元座標情報として領域情報を得るようにしてもよい。２次元座標情報として領域情報が得られており、且つ、図５の模式例に示されるように、領域情報がグリッド状に量子化されて与えられている場合、座標変換Tの候補全体を予め設定しておき、画像のテンプレートマッチングのように、候補全体内の全数探索によって座標変換Tを算出するようにしてもよい。
<11> After obtaining area information as three-dimensional coordinate information such as a point group or depth map, the
＜１２＞ 図８は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。情報システム100における情報端末装置10A,10B及びサーバ20はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で情報端末装置10A,10B及びサーバ20のそれぞれを実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、環境やユーザを撮像するカメラ78及びLiDARセンサ等の画像撮像以外を用いたセンシングや計測を行う１種類以上のセンサ79と、これらの間でデータを授受するためのバスBSと、を備える。
<12> FIG. 8 is a diagram showing an example of a hardware configuration in a general computer device 70. As shown in FIG. Each of the
情報端末装置10A,10B及びサーバ20のそれぞれの各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。提示部5はディスプレイ76として実現することで、拡張現実表示を出力してよい。
Each functional unit of the
前述した第二実施形態としてサーバ20を利用する場合、サーバ20には例えば描画部4の機能を担わせるようにしてよいが、情報端末装置10A,10Bの環境化においてしか取得できない情報を取得する処理以外の任意の処理の全部又は一部をサーバ20が担うようにしてもよい。
When the
10,10A,10B…情報端末装置、1,1A,1B…認識部、2,2A,2B…測位部、3,3A,3B…計測部、4,4A,4B…描画部、5,5A,5B…提示部 10, 10A, 10B... information terminal device, 1, 1A, 1B... recognition section, 2, 2A, 2B... positioning section, 3, 3A, 3B... measurement section, 4, 4A, 4B... drawing section, 5, 5A, 5B…Present part
Claims (9)
前記自ユーザの位置及び向きを第１測位情報として取得する測位部と、
前記自ユーザの移動可能範囲を推定したものとして第１領域情報を取得する計測部と、
前記他ユーザより、前記他ユーザの第２様子情報と、前記他ユーザの位置及び向きとして第２測位情報と、前記他ユーザの移動可能範囲を推定したものとして第２領域情報と、を受信し、
前記第１測位情報の位置及び向きに設定した仮想カメラ視点において、前記第２測位情報の位置及び向き並びに前記第２様子情報を反映した前記他ユーザのアバタ又は前記他ユーザを描画し、且つ、前記第１領域情報を近似するように前記第２領域情報を座標変換した変換第２領域情報の少なくとも一部を、前記自ユーザの移動しうる推奨範囲を表現するものとして描画する描画部と、
前記描画部が描画した結果を前記自ユーザに提示する提示部と、を備えることを特徴とする情報端末装置。 An information terminal device that is used by the user and supports remote communication between the user and other users,
a positioning unit that acquires the position and orientation of the own user as first positioning information;
a measurement unit that acquires first region information as an estimate of the user's movable range;
receiving from the other user second state information of the other user, second positioning information as the position and orientation of the other user, and second region information as an estimated movable range of the other user; ,
Rendering the other user's avatar or the other user reflecting the position and orientation of the second positioning information and the second state information at a virtual camera viewpoint set to the position and orientation of the first positioning information; and a drawing unit that draws at least part of the transformed second area information obtained by coordinate-transforming the second area information so as to approximate the first area information as representing a recommended range of movement of the user;
an information terminal device, comprising: a presentation unit that presents a result drawn by the drawing unit to the user.
前記描画部で前記他ユーザを描画する際は、前記他ユーザを撮像した画像を用いることを特徴とする請求項１ないし４のいずれかに記載の情報端末装置。 The state information of the other user includes an image of the other user,
5. The information terminal device according to any one of claims 1 to 4, wherein an image of the other user is used when the drawing unit draws the other user.
前記第１ユーザの第１様子情報及び前記第２ユーザの第２様子情報を取得することと、
前記第１ユーザ及び前記第２ユーザの位置及び向きをそれぞれ第１測位情報及び第２測位情報として取得することと、
前記第１ユーザ及び前記第２ユーザの移動可能範囲を推定したものとしてそれぞれ第１領域情報及び第２領域情報を取得することと、
前記第１測位情報の位置及び向きに設定した仮想カメラ視点において、前記第２測位情報の位置及び向き並びに前記第２様子情報を反映した前記第２ユーザのアバタ又は前記第２ユーザを描画し、且つ、前記第１領域情報を近似するように前記第２領域情報を座標変換した変換第２領域情報の少なくとも一部を、前記第１ユーザの移動しうる推奨範囲を表現するものとして描画し、当該描画結果を前記第１ユーザに提示することと、
前記第２測位情報の位置及び向きに設定した仮想カメラ視点において、前記第１測位情報の位置及び向き並びに前記第１様子情報を反映した前記第１ユーザのアバタ又は前記第１ユーザを描画し、且つ、前記第２領域情報を近似するように前記第１領域情報を座標変換した変換第１領域情報の少なくとも一部を、前記第２ユーザの移動しうる推奨範囲を表現するものとして描画し、当該描画結果を前記第２ユーザに提示することと、を備えることを特徴とする、遠隔コミュニケーション支援方法。 A method of supporting remote communication between a first user and a second user, performed by at least one device, comprising:
Acquiring the first state information of the first user and the second state information of the second user;
obtaining the positions and orientations of the first user and the second user as first positioning information and second positioning information, respectively;
Acquiring first area information and second area information as estimated movable ranges of the first user and the second user, respectively;
drawing the second user's avatar or the second user reflecting the position and orientation of the second positioning information and the second state information at a virtual camera viewpoint set to the position and orientation of the first positioning information; and drawing at least a part of the transformed second area information obtained by coordinate-transforming the second area information so as to approximate the first area information as representing a recommended range of movement of the first user, presenting the drawing result to the first user;
drawing the first user's avatar or the first user reflecting the position and orientation of the first positioning information and the first state information at a virtual camera viewpoint set to the position and orientation of the second positioning information; and drawing at least part of the transformed first area information obtained by coordinate-transforming the first area information so as to approximate the second area information as representing a recommended range of movement of the second user, and presenting the drawing result to the second user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020104792A JP7280223B2 (en) | 2020-06-17 | 2020-06-17 | Information terminal device, remote communication support method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020104792A JP7280223B2 (en) | 2020-06-17 | 2020-06-17 | Information terminal device, remote communication support method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021197695A JP2021197695A (en) | 2021-12-27 |
| JP7280223B2 true JP7280223B2 (en) | 2023-05-23 |
Family
ID=79196098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020104792A Active JP7280223B2 (en) | 2020-06-17 | 2020-06-17 | Information terminal device, remote communication support method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7280223B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7158781B1 (en) | 2021-11-29 | 2022-10-24 | クラスター株式会社 | Terminal device, server, virtual reality space providing system, program, and virtual reality space providing method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248841A (en) | 2001-12-20 | 2003-09-05 | Matsushita Electric Ind Co Ltd | Virtual television intercom |
| JP2014056308A (en) | 2012-09-11 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system, and video communication method |
| JP2017138915A (en) | 2016-02-05 | 2017-08-10 | 株式会社バンダイナムコエンターテインメント | Image generation system and program |
| JP2019175323A (en) | 2018-03-29 | 2019-10-10 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
| JP2019185791A (en) | 2019-05-09 | 2019-10-24 | Kddi株式会社 | Terminal device, method for controlling terminal device, and computer program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3193263B2 (en) * | 1995-06-05 | 2001-07-30 | 日本電信電話株式会社 | 3D image display system |
-
2020
- 2020-06-17 JP JP2020104792A patent/JP7280223B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248841A (en) | 2001-12-20 | 2003-09-05 | Matsushita Electric Ind Co Ltd | Virtual television intercom |
| JP2014056308A (en) | 2012-09-11 | 2014-03-27 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system, and video communication method |
| JP2017138915A (en) | 2016-02-05 | 2017-08-10 | 株式会社バンダイナムコエンターテインメント | Image generation system and program |
| JP2019175323A (en) | 2018-03-29 | 2019-10-10 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
| JP2019185791A (en) | 2019-05-09 | 2019-10-24 | Kddi株式会社 | Terminal device, method for controlling terminal device, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021197695A (en) | 2021-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2691938B1 (en) | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking | |
| WO2018116790A1 (en) | Inconsistency detection system, mixed reality system, program, and inconsistency detection method | |
| US10701344B2 (en) | Information processing device, information processing system, control method of an information processing device, and parameter setting method | |
| US11688084B1 (en) | Artificial reality system with 3D environment reconstruction using planar constraints | |
| CN112771539A (en) | Using three-dimensional data predicted from two-dimensional images using neural networks for 3D modeling applications | |
| CN111510701A (en) | Virtual content display method and device, electronic equipment and computer readable medium | |
| US11004256B2 (en) | Collaboration of augmented reality content in stereoscopic view in virtualized environment | |
| Jia et al. | 3D image reconstruction and human body tracking using stereo vision and Kinect technology | |
| CA2550512A1 (en) | 3d videogame system | |
| Jo et al. | Chili: viewpoint control and on-video drawing for mobile video calls | |
| CN114341943A (en) | Simple environment solver using plane extraction | |
| Noh et al. | An HMD-based Mixed Reality System for Avatar-Mediated Remote Collaboration with Bare-hand Interaction. | |
| CN111986334A (en) | Hololens and CAVE combined virtual experience system and method | |
| Adcock et al. | Visualization of off-surface 3D viewpoint locations in spatial augmented reality | |
| Selvam et al. | Augmented reality for information retrieval aimed at museum exhibitions using smartphones | |
| JP7280223B2 (en) | Information terminal device, remote communication support method and program | |
| WO2022023142A1 (en) | Virtual window | |
| WO2023088127A1 (en) | Indoor navigation method, server, apparatus and terminal | |
| Ishigaki et al. | Real-time 3D reconstruction for mixed reality telepresence using multiple depth sensors | |
| Ogawa et al. | Occlusion handling in outdoor augmented reality using a combination of map data and instance segmentation | |
| Tamagawa et al. | Developing a 2.5-D video avatar | |
| CN110060349A (en) | A method of extension augmented reality head-mounted display apparatus field angle | |
| Piérard et al. | I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes | |
| WO2022089061A1 (en) | Object annotation information presentation method and apparatus, and electronic device and storage medium | |
| EP4012654A2 (en) | Feature determination, measurement, and virtualization from 2-d image capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230509 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7280223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |