JP7413122B2 - 画像生成システム、画像生成装置及び画像生成方法 - Google Patents

Description

本発明は、画像生成システム、画像生成装置及び画像生成方法に関するものである。

ユーザのコンピュータゲームの能力値等に基づいて、ユーザの頭部や視線の動きを含むユーザ姿勢情報を他のユーザに公開すると決定された場合に、ユーザ姿勢情報に基づき、仮想現実空間においてユーザを表すアバター画像を表示する技術が知られている（特許文献１）。

特開２０１７－１０２６３９号公報

しかしながら、特許文献１記載の技術では、ユーザが手で物を取り扱った場合、ユーザが触れている物が他のユーザに表示されないため、他のユーザは、ユーザのアバター画像から、ユーザが何に触れているのかが理解できないという問題がある。

本発明が解決しようとする課題は、ユーザが手で物を取り扱った場合、ユーザが何に触れているのかを他のユーザが理解できる画像生成システム、画像生成装置及び画像生成方法を提供することである。

本発明は、ユーザの情報及びユーザが存在する空間内の情報を含む空間情報を取得し、ユーザの情報に基づきユーザを表す第１表示画像を生成し、空間情報に基づいて、ユーザの周囲に位置する対象物を特定し、空間情報に基づいて、ユーザの体の一部が対象物に接触したか否かを判定し、ユーザの体の一部が対象物に接触したと判定される場合には、対象物を表す第２表示画像を生成し、他ユーザに第１表示画像及び前記第２表示画像を表示することによって上記課題を解決する。

本発明によれば、ユーザが手で物を取り扱った場合、ユーザが何に触れているのかを他のユーザが理解できる。

図１は、本実施形態にかかる表示画像生成システムの一例を示す構成図である。 図２は、本実施形態が適用される場面の一例を示す図である。 図３は、本実施形態にかかる表示端末に表示される表示画面の一例を示す図である。 図４は、本実施形態にかかる表示画像生成制御の一例を示すフローチャートである。 図５は、本実施形態にかかる表示画像生成制御の一例を示すフローチャートである。

以下、本発明に係る表示画像生成システムの一実施形態を図面に基づいて説明する。

図１は、本願発明の実施形態にかかる表示画像生成システム１の一例を示すブロック図である。図１に示すように、本実施形態における表示画像生成システム１は、コントローラ１０と、センサ群１１と、空間検出カメラ１２と、ユーザ表示端末１３と、他ユーザ表示端末１４とを含む。本実施形態では、ユーザが車両１００内にいて、他ユーザが車両１００とは異なる他の空間（例えば、他ユーザの自室）にいて、それぞれユーザはユーザ表示端末１３を装着し、他ユーザは他ユーザ表示端末１４を装着している場面を想定している。このとき、ユーザは、ユーザ表示端末１３を介して、車両１００内の実際の光景に、隣に座っている他ユーザのアバターが表示されている拡張現実（ＡＲ）空間を見ている。一方で、他ユーザは、他ユーザ表示端末１４を介して、自分が車両１００内でユーザの隣に座っているかのような仮想現実（ＶＲ）空間を見ている。なお、これに限らず、ユーザが車両内ではなく、自室にいて、ユーザ表示端末１３を装着している場面に適用されることとしてもよい。また、本実施形態では、コントローラ１０、センサ群１１及び空間検出カメラ１２は車両１００に設置されていることとしている。そして、コントローラ１０は、センサ群１１、空間検出カメラ１２及びユーザ表示端末１３と、有線ケーブルによって通信可能に接続していて、コントローラ１０と他ユーザ表示端末１４は、無線通信によって通信可能に接続されている。

コントローラ１０は、ユーザが存在する車両１００内の空間情報を取得し、空間情報に基づき、他ユーザに表示するための画像を生成して、生成した画像を他ユーザ表示端末１４に送信する。コントローラ１０は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。コントローラ１０は、機能ブロックとして、情報取得部１０１と、対象物特定部１０２と、接触状態判定部１０３と、表示画像制御部１０４と、情報共有制御部１０５と、通信部１０６とを備え、上記各部の機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。また、コントローラ１０が生成する画像は、例えば、車両内の情報に基づき構築された仮想現実空間を表す画像であり、ユーザの顔や身体などを視覚的に表現したアバター画像を含むものである。コントローラ１０で生成された画像は、他ユーザ表示端末１４を介して他ユーザに表示される。なお、本実施形態では、コントローラ１０が、車両１００内の空間情報を取得し、空間情報に基づき、画像を生成し、他ユーザ表示端末１４に画像を送信することとしているが、これに限らず、例えば、他ユーザ表示端末１４が車両１００内の空間情報を直接取得し、空間情報に基づき生成した画像を表示することとしてもよい。

情報取得部１０１は、ユーザの情報及びユーザが存在する車両１００内の情報を含む空間情報を取得する。ユーザの情報は、センサ群１１が取得したユーザの姿勢情報及びユーザのアバター画像情報を含む。センサ群１１が取得するユーザの姿勢情報としては、例えば、ユーザの視線や顔の向き、手の動きに関する情報である。また、情報取得部１０１は、空間検出カメラ１２が取得した車両１００内の空間内情報を取得する。空間内情報は、ユーザの周囲に位置する対象物を含む。

対象物特定部１０２は、取得した車両１００内の空間内情報に基づき、ユーザの周囲にある対象物を特定する。具体的には、対象物特定部１０２は、画像認識により、空間内情報に含まれる画像データから、対象物の特徴を抽出し、対象物の種別を識別する。対象物の種別は、例えば、ノートパソコンやＰＣの操作系であるキーボードやマウス、スマートフォン、タブレット端末、リモコン等の操作デバイスが挙げられる。操作デバイスは、外部からの入力に基づいて所定の機能を実行させる装置である。操作デバイス以外の対象物の種別は、コップや文房具等の手で動かすものが挙げられる。また、このとき、対象物特定部１０２は、識別した対象物の種別に基づいて、対象物が操作デバイスであるか否かを特定する。さらに、対象物特定部１０２は、対象物が操作デバイスである場合には、操作デバイスである対象物に表示画面（ディスプレイ）が備えられているか否かを特定する。

接触状態判定部１０３は、対象物特定部１０２が特定した対象物について、当該対象物にユーザの体の一部が接触したか否かを判定する。対象物にユーザの体の一部が接触した状態とは、ユーザが対象物を操作している状態または手で動かしている状態であり、例えば、ＰＣやスマートフォンを操作することや、コップを手で持っていることを指す。体の一部とは、例えば、手や頭部を含む。まず、接触状態判定部１０３は、情報取得部１０１により取得されたユーザの情報と、対象物特定部１０２による対象物認識に基づいて、ユーザの体の一部が対象物に接触したか否かを判定する。そして、接触状態判定部１０３は、判定結果の情報を表示画像制御部１０４に出力する。具体的には、接触状態判定部１０３は、情報取得部１０１により取得されたユーザの情報と、対象物特定部１０２による対象物認識に基づいて、画像認識によりユーザの体の一部と対象物を特定し、特定されたユーザの体の一部と対象物との距離を測定する。そして、接触状態判定部１０３は、当該距離が所定値未満またはゼロである場合に、ユーザの体の一部が対象物に接触したと判定する。接触状態判定部１０３は、当該距離が所定値以上である場合には、ユーザの体の一部が対象物に接触したと判定しない。例えば、まず、接触状態判定部１０３は、画像認識により、手の特徴を抽出して、ユーザの手を特定し、対象物を特定し、対象物とユーザの手との間の距離を測定する。そして、当該距離が所定値未満またはゼロである場合に、ユーザの手が対象物に接触したと判定する。また、対象物が操作デバイスである場合には、操作デバイスとコントローラ１０とを接続させて、操作デバイスに操作入力があれば、入力信号を操作デバイスから接触状態判定部１０３に出力させることとしてもよい。入力方法は、例えば、キーボードのタイピングやマウス操作、タッチパネルへのタッチが挙げられる。そして、接触状態判定部１０３が、入力信号を受けると、ユーザの体の一部が対象物に接触したと判定する。

また、本実施形態では、接触状態判定部１０３は、所定の時間間隔でユーザの体の一部が対象物に接触したか否かを判定する。また、ユーザの体の一部が対象物に接触したと判定された場合には、接触状態判定部１０３は、ユーザの体の一部が対象物に接触したと判定された後所定時間内にユーザの体の一部が対象物に接触したか否かを判定する。所定時間は、後述する第２表示画像が表示されている時間である。接触状態判定部１０３は、当該所定時間内にユーザの体の一部が対象物に接触したと判定されなかった場合には、ユーザの体の一部が対象物に接触したと判定されなかったことを示す判定結果の情報を表示画像制御部１０４に出力する。すなわち、接触状態判定部１０３は、当該所定時間の間は、所定の時間間隔ごとに判定結果を出力するのではなく、当該所定時間の間、所定の時間間隔ごとに実行される判定において一度も、ユーザの体の一部が対象物に接触したと判定されなかったときに、当該所定時間内にユーザの体の一部が対象物に接触したと判定されなかったということを示す判定結果の情報を出力する。これにより、第２表示画像が表示されている所定時間の間は、ユーザの体の一部が対象物に接触していない瞬間があったとしても、第２表示画像の表示を維持し続けることができる。これは、第２表示画像が表示されているときに、消えたり表示されたりすることが頻繁に繰り返されるのを防止するためである。また、第２表示画像が表示されていない時には、接触状態判定部１０３は、所定の時間間隔の判定において、ユーザの体の一部が対象物に接触したと判定されない場合には、その都度、判定結果の情報を出力する。また、接触状態判定部１０３は、当該所定時間内に、ユーザの体の一部が対象物に接触したと判定された場合には、所定時間内であっても、判定結果を出力する。

表示画像制御部１０４は、情報取得部１０１が取得した車両１００内の空間情報に基づき表示画像を生成する。例えば、仮想現実空間画像であり、車両１００内の空間情報に基づき構築された仮想現実空間を示す画像を生成する。また、ユーザのアバター画像を表す第１表示画像を生成する。表示画像制御部１０４は、情報取得部１０１が取得したユーザの姿勢情報に基づいて第１表示画像を生成する。例えば、表示画像制御部１０４は、ユーザの姿勢情報によって示される方向にユーザのアバターの視線や顔が向いていて、ユーザの姿勢情報によって示される位置に手が位置しているユーザのアバター画像を生成する。なお、表示画像制御部１０４は、アバター画像を生成し、アバター画像と、情報取得部１０１が取得したユーザの姿勢情報をそれぞれ他ユーザ表示端末１４に送信し、他ユーザ端末出力部１４１において、アバター画像を、ユーザの姿勢情報に基づいて制御して表示することとしてもよい。

また、表示画像制御部１０４は、ユーザの周囲に存在する対象物を表す対象物画像を第２表示画像として生成する。対象物特定部１０２により特定された対象物の種別に応じて、対象物を表す画像の種類を選択し、選択した画像を、第２表示画像として生成する。このとき、対象物特定部１０２により、対象物が操作デバイスであると特定され、操作デバイスに表示画面が備えられていると特定される場合には、取得された表示画面に表示されている画像を含む第２表示画像を生成する。具体的には、対象物画像における表示画面の位置に対応させて操作デバイスの表示画面を表示させた第２表示画像を生成する。操作デバイスの表示画面とは、例えば、ＰＣやスマートフォンのディスプレイである。また、対象物特定部１０２により、対象物が操作デバイスであると特定できない場合、例えば、画像認識により、対象物の種別が識別できない場合、あるいは、対象物の種別が操作デバイスに該当しない種別である場合、表示画像制御部１０４は、対象物の形状を模した第２表示画像を生成する。具体的には、表示画像制御部１０４は、情報取得部１０１が取得した対象物の３次元データに基づいて対象物の形状を模した第２表示画像を生成する。

また、本実施形態では、表示画像制御部１０４は、接触状態判定部１０３によりユーザの体の一部が対象物に接触したと判定される場合に、第２表示画像を生成し、ユーザの体の一部が対象物に接触したと判定されない場合には、第２表示画像を生成しない。具体的には、表示画像制御部１０４は、接触状態判定部１０３からの判定結果の情報の出力を受けて、ユーザの体の一部が対象物に接触したと判定されたことを示す情報であれば、第２表示画像を生成し、ユーザの体の一部が対象物に接触したと判定されないことを示す情報であれば、第２表示画像を生成しない。また、表示画像制御部１０４は、接触状態判定部１０３によりユーザの体の一部が対象物に接触した後所定時間の間にユーザの体の一部が対象物に接触したと判定されなかった場合には、第２表示画像を生成しない。これにより、第２表示画像が表示された後は、ユーザの体の一部が対象物に接触したと判定されない場合であっても、所定時間の間は、第２表示画像を表示し続け、所定時間経過後に第２表示画像を表示しないようにできる。

情報共有制御部１０５は、空間内の風景及び対象物の表示画面の共有可否を決定する。具体的には、情報共有制御部１０５は、ユーザ表示端末１３のユーザ端末出力部１３２を介して、ユーザに、共有可否の選択肢を提示する。そして、ユーザから取得した情報に基づいて、空間内の風景及び対象物の表示画面の共有可否を決定する。例えば、車両内の風景すべてを他ユーザに表示して共有するか否かを選択肢として提示し、ユーザが、ユーザ端末入力部１３１を介して、共有すると入力した場合には、情報共有制御部１０５は、空間内の風景を共有することを決定する。また、情報共有制御部１０５は、他ユーザ表示端末１４の表示画面上における対象物の再現性を示す再現度を決定する。再現度は、対象物に対して第２表示画像が一致する度合いであり、つまり、第２表示画像が対象物にどれだけ近いかを表す指標である。再現度は、複数の区分に段階を分けて設定されていて、再現度の区分は、例えば、対象物全体の実写画像、対象物の一部の実写画像、対象物の形象を描写した画像、対象物の形状のみを模した画像といった区分が挙げられる。対象物の一部の実写画像の例としては、実写画像のうち対象物の表示画面部分以外を写す画像である。情報共有制御部１０５は、第２表示画像における対象物の再現度に関する情報をユーザから取得し、取得した情報に基づき、再現度を決定する。具体的には、情報共有制御部１０５は、再現度の選択肢をユーザに提示する。そして、ユーザが選択した再現度に応じた第２表示画像を生成することを決定する。例えば、情報共有制御部１０５は、再現度の選択肢として、対象物の表示画面部分を含む、すなわち、対象物の表示画面に表示されている画像情報を含む第２表示画像を表示するか否かの選択肢をユーザに提示し、ユーザが、ユーザ端末入力部１３１を介して、表示すると入力した場合には、対象物の表示画面の画像情報を含む第２表示画像を生成することを決定する。そして、情報共有制御部１０５は、表示画像の共有可否及び対象物の再現度を決定した場合、表示画像の共有可否及び対象物の再現度の情報を表示画像制御部１０４に出力する。そして、当該情報を取得した表示画像制御部は、表示画像の共有可否及び対象物の再現度に応じた表示画像を生成する。

通信部１０６は、他ユーザ表示端末１４と通信を行い、各種情報の送受信を行う。例えば、通信部１０６は、他ユーザ表示端末１４に、表示画像制御部１０４により生成された表示画像や第２表示画像の位置情報を送信する。具体的には、通信部１０６は、ユーザの体の一部が対象物に接触したと判定された場合には、第１表示画像と、第２表示画像、第２表示画像の位置情報を送信する。通信部１０６は、ユーザの体の一部が対象物に接触したと判定されない場合には、第１表示画像のみを送信する。また、通信部１０６は、ユーザの体の一部が対象物に接触したと判定された後所定時間内にユーザの体の一部が対象物に接触したと判定されない場合には、第１表示画像のみを送信し、第２表示画像を送信しない。

センサ群１１は、姿勢検出カメラ１１１と、加速度センサ１１２と、ジャイロセンサ１１３とを備え、ユーザの姿勢情報を取得する。例えば、姿勢検出カメラ１１１は、ユーザの目の前に設置され、ユーザの眼球の動きを追跡して、ユーザの視線がどちらの方向に向けられているかを検出する。また、姿勢検出カメラ１１１を用いて、ユーザの頭の向きを検出することとしてもよい。例えば、室内の固定位置に設置された赤外線センサを用いて、ユーザ表示端末１３の表面に設けられた赤外線発光体又は赤外線反射マーカーを検知することにより、ユーザ表示端末１３を装着したユーザの頭の向きを特定する。なお、姿勢検出カメラ１１１は、ユーザ表示端末１３に備えられていることとしてもよく、例えば、姿勢検出カメラ１１１を用いたＳＬＡＭやステレオ視により姿勢推定を行うことや、姿勢検出カメラ１１１で認識したマーカから姿勢推定を行うこととしてもよい。また、センサ群１１の加速度センサ１１２やジャイロセンサ１１３は、ユーザの姿勢情報を取得する。例えば、ユーザの手のＡＲトラッカーに備わる加速度センサ１１２やジャイロセンサ１１３がユーザの手の動きを検出する。また、加速度センサ１１２とジャイロセンサ１１３はユーザ表示端末１３に備えられるものとしてもよく、加速度センサ１１２及びジャイロセンサ１１３はユーザの頭部が向いている方向を検知する。センサ群１１で取得されたユーザの姿勢情報は、情報取得部１０１に送信される。

空間検出カメラ１２は、車両１００の空間内情報を取得する。空間内情報は、ユーザや、ユーザの周囲に存在する対象物に関する情報を含む。また、空間検出カメラ１２は、ユーザの周囲に存在する対象物の３次元データを取得する。例えば、空間検出カメラ１２として、Ｄｅｐｔｈカメラを用いることにより、３次元計測を行うこととしてもよいし、ステレオ配置した空間検出カメラ１２を用いて、３次元計測を行うこととしてもよい。空間検出カメラ１２が取得した情報は、コントローラ１０の情報取得部１０１に送信される。

ユーザ表示端末１３は、ユーザの頭部に装着される表示装置であり、例えば、ＡＲヘッドマウントディスプレイである。ユーザ表示端末１３は、少なくともユーザ端末入力部１３１と、ユーザ端末出力部１３２を備える。なお、ユーザ表示端末１３は、センサ群１１を構成するカメラや加速度センサ、ジャイロセンサを有することとしてもよい。

ユーザ端末入力部１３１は、ユーザによる入力情報を取得する。ユーザ端末入力部１３１は、例えば、マイクであり、音声によってユーザが情報を入力する。本実施形態では、例えば、ユーザが、車両１００の空間内の情報をどこまで他ユーザと共有するかに関する情報を入力する。

ユーザ端末出力部１３２は、ユーザの視界に画像を表示する。例えば、ユーザ端末出力部１３２は、非透過型ディスプレイである。ユーザはユーザ端末出力部１３２の表示画面に映し出された画像を見ることができる。例えば、ユーザが乗車している車両の車内の情報に基づき構築した、車内の実風景を背景画像として生成して表示させる。あるいは、ユーザ端末出力部１３２は、透過型ディスプレイであり、この場合には、ユーザは、ディスプレイの先に見える実風景を直接見ることができ、さらに、ディスプレイ上に表示画像を表示することで、拡張現実（ＡＲ）を見ることができる。

他ユーザ表示端末１４は、ユーザとは異なる他の空間にいる他ユーザが装着している表示装置であり、例えば、ＶＲヘッドマウントディスプレイである。他ユーザ表示端末１４は、少なくとも他ユーザ端末出力部１４１と、他ユーザ端末通信部１４２とを備える。本実施形態では、他ユーザ表示端末１４に表示される表示画像は、例えば、ユーザが乗車している車両内の空間を表す仮想現実空間画像である。仮想現実空間画像は、ユーザのアバター画像を含む。他ユーザは、他ユーザ表示端末１４を介して、ユーザのアバターが隣に座っている車内の様子を仮想現実空間として見ることができる。

他ユーザ端末出力部１４１は、他ユーザ端末通信部１４２により取得された画像情報に基づき、表示画面に画像を表示する。取得される画像情報としては、ユーザを表すアバター画像である第１表示画像、対象物を表す第２表示画像、車両内を表す画像（背景画像）である。また、他ユーザ端末出力部１４１は第２表示画像の位置情報を取得する。他ユーザ端末出力部１４１は、ユーザのアバター画像である第１表示画像を表示し、対象物の位置情報に基づいて、対象物を表示する。具体的には、他ユーザ端末出力部１４１は、ユーザの体の一部が対象物に接触したと判定される場合には、第１表示画像を表示し、ユーザの体の一部が対象物に接触したと判定された後所定時間の間、ユーザのアバターに対する対象物の位置情報に基づいて、第２表示画像を表示する。また、他ユーザ端末出力部１４１は、ユーザの体の一部が対象物に接触したと判定されない場合には、第１表示画像のみを表示する。また、他ユーザ端末出力部１４１は、ユーザの体の一部が対象物に接触したと判定された後所定時間内にユーザの体の一部が対象物に接触したと判定されない場合には、第１表示画像のみを表示し、第２表示画像を表示しない。すなわち、他ユーザ端末出力部１４１は、ユーザの体の一部が対象物に接触したと判定された場合には、所定時間の間、ユーザの体の一部が対象物に接触したと判定されないという判定結果が出たとしても、第２表示画像の表示を維持する。

ここで、図２及び３を用いて、他ユーザ端末出力部１４１が表示する画像の一例を説明する。図２は、本実施形態における適用状況を示している図であり、ユーザ４０は、ユーザ表示端末１３を装着しながら車両１００に乗車していて、他ユーザアバター２０が隣に座っているような拡張現実を見ている。他ユーザ表示端末１４を装着している他ユーザの視点では、他ユーザアバター２０の位置から隣の席にユーザ４０が座っているように見えている。そして、図３が、他ユーザ表示端末１４で表示されている画像、すなわち、他ユーザに見えている表示画像の一例である。まず、図３のパターン１は、車内の風景（背景画像）にユーザを表すアバターである第１表示画像が重畳表示されている仮想現実空間を表す図である。例えば、このとき、実際には、ユーザが膝の上にノートパソコンを乗せて、キーボードのタイピングをしていた場合、タイピングの動作を行うユーザのアバターが表示されることになるが、他ユーザには、ノートパソコンが表示されないため、ユーザが何もない空間に対して手を動かしている様子が表示されることになる。これに対して、図３のパターン２は、車内外の風景にユーザを表すアバターである第１表示画像と対象物を表す第２表示画像が重畳表示されている仮想現実空間を表す図である。このとき、タイピングされているノートパソコンが対象物として表示されているため、他ユーザには、ユーザがノートパソコンに対して手を動かしている様子が表示されることになる。したがって、他ユーザは、ユーザが何を操作しているのかが分かる。また、図３のパターン３は、対象物を表す第２表示画像の上に、対象物であるノートパソコンのモニター画面を表す画像が重畳表示されている仮想現実空間を表す図である。これにより、他ユーザは、ユーザが見ている表示画面を見ることができ、表示画面が表示されていない場合よりも、より自然に見える。なお、本実施形態では、図２で示される場面に限らず、例えば、ユーザ４０が運転席に座っていて、他ユーザのアバターが助手席に座り、助手席からの視点で、他ユーザが車内を見ていることとしてもよい。また、本実施形態では、ユーザが車内にいる場面を想定しているが、これに限らず、例えば、ユーザと他ユーザがそれぞれ自室にいて、同じ仮想現実空間を共有している場面を想定することとしてもよい。その場合には、双方に相手の手の動きや取り扱っている対象物の画像を表示する。

他ユーザ端末通信部１４２は、コントローラ１０の通信部１０６と通信可能に接続されていて、通信部１０６から、表示画像制御部１０４で生成された画像及び第２表示画像の位置情報を受信する。

図４は、本発明の実施形態に係る画像生成制御の一連の手順を示すフローチャートである。本実施形態では、他ユーザが他ユーザ表示端末１４を起動させて、ＶＲシステムを利用開始すると、ステップＳ１０１からフローを開始する。例えば、他ユーザが他ユーザ表示端末１４を頭部に装着し、スタートボタンを押すことで起動させる。また、コントローラ１０は、フローに従って実行される画像生成制御を所定の時間間隔で繰り返し実行する。本実施形態では、コントローラ１０は、ユーザやユーザの周囲にある対象物を含む車内の風景に関して、他ユーザにどの範囲まで表示するかの共有可能範囲や対象物の再現性を示す再現度に応じて、表示画像の表示形態を制御する。具体的には、まず、ユーザやユーザの周囲にある対象物を含む車内の風景すべてを共有可能であるか否かを判定する。そして、車内の風景すべてを共有可能としていない場合には、ユーザのアバター画像である第１表示画像を表示することをベースに、対象物をどの程度の再現度で表示するかに関する情報を取得する。そして、当該情報に基づいて、表示画像の表示形態を制御する。

ステップＳ１０１では、コントローラ１０は、ユーザを含む車両内の空間情報を取得する。具体的には、まず、情報取得部１０１は、センサ群１１により取得されたユーザ姿勢情報を取得する。また、情報取得部１０１は、空間検出カメラ１２により取得された車両内情報を取得する。車両内情報は、例えば、ユーザの周囲にある対象物を含む。

ステップＳ１０２では、情報共有制御部１０５は、他ユーザに車両内の実風景すべてを共有するか否かを判定する。例えば、情報共有制御部１０５は、予めユーザが入力する共有可能範囲の設定に基づき、車両内の実風景すべてを共有可能と設定されている場合には、他ユーザに車両内の実風景を共有すると判定する。あるいは、情報共有制御部１０５は、ユーザ表示端末１３のユーザ端末出力部１３２を介して、ユーザに、車両内の実風景すべてを他ユーザに共有するか否かの選択肢を表示し、ユーザに選択肢を選択させることで判定を行う。具体的には、選択肢を表示されたユーザがユーザ端末入力部１３１を介して選択肢を選択する入力を行うと、情報共有制御部１０５は、当該入力情報に基づいて、他ユーザに車両内の実風景すべてを共有してよいか否かを判定する。ユーザ端末入力部１３１は、例えば、マイクであり、ユーザは音声で回答する。そして、他ユーザに車両内の実風景すべてを共有すると判定される場合には、ステップＳ１１３に進む。他ユーザに車両内の実風景すべてを共有すると判定されない場合には、ステップＳ１０３に進む。

ステップＳ１０３では、表示画像制御部１０４は、ステップＳ１０１で取得されたユーザの情報に基づき、ユーザを表す第１表示画像を生成する。具体的には、表示画像制御部１０４は、ユーザの視線の方向、頭部の向き、ユーザの手の動きに関するユーザの姿勢情報に基づき、ユーザのアバター画像を第１表示画像として生成する。

ステップＳ１０４では、対象物特定部１０２は、空間検出カメラ１２から取得した空間情報に基づいて、ユーザの周囲にある対象物を特定する。対象物は、ユーザが手で動かしたり操作したりするものであり、例えば、ノートパソコンやＰＣの操作系であるキーボードやマウス、スマートフォン、タブレット端末、コップ等が挙げられる。対象物特定部１０２は、画像認識により、ユーザの周囲にある対象物の特徴を抽出し、対象物の種別を特定する。

ステップＳ１０５では、接触状態判定部１０３は、ステップＳ１０４で特定された対象物にユーザの体の一部が接触したか否かを判定する。例えば、情報取得部１０１が取得した空間情報から、ユーザの体の一部が対象物に接触したか否かを判定する。ユーザの体の一部が対象物に接触したと判定される場合には、ステップＳ１０６に進む。ユーザの体の一部が対象物に接触したと判定されない場合には、ステップＳ１１４に進む。

ステップＳ１０６では、対象物特定部１０２は、対象物が操作デバイスであるか否かを特定する。操作デバイスは、例えば、ノートパソコンやＰＣの操作系であるキーボードやマウス、スマートフォン、タブレット端末である。対象物特定部１０２は、ステップＳ１０４で特定された対象物の種別が操作デバイスに該当するものであれば、対象物を操作デバイスであると特定する。対象物が操作デバイスであると特定できる場合には、ステップＳ１０７に進む。対象物が操作デバイスであると特定できない場合には、ステップＳ１０９に進む。対象物が操作デバイスであると特定できない場合とは、例えば、対象物が操作デバイス以外の種別に該当すると特定された場合や、対象物の識別ができず、操作デバイスであるか否かの特定自体ができない場合を含む。

ステップＳ１０７では、対象物特定部１０２は、対象物に表示画面があるか否かを特定する。対象物特定部１０２は、画像認識により、空間検出カメラ１２が撮像した画像データから、表示画面の特徴を抽出し、表示画面があるか否かを特定する。対象物に表示画面があると特定される場合には、ステップＳ１０８に進む。対象物に表示画面があると特定されない場合には、ステップＳ１１０に進む。

ステップＳ１０８では、情報共有制御部１０５は、第２表示画像における対象物の再現度として、表示画面を共有するか否かを決定する。ステップＳ１０２と同様に、情報共有制御部１０５は、予めユーザが設定している設定情報に基づいて決定することとしてもよいし、ユーザに選択肢を提示してユーザが選択する入力情報に基づき決定することとしてもよい。具体的には、対象物の表示画面に表示されている画像情報を含む第２表示画像を他ユーザに表示するか否かを決定する。情報共有制御部１０５は、ユーザに、対象物の表示画面を共有するか否かの選択肢を提示し、ユーザの選択に基づいて、対象物の表示画面の画像情報を含めた第２表示画像を表示するか否かを決定する。対象物の表示画面の画像情報を含めた第２表示画像を表示すると決定される場合には、ステップＳ１１１に進む。対象物の表示画面の画像情報を含めた第２表示画像を表示すると決定されない場合には、ステップＳ１１０に進む。

ステップＳ１０９では、表示画像制御部１０４は、対象物が操作デバイスであると特定できない場合には、対象物の形状を模した第２表示画像を生成する。表示画像制御部１０４は、情報取得部１０１が取得した対象物の３次元データに基づいて、対象物の形状を特定し、対象物の形状を表す第２表示画像を生成する。また、表示画像制御部１０４は、空間検出カメラ１２により取得された空間情報から、ユーザと対象物との相対的な位置関係を示す位置情報を第２表示画像の位置情報として生成する。具体的には、表示画像制御部１０４は、３次元空間の座標で示されるユーザと対象物との相対的位置情報を、表示端末の表示画面上の２次元座標に変換して、第２表示画像の位置情報を生成する。対象物の形状を表す第２表示画像及び第２表示画像の位置情報が生成されると、ステップＳ１１３に進む。

ステップＳ１１０では、表示画像制御部１０４は、対象物に表示画面があると判定されない、または対象物の表示画面を他ユーザに共有すると判定されない場合には、表示画面の画像情報を含まない第２表示画像を生成する。表示画像制御部１０４は、特定された対象物の種別に応じて、対象物を表す画像を生成する。また、予め対象物の種別ごとに用意された画像から選択することで第２表示画像を生成することとしてもよい。また、表示画像制御部１０４は、情報取得部１０１により取得された空間情報から、ユーザと対象物との相対的な位置関係を示す位置情報を第２表示画像の位置情報として生成する。具体的には、表示画像制御部１０４は、３次元空間の座標で示されるユーザと対象物との相対的位置情報を、表示端末の表示画面上の２次元座標に変換して、第２表示画像の位置情報を生成する。第２表示画像及び第２表示画像の位置情報が生成されると、ステップＳ１１３に進む。

ステップＳ１１１では、表示画像制御部１０４は、情報共有制御部１０５により、対象物の表示画面の画像情報を含めた第２表示画像を表示すると決定されると、表示画面の画像情報を含む第２表示画像を生成する。具体的には、表示画像制御部１０４は、第２表示画像における対象物の表示画面に対応する位置を特定し、当該位置に対象物の表示画面に表示される画像を重畳させて、表示画面の画像情報を含む第２表示画像を生成する。また、表示画像制御部１０４は、情報取得部１０１により取得した空間情報から、ユーザと対象物との相対的な位置関係を示す位置情報を第２表示画像の位置情報として生成する。具体的には、表示画像制御部１０４は、３次元空間の座標で示されるユーザと対象物との相対的位置情報を、表示端末の表示画面上の２次元座標に変換して、第２表示画像の位置情報を生成する。第２表示画像及び第２表示画像の位置情報が生成されると、ステップＳ１１３に進む。

ステップＳ１１２では、表示画像制御部１０４は、情報取得部１０１により取得された車両内の空間情報に基づいて、車両内の風景画像（背景画像）を生成する。また、情報取得部１０１により取得されたユーザの情報に基づいて、ユーザを表す第１表示画像を生成する。

ステップＳ１１３では、コントローラ１０は、第２表示画像を含む表示画像を他ユーザ表示端末１４に表示させる。具体的には、まず、通信部１０６は、各ステップで生成された情報及び画像を他ユーザ表示端末１４に送信する。他ユーザ表示端末１４が送信する画像及び情報は、第１表示画像、第２表示画像及び第２表示画像の位置情報を含む。例えば、車両内の風景画像（背景画像）を表示せず、第１表示画像と第２表示画像のみを表示する場合には、他ユーザ端末通信部１４２を介してこれらの情報を受信した他ユーザ端末出力部１４１は、第１表示画像を表示画面に表示する。そして、第２表示画像の位置情報に基づいて、第２表示画像を表示させる。このとき表示される第２表示画像は、ステップＳ１０９で生成された対象物の形状を模した第２表示画像、ステップＳ１１０で生成された対象物を表す第２表示画像、またはステップＳ１１１で生成された対象物の表示画面を含む第２表示画像である。本実施形態では、ステップＳ１１３で第２表示画像を含む表示画像が所定時間表示される。そして、コントローラ１０は、第２表示画像が表示されると、図５に示される制御フローを実行する。

ステップＳ１１４では、コントローラ１０は、第１表示画像を含む表示画像を他ユーザ表示端末１４に表示させる。このとき表示される第１表示画像は、ステップＳ１０３で生成された第１表示画像、またはステップＳ１１２で生成された第１表示画像及び風景画像である。ステップＳ１１４で第１表示画像を含む表示画像を表示させると、制御フローを終了させる。

図５は、ユーザの体の一部が対象物に接触したと判定された場合の制御に係るフローチャートを示した図である。図４のステップＳ１１３で第２表示画像を含む表示画像が表示されると、コントローラ１０は、ステップＳ２０１から制御を実行する。

ステップＳ２０１では、コントローラ１０は、ユーザの体の一部が対象物に接触したか否かを判定する。判定方法は、ステップＳ１０５で実行される判定方法と同様である。ユーザの体の一部が対象物に接触したと判定されない場合には、ステップＳ２０２に進む。また、ユーザの体の一部が対象物に接触したと判定される場合には、ステップＳ２０４に進む。

ステップＳ２０２では、コントローラ１０は、ユーザの体の一部が対象物に接触したと判定されてから所定時間が経過したか否かを判定する。所定時間は、第２表示画像を含む表示画像が表示されている時間である。所定時間が経過したと判定される場合には、ステップＳ２０３に進む。所定時間が経過したと判定されない場合には、ステップＳ２０１に戻り、以下、フローを繰り返す。

ステップＳ２０３では、コントローラ１０は、第１表示画像を含む表示画像を他ユーザ表示端末１４に表示し、第２表示画像を表示しない。これにより、第２表示画像が表示された場合には、所定時間の間は、ユーザの体の一部が対象物に接触したと判定されない場合でも、第２表示画像を表示し続けて、所定時間が経過したときに、第２表示画像の表示を止めて、第１表示画像のみを表示する。ステップＳ２０３で第１表示画像を含む表示画像を表示させると、制御フローを終了させる。

ステップＳ２０４では、コントローラ１０は、第２表示画像を含む表示画像を他ユーザ表示端末１４に表示する。ステップＳ２０４で第２表示画像を含む表示画像を表示させると、制御フローを終了させる。

以上のように、本実施形態では、ユーザを示す画像を含む表示画像を他ユーザに表示する表示端末と、表示画像を生成し、表示端末に表示画像を送信する送信部を備えたコントローラとを備える表示画像生成システムにおいて、コントローラは、ユーザの情報及びユーザが存在する空間内の情報を含む空間情報を取得する情報取得部と、情報取得部により取得された空間情報に基づいて、ユーザの周囲に位置する対象物を特定する対象物特定部と、空間情報に基づいて、ユーザの体の一部が対象物に接触したか否かを判定する判定部と、ユーザの情報に基づきユーザを表す第１表示画像を生成し、判定部によりユーザの体の一部が対象物に接触したと判定される場合には、対象物を表す第２表示画像を生成する表示画像制御部と、第１表示画像及び第２表示画像を表示端末に送信する送信部とを有する。これにより、ユーザが手で物を取り扱った場合、ユーザが何に触れているのかを他のユーザが理解できる。

また、本実施形態では、ユーザの体の一部が対象物に接触したと判定されない場合には、少なくとも第１表示画像を送信し、第２表示画像を送信しない。これにより、ユーザが手で物を取り扱っていない場合には、ユーザの周囲にある物であっても、他ユーザに共有せず、不要な表示を抑制できる。

また、本実施形態では、ユーザの体の一部が対象物に接触したと判定された後所定時間内にユーザの体の一部が対象物に接触したと判定されない場合には、少なくとも第１表示画像を送信し、第２表示画像を送信しない。これにより、第２表示画像が表示された後一定時間の間は、ユーザの体の一部が対象物に接触したと判定されない場合であっても、第２表示画像を表示し続けることができる。

また、本実施形態では、表示端末の画面上における対象物の再現性を示す再現度の情報を、ユーザから取得し、再現度に応じた第２表示画像を生成する。これにより、ユーザの意思に即した再現度で第２表示画像を生成することができる。

また、本実施形態では、対象物にディスプレイが備わっていると特定される場合には、ディスプレイに表示される画像情報を含む第２表示画像を生成する。これにより、対象物にディスプレイが備わっている場合には、ディスプレイに表示された内容を含めて他ユーザがユーザの動作を理解することができ、適切に会話を行うことができる。

さらに、本実施形態では、ユーザと対象物との相対的な位置情報を取得し、位置情報に基づき、表示端末の表示画面上における第１表示画像と第２表示画像との相対的な画像位置情報を生成し、画像位置情報を表示端末に送信し、画像位置情報に基づき、第１表示画像及び前記第２表示画像を表示する。これにより、他ユーザに表示される表示画面上のユーザと対象物との位置関係が正確になり、ユーザの動作がより違和感のないものになる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…表示画像生成システム
１０…コントローラ
１０１…情報取得部
１０２…対象物特定部
１０３…接触状態判定部
１０４…表示画像制御部
１０５…情報共有制御部
１０６…通信部
１１…センサ群
１２…空間検出カメラ
１３…ユーザ表示端末
１３１…ユーザ端末入力部
１３２…ユーザ端末出力部
１４…他ユーザ表示端末
１４１…他ユーザ端末出力部
１４２…他ユーザ端末通信部

Claims (8)

1. ユーザを示す画像を含む表示画像を他ユーザに表示する表示端末と、
   前記表示画像を生成し、前記表示端末に前記表示画像を送信する送信部を備えたコントローラとを備える表示画像生成システムにおいて、
   前記コントローラは、
   前記ユーザの情報及び前記ユーザが存在する実空間内の情報を含む空間情報を取得する情報取得部と、
   前記情報取得部により取得された前記空間情報に基づいて、前記ユーザの周囲に位置する対象物の種別を特定する対象物特定部と、
   前記空間情報に基づいて、前記ユーザの体の一部が前記対象物に接触したか否かを判定する判定部と、
   前記ユーザの情報に基づき前記ユーザを表す第１表示画像を生成し、前記判定部により前記ユーザの体の一部が前記対象物に接触したと判定される場合には、前記対象物の種別に応じて、前記対象物を表す第２表示画像を生成する表示画像制御部と、を備え、
   前記送信部は、前記第１表示画像及び前記第２表示画像を前記表示端末に送信することを特徴とする表示画像生成システム。
2. 請求項１に記載の表示画像生成システムであって、
   前記送信部は、前記ユーザの体の一部が前記対象物に接触したと判定されない場合には、少なくとも前記第１表示画像を送信し、前記第２表示画像を送信しないことを特徴とする表示画像生成システム。
3. 請求項１に記載の表示画像生成システムであって、
   前記送信部は、前記ユーザの体の一部が前記対象物に接触したと判定された後所定時間内に前記ユーザの体の一部が前記対象物に接触したと判定されない場合には、少なくとも前記第１表示画像を送信し、前記第２表示画像を送信しないことを特徴とする表示画像生成システム。
4. ユーザを示す画像を含む表示画像を他ユーザに表示する表示端末と、
   前記表示画像を生成し、前記表示端末に前記表示画像を送信する送信部を備えたコントローラとを備える表示画像生成システムにおいて、
   前記コントローラは、
   前記ユーザの情報及び前記ユーザが存在する空間内の情報を含む空間情報を取得する情報取得部と、
   前記情報取得部により取得された前記空間情報に基づいて、前記ユーザの周囲に位置する対象物を特定する対象物特定部と、
   前記空間情報に基づいて、前記ユーザの体の一部が前記対象物に接触したか否かを判定する判定部と、
   前記ユーザの情報に基づき前記ユーザを表す第１表示画像を生成し、前記判定部により前記ユーザの体の一部が前記対象物に接触したと判定される場合には、前記対象物を表す第２表示画像を生成する表示画像制御部と、を備え、
   前記表示画像制御部は、
   前記表示端末の画面上における前記対象物の再現性を示す再現度の情報を、前記ユーザから取得し、
   前記再現度に応じた前記第２表示画像を生成し、
   前記送信部は、前記第１表示画像及び前記第２表示画像を前記表示端末に送信することを特徴とする表示画像生成システム。
5. 請求項４に記載の表示画像生成システムであって、
   前記表示画像制御部は、
   前記対象物にディスプレイが備わっていると特定される場合には、前記ディスプレイに表示される画像情報を含む前記第２表示画像を生成することを特徴とする表示画像生成システム。
6. ユーザを示す画像を含む表示画像を他ユーザに表示する表示端末と、
   前記表示画像を生成し、前記表示端末に前記表示画像を送信する送信部を備えたコントローラとを備える表示画像生成システムにおいて、
   前記コントローラは、
   前記ユーザの情報及び前記ユーザが存在する空間内の情報を含む空間情報を取得する情報取得部と、
   前記情報取得部により取得された前記空間情報に基づいて、前記ユーザの周囲に位置する対象物を特定する対象物特定部と、
   前記空間情報に基づいて、前記ユーザの体の一部が前記対象物に接触したか否かを判定する判定部と、
   前記ユーザの情報に基づき前記ユーザを表す第１表示画像を生成し、前記判定部により前記ユーザの体の一部が前記対象物に接触したと判定される場合には、前記対象物を表す第２表示画像を生成する表示画像制御部と、を備え、
   前記情報取得部は、前記ユーザと前記対象物との相対的な位置情報を取得し、
   前記表示画像制御部は、前記位置情報に基づき、前記表示端末の表示画面上における前記第１表示画像と前記第２表示画像との相対的な画像位置情報を生成し、
   前記送信部は、前記第１表示画像、前記第２表示画像及び前記画像位置情報を前記表示端末に送信し、
   前記表示端末は、前記画像位置情報に基づき、前記第１表示画像及び前記第２表示画像を表示することを特徴とする表示画像生成システム。
7. ユーザの情報及び前記ユーザが存在する実空間内の情報を含む空間情報に基づき、前記ユーザを示す画像を含む表示画像を生成し、他ユーザに前記表示画像を表示する表示画像生成装置であって、
   前記空間情報を取得する情報取得部と、
   前記情報取得部により取得された前記空間情報に基づいて、前記ユーザの周囲に位置する対象物の種別を特定する対象物特定部と、
   前記空間情報に基づいて、前記ユーザの体の一部が前記対象物に接触したか否かを判定する判定部と、
   前記ユーザの情報に基づき前記ユーザを表す第１表示画像を生成し、前記判定部により前記ユーザの体の一部が前記対象物に接触したと判定される場合には、前記対象物の種別に応じて、前記対象物を表す第２表示画像を生成する表示画像制御部と、
   前記第１表示画像及び前記第２表示画像を表示する表示部とを備える表示画像生成装置。
8. 表示画像生成装置を用いて、ユーザの情報及び前記ユーザが存在する実空間内の情報を含む空間情報に基づき、前記ユーザを示す画像を含む表示画像を生成し、他ユーザに前記表示画像を表示する表示画像生成方法であって、
   前記表示画像生成装置は、
   前記空間情報を取得し、
   前記ユーザの情報に基づき前記ユーザを表す第１表示画像を生成し、
   取得された前記空間情報に基づいて、前記ユーザの周囲に位置する対象物の種別を特定し、
   前記空間情報に基づいて、前記ユーザの体の一部が前記対象物に接触したか否かを判定し、
   前記ユーザの体の一部が前記対象物に接触したと判定される場合には、前記対象物の種別に応じて、前記対象物を表す第２表示画像を生成し、
   前記第１表示画像及び前記第２表示画像を表示する表示画像生成方法。

Images