JP5798536B2 - 映像コミュニケーションシステム、および映像コミュニケーション方法 - Google Patents

Description

本発明は、映像コミュニケーションシステム、および映像コミュニケーション方法に関する。

テレビ会議などに代表されるような複数のユーザが参加する映像コミュニケーション環境において、ディスプレイへ表示する対話相手の映像に、単一のカメラで撮影した正面からの映像を利用するだけでなく、複数のカメラで多方向から対話相手の表情を撮影した映像を利用する取り組みがなされている。これによって、対話相手の観察対象や視線方向を伝達し、ユーザ間で自然なコミュニケーションを行うことができる。また、人物の観察方向を表現する研究例として、複数のユーザが存在する空間の映像に、人物の周りに仮想的な窓枠を表示した映像を利用する技術がある（例えば、非特許文献１参照）。

一方、映像コミュニケーションを行うための表示デバイスとしては、テレビやＰＣ（パーソナルコンピュータ）用モニタ、また携帯電話やスマートフォンのディスプレイなど、様々な大きさのディスプレイが存在する。ディスプレイの大きさに応じて仮想空間の映像を再構成してユーザや物体、環境を表現することにより、単に実環境を再現するよりも対話しやすい配置を取ることが可能となり、コミュニケーションを活性化することができる。そこで、表示するウインドウのサイズに応じて人物の配置を変更することで、対人距離を表現する技術がある（例えば、特許文献１参照）。

特許第３４５２２９７号公報

Vertegaal, R.,et al., "GAZE-2: conveying eye contact in group video conferencing using eye-controlled camera direction", CHI ‘03, pp. 521-528. 2002.

対話を行うときの相手との距離感や視線方向は、会話のしやすさや相手の興味に影響を与えるため重要である。しかし、従来の多人数による映像コミュニケーションシステムでは、仮想空間において対面している相手と対話を行うことは容易であるが、その他の位置の相手とは、位置関係や距離感、視線方向を認識することは困難である。

非特許文献１では、複数方向からユーザを撮影し、各ユーザのディスプレイ上にユーザの映像を囲むように窓枠を表示させ、観察方向に応じてその窓枠の方向と人物の映像を変形することで、視線方向を伝達することができる。しかし、人物を撮影するカメラの位置が固定されており、複数の対話相手と自由な配置で物体を観察したり会話したりすることができないという問題がある。

また、人と人が対面してコミュニケーションする際には、互いの周囲にある物体の情報や環境の情報を適宜利用して対話を行うことが多い。遠隔での映像コミュニケーションにおいても、物体や環境の情報を適切に映像で表現することによって、ユーザ同士が円滑にコミュニケーションを行う事が可能である。仮想空間において自由な観察方向と位置関係で物体を取り囲んでコミュニケーションが可能な映像を構築する際には、実環境と同様の配置を再現して表現することも可能である。しかし、ユーザの使用するディスプレイの大きさやユーザ間の位置関係により、円滑にコミュニケーションを行える環境の映像を提供することは難しい。

本発明は、上記問題を解決すべくなされたもので、ユーザの位置関係をコミュニケーションしやすい配置とした映像により、仮想空間における自由な位置と方向から物体を観察しながら、対話相手全員の表情と興味対象を一目で把握可能できる映像コミュニケーションシステム、および映像コミュニケーション方法を提供する。

上述した課題を解決するために、本発明は、各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得部と、物体を被写体として含む映像から物体のみの映像を取得する物体映像取得部と、環境の映像を取得する環境映像取得部と、前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得部と、前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得部と、前記位置関係取得部が取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得部が取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現部と、前記ユーザ毎に、前記物体映像取得部が取得した前記物体の映像から、前記位置関係取得部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現部と、環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現部と、前記ユーザ毎に、前記人物表現部が配置した前記他のユーザの人物領域の映像と、前記物体表現部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現部が生成した前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得部が取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成部と、前記ユーザ毎に、前記映像生成部が再配置した後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示部と、を備えることを特徴とする映像コミュニケーションシステムである。

また、本発明は、上述した映像コミュニケーションシステムであって、前記人物表現部は、前記他のユーザの前記人物領域の映像を頭部の映像と頭部以外の映像に分割し、前記頭部以外の映像を前記頭部の映像より大きく回転させる、ことを特徴とする。

また、本発明は、上述した映像コミュニケーションシステムであって、前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、ことを特徴とする。

また、本発明は、上述した映像コミュニケーションシステムであって、前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の頭部以外の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、ことを特徴とする。

また、本発明は、上述した映像コミュニケーションシステムであって、前記人物表現部は、回転させた前記人物領域の頭部の映像を前記仮想空間内に配置する、ことを特徴とする。

また、本発明は、映像コミュニケーションシステムが実行する映像コミュニケーション方法であって、人物映像取得部が、各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得過程と、環境映像取得部が、物体を被写体として含む映像から物体のみの映像を取得する物体映像取得過程と、環境映像取得部が、環境の映像を取得する環境映像取得過程と、位置関係取得部が、前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得過程と、ディスプレイ位置取得部が、前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得過程と、人物表現部が、前記位置関係取得過程において取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得過程において取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現過程と、物体表現部が、前記ユーザ毎に、前記物体映像取得過程において取得した前記物体の映像から、前記位置関係取得過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現過程と、環境表現部が、環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現過程と、
映像生成部が、前記ユーザ毎に、前記人物表現過程において配置した前記他のユーザの人物領域の映像と、前記物体表現過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現過程において生成された前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得過程において取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成過程と、映像表示部が、前記ユーザ毎に、前記映像生成過程において再配置された後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示過程と、を有することを特徴とする映像コミュニケーション方法である。

本発明によれば、複数のユーザが参加する映像コミュニケーションにおいて、ユーザの位置関係をコミュニケーションしやすい配置とした映像により、仮想空間における自由な位置と方向から物体を観察しながら、対話相手全員の表情と興味対象を一目で把握することが可能となる。

本発明の一実施形態による映像コミュニケーションシステムの構成例を示す図である。 同実施形態による映像コミュニケーションシステムの処理フローを示す図である。 同実施形態による映像コミュニケーションシステムを用いて各拠点にいるユーザが主拠点にある物体を観察し、対話する様子を示す図である。 同実施形態による移動しながらの観察の様子を示す図である。 同実施形態によるユーザの配置を再構成した仮想空間の映像表示例を示す図である。 同実施形態による対話相手の映像の表示例を示す図である。 同実施形態による対話相手の映像の表示例を示す図である。 同実施形態による対話相手の映像の表示例を示す図である。 同実施形態による対話相手の映像の表示例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。
本実施形態の映像コミュニケーションシステムは、複数地点のユーザのディスプレイに、物体が置かれている仮想空間を他のユーザと共有している映像を表示させ、この映像によって各ユーザが物体を観察しながら対話相手である他のユーザと対話することを可能とする。また、本実施形態の映像コミュニケーションシステムにより、各ユーザは、仮想空間における自分の位置と方向に応じて物体を映像で観察することができる。これらにより、映像コミュニケーションに参加しているユーザは、全ユーザの仮想空間における位置関係と観察対象を瞬時に全体像として把握することが可能となる。このような特長によって、映像コミュニケーションに参加しているユーザは、共有して観察している物体を会話のきっかけとし、相手と活発にコミュニケーションをとることができる。また、本実施形態の映像コミュニケーションシステムは、多様なディスプレイサイズに対応した仮想空間の映像を表示させる。

図１は、本発明の一実施形態による映像コミュニケーションシステムの構成例を示す図である。同図に示すように、映像コミュニケーションシステムは、主拠点に設置されている主拠点装置１００と、従拠点に設置されている従拠点装置２００とをネットワークを介して接続して構成される。主拠点は、他のユーザと仮想空間を共有して観察する対象の物体を有する拠点である。また、従拠点は１以上あり、仮想空間を共有して観察する対象の物体を有していない拠点である。以下では、主拠点にいるユーザをユーザＡ、従拠点にいるユーザをユーザＢとして説明する。

主拠点装置１００は、映像取得部１０１、人物映像取得部１０２、物体映像取得部１０３、環境映像取得部１０４、位置関係取得部１０５、ディスプレイ位置取得部１０６、人物表現部１０７、物体表現部１０８、環境表現部１０９、映像生成部１１０、及び映像表示部１１１を備えて構成される。

映像取得部１０１は、主拠点のユーザＡを被写体の人物として１台以上のカメラにより撮影した映像データ（以下、「映像データ」を「映像」と記載する。）、被写体として主拠点の物体を１台以上のカメラにより撮影した映像、主拠点において物体が存在している環境を１台以上のカメラにより撮影した映像を取得する。なお、複数台のカメラを使用する場合、異なる角度から被写体を撮影する。

人物映像取得部１０２は、映像取得部１０１が取得した映像のうち人物を被写体として含む映像から、人物がいない状態で事前に撮影しておいた画像との差分を取ることで、人物領域とその他の領域を分割する。人物映像取得部１０２は、分割により得られた人物領域の映像（以下、「人物映像」と記載する。）から、人物の表情が含まれる頭部の人物映像と頭部以外の全身の人物映像（以下、「体の人物映像」と記載する。）を取得する。この頭部及び体の人物映像の取得には、任意の既存の技術が使用できる。なお、人物映像取得部１０２は、映像中から動きや変化のある領域を抽出することにより、人物映像を取得してもよい。

物体映像取得部１０３は、映像取得部１０１が取得した映像のうち物体を被写体として含む映像から、物体がない状態で事前に撮影しておいた画像との差分を取ることで、物体のみの映像（以下、「物体映像」と記載する。）を取得する。これにより、物体映像取得部１０３は、映像取得部１０１での撮影に用いたカメラ台数分の物体映像を取得する。

環境映像取得部１０４は、映像取得部１０１が取得した映像の中から物体が置かれている主拠点の環境を撮影した映像を取得する。

位置関係取得部１０５は、物体に対する主拠点のユーザＡの視点の位置と視線の方向を取得する。具体的には、位置関係取得部１０５は、映像取得部１０１で取得した人物が含まれる映像中の頭部位置と左右眼の位置から、物体に対するユーザの視点の位置と視線の方向を算出する。あるいは、位置関係取得部１０５は、ユーザ自身にまたはユーザの周囲に取り付けられた３次元位置センサを用いて、物体に対するユーザの視点の位置と視線の方向を取得してもよい。なお、視点の位置は、物体とユーザの間の距離及び物体に対するユーザの方向を表す。

ディスプレイ位置取得部１０６は、物体に対する主拠点（ユーザＡ）のディスプレイの位置を取得する。ディスプレイの位置は、物体とディスプレイの上端、下端、左端、及び右端との距離、及び物体に対するディスプレイの方向を示す。この位置の取得には、例えば、画像処理、位置センサ、超音波、赤外光センサなどを用いることができる。ディスプレイは、物体やユーザＢなど任意の観察方向に設置され、移動可能である。

人物表現部１０７は、各ユーザの視点の位置と視線の方向に基づいて、人物映像取得部１０２が取得した対話相手（他のユーザ）の人物映像を変形し、各ユーザの対話相手の体の向きと顔の向きを、その対話相手の観察対象の方向へ回転させた回転人物映像を生成する。

例えば、ユーザＡについて、対話相手であるユーザＢの人物映像を生成する場合を考える。頭部の人物映像は、回転させすぎると表情がわかりにくくなってしまう。そこで、頭部の人物映像の回転量の上限（以下、「第１の回転量上限」と記載する。）を予め決めておく。また、体の人物映像の回転量の上限（以下、「第２の回転量上限」と記載する。）を、第１の回転量上限よりも大きな値で予め決めておく。

人物表現部１０７は、ユーザＡの視線方向に対するユーザＢの視線方向が第１の回転量上限以下である場合、ユーザＢの人物映像全体（頭部と体を含む）をユーザＢの視線方向に回転させて回転人物映像を生成する。
一方、ユーザＡの視線方向に対するユーザＢの視線方向が第１の回転量上限を超える場合、人物表現部１０７は、ユーザＢの頭部の人物映像をユーザＡの方向に第１の回転量上限だけ回転させ、頭部の回転人物映像を生成する。さらに、人物表現部１０７は、ユーザＢの体の人物映像を、ユーザＡの視線方向に対するユーザＢの視線方向が第２の回転量以下である場合はユーザＢの視線方向に、第２の回転量上限を超える場合はユーザＡの方向に第２の回転量上限だけ回転させ、体の回転人物映像を生成する。このように人物表現部１０７は、対話相手の体の回転量よりも顔の回転量を少なくし、対話相手であるユーザＢの顔をユーザＡの方向に向けた映像を生成することで、対話相手の表情を認識しやすいように表示する。

人物表現部１０７は、対話相手の回転人物映像を生成すると、各対話相手の視点の位置に基づいて、物体を中心とした仮想空間にユーザの人物映像と、そのユーザの対話相手の回転人物映像を配置する。なお、ユーザの人物映像には、ユーザを後ろから撮影した映像を使用する。
このとき、人物表現部１０７は、視点の位置が示す距離を仮想空間における距離に変換して、ユーザの人物映像と対話相手の回転人物映像を配置する。しかし、ディスプレイにはある範囲内の仮想空間の映像しか表示できないため、仮想空間における距離が大きすぎると、人物映像がディスプレイに表示できなくなってしまう。そこで、予め距離の上限を決めておき、人物表現部１０７は、変換した仮想空間における距離が、その距離の上限を超えている場合は、その上限の距離にユーザの人物映像や対話相手の回転人物映像を配置する。また、人物表現部１０７は、配置した人物映像または回転人物映像により物体映像が隠れてしまう場合には、物体映像が隠れない位置まで配置をずらす。

なお、人物表現部１０７は、回転人物映像の周囲に仮想的な窓として、ユーザの視線の方向と同じ方向を向いているように変形させた枠の映像を加えて観察方向のわかりやすさを補強してもよい。

物体表現部１０８は、物体映像取得部１０３が取得した物体映像に基づき、各ユーザの視点の位置及び視線の方向に対応した物体映像を取得する。例えば、複数方向の映像を取得するカメラが十分な数あれば、物体表現部１０８は、以下の参考文献１、２に記載の自由視点映像技術を用いて、全周囲の物体映像を得ることができる。この場合、物体表現部１０８は、物体映像取得部１０３が取得した異なる角度からの物体映像を補間して、ユーザの視点の位置及び視線の方向に対応した物体映像を生成する。しかし、カメラが不足している場合などは、物体映像取得部１０３が取得した物体映像の中からユーザの視点の位置及び視線の方向に最も近いカメラの映像から得られた物体映像を選択する。

（参考文献１）M., Tanimoto, “FTV (Free Viewpoint Television) creating ray-based image engineering”, proc. of ICIP2005, ppii25−ii-28, 2005.
（参考文献２）谷本ら，”自由視点映像技術”, 映像メディア学会誌, vol.60, no.1, pp29−34, 2006.

環境表現部１０９は、環境映像取得部１０４で取得した映像を、仮想空間の物体と人物を取り囲むように用意した半球面または立方体に貼り付けた環境の映像（以下、「仮想空間環境映像」と記載する。）を生成する。

映像生成部１１０は、人物表現部１０７が配置した人物映像及び回転人物映像、物体表現部１０８が取得した物体映像、及び環境表現部１０９が生成した仮想空間環境映像を合成して仮想空間の映像を生成する。映像生成部１１０は、ディスプレイ位置取得部１０６、あるいは、ディスプレイ位置取得部２０６が取得したディスプレイの位置に対応した仮想空間におけるディスプレイ面に、生成した仮想空間の映像を透視投影変換した仮想空間の映像を生成する。

例えば、ユーザＡのディスプレイに表示させる仮想空間の映像を生成する場合、映像生成部１１０は、仮想空間環境映像の中心にユーザＡの視点の位置及び視線の方向からの物体映像を配置するとともに、人物表現部１０７が決定した配置に従ってユーザＡの人物映像とユーザＢの回転人物映像を配置し、仮想空間の映像を合成する。

映像生成部１１０は、ユーザＡのディスプレイの位置とユーザＡの視点の位置とから、ユーザＡとディスプレイの上端、下端、左端、及び右端の距離を算出し、算出した距離を仮想空間における距離に変換して仮想空間におけるディスプレイの位置を決定する。このとき、主拠点におけるユーザＡと物体とを結ぶ直線に対するディスプレイの傾きは、そのまま仮想空間でも用いられる。映像生成部１１０は、ユーザＡとディスプレイの左端及び右端の角度を左右方向の画角、ユーザＡとディスプレイの上端及び下端の角度を上下方向の画角とし、合成した仮想空間の映像を、仮想空間におけるユーザＡの視点の位置からディスプレイ面に対して透視投影変換し、ユーザＡのディスプレイに表示させる映像を生成する。これにより、ユーザＡのディスプレイに対応した大きさの映像が生成される。

映像生成部１１０は、上述したユーザＡのディスプレイに表示させる仮想空間の映像の生成処理を、ユーザＡをユーザＢに、ユーザＡをユーザＢに置き換えて行い、ユーザＢのディスプレイに表示させる仮想空間の映像を生成する。

なお、ディスプレイの大きさや向きによって画角が変わるため、対話相手の回転人物映像の全てが生成された仮想空間の映像に入らない場合がある。この場合、映像生成部１１０は、対話相手の回転人物映像が仮想空間の映像の中に表示されるように配置を移動させ、仮想空間の映像を生成する。

映像表示部１１１は、映像生成部１１０が生成した主拠点のユーザＡ用の映像をディスプレイに表示させる。

従拠点装置２００は、映像取得部２０１、人物映像取得部２０２、位置関係取得部２０５、ディスプレイ位置取得部２０６、及び映像表示部２１１を備えて構成される。
映像取得部２０１は、従拠点のユーザＢを被写体の人物として１台以上のカメラにより撮影した映像を取得する。
人物映像取得部２０２は、人物映像取得部１０２と同様の処理により、映像取得部２０１が取得した映像からユーザＢの頭部及び体の人物映像を取得する。
位置関係取得部２０５は、予め決められた従拠点内の基準点に対する従拠点のユーザＢの視点の位置と視線の方向を取得する。基準点は、仮想空間において物体が存在する位置に対応する。
ディスプレイ位置取得部２０６は、基準点に対する従拠点（ユーザＢ）のディスプレイの位置を取得する。ディスプレイは、物体やユーザＡなど任意の観察方向に設置され、移動可能である。
映像表示部２１１は、映像生成部１１０が生成した従拠点のユーザＢ用の映像をディスプレイに表示させる。

なお、人物映像取得部２０２を主拠点装置１００が備えてもよい。また、人物映像取得部１０２、物体映像取得部１０３、環境映像取得部１０４、人物表現部１０７、物体表現部１０８、環境表現部１０９、映像生成部１１０、及び人物映像取得部２０２のうち１以上の任意の機能部を主拠点装置１００及び従拠点装置２００とネットワークを介して接続されるコンピュータ装置などに設けてもよい。

図２は、本発明の一実施形態による映像コミュニケーションシステムにおける処理フローを示す。同図では、簡単のため主拠点と１つの従拠点の２地点の場合を示している。

まず、映像取得部１０１は、主拠点のユーザＡを撮影した映像、物体を撮影した映像、及び物体が存在している環境を撮影した映像を取得し、映像取得部２０１は、ユーザＢを撮影した映像を取得する（ステップＳ１０）。

ステップＳ１０において映像取得部１０１が取得した映像のうち、人物映像取得部１０２はユーザＡを撮影した映像を取得し、物体映像取得部１０３は物体を撮影した映像を取得し、環境映像取得部１０４は環境を撮影した映像を取得する（ステップＳ１５）。

位置関係取得部１０５は、物体に対するユーザＡの視点の位置と視線の方向を取得して人物表現部１０７、物体表現部１０８、及び映像生成部１１０に出力し、ディスプレイ位置取得部１０６は、物体に対する主拠点のディスプレイの位置を取得して映像生成部１１０に出力する。また、位置関係取得部２０５は、基準点に対するユーザＢの視点の位置と視線の方向を取得して人物表現部１０７、物体表現部１０８、及び映像生成部１１０に出力し、ディスプレイ位置取得部２０６は、基準点に対する従拠点のディスプレイの位置を取得して映像生成部１１０に出力する（ステップＳ２０）。

物体映像取得部１０３は、ステップＳ１５において取得した映像から物体映像を取得する。物体表現部１０８は、物体映像取得部１０３が取得した物体映像から、ステップＳ２０において入力されたユーザＡの視点の位置と視線の方向に対応した物体映像を取得する。同様に、物体表現部１０８は、物体映像取得部１０３が取得した物体映像から、ステップＳ２０において入力されたユーザＢの視点の位置と視線の方向に対応した物体映像を取得する。環境表現部１０９は、ステップＳ１５において環境映像取得部１０４が取得した映像から、仮想空間環境映像を生成する（ステップＳ２５）。また、人物映像取得部１０２は、ステップＳ１５において取得した映像からユーザＡの頭部と体の人物映像を取得し、人物表現部１０７に出力する。同様に、人物映像取得部２０２は、ステップＳ１５において取得した映像からユーザＢの頭部と体の人物映像を取得し、人物表現部１０７に出力する。

人物表現部１０７は、ユーザＡの視線方向に対するユーザＢの視線方向に基づいてユーザＢの頭部及び体の回転量を決定し、決定した回転量によりユーザＢの頭部及び体の人物映像を回転させて回転人物映像を生成する。人物表現部１０７は、ユーザＡ及びユーザＢの視点の位置に基づいて、物体を中心とした仮想空間にユーザＡの後ろからの人物映像と、生成したユーザＢの回転人物映像を配置する（ステップＳ３５）。

映像生成部１１０は、ステップＳ３５において人物表現部１０７が配置したユーザＡの人物映像及びユーザＢの回転人物映像と、ステップＳ２５において物体表現部１０８が取得したユーザＡの視点の位置及び視線の方向からの物体映像、及び、環境表現部１０９が生成した仮想空間環境映像と、ディスプレイ位置取得部１０６が取得したユーザＡのディスプレイの位置とに基づいて、ユーザＡ（主拠点）のディスプレイに表示させる仮想空間の映像を生成し、映像表示部１１１に出力する（ステップＳ４０）。映像表示部１１１は、ステップＳ４０において映像生成部１１０が生成した主拠点のユーザＡ用の映像をディスプレイに表示させる（ステップＳ４５）。

映像コミュニケーションシステムは、ステップＳ３５〜ステップＳ４５と並行して、以下のステップＳ５０〜ステップＳ６０の処理を行う。
すなわち、人物表現部１０７は、ユーザＢの視線方向に対するユーザＡの視線方向に基づいてユーザＡの頭部及び体の回転量を決定し、決定した回転量によりユーザＡの頭部及び体の人物映像を回転させて回転人物映像を生成する。人物表現部１０７は、ユーザＡ及びユーザＢの視点の位置に基づいて、物体を中心とした仮想空間にユーザＡの回転人物映像とユーザＢの後ろからの人物映像を配置する（ステップＳ５０）。

映像生成部１１０は、ステップＳ５０において人物表現部１０７が配置したユーザＡの回転人物映像及びユーザＢの人物映像と、ステップＳ２５において物体表現部１０８が取得したユーザＢの視点の位置及び視線の方向からの物体映像、及び、環境表現部１０９が生成した仮想空間環境映像と、ディスプレイ位置取得部２０６が取得したユーザＢのディスプレイの位置とに基づいて、ユーザＢ（従拠点）のディスプレイに表示させる仮想空間の映像を生成し、映像表示部２１１に出力する（ステップＳ５５）。映像表示部２１１は、ステップＳ５５において映像生成部１１０が生成した従拠点のユーザＢ用の映像をディスプレイに表示させる（ステップＳ６０）。

なお、上記においては、各ユーザのディスプレイに表示させる仮想空間の映像を生成する際、そのディスプレイを保有しているユーザの後ろからの人物映像を含めた映像を生成しているが、ディスプレイを保有しているユーザの人物映像を含めずに生成してもよい。

図３は、映像コミュニケーションシステムを用いて、主拠点、従拠点１、従拠点２の３地点にいる３人のユーザが主拠点にある物体を観察し、対話する様子を示す図である。
符号３００は、仮想空間における物体と主拠点のユーザ、従拠点１のユーザ、及び従拠点２のユーザの位置関係を示している。また、符号３０１は主拠点の様子であり、符号３０２は従拠点１の様子である。主拠点および従拠点１のそれぞれにおいて、ユーザは大型のディスプレイを用いて物体と対話相手の様子を観察している。符号３０３は、従拠点２の様子であり、ユーザは、タブレット型の端末を用いて物体と相手の様子を観察している。各拠点のユーザは、ディスプレイに表示されている映像により、物体を中心とした仮想空間における他の対話相手の表示位置や、顔の表情、視線及び体の向きによって表される観察方向を一目で把握できる。
このように、映像コミュニケーションシステムは、ユーザが利用するディスプレイの大きさや、ユーザとの距離や角度に応じた表現で対話相手の映像を表示させ、さらには、人物と物体や空間を連続的に表現することで、コミュニケーションを活性化することができる。

また、本実施形態によれば、人物表現部１０７と物体映像取得部１０３により、ユーザの視点の位置と視線の方向に応じて、各ユーザと物体を映像で表現するため、ユーザは、自由な位置と方向から対話相手と物体を観察することができる。

図４は、人物の移動に伴い自由な位置から観察する様子を示す図である。符号３１０に示すように、ユーザの移動に伴って、仮想空間におけるユーザの位置も移動する。そのため、ユーザの移動に伴って、ディスプレイの表示は、符号３１１に示す映像が符号３１２に示す映像に変更される。従って、各ユーザは自由な位置から相手と物体を観察することができる。

また、ユーザがディスプレイの位置を変更することにより、仮想空間において透視投影を行うディスプレイ面が変わる。従って、ユーザがタブレット端末の位置を変更することによっても、ディスプレイに表示される仮想空間の映像が変更される。

また、本実施形態によれば、人物表現部１０７は、隣合った相手など、表情や観察対象を認識することが困難な仮想的な位置関係の対話相手については、顔の向きを歪めて表現する事により、違和感なく表情を観察可能な人物表現の映像を生成する。これにより、物体と相手の表情や位置関係を瞬時に把握することが困難であるという課題を解決する。
さらには、本実施形態によれば、映像生成部１１０は、多様なサイズのディスプレイに対応して、共有して観察する物体と対話相手全員の位置と表情を一覧して把握することができるように仮想空間の再構成を行っている。よって、各ユーザをコミュニケーションしやすい位置関係に配置した仮想空間の映像をディスプレイに表示することができる。

図５は、ディスプレイサイズに合わせてユーザの配置を再構成して仮想空間の映像を表示した例を示す図である。
符号３２０は、物体及び各ユーザが配置された仮想空間を示し、符号３２１は、符号３２０の仮想空間の再配置を行わずにディスプレイに表示させたイメージを示し、符号３２２は、符号３２０の仮想空間をディスプレイのサイズに合わせて再構成してディスプレイに表示させたイメージを示している。

符号３２１に示すように、仮想空間の再構築を行わずに仮想空間の映像を生成してディスプレイに表示させた場合、ディスプレイが小さいと、対話相手の映像が画面表示から切れてしまい、対話相手の表情の情報が欠如してしまっている。そこで、映像生成部１１０は、画面から切れている対話相手の回転人物映像をディスプレイに表示できる範囲内に移動させて仮想空間を再構成し、符号３２２に示すように対話相手の映像を画面内に表示する。
このように、映像生成部１１０は、共有して観察する物体と、対話相手全員の位置及び表情を一見して把握することができるように、多様なサイズのディスプレイに対応して空間の再構成を行うため、コミュニケーションをしやすい位置関係の映像を表示させることができる。この人物の表示位置の再構成により、相手の位置や表情の情報を十分に伝達することができ、コミュニケーションを阻害しない。

また、符号３２２に示すように、参加ユーザ全員の映像が仮想空間に配置された映像を生成することにより、各ユーザからみた対話相手の観察方向をよりわかりやすく表現できる。そして、仮想空間における位置が近いユーザ間では、人物の表情を表示しながら観察方向を伝達するために、顔部分と胴体部分を別々の比率で変形して表現している。
なお、人物周囲に表示枠を用意することで、観察方向の表現を補強することも考えられる。

以上説明したように実施形態によれば、映像コミュニケーションに参加しているユーザは、物体や対話相手を自由な位置から映像により観察することができるとともに、利用するディスプレイの大きさに応じて、物体の外観と相手の表情や位置関係とを瞬時に把握することができる。また、ユーザが対話を行いやすいように物体を配置し、対話相手の興味対象への視線を保持しながら、コミュニケーションがとりやすい距離感や位置関係の映像を表示させることができる。

なお、人物表現部１０７は、対話相手の回転人物映像として、全身の回転人物映像を用いるほか、頭部のみの回転人物映像、あるいは、上半身のみの回転人物映像を用いてもよい。
全身の回転人物映像を用いた場合、身体動作などを表現する事ができる。頭部のみの回転人物映像を用いた場合、少ない表示領域により人物を表現する事ができる。上半身のみの回転人物映像を用いた場合、胴体の方向から観察方向を容易に理解でき、指差しなどの動作を含めた映像を表示することができる。

また、人物表現部１０７が人物の周囲に枠を表示した回転人物映像を生成する場合、使用する枠の形としては、長方形型、円形型、楕円型が挙げられる。
枠が長方形型の場合、直線で構成された形状であるため、透視投影を行った際に奥行きの認識が容易となり、各人物の向きも容易に知覚できる。また、枠がユーザの用いるディスプレイと同じ形状になり、枠内に人物の映像だけでなく遠隔地の拠点の環境の映像も同時に表示することで、遠隔地とあたかも空間が結合したような表現ができる。この場合、人物映像取得部１０２は、人物が含まれる映像から、人物が含まれる矩形の領域の映像を取得する。
枠が円形または楕円形で、人物の顔のみを枠内に表示する場合、ディスプレイ内の領域をあまり使用せずに表現する事ができる。また、仮想空間内の任意の位置に人物映像を移動させる場合でも、人物領域が狭いために移動が比較的少なくてすむ。

また、上述した実施形態では、人物表現部１０７は、人物の表示映像全体を回転させるときに、人物映像から胴体の映像と顔部の映像を分割し、対話相手の胴体の映像のみを観察方向に大きく回転させた映像とし、頭部の映像をユーザのほうに向くように、小さく回転させた映像としている。これにより、対話相手の表情の認識しやすさを保ちながら、対話相手の観察方向を表現する事ができる。
一方、枠による観察方向の表現と組み合わせて人物の映像を表示する場合、最も観察方向の理解が容易となるため、対話相手の観察方向がユーザと物体に対して垂直に近い場合でも、観察方向を表現する事ができる。

なお、人物表現部１０７が回転人物映像を配置する際、視線方向に対して回転人物映像を複数枚並べて表示させることで、人物の奥行きを表現する事が考えられる。これにより、ユーザは映像により対話相手の観察方向の知覚が容易となる。なお、頭部と体（胴体）の回転量が異なる場合、頭部の回転量に応じて回転人物映像を複数並べて配置し、体の回転量に応じて体（胴体）の回転人物映像を複数並べて表示してもよい。
また、人物表現部１０７は、頭部の回転人物映像は１枚とし、頭部以外の回転人物映像は複数並べて表示させてもよい。この場合、人物を横から観察した際の不自然さを軽減することができる。

図６〜図９は、対話相手の映像の表示例を示す図である。
図６は、枠内に上半身の回転人物映像を表示した例を示しており、枠内に環境の映像を同時に表示している。

図７は、頭部と胴体の向きに変形を加えて上半身の回転人物映像を表示した例を示している。同図に示すように、対話相手の頭部と胴体の人物映像を、視線方向に回転させて表示している。

図８は、頭部と胴体の向きを異なる回転量として、枠内に上半身の回転人物映像を表示した例を示している。右側の枠内に表示されている人物の映像は、頭部よりも胴体の回転量が大きい。また、長方形を視線方向に回転させた枠を表示することにより、視線方向がわかりやすくなっている。

図９は、回転人物映像を、視線方向（観察方向）に対して複数枚並べて表示した例を示している。同図のように、回転人物映像が並べられた方向によって、観察方向が容易に知覚できる。

なお、上述した実施形態における主拠点装置１００、従拠点装置２００の各機能部は、専用のハードウェアにより実現されるか、各機能部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりその機能を実現させる。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００ 主拠点装置
１０１、２０１ 映像取得部
１０２、２０２ 人物映像取得部
１０３ 物体映像取得部
１０４ 環境映像取得部
１０５、２０５ 位置関係取得部
１０６、２０６ ディスプレイ位置取得部
１０７ 人物表現部
１０８ 物体表現部
１０９ 環境表現部
１１０ 映像生成部
１１１、２１１ 映像表示部
２００ 従拠点装置

Claims (6)

1. 各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得部と、
   物体を被写体として含む映像から物体のみの映像を取得する物体映像取得部と、
   環境の映像を取得する環境映像取得部と、
   前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得部と、
   前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得部と、
   前記位置関係取得部が取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得部が取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現部と、
   前記ユーザ毎に、前記物体映像取得部が取得した前記物体の映像から、前記位置関係取得部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現部と、
   環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現部と、
   前記ユーザ毎に、前記人物表現部が配置した前記他のユーザの人物領域の映像と、前記物体表現部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現部が生成した前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得部が取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成部と、
   前記ユーザ毎に、前記映像生成部が再配置した後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示部と、
   を備えることを特徴とする映像コミュニケーションシステム。
2. 前記人物表現部は、前記他のユーザの前記人物領域の映像を頭部の映像と頭部以外の映像に分割し、前記頭部以外の映像を前記頭部の映像より大きく回転させる、
   ことを特徴とする請求項１に記載の映像コミュニケーションシステム。
3. 前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、
   ことを特徴とする請求項１または請求項２に記載の映像コミュニケーションシステム。
4. 前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の頭部以外の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、
   ことを特徴とする請求項１または請求項２に記載の映像コミュニケーションシステム。
5. 前記人物表現部は、回転させた前記人物領域の頭部の映像を前記仮想空間内に配置する、
   ことを特徴とする請求項１または請求項２に記載の映像コミュニケーションシステム。
6. 映像コミュニケーションシステムが実行する映像コミュニケーション方法であって、
   人物映像取得部が、各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得過程と、
   環境映像取得部が、物体を被写体として含む映像から物体のみの映像を取得する物体映像取得過程と、
   環境映像取得部が、環境の映像を取得する環境映像取得過程と、
   位置関係取得部が、前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得過程と、
   ディスプレイ位置取得部が、前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得過程と、
   人物表現部が、前記位置関係取得過程において取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得過程において取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現過程と、
   物体表現部が、前記ユーザ毎に、前記物体映像取得過程において取得した前記物体の映像から、前記位置関係取得過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現過程と、
   環境表現部が、環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現過程と、
   映像生成部が、前記ユーザ毎に、前記人物表現過程において配置した前記他のユーザの人物領域の映像と、前記物体表現過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現過程において生成された前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得過程において取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成過程と、
   映像表示部が、前記ユーザ毎に、前記映像生成過程において再配置された後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示過程と、
   を有することを特徴とする映像コミュニケーション方法。