JP6700672B2 - 遠隔コミュニケーションシステム、その制御方法、及びプログラム - Google Patents

Description

本発明は、遠隔地とコミュニケーションを取るための遠隔コミュニケーションシステム、その制御方法、及びプログラムに関する。

従来、離れた場所（遠隔地）にいる相手とコミュニケーションを取るためのシステムが知られている。たとえば特許文献１には、離れた場所にいる相手と会議を行うための遠隔会議システムが開示されている。特許文献１に開示されたシステムには、人物を撮像するためのカメラと、画像を投影するためのプロジェクタと、プロジェクタによって投影された画像を映し出すスクリーンが含まれる。

特許文献１に開示されたシステムでは、ある会議室に備えられたカメラで撮像した人物画像が相手側（遠隔地）のプロジェクタによってスクリーンに投影される一方で、相手側のカメラで撮像された人物が会議室のプロジェクタによってスクリーンに投影される。また、特許文献１には、人物を等身大のサイズで映し出すことによって会議の臨場感を高めることが示されている。

特開２００８−１９１６１３号公報

物理的に同じ空間（例えば、同じ部屋）にいる少人数の人がコミュニケーションを取るときは、１メートルから２メートルくらいの距離で向かい合うことが多い。このような形態に近い形でのコミュニケーションを遠隔地とも取れるようになると意思の疎通が図りやすいが、従来のシステムでは十分な臨場感を出すことができなかった。なぜなら、投影される人物画像のサイズを等身大にしたところで、投影面から人物までの距離が大きく離れていると、近い距離で向かい合っているような感覚は作り出せないからである。

この問題に対して、スクリーンに近い位置に人物が立つことで、スクリーンに映し出される相手の人物との距離を近くに感じられるかもしれない。しかしながら、スクリーンに近い位置に人物が立った場合、その人物の前面をカメラで撮像することが難しくなる。スクリーンに限りなく近い位置にカメラを配置すれば人物の一部（例えば上半身のみ）を撮像することはできるが、カメラの垂直方向の画角に限界があるため、人物の全身を捉えることはできない。人物の全身が映し出されなければ臨場感が乏しく、身振り手振りを交えて会話することも難しくなってしまう。

本発明は、上記の課題に鑑みなされたものであり、複数の撮像手段を用いて人物を撮像することにより、近い距離で向かい合っているような感覚で遠隔地とコミュニケーションを取るための仕組みを提供することを目的とする。

上記の目的を達成するために本発明の遠隔コミュニケーションシステムは、遠隔地から送信された画像を投影面に投影する投影手段と、前記投影面に配置され、撮像範囲がそれぞれ異なる複数の撮像手段と、前記複数の撮像手段によって得られた各画像から人物部分を抽出する抽出手段と、前記複数の撮像手段によって得られた複数の画像を合成する合成手段と、前記抽出手段による抽出及び前記合成手段による合成がなされた画像を、前記遠隔地に備えられた第２の投影面に投影する第２の投影手段と、を備え、前記抽出手段による抽出及び前記合成手段による合成がなされた画像が示す撮像範囲は、前記複数の撮像手段のいずれかの撮像手段によって得られた画像が示す撮像範囲よりも広いことを特徴とする。

本発明によれば、複数の撮像手段を用いて人物を撮像することにより、近い距離で向かい合っているような感覚で遠隔地とコミュニケーションを取ることが可能となる。

本発明の実施形態におけるシステムの断面図 本発明の実施形態におけるシステムの外観図 本発明の実施形態におけるシステムのハードウェア構成図 本発明の実施形態における前面カメラの撮像範囲の説明図 本発明の実施形態における前面カメラの撮像範囲とトリミング処理の説明図 本発明の実施形態における前面カメラの撮像範囲とトリミング処理の説明図 本発明の実施形態における人物の撮像処理に関するフローチャート 本発明の実施形態における人物の撮像処理に関するフローチャート 本発明の実施形態における画像の投影処理に関するフローチャート

以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

図１は、本発明が適用される遠隔コミュニケーションシステムの断面図である。この遠隔コミュニケーションシステムを用いることにより、本社内に設けられたオフィス１と支社Ａに設けられたオフィス２の間、或いはオフィス１と支社Ｂに設けられたオフィス３の間でコミュニケーションを取ることが可能となっている。なお、ここでは３箇所のオフィスを例にしているが、オフィス１とオフィス２の２箇所のみであっても良い。また、複数のオフィスの全体を遠隔コミュニケーションシステムと称しても良いし、１つのオフィスに含まれる構成のみを遠隔コミュニケーションシステムと称しても良い。

また、ここで説明する各オフィスは、移動に数時間を要するほど離れたものであっても良いし、同一のビルに設けられた別の会議室であっても良い。即ち、「遠隔」という表現は、物理的な空間が別であることを示すものであり、物理的な距離や移動にかかる時間の長さを定義するものではない。

図１（ａ）に示すオフィス１には、プロジェクタ１０１、背景カメラ１０２、スクリーン１０３、前面カメラ１０４、背面カメラ１０５が備えられている。プロジェクタ１０１は、他のオフィスで撮像された画像をスクリーン１０３に投影する投影装置である。スクリーン１０３は、プロジェクタ１０１によって投影される画像を映し出す投影面である。なお、スクリーン１０３は、他のオフィスとのコミュニケーションを取るときに一時的に設置するものであっても良いし、オフィスの壁がスクリーン１０３の役割を兼ねても良い。また、本実施形態では画像を表示する手段としてプロジェクタとスクリーンを使用する例を示すが、大型の液晶ディスプレイを用いて画像を表示するようにしても良い。

前面カメラ１０４は、人物１０６を撮像するための前面撮像装置である。ここでは人物１０６の全身を撮像するために３つ（ａ、ｂ、ｃ）の前面カメラ１０４を用いる例を示すが、前面カメラの数は２つまたは４つ以上であっても良い。前面カメラ１０４による人物１０６の撮像に関する処理の詳細については後述する。

背景カメラ１０２は、人物１０６の背景（即ち、図１（ａ）の右方向）を撮像するための背景撮像装置である。オフィス１は、遠隔コミュニケーションを行うための専用の部屋ではなく、日常の業務を行う一般的な事務室であるものとする。背景カメラ１０２によって撮像される背景には、社員の座席やキャビネット、他の業務を行っている人物などが含まれる。このような背景を、前面カメラ１０４で撮像した人物とともに投影することによって、あたかもオフィスの片隅で立ち話をしているような雰囲気を作り出すことができる。なお、背景カメラ１０２は、被写体である背景が人物１０６によって遮られないようにするために、鉛直方向の上方（天井付近）に配置されることが望ましい。

背面カメラ１０５は、人物１０６或いはスクリーン１０３に映し出された画像を、図１（ａ）の右から左に向かって撮像するための背面撮像装置である。人物１０６は、遠隔コミュニケーションを行っている間はスクリーン１０３（即ち、図１（ａ）の左）の方を向いているため、背景カメラ１０５で撮像するのは人物１０６の後ろ姿となる。なお、前面カメラ１０４と人物１０６の間の距離に比べて、背面カメラ１０５と人物１０６の間の距離は長いため、１つの背面カメラ１０５で人物１０６の全身を撮像することが可能となっている。

前面カメラ１０４には、被写体までの距離を検知するための距離センサが含まれる。前面カメラ１０４によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像と、８ビット１チャネルの情報からなる距離画像が含まれる。一方、背景カメラ１０２及び背面カメラ１０５には距離センサは含まれない。従って、背景カメラ１０２及び背面カメラ１０５によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像は含まれるが、距離画像は含まれない。なお、前面カメラ１０４、背面カメラ１０５、背面カメラ１０５で撮像される画像は時系列に沿って連続した静止画であり、これらの静止画が遠隔地において連続的に投影されることにより動画として再生される。

人物１１６が居るオフィス２（図１（ｂ））にも、オフィス１と同様の設備（プロジェクタ１１１、背景カメラ１１２、スクリーン１１３、前面カメラ１１４、背面カメラ１１５）が備えられている。また、人物１２６が居るオフィス３（図１（ｃ））にも、オフィス１または２と同様の設備（プロジェクタ１２１、背景カメラ１２２、スクリーン１２３、前面カメラ１２４、背面カメラ１２５）が備えられている。但し、スクリーン１０３及び１１３は、縦２．３メートル、横４メートルのサイズであるのに対し、スクリーン１２３は、縦１メートル、横２メートルの比較的小さいサイズとなっている。互いの全身が投影された状態でコミュニケーションを取りたい場合は大きなスクリーンが備えられたオフィス１及びオフィス２を使用する必要があるが、スペースに限りがある場合にはオフィス３のように小さなサイズのスクリーンを使用しても良い。但し、スクリーン１２３には遠隔地の人物の全身を映し出すことはできず、例えば人物の上半身のみの投影となる。

図２は、遠隔コミュニケーションシステムの外観図であり、オフィス１の人物１０６がオフィス２の人物１１６とコミュニケーションを取っている様子を、図１（ａ）の右から左に向かって見た様子を示している。上述したようにスクリーン１０３は横に長いため、プロジェクタ１０１は２つ（ａ、ｂ）備えられているが、１つのプロジェクタで投影するようにしても良い。背景カメラ１０２は、スクリーン１０３の中央上部に備えられている。前面カメラ１０４ａ、ｂ、ｃは、スクリーン１０３に埋め込まれており、スクリーン１０３の中央部において鉛直方向に一列に並べて配置されている。

デジタイザ２０１は、スクリーン１０３に対してなされるユーザの動作を検知するための検知装置である。デジタイザ２０１は、送信器２０１ａと受信器２０１ｂを含み、送信器２０１ａが投射した赤外光が人物１０６の体の一部、或いは人物１０６が持っている指示棒等によって遮られた場合に、その位置を示す座標を出力する。なお、ここでは送信器２０１ａと受信器２０１ｂをそれぞれスクリーン１０３の左右に配置する例を示したが、スクリーン１０３の上下に配置しても良い。また、ユーザの動作を検知する方法はデジタイザに限らず、スクリーン１０３にタッチパネル機能を備えるようにし、スクリーン１０３が押圧された位置を検知するようにしても良い。

スクリーン１０３には、オフィス２の前面カメラ１１４によって得られた人物１１６の人物画像が投影されている。また、図２では、人物１１６の背景として、後述する文書管理サーバ３４０に格納されている文書（例えば、会議資料）が映し出されている。人物１１６の背景として、文書管理サーバ３４０に格納されている文書を投影するか、背景カメラ１１２によって得られたオフィス２の背景画像を投影するかは、デジタイザ２０１が検知する人物１１６の動作に応じて切替可能である。

図３は、遠隔コミュニケーションシステムのハードウェア構成図である。制御装置３１０に含まれるＣＰＵ３１６は、ＲＯＭ３１８に記憶された制御プログラムを読み出して、オフィス１内に備えられた各装置を制御する。ＲＡＭ３１７は、ＣＰＵ３１６の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、オフィス１では、１つのＣＰＵ３１６が１つのメモリ（ＲＡＭ３１７）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、各カメラやプロジェクタ、デジタイザのそれぞれに対して個別に制御装置３１０を備えるようにするなど、複数のＣＰＵや複数のＲＡＭ、或いはＨＤＤやＳＳＤを協働させて各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路を用いて実行するようにしても良い。

ネットワーク３００は、各オフィスを繋ぐネットワークである。ネットワーク３００の種類は、有線、無線、ＷＡＮ、ＬＡＮ、公衆回線、専用回線など、環境に合わせて適宜選択すれば良い。ネットワークＩ／Ｆ３１１は、オフィス１をネットワーク３００に接続するためのインターフェースである。

図１及び２には示していないが、各オフィスにはマイクとスピーカーが設置されている。オフィス内の人物が発する言葉はマイクによって音声信号に変換され、遠隔地のスピーカーから出力される。オフィス１には、マイク３１９とスピーカー３２０が備えられており、音声Ｉ／Ｆ３１２は、マイク３１９による音声の入力及びスピーカー３２０による音声の出力を制御するためのインターフェースである。

プロジェクタＩ／Ｆ３１３は、プロジェクタ１０１による画像の投影を制御するためのインターフェースである。デジタイザＩ／Ｆ３１４は、デジタイザ２０１によるユーザの動作の検知を制御するためのインターフェースである。カメラＩ／Ｆ３１５は、前面カメラ１０４、背面カメラ１０５、背景カメラ１０２による撮像を制御するためのインターフェースである。

なお、ここでは図示しないが、オフィス２及び３には、オフィス１と同様の構成が備えられている。また、上述した各インターフェースには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、有線ＬＡＮ、無線ＬＡＮなどが適宜採用される。

中継サーバ３５０は、各オフィスで撮像された画像や入力された音声が他のオフィスに送信される場合に、その画像を中継する役割を担う。文書管理サーバ３４０は、各オフィスのプロジェクタによってスクリーンに投影される文書（例えば、会議資料）を記憶する。図２に示すように、人物とともに文書を投影させることが指示されると、ＣＰＵ３１６は文書管理サーバ３４０から文書を取得し、プロジェクタ１０１に投影させる。なお、文書の投影は、遠隔コミュニケーションを行っているオフィスのどちらからでも指示することができる。

オブジェクト管理サーバ３３０は、遠隔コミュニケーションシステムの操作部としてスクリーン１０３を使用する場合にプロジェクタ１０１によってスクリーン１０３に投影させるオブジェクトを記憶する。オブジェクトの例としては、例えば接続先のオフィスを選択するための操作ボタンが挙げられる。オフィス１において遠隔コミュニケーションシステムが起動されると、ＣＰＵ３１６は、オブジェクト管理サーバ３３０から各オフィスに対応する選択ボタンを取得し、スクリーン１０３に投影させる。人物１０６がスクリーン１０３にタッチすると、タッチされた座標をデジタイザ２０１が検知し、検知された座標に対応する選択ボタンをＣＰＵ３１６が特定する。そして、ＣＰＵ３１６は、特定した選択ボタンに対応するオフィスとの間で遠隔コミュニケーションを開始する。

図４は、前面カメラ１０４撮像範囲を説明する図である。前面カメラ１０４ａ、１０４ｂ、１０４ｃは、それぞれ床面から高さａ（１８００ｍｍ）、高さｂ（１３００ｍｍ）、高さｃ（５００ｍｍ）の位置に設置されている。即ち、前面カメラ１０４ａと前面カメラ１０４ｂの配置間隔（５００ｍｍ）は、前面カメラ１０４ｂと前面カメラ１０４ｃの配置間隔（８００ｍｍ）よりも小さくなっている。また、前面カメラ１０４ｂと前面カメラ１０４ｃの配置間隔（８００ｍｍ）は、前面カメラ１０４ｃから床面までの距離よりも大きくなっている。このように配置しているのは、後述する人物画像の合成（図５、図６）を行うときに、画像間の境界が人物の目立たない位置（胸のあたりと腰のあたり）になるようにするためである。

前面カメラ１０４ａ、ｂ、ｃは、それぞれ鉛直方向の画角がθ（シータ）ａ、θｂ、θｃとなっている。ここでは、θａ、θｂ、θｃがいずれも同じ値であるものとするが、異なる画角を有する前面カメラを使用しても良い。前面カメラ１０４から人物１０６までの距離ｄは、前面カメラ１０４によって得られる距離画像に基づいて算出される。高さｈ１は、前面カメラ１０４ｂと前面カメラ１０４ｃの中間に位置する高さであり、前面カメラ１０４ｂと前面カメラ１０４ｃの高さの差を２で割ることによって得られる長さｆに、前面カメラ１０４ｃの高さｃを加えることによって算出される。同様に、高さｈ２は、前面カメラ１０４ａと前面カメラ１０４ｂの中間に位置する高さであり、前面カメラ１０４ａと前面カメラ１０４ｂの高さの差を２で割ることによって得られる長さに、前面カメラ１０４ｂの高さｂを加えることによって算出される。

長さｅは、前面カメラ１０４ｃによって撮像される人物１０６の最も上部の高さと前面カメラｃの高さｃの差に相当する長さである。長さｅは、θｃを２で割ることによって得られる角度と、前面カメラ１０４から人物１０６までの距離ｄに基づいて得られる。

次に、図５及び図６を用いて、前面カメラ１０４によって撮像された画像の合成について説明する。図５の長さ５０１、５０２、５０３は、前面カメラ１０４ａ、ｂ、ｃによって撮像される人物１０６の範囲を示す。図示するように、前面カメラ１０４ａによって撮像される範囲５０１と前面カメラ１０４ｂによって撮像される範囲５０２は一部が重複している。また、前面カメラ１０４ｂによって撮像される範囲５０２と前面カメラ１０４ｃによって撮像される範囲５０３は一部が重複している。

本実施形態においては、各前面カメラ１０４によって得られた画像を合成するにあたって重複部分を削除する処理を行うが、その際に高さｈ１及び高さｈ２が画像の境界となるように処理する。この結果、５０４の範囲は前面カメラ１０４ａによって得られた画像を使用し、５０５の範囲は前面カメラ１０４ｂによって得られた画像を使用し、５０６の範囲は前面カメラ１０４ｃによって得られた画像を使用することになる。

図６（ａ）、（ｂ）、（ｃ）は、前面カメラ１０４ａ、ｂ、ｃによって得られる画像を示す。図５を参照すると、図６（ａ）の画像は５０１の範囲に対応しているが、遠隔地での投影に使用されるのは５０４で示す範囲であるため、範囲５０１と範囲５０４の差分に相当する範囲が除去されて、図６（ｄ）に示す画像となる。同様に、図６（ｂ）の画像は５０２の範囲に対応しているが、遠隔地での投影に使用されるのは５０５で示す範囲であるため、範囲５０２と範囲５０５の差分に相当する範囲が除去されて、図６（ｅ）に示す画像となる。同様に、図６（ｃ）の画像は５０３の範囲に対応しているが、遠隔地での投影に使用されるのは５０６で示す範囲であるため、範囲５０３と範囲５０６の差分に相当する範囲が除去されて、図６（ｆ）に示す画像となる。このような処理を経て得られる図６（ｄ）、（ｅ）、（ｆ）の画像を合成する（結合する）と、人物１０６の全身画像が得られる。

ここで、図６（ｃ）の画像から図６（ｆ）の画像を生成する処理について更に詳しく説明する。図６（ｃ）における画像の中心位置が、前面カメラ１０４ｃが設置されている高さｃに相当する。そして、中心位置よりも上側に含まれる画像は、図４の長さｅの範囲に対応する。この長さｅの範囲の画像のうち、長さｇの範囲に対応する画像を除去し、長さｆの範囲に対応する画像を残すために、前面カメラ１０４ｃの縦の画素数（１０８０画素）の半分のうち、長さｅに占める長さｇの割合に相当する画素数を除去対象として決定する。図６（ａ）及び図６（ｂ）の画像についても、同様の方法で除去対象が決定される。

次に、図７及び８は、前面カメラ１０４による人物１０６の撮像と、前面カメラ１０４によって得られる人物画像の合成の処理を説明するフローチャートである。図７及び８のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。

ステップＳ７０１では、変数Ｎの値を１に初期化する。ステップＳ７０２では、ＣＰＵ３１６が、前面カメラ１０４ａ、ｂ、ｃのうち変数Ｎに対応する前面カメラ１０４に人物１０６を撮像させる。ステップＳ７０３では、前面カメラ１０４によって得られた撮像画像から人物画像を生成する。

図８は、ステップＳ７０３の処理を詳細に説明するフローチャートである。ステップＳ８０１では、ステップＳ７０２で得られた撮像画像に含まれる距離画像を二値化する。本実施形態では、人物１０６は、スクリーン１０３（前面カメラ１０４）から１メートル以上且つ２メートル以内の距離に立つことを想定している。そこで、前面カメラ１０４から被写体までの距離の最小値を１メートルと設定し、最大値を２メートルと設定する。そして、距離画像の各画素に対して、値が上記範囲内に含まれる画素の値を２５５に変更し、それ以外の画素の値を０に変更する。

ステップＳ８０２では、注目画素の周辺に１画素でも値が０の画素があれば値を０に変更する収縮処理、または、注目画素の周辺に１画素でも値が２５５の画素があれば値を２５５に変更する膨張処理を実行する。これにより、孤立点ノイズが除去される。ステップＳ８０３では、平滑化フィルタ（例えば、ガウシアンフィルタ）の処理を実行することにより、値が２５５となっている画素が連続している領域の輪郭を平滑化する。

ステップＳ８０４では、マスク処理を実行することにより、値が２５５である距離画像の画素に対応するカラー画像の画素を非透明とし、値が０である距離画像の画素に対応するカラー画像の画素を全透明とする（透明化する）。この処理により、前面カメラ１０４によって得られた撮像画像から人物部分が抽出される。なお、ここでの「人物部分」とは、人物のみならず、人物が手に持っている指示棒や、商品サンプルなども含まれる。

ステップＳ８０５では、図５及び図６を用いて既述したように、図６（ａ）、（ｂ）、（ｃ）の人物画像に対して上端または下端のトリミング処理を行い、図６（ｄ）、（ｅ）、（ｆ）の人物画像を生成する。具時的には、図６（ａ）に示す画像からは下端の所定領域が除去される。図６（ｂ）に示す画像からは上端及び下端の所定領域が除去される。図６（ｃ）に示す画像からは上端の所定領域が除去される。

図７の説明に戻り、ステップＳ７０４では、変数Ｎの値が前面カメラ１０４の数（本実施形態では３）よりも小さいか否かを判定する。変数Ｎの値が前面カメラ１０４の数よりも小さい場合はステップＳ７０５に進み、変数Ｎに１を加えてステップＳ７０１に戻る。変数Ｎの値が前面カメラ１０４の数よりも小さくない場合（変数Ｎの値が前面カメラ１０４の数と等しい場合）はステップＳ７０６に進む。

ステップＳ７０６では、図６（ｄ）、（ｅ）、（ｆ）の人物画像を合成する。具体的には、図６（ｄ）の画像の下に図６（ｅ）の画像を結合し、更にその下に図６（ｆ）の画像を結合する。また更に、結合後の画像には周囲（頭の上側、右手の左側、左手の右側、足の下側）に余白が残っているため、値が２５５である画素を全て含む矩形でトリミング処理を行う。

ステップＳ７０７では、ステップＳ７０６の処理で得られた画像を接続先のオフィス２に送信する。ステップＳ７０８では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ７０１に戻り、ステップＳ７０１以降の処理を再び実行する。

なお、ここではステップＳ７０３やステップＳ７０６の処理を撮像側（被写体である人物が居る方のオフィス）で実行する例を示したが、投影側（撮像された画像を投影する方のオフィス）で実行するようにしても良い。また、ステップＳ８０２〜Ｓ８０４で説明した人物部分の抽出処理を、ステップ７０６で説明した合成処理の後に実行しても良い。更に、ここでは説明を省略したが、背景カメラ１０２によって得られた背景画像や背面カメラ１０５によって得られた背面画像も、ステップＳ７０７における画像の送信と同期させて、または非同期で接続先のオフィス２に送信される。

図９は、接続先のオフィスから送信された画像を投影する処理を説明するフローチャートである。図９のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。なお、ここではオフィス２に備えられたＣＰＵ等によって図７及び図８で説明した処理がオフィス２側でも同様に実行され、その結果としてオフィス２から送信されてきた画像をオフィス１側で投影する処理について説明する。

ステップＳ９０１では、前面カメラ１１４によって得られた前面の人物画像を受信する。ステップＳ９０２では、背面カメラ１１５によって得られた背面画像を受信する。ステップＳ９０３では、背景カメラ１１２によって得られた背景画像を受信する。

ステップＳ９０４では、人物の前面を表示させることが指示されているか、人物の背面を表示させることが指示されているかを判定する。これらの指示は、デジタイザ２０１が検知する人物１０６の動作に応じて受け付けられる。人物の前面を表示させることが指示されていると判定すると、ステップＳ９０５に進み、ステップＳ９０１で受信した前面の人物画像とステップＳ９０３で受信した背景画像とをスクリーン１０３に投影させる。一方、人物の背面を表示させることが指示されていると判定すると、ステップＳ９０６に進み、ステップＳ９０２で受信した背面画像をスクリーン１０３に投影させる。

ステップＳ９０７では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ９０１に戻り、ステップＳ９０１以降の処理を再び実行する。なお、図７に示したフローチャートと図９に示したフローチャートは、遠隔コミュニケーションが行われている間、継続的に並行して実行される。

以上説明した通り、本実施形態の遠隔コミュニケーションシステムは、遠隔地であるオフィス２から送信された画像をスクリーン１０３に投影するプロジェクタ１０１を備える。また、スクリーン１０３には、複数の前面カメラ１０４が配置されている。ＣＰＵ３１６は、複数の前面カメラ１０４によって得られた各画像から人物部分を抽出する抽出処理（Ｓ７０３）と、複数の前面カメラ１０４によって得られた複数の画像を合成する合成処理（Ｓ７０６）を実行する。更に、抽出処理及び合成処理がなされた画像を、オフィス２に備えられたスクリーン１１３に投影するプロジェクタ１１１を備える。

このような構成を備えることにより、近い距離で向かい合っているような感覚で遠隔地とコミュニケーションを取ることを可能としている。

＜他の実施形態＞
本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (10)

1. 遠隔地から送信された画像を第１の投影面に投影する第１の投影手段と、
   前記第１の投影面に配置された複数の撮像手段と、
   前記複数の撮像手段によって得られた各画像から人物部分を抽出する抽出手段と、
   前記複数の撮像手段によって得られた複数の画像を合成する合成手段と、
   前記抽出手段による抽出及び前記合成手段による合成がなされた画像を、前記遠隔地に備えられた第２の投影面に投影する第２の投影手段と、を備え、
   前記合成手段は、前記撮像手段の画角と前記撮像手段の配置関係と前記撮像手段から人物までの距離とに基づいて前記複数の画像間の重複部分を特定し、特定した前記重複部分を除去して前記複数の画像の合成を行うことを特徴とする遠隔コミュニケーションシステム。
2. 前記合成手段は、前記抽出手段による抽出がなされた後の画像を合成することを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
3. 前記抽出手段は、前記撮像手段から被写体までの距離が所定の値を超える画素を透明化することを特徴とする請求項１または２に記載の遠隔コミュニケーションシステム。
4. 背景を撮像するための背景撮像手段を更に備え、
   前記第２の投影手段は、前記抽出手段による抽出及び前記合成手段による合成がなされた画像を、前記背景撮像手段によって得られた画像とともに投影することを特徴とする請求項１乃至３のいずれか１項に記載の遠隔コミュニケーションシステム。
5. 前記第１の投影面に対してなされるユーザの動作を検知する検知手段と、
   前記第１の投影手段によって投影される画像を、前記検知手段によって検知されたユーザの動作に従って切り替える切替手段と、
   を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載のコミュニケーションシステム。
6. 前記複数の撮像手段は、鉛直方向の上から順に並べられた第１の撮像手段、第２の撮像手段、第３の撮像手段を含み、
   前記第１の撮像手段と前記第２の撮像手段の配置間隔は、前記第２の撮像手段と前記第３の撮像手段の配置間隔よりも小さいことを特徴とする請求項１乃至５のいずれか１項に記載のコミュニケーションシステム。
7. 前記複数の撮像手段は、鉛直方向の上から順に並べられた第１の撮像手段、第２の撮像手段、第３の撮像手段を含み、
   前記第２の撮像手段と前記第３の撮像手段の配置間隔は、前記第３の撮像手段から床面までの距離よりも大きいことを特徴とする請求項１乃至６のいずれか１項に記載のコミュニケーションシステム。
8. 遠隔地から送信された画像を投影面に投影する投影手段と、
   前記投影面に配置され、撮像範囲がそれぞれ異なる複数の撮像手段と、
   前記複数の撮像手段によって得られた各画像から人物部分を抽出する抽出手段と、
   前記複数の撮像手段によって得られた複数の画像を合成する合成手段と、
   前記抽出手段による抽出及び前記合成手段による合成がなされた画像を、前記遠隔地に送信する送信手段と、を備え、
   前記抽出手段による抽出及び前記合成手段による合成がなされた画像が示す撮像範囲は、前記複数の撮像手段のいずれかの撮像手段によって得られた画像が示す撮像範囲よりも広いことを特徴とする遠隔コミュニケーションシステム。
9. 遠隔地から送信された画像を投影面に投影する投影手段と、前記投影面に配置され、撮像範囲がそれぞれ異なる複数の撮像手段と、を備える遠隔コミュニケーションシステムの制御方法であって、
   前記複数の撮像手段によって得られた各画像から人物部分を抽出する抽出工程と、
   前記複数の撮像手段によって得られた複数の画像を合成する合成工程と、
   前記抽出工程による抽出及び前記合成工程による合成がなされた画像を、前記遠隔地に送信する送信工程と、
   を備え、
   前記抽出工程による抽出及び前記合成工程による合成がなされた画像が示す撮像範囲は、前記複数の撮像手段のいずれかの撮像手段によって得られた画像が示す撮像範囲よりも広いことを特徴とする遠隔コミュニケーションシステムの制御方法。
10. 請求項９に記載の遠隔コミュニケーションシステムの制御方法をコンピュータに実行させるためのプログラム。

Images