JP7505518B2 - 表示方法、表示システムおよびプログラム - Google Patents

Description

本発明は、表示方法、表示システムおよびプログラムに関する。

従来、離れた拠点間をネットワークで接続し、それぞれの拠点にいる人物の画像および音声を送受信することによりコミュニケーションを図る技術が普及している。例えば、下記特許文献１は、第１空間と第１空間から離隔した第２空間とにおいて、自空間に他方の空間の撮像画像および音声を出力することで、第１空間と第２空間を仮想的に接続する仮想的空間接続装置が開示されている。第１空間に配置された仮想的空間接続装置は、第１スクリーンの裏側に配置され第１スクリーン側から第１空間を撮像する第１撮像部と、第１スクリーンの側方に設けられた第１プロジェクターを有する。

特開２０２１－１７６２１２号公報

上述のような遠隔地間のコミュニケーションにおいては、ユーザーを撮影するカメラと、相手方から送信された画像を表示する表示装置とが使用される。特許文献１の例では、カメラはスクリーンに配置され、他方の空間が撮像されることで、自空間と他方の空間が接続されたような臨場感がえられる。しかし、カメラの配置、および、スクリーンに出力される画像の配置等は、特許文献１と同じであるとは限らない。ここで、ユーザーは一般的に、発話している相手が写る画像を見る際に、相手の顔に目を向ける。一方で、表示面上で相手の顔が表示される位置とカメラの位置とには、上記のようにずれがある。よって、カメラの配置、および、スクリーンに出力される画像の配置等によっては、相手がカメラの撮像画像を見た際に、ユーザーの視線がずれた位置に向いているように見え、相手に違和感を与える場合がある。

本発明の一態様にかかる表示方法は、第１ユーザーを示す第１画像と、第２ユーザーを示す第２画像とを、カメラが配置された表示面に表示することと、前記表示面における前記カメラの位置を示す情報を取得することと、前記第１ユーザーの音声を出力することと、前記第１ユーザーの音声を出力している期間に、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示することと、前記第１ユーザーの音声を出力している期間に前記カメラが取得した画像を、前記第１ユーザーが使用する端末装置に送信することと、を含む。

本発明の一態様にかかる表示システムは、表示面に配置されたカメラ、および第１ユーザーの端末装置と通信する少なくとも１つの通信インターフェイスと、前記表示面に画像を表示する表示装置と、スピーカーと、前記通信インターフェイス、前記表示装置、および前記スピーカーを制御する少なくとも１つの処理装置と、を備え、前記少なくとも１つの処理装置は、前記通信インターフェイスを介して取得した前記第１ユーザーを示す第１画像と、前記第１ユーザーとは異なる第２ユーザーを示す第２画像とを、前記表示装置によって前記表示面に表示し、前記表示面における前記カメラの位置を示す情報を取得し、前記通信インターフェイスを介して取得した前記端末装置からの音声を前記スピーカーから出力し、前記音声を出力している期間に、前記表示装置によって、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示し、前記音声を出力している期間に前記カメラが取得した画像を、前記通信インターフェイスを介して前記端末装置に送信する。

本発明の一態様にかかるプログラムは、第１ユーザーを示す第１画像と、第２ユーザーを示す第２画像とを、カメラが配置された表示面に表示することと、前記表示面における前記カメラの位置を示す情報を取得することと、前記第１ユーザーの音声を出力することと、前記第１ユーザーの音声を出力している期間に、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示することと、前記第１ユーザーの音声を出力している期間に前記カメラが取得した画像を、前記第１ユーザーが使用する端末装置に送信することと、をコンピューターに実行させる。

実施形態にかかる表示システム１０を含む会議システム１を模式的に示す図である。 表示システム１０の構成を示すブロック図である。 パーソナルコンピューター２０の構成を示すブロック図である。 プロジェクター３０の構成を示すブロック図である。 会議用カメラ４０と表示面Ｐとの位置関係を模式的に示す図である。 図５のＡ－Ａ断面図である。 撮像画像ＳＫと部分画像ＳＢ１，ＳＢ２との関係を模式的に示す図である。 基準状態Ｍ１における投射画像ＳＧのレイアウトを示す。 ユーザーＵ１の発話時Ｍ２における投射画像ＳＧを示す。 ユーザーＵ３の発話時Ｍ３における投射画像ＳＧを示す。 処理装置２８が制御プログラム２７０に従って実行する表示方法の流れを示すフローチャートである。

以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

Ａ：表示システム１０の概要
図１は、実施形態にかかる表示システム１０を含む会議システム１を模式的に示す図である。会議システム１は、異なる拠点Ｋ１～Ｋ３にいるユーザーＵ１～Ｕ４が参加するオンライン会議を行うためのシステムである。会議システム１は、表示システム１０と、端末装置Ｔ１，Ｔ２と、会議サーバーＣとを含む。端末装置Ｔ１，Ｔ２は、例えばパーソナルコンピューター、タブレット端末、スマートフォンなどの通信機能を備えた情報処理装置である。

表示システム１０と、端末装置Ｔ１，Ｔ２と、会議サーバーＣとは、ネットワークＮを介して接続されている。端末装置Ｔ１は、拠点Ｋ１に配置されている。拠点Ｋ１には、ユーザーＵ１がいる。端末装置Ｔ２は、拠点Ｋ２に配置されている。拠点Ｋ２には、ユーザーＵ２がいる。表示システム１０は、拠点Ｋ３に配置されている。拠点Ｋ３には、ユーザーＵ３およびＵ４がいる。ユーザーＵ１は第１ユーザーの一例であり、ユーザーＵ２は第２ユーザーの一例である。

オンライン会議は、例えばオンライン会議アプリケーションを用いて行われる。オンライン会議アプリケーションは、端末装置Ｔ１，Ｔ２、および図２に示す表示システム１０のパーソナルコンピューター２０において実行される。オンライン会議アプリケーション上で、例えばユーザーＵ１が会議の開催を要求すると、会議サーバーＣに会議の開催要求が通知される。会議サーバーＣは、開催要求に対応してＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を発行する。ＵＲＬは、会議サーバーＣ上に仮想的に設けられた会議室の識別情報に対応する。ユーザーＵ１は、発行されたＵＲＬを端末装置Ｔ１に保存する。また、ユーザーＵ１は、ユーザーＵ２～Ｕ４に、電子メール等でＵＲＬを通知する。

会議の予定時刻になると、端末装置Ｔ１，Ｔ２およびパーソナルコンピューター２０では、オンライン会議アプリケーションを起動してＵＲＬで示される接続先に接続する。オンライン会議アプリケーションは、自拠点で撮像された画像データと自拠点で収音された音声データを会議サーバーＣに送信する。また、オンライン会議アプリケーションは、他の拠点で撮像された画像データと他の拠点で収音された音声データを会議サーバーＣから受信し、これらのデータに基づいて画像および音声を出力する。これにより、拠点Ｋ１～Ｋ３間で画像と音声を用いたオンライン会議が実現される。

Ｂ：表示システム１０の詳細
図２は、表示システム１０の構成を示すブロック図である。表示システム１０は、パーソナルコンピューター２０と、プロジェクター３０と、会議用カメラ４０とを備える。

Ｂ－１：パーソナルコンピューター２０の構成
図３は、パーソナルコンピューター２０の構成を示すブロック図である。パーソナルコンピューター２０に代えて、タブレット端末、スマートフォンなど他の情報処理装置を端末装置として用いてもよい。

パーソナルコンピューター２０は、操作装置２１と、ディスプレイ２２と、スピーカー２３と、マイクロホン２４と、第１通信装置２５と、第２通信装置２６と、記憶装置２７と、処理装置２８とを備える。

操作装置２１は、ユーザーＵ３，Ｕ４からの操作を受け付けるための装置である。操作装置２１は、例えばキーボードまたはマウスである。また、操作装置２１として、ディスプレイ２２と操作装置２１とが一体となったタッチパネルが用いられてもよい。

ディスプレイ２２は、外部に対して情報を表示する表示デバイスであり、例えば液晶表示パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示パネル等の各種の表示パネルである。

スピーカー２３は、音声データに基づく音を発生させる。スピーカー２３は、パーソナルコンピューター２０に内蔵されているに限らず、パーソナルコンピューター２０とは別体のスピーカー２３を有線または無線により接続してもよい。

マイクロホン２４は、周囲の音を検出して音声データとして出力する。マイクロホン２４は、パーソナルコンピューター２０に内蔵されているに限らず、パーソナルコンピューター２０とは別体のマイクロホン２４を有線または無線により接続してもよい。

第１通信装置２５は、ネットワークＮに接続された他の端末装置と通信するためのインターフェイスである。他の端末装置とは、本実施形態では、会議サーバーＣである。第１通信装置２５は、例えば、Ｗｉ－Ｆｉなどの通信方式で無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ルーターと通信する。Ｗｉ－Ｆｉは登録商標である。無線ＬＡＮルーターは、無線ＬＡＮアクセスポイントおよびインターネットとの仲介機能を備えた無線ＬＡＮ機器である。なお、第１通信装置２５は、有線ＬＡＮによりネットワークＮと接続されていてもよい。第１通信装置２５は、ユーザーＵ１の端末装置Ｔ１と通信する通信インターフェイスの一例である。

第２通信装置２６は、プロジェクター３０および会議用カメラ４０等の、パーソナルコンピューター２０の近くに位置する機器と通信するためのインターフェイスである。第２通信装置２６は、例えば、無線または有線のＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等のインターフェイスである。Ｂｌｕｅｔｏｏｔｈ、ＵＳＢおよびＨＤＭＩは、それぞれ、登録商標である。第２通信装置２６は、無線の場合はアンテナ、有線の場合はコネクター等のインターフェイスと、インターフェイスを介して受信した信号を電気的に処理するインターフェイス回路を備える。第２通信装置２６は、会議用カメラ４０と通信する通信インターフェイスの一例である。

記憶装置２７は、処理装置２８が読み取り可能な記録媒体である。記憶装置２７は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。

記憶装置２７は、処理装置２８によって実行される制御プログラム２７０と、処理装置２８が使用する各種のデータ２７２と、を記憶する。制御プログラム２７０は、例えば、オペレーティングシステムと、複数のアプリケーションプログラムとを含む。アプリケーションプログラムには、オンライン会議アプリケーションを実行するプログラムが含まれる。

処理装置２８は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理装置２８は、単数または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成される。処理装置２８の機能の一部または全部は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路によって構成されてもよい。処理装置２８は、各種の処理を並列的または逐次的に実行する。処理装置２８は、第１通信装置２５およびスピーカー２３を制御する処理装置の一例である。

処理装置２８は、記憶装置２７から制御プログラム２７０を読み取って実行することにより、カメラ位置情報取得部２８１、ユーザー画像生成部２８２、データ送受信部２８３、投射画像生成部２８４、投射画像供給部２８５および放音制御部２８６として機能する。処理装置２８の各機能部の詳細は後述する。処理装置２８は、制御装置の一例である。

Ｂ－２：プロジェクター３０の構成
図４は、プロジェクター３０の構成を示すブロック図である。プロジェクター３０は、操作装置３１と、通信装置３２と、プロジェクター用カメラ３３と、光学装置３４と、記憶装置３５と、処理装置３６とを備える。プロジェクター３０は、表示面Ｐに画像を表示する表示装置の一例である。

操作装置３１は、ユーザーＵ３，Ｕ４からの操作を受け付けるための装置である。操作装置３１は、例えば各種の操作ボタン、操作キーまたはタッチパネルである。操作装置３１は、例えばプロジェクター３０の筐体に設けられている。また、操作装置３１は、プロジェクター３０の筐体とは別個に設けられたリモートコントローラーであってもよい。

通信装置３２は、パーソナルコンピューター２０等の、プロジェクター３０の近くに位置する機器と通信するためのインターフェイスである。通信装置３２は、例えば、無線または有線のＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ、ＨＤＭＩ等のインターフェイスである。Ｂｌｕｅｔｏｏｔｈ、ＵＳＢおよびＨＤＭＩは、それぞれ、登録商標である。通信装置３２は、無線の場合はアンテナ、有線の場合はコネクター等のインターフェイスと、インターフェイスを介して受信した信号を電気的に処理するインターフェイス回路を備える。

プロジェクター用カメラ３３は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子等を含み、撮像画像に対応する画像データを生成する。撮像素子は、例えば、可視光領域の光を受光するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーである。プロジェクター用カメラ３３は、光学装置３４によって画像が表示される表示面Ｐの全体を撮像範囲に含む。

プロジェクター用カメラ３３は、プロジェクター３０の他の要素とは別体として設けられてもよい。この場合、プロジェクター用カメラ３３とプロジェクター３０は、データの送受信ができるように有線または無線のインターフェイスにより相互に接続されてもよい。また、この場合、プロジェクター用カメラ３３の撮像範囲と光学装置３４の表示面Ｐとの位置関係がキャリブレーションされている。

光学装置３４は、処理装置３６からの画像信号に基づいて、表示面Ｐに投射画像ＳＧを投射する。本実施形態では、表示面Ｐは、壁Ｗのうち、光学装置３４を用いて投射画像ＳＧを投射可能な最大範囲である。表示面Ｐは、例えば図５に示される。光学装置３４は、光源３４１と光変調装置３４２と投射光学系３４３とを有する。

光源３４１は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはレーザー光源等を含む。光源３４１は、例えば、赤色、緑色および青色の光をそれぞれ出射するか、または、白色の光を出射する。光源３４１が白色の光を出射する場合、光源３４１から出射される光は、図示しないインテグレーター光学系によって輝度分布のばらつきが低減され、その後、図示しない色分離光学系によって赤色、緑色および青色の光に分離されて光変調装置３４２に入射する。

光変調装置３４２は、赤色、緑色および青色にそれぞれ対応して設けられる３つの光変調素子を含む。光変調素子は、それぞれ、例えば、透過型の液晶パネル、反射型の液晶パネルまたはＤＭＤ（デジタルミラーデバイス）等を含む。光変調素子は、処理装置３６からの画像信号に基づいて、当該赤色、緑色および青色の光をそれぞれ変調して各色の画像光を生成する。光変調装置３４２で生成される各色の画像光は、図示しない色合成光学系によって合成され、フルカラーの画像光となる。なお、光変調装置３４２は、これに限定されず、単板の液晶パネルやＤＭＤ等を用いて、時分割で各色の画像光を出射することにより、フルカラーの画像光を視認させても良い。

投射光学系３４３は、当該フルカラーの画像光をスクリーン上に結像させて投射させる。投射光学系３４３は、少なくとも１つの投射レンズを含む光学系であり、ズームレンズまたはフォーカスレンズ等を含んでもよい。

記憶装置３５は、処理装置３６が読み取り可能な記録媒体である。記憶装置３５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭが挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。

記憶装置３５は、処理装置３６によって実行される制御プログラム３５０と、処理装置３６が使用する各種のデータ３５２と、を記憶する。制御プログラム３５０は、処理装置３６によって実行される。制御プログラム３５０は、例えば、オペレーティングシステムと、複数のアプリケーションプログラムとを含む。

また、本実施形態では、記憶装置３５の一部の記憶領域は、フレームメモリーとして機能する。フレームメモリーは、光学装置３４により投射される投射画像ＳＧを１画面分の画像データとして記憶する。なお、フレームメモリーは、制御プログラム３５０等を記憶する記憶装置３５とは別個に設けられてもよい。

本実施形態では、投射画像ＳＧとして、横１９２０ピクセル、縦１０８０ピクセルの画像を投射可能である。よって、投射画像ＳＧの左上の点を基準点とし、横方向にｘ軸、縦方向にｙ軸を取ったｘｙ座標を用いて各ピクセルを識別することができる。例えば、左上のピクセルを座標（１，１）とすると、右下のピクセルは座標（１９２０，１０８０）となる。フレームメモリーの座標についても、ｘｙ座標（ｘ，ｙ）で表すことができる。

処理装置３６は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理装置３６は、単数または複数のＣＰＵによって構成される。処理装置３６の機能の一部または全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって構成されてもよい。処理装置３６は、各種の処理を並列的または逐次的に実行する。処理装置３６は、プロジェクター３０を制御する処理装置の一例である。

処理装置３６は、記憶装置３５から制御プログラム３５０を読み取って実行することにより、キャリブレーション処理部３６１およびカメラ位置検出部３６２として機能する。処理装置３６の各機能部の詳細は後述する。

Ｂ－３：会議用カメラ４０の構成
会議用カメラ４０は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子と、パーソナルコンピューター２０の第２通信装置２６と通信するための通信装置と、記憶装置と、処理装置等を含む。会議用カメラ４０は、表示面Ｐに配置されたカメラの一例である。撮像素子は、例えば、可視光領域の光を受光するＣＣＤイメージセンサーである。会議用カメラ４０は、拠点Ｋ３におけるオンライン会議の参加者である、ユーザーＵ３およびＵ４を撮像するために配置される。会議用カメラ４０は、撮像画像ＳＫに対応する画像データをパーソナルコンピューター２０に送信する。

Ｂ－４：会議用カメラ４０と表示面Ｐとの位置関係
図５は、会議用カメラ４０と表示面Ｐとの位置関係を模式的に示す図である。また、図６は、図５のＡ－Ａ断面図である。本実施形態では、会議用カメラ４０は、拠点Ｋ３に設けられた壁Ｗに配置されている。より詳細には、会議用カメラ４０は、壁Ｗに設けられた切り欠きＨからレンズＬを露出するように配置されている。壁Ｗは、室内に露出する表面Ｆ１と、表面Ｆ１とは反対側の裏面Ｆ２とを有する。裏面Ｆ２側には、切り欠きＨの近傍に位置する台座Ｄが設けられており、台座Ｄに会議用カメラ４０が載置される。なお、会議用カメラ４０は、壁Ｗの裏面Ｆ２に配置されるに限らず、例えば壁Ｗの表面Ｆ１に取り付けられてもよい。

本実施形態では、壁Ｗをスクリーンとして用いて、プロジェクター３０が画像を投射する。プロジェクター３０は、壁ＷにおいてレンズＬが露出する範囲、例えば切り欠きＨの範囲を、表示面Ｐに含むように配置される。言い換えると、会議用カメラ４０は、表示面Ｐに配置されている。図５の例は、拠点Ｋ１における配置例であり、表示面Ｐを正面から見た場合に、やや右側にレンズＬが位置するように配置されている。

Ｃ：プロジェクター３０の処理装置３６の詳細
次に、プロジェクター３０の処理装置３６により実現される機能部の詳細について説明する。上述のように、プロジェクター３０の処理装置３６は、キャリブレーション処理部３６１およびカメラ位置検出部３６２として機能する。

Ｃ－１：キャリブレーション処理部３６１
キャリブレーション処理部３６１は、フレームメモリー上の座標と、プロジェクター用カメラ３３の撮影画像上の座標とを対応付けるキャリブレーションデータを生成する。フレームメモリー上の位置と、プロジェクター用カメラ３３の撮像画像上の位置とが対応付けられることによって、例えば、プロジェクター用カメラ３３の撮像画像に写る物体が、表示面Ｐに投射された投射画像ＳＧのどの領域と重なっているかを特定することができる。

キャリブレーション処理部３６１は、キャリブレーション画像データを記憶装置３５から読み出す。キャリブレーション処理部３６１は、キャリブレーション画像データをフレームメモリー上に展開し、キャリブレーション画像に対応する画像信号を生成する。画像信号に従って光学装置３４が駆動されることにより、キャリブレーション画像が表示面Ｐに投射される。キャリブレーション画像は、例えば予め設定された形状のマークが間隔をあけて配置された画像である。

続いて、キャリブレーション処理部３６１は、キャリブレーション画像が投射された表示面Ｐを含む撮像画像をプロジェクター用カメラ３３により撮像する。キャリブレーション処理部３６１は、撮像画像に写るマークを検出し、各マークの重心位置を、撮像画像における各マークの座標として特定する。キャリブレーション処理部３６１は、撮像画像から検出されたマークの座標と、フレームメモリー上のマークの座標との対応づけを行う。この対応づけにより、撮像画像上の座標とフレームメモリー上の座標とを対応づけるキャリブレーションデータが生成される。生成されたキャリブレーションデータは、記憶装置３５に記憶される。

Ｃ－２：カメラ位置検出部３６２
カメラ位置検出部３６２は、表示面Ｐにおける会議用カメラ４０の位置を示す情報を検出する。以下、表示面Ｐにおける会議用カメラ４０の位置を示す情報を、「カメラ位置情報」という。カメラ位置情報は、例えば表示面Ｐの左上の点を基準点とし、横方向にＸ軸、縦方向にＹ軸を取ったＸＹ座標の座標値を用いることができる。上述のように、投射画像ＳＧは、ｘｙ座標を用いて、座標（１，１）から座標（１９２０，１０８０）で示すことができる。表示面Ｐでは、例えば投射画像ＳＧの座標（１，１）のピクセルが表示される領域を、座標（１，１）とする。これにより、表示面Ｐ上の任意の位置を、（１，１）から（１９２０，１０８０）の座標で特定することができる。

カメラ位置検出部３６２は、例えば、表示面Ｐに露出した会議用カメラ４０の部分の外縁の座標を、カメラ位置情報として検出する。また、例えば表示面Ｐに露出した会議用カメラ４０の部分が円形の場合は、当該部分の中心位置の座標と、当該部分の外縁までの距離とを、カメラ位置情報としてもよい。

カメラ位置検出部３６２は、例えば以下の検出方法１～４のいずれかを用いて、カメラ位置情報を検出する。

［検出方法１］
検出方法１は、パターン検出を用いる方法である。カメラ位置検出部３６２は、光学装置３４を用いて、表示面Ｐに格子状のパターンを投射する。また、カメラ位置検出部３６２は、プロジェクター用カメラ３３を用いて、表示面Ｐの撮像画像を取得する。会議用カメラ４０の光の反射率と、壁Ｗの光の反射率とは異なるので、壁Ｗと会議用カメラ４０との境界では、パターンの歪みや欠けが生じる。カメラ位置検出部３６２は、パターンの歪みや欠けが生じている表示面Ｐの位置を、会議用カメラ４０の位置として検出する。

［検出方法２］
検出方法２は、会議用カメラ４０に、位置検出用のビーコンを設ける方法である。ビーコンとして、例えば赤外光発光素子を用いることができる。この場合、プロジェクター３０は、例えばプロジェクター用カメラ３３に赤外線受光機能が備えられている、またはプロジェクター用カメラ３３とは別に赤外線受光機能を備えたカメラが設けられているものとする。赤外線受光機能を備えたカメラの撮像画像には、ビーコンから発光された赤外光が写る。カメラ位置検出部３６２は、赤外光の位置を、会議用カメラ４０の位置として検出する。

［検出方法３］
検出方法３は、画像認識により会議用カメラ４０を検出する方法である。例えば、カメラ位置検出部３６２は、会議用カメラ４０のうち、表示面Ｐに露出する部分の形状を示す形状データを予め取得しておく。例えば、表示システム１０で、予め定められた形状の会議用カメラ４０を共通して使用するようにしてもよい。カメラ位置検出部３６２は、プロジェクター用カメラ３３の撮像画像を取得して、撮像画像内に形状データに対応する形状の物体が写っているかを判断する。形状データに対応する形状の物体が写っている場合、カメラ位置検出部３６２は、当該物体の位置を、会議用カメラ４０の位置として検出する。

［検出方法４］
検出方法４は、プロジェクター３０からの投射光をプロジェクター用カメラ３３によって検出する方法である。カメラ位置検出部３６２は、表示面Ｐに対してレーザー光のような指向性が高い光を順番に照射していく。レーザー光の照射位置は、例えば表示面Ｐに設定されたＸＹ座標を用いて識別できるものとする。この間、プロジェクター用カメラ３３は、撮像を継続する。プロジェクター用カメラ３３のレンズにレーザー光が入射すると、撮像画像が白飛びした状態となる。カメラ位置検出部３６２は、白飛びした撮像画像が得られた時の、レーザー光の照射位置を、会議用カメラ４０の位置として検出する。

Ｄ：パーソナルコンピューター２０の処理装置２８の詳細
次に、パーソナルコンピューター２０の処理装置２８により実現される機能部の詳細について説明する。上述のように、パーソナルコンピューター２０の処理装置２８は、カメラ位置情報取得部２８１、ユーザー画像生成部２８２、データ送受信部２８３、投射画像生成部２８４、投射画像供給部２８５および放音制御部２８６として機能する。

Ｄ－１：カメラ位置情報取得部２８１
カメラ位置情報取得部２８１は、表示面Ｐにおける会議用カメラ４０の位置を示すカメラ位置情報を取得する。本実施形態では、カメラ位置情報取得部２８１は、カメラ位置検出部３６２によって検出されたカメラ位置情報を、第２通信装置２６を介して取得する。

Ｄ－２：ユーザー画像生成部２８２
ユーザー画像生成部２８２は、会議用カメラ４０で撮像された撮像画像ＳＫから、ユーザーＵ３が写る部分画像ＳＢ１およびユーザーＵ４が写る部分画像ＳＢ２を生成する。図７は、撮像画像ＳＫと部分画像ＳＢ１，ＳＢ２との関係を模式的に示す図である。会議用カメラ４０の撮像画像ＳＫには、拠点Ｋ３にいるユーザーＵ３，Ｕ４の２人が写っている。ユーザー画像生成部２８２は、画像認識技術を用いて撮像画像ＳＫからユーザーＵ３，Ｕ４の顔を検出し、ユーザーＵ３の顔を含む部分画像ＳＢ１と、ユーザーＵ４の顔を含む部分画像ＳＢ２とを生成する。このような部分画像ＳＢ１，ＳＢ２を生成するのは、他のユーザーＵ１，Ｕ２の画像と並べた際の違和感を少なくするためである。また、撮像画像ＳＫと比較して、部分画像ＳＢ１，ＳＢ２の方がユーザーＵ３，Ｕ４の各々の表情が把握しやすい。

なお、拠点Ｋ３にユーザーＵ３，Ｕ４以外のユーザーが加わった場合、ユーザー画像生成部２８２は、加わったユーザーが写る部分画像を更に生成する。また、拠点Ｋ３にユーザーＵ３またはＵ４の一方のみがいる場合は、撮像画像ＳＫから当該ユーザーＵ３またはＵ４の一方が写る部分画像を生成する。

また、例えばユーザーＵ３，Ｕ４の少なくとも一方が、自身の顔が写る部分画像ＳＢ１，ＳＢ２をオンライン会議で表示することに抵抗がある場合やオンライン会議が私的な交流の場である場合などは、例えば自身を模したアバター画像や、自身の名前またはイニシャルを示す文字画像を、部分画像ＳＢ１，ＳＢ２に代えて用いるように指定できてもよい。または、部分画像ＳＢ１，ＳＢ２に対して画像加工処理を行った画像を用いるように指定できてもよい。画像加工処理は、例えばユーザーＵ３，Ｕ４の顔を動物またはイラスト風に変換する処理、ユーザーＵ３，Ｕ４の顔のパーツの一部を入れ替える処理、ぼかし処理等である。以下、部分画像ＳＢ１、アバター画像、または部分画像ＳＢ１に対して画像加工処理を行った画像等、オンライン会議でユーザーＵ３に対応して表示される画像を、「ユーザーＵ３を示す画像Ｓ３」とする。他のユーザーＵ１，Ｕ２，Ｕ４も同様である。

Ｄ－３：データ送受信部２８３
データ送受信部２８３は、会議サーバーＣに対して、ユーザー画像生成部２８２で生成されたユーザーＵ３を示す画像Ｓ３に対応する画像データ、ユーザーＵ４を示す画像Ｓ４に対応する画像データを送信する。また、データ送受信部２８３は、会議サーバーＣに対して、マイクロホン２４が生成した音声データを送信する。画像Ｓ３に対応する画像データと、画像Ｓ４に対応する画像データと、マイクロホン２４が生成した音声データとは、拠点Ｋ３で生成されたデータとして対応付けられている。

また、データ送受信部２８３は、会議サーバーＣから、他の拠点Ｋ１，Ｋ２で撮像された画像データおよび他の拠点Ｋ１，Ｋ２で収音された音声データを受信する。拠点Ｋ１で撮像された画像データは、ユーザーＵ１を示す画像Ｓ１に対応する画像データである。拠点Ｋ２で撮像された画像データは、ユーザーＵ２を示す画像Ｓ２に対応する画像データである。拠点Ｋ１で収音された音声データは、ユーザーＵ１の発話を含む音声データである。拠点Ｋ２で収音された音声データは、ユーザーＵ２の発話を含む音声データである。拠点Ｋ１で撮像された画像データと、拠点Ｋ１で収音された音声データとは対応付けられている。また、拠点Ｋ２で撮像された画像データと、拠点Ｋ２で収音された音声データとは対応付けられている。

Ｄ－４：投射画像生成部２８４
投射画像生成部２８４は、プロジェクター３０で投射する投射画像ＳＧを生成する。投射画像生成部２８４は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で撮像された画像データと、ユーザー画像生成部２８２で生成された部分画像ＳＢ１に対応する画像データと、部分画像ＳＢ２に対応する画像データとを用いて、投射画像ＳＧを生成する。この時、投射画像生成部２８４は、カメラ位置情報取得部２８１で取得されたカメラ位置情報に基づいて、投射画像ＳＧのレイアウトを決定する。また、投射画像生成部２８４は、会議中の発話者が、ユーザーＵ１～Ｕ４のいずれであるかに基づいて、投射画像ＳＧのレイアウトを決定する。

図８は、基準状態Ｍ１における投射画像ＳＧのレイアウトを示す。基準状態Ｍ１とは、例えば発話者がいない状態である。以下、基準状態Ｍ１における投射画像ＳＧのレイアウトを「基準レイアウト」という。投射画像ＳＧには、ユーザーＵ１を示す画像Ｓ１、ユーザーＵ２を示す画像Ｓ２、ユーザーＵ３を示す画像Ｓ３、ユーザーＵ４を示す画像Ｓ４が含まれている。すなわち、プロジェクター３０により投射画像ＳＧが投射されると、第１通信装置２５を介して取得したユーザーＵ１を示す画像Ｓ１と、ユーザーＵ１とは異なるユーザーＵ３を示す画像Ｓ３とが、表示面Ｐに表示される。画像Ｓ１は第１画像の一例であり、画像Ｓ３は第２画像の一例である。画像Ｓ１，Ｓ２は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で撮像された画像データに対応する画像である。また、画像Ｓ３，Ｓ４は、ユーザー画像生成部２８２で生成された部分画像ＳＢ１，ＳＢ２である。

基準状態Ｍ１では、投射画像生成部２８４は、画像Ｓ１，Ｓ２の少なくともいずれかの外縁付近に会議用カメラ４０が位置するように、画像Ｓ１，Ｓ２を配置する。これは、画像Ｓ１，Ｓ２の中央部付近に会議用カメラ４０が重なると、画像Ｓ１，Ｓ２の視認性が低下するためである。一方で、会議用カメラ４０から離れた位置に画像Ｓ１，Ｓ２が配置されると、ユーザーＵ３，Ｕ４の視線が会議用カメラ４０から離れて、ユーザーＵ１，Ｕ２に違和感を与える。画像Ｓ１，Ｓ２の少なくともいずれかの外縁付近に会議用カメラ４０が位置することにより、会議用カメラ４０と画像Ｓ１，Ｓ２との距離が所定距離以下に維持することができる。

また、基準状態Ｍ１では、画像Ｓ１と会議用カメラ４０との距離と、画像Ｓ２と会議用カメラ４０との距離との差分が小さくなるように、画像Ｓ１，Ｓ２を配置するのが好ましい。これは、発話者がいない状態では、拠点Ｋ３のユーザーＵ３，Ｕ４は、特定の画像を注視するのではなく、画像Ｓ１，Ｓ２を包括するように表示面Ｐを見るためである。図８の例では、画像Ｓ１～Ｓ４は、縦２列×横２行で配置されており、会議用カメラ４０は、画像Ｓ１～Ｓ４の中央に位置している。すなわち、会議用カメラ４０と画像Ｓ１～Ｓ４との距離が等しくなっている。

なお、画像Ｓ１と会議用カメラ４０との距離とは、例えば画像Ｓ１の中心と会議用カメラ４０の中心との距離であってもよいし、画像Ｓ１のうち会議用カメラ４０に最も近い点と会議用カメラ４０のうち画像Ｓ１に最も近い点との距離であってもよい。

また、投射画像生成部２８４は、投射画像ＳＧのうち、会議用カメラ４０と重なる部分に対して、マスク処理を行う。なお、会議用カメラ４０と重なる部分とは、より詳細には、壁Ｗの表面Ｆ１側に露出する会議用カメラ４０の部分と重なる部分である。以下、投射画像ＳＧのうち、会議用カメラ４０と重なる部分を「カメラ重畳部分Ｒ」という。本実施形態では、マスク処理とは、カメラ重畳部分Ｒの輝度を他の部分より下げる処理であり、例えばカメラ重畳部分Ｒを黒画像とする処理を指す。

投射画像生成部２８４は、例えばカメラ重畳部分Ｒに対応する部分を黒画像とし、他の部分は透明としたマスク画像を生成し、画像Ｓ１～Ｓ４を配置した画像と重畳することにより、カメラ重畳部分Ｒの輝度を他の部分より下げる。または、投射画像生成部２８４は、画像Ｓ１～Ｓ４を配置した画像に対して、カメラ重畳部分Ｒに対応する部分の輝度を下げるように画像処理を行うことにより、カメラ重畳部分Ｒの輝度を他の部分より下げるようにしてもよい。本実施形態では、前者のマスク画像を重畳する方法を採るものとする。

マスク処理を行うことにより、会議用カメラ４０のレンズＬに、プロジェクター３０からの投射光が入射するのを防止し、白飛び等の撮像不良が生じるのを防止することができる。より詳細には、カメラ重畳部分Ｒにマスク処理を行うことにより、カメラ重畳部分Ｒに投射される光量が低減し、撮像不良を防止することができる。なお、マスク処理を行う範囲は、カメラ重畳部分Ｒを含み、カメラ重畳部分Ｒよりも広い範囲であってもよい。

図９は、ユーザーＵ１の発話時Ｍ２における投射画像ＳＧを示す。ユーザーＵ１の発話中は、後述する放音制御部２８６により、第１通信装置２５を介して取得した端末装置Ｔ１からの音声がスピーカー２３から出力される。ユーザーＵ１が発話しているか否かは、例えば拠点Ｋ１で収音された音声データのレベルが所定値以上であるか否かによって判定される。拠点Ｋ１で収音された音声データのレベルが所定値以上である場合、投射画像生成部２８４は、拠点Ｋ１で撮像された画像Ｓ１に写るユーザーＵ１が発話していると判定する。

オンライン会議に参加するユーザーＵ１～Ｕ４のうち、拠点Ｋ３以外にいるユーザーＵ１が発話した場合、投射画像生成部２８４は、ユーザーＵ１を示す画像Ｓ１を、ユーザーＵ１が発話していない場合と比較して、会議用カメラ４０に近づける。画像Ｓ１が会議用カメラ４０に近づくことにより、他の画像Ｓ２～Ｓ４は、相対的に会議用カメラ４０から遠い位置となる。すなわち、投射画像生成部２８４は、ユーザーＵ１の発話中は、会議用カメラ４０の位置に対して、画像Ｓ３を表示する位置よりも近い位置に、画像Ｓ１が表示されるように、投射画像ＳＧを生成する。拠点Ｋ３にいるユーザーＵ３，Ｕ４の視線は、発話しているユーザーＵ１を示す画像Ｓ１を向く。画像Ｓ１は、他のユーザーＵ２～Ｕ４を示す画像Ｓ２～Ｓ４よりも会議用カメラ４０に近い位置にある。よって、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０に近い位置を向くことになる。

会議用カメラ４０で撮像された撮像画像ＳＫは、ユーザーＵ１，Ｕ２に送信される。すなわち、データ送受信部２８３は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が撮像した撮像画像ＳＫを、会議サーバーＣに送信する。また、会議サーバーＣは、ユーザーＵ１が使用する端末装置Ｔ１に送信する。会議用カメラ４０で撮像された撮像画像ＳＫにおいて、ユーザーＵ３，Ｕ４の視線は会議用カメラ４０の近くに向いている。これを見たユーザーＵ１，Ｕ２は、ユーザーＵ３，Ｕ４と目線を合わせながら会議を行っているように感じられ、オンライン会議における円滑なコミュニケーションを支援することができる。

本実施形態では、投射画像生成部２８４は、ユーザーＵ１の発話中、画像Ｓ１を会議用カメラ４０と重なる位置に配置する。すなわち、投射画像生成部２８４は、表示面Ｐにおいて会議用カメラ４０と重なる位置に画像Ｓ１が表示されるように、投射画像ＳＧを生成する。これにより、会議用カメラ４０と重ならない位置に画像Ｓ１が表示されるのと比較して、ユーザーＵ３，Ｕ４の視線を、会議用カメラ４０のより近くに向けさせることができる。

一方で、画像Ｓ１のうちユーザーＵ１の顔が写る部分と会議用カメラ４０とが重なると、ユーザーＵ１の顔の視認性が低下するとともに、画像Ｓ１を見るユーザーＵ３，Ｕ４が違和感を覚える可能性がある。よって、投射画像生成部２８４は、ユーザーＵ１の発話中、画像Ｓ１のうち、会議用カメラ４０と重なる部分が、ユーザーＵ１の顔以外の部分となるように、投射画像ＳＧを生成する。画像Ｓ１におけるユーザーＵ１の顔の範囲は、例えば顔認識技術等により特定可能である。本実施形態では、投射画像生成部２８４は、ユーザーＵ１のあご下、すなわちユーザーＵ１の首が写る部分に、会議用カメラ４０が重なるように画像Ｓ１を配置する。これにより、ユーザーＵ１の顔の視認性を低下させることなく、会議用カメラ４０により近い位置にユーザーＵ３，Ｕ４の視線を向けさせることができる。

また、図９では、ユーザーＵ１の発話中、ユーザーＵ１を示す画像Ｓ１が、他のユーザーＵ２～Ｕ４を示す画像Ｓ２～Ｓ４よりも大きく表示されている。言い換えると、投射画像生成部２８４は、ユーザーＵ１の発話中、ユーザーＵ１を示す画像Ｓ１を、ユーザーＵ１が発話していない期間におけるユーザーＵ１を示す画像Ｓ１よりも大きく表示する。これにより、発話者であるユーザーＵ１の表情を、他のユーザーＵ２～Ｕ４がより把握しやすくなる。また、複数のユーザーＵ１～Ｕ４のうち、発話者が誰なのかを特定しやすくなる。これに限らず、投射画像生成部２８４は、ユーザーＵ１の発話中も、画像Ｓ１の大きさは他の画像Ｓ２～Ｓ４の大きさと同じとし、画像Ｓ１の位置のみ変更するようにしてもよい。

また、ユーザーＵ１の発話が終了した場合、投射画像生成部２８４は、図８に示す基準状態Ｍ１のレイアウトに投射画像ＳＧを戻す。

図１０は、ユーザーＵ３の発話時Ｍ３における投射画像ＳＧを示す。ユーザーＵ３が発話しているか否かは、例えばマイクロホン２４で収音された音声データのレベルが所定値以上であるか否かによって判定される。マイクロホン２４で収音された音声データのレベルが所定値以上である場合、投射画像生成部２８４は、会議用カメラ４０で撮像された撮像画像ＳＫに写るユーザーＵ３，Ｕ４が発話していると判定する。

投射画像生成部２８４は、拠点Ｋ３にいるユーザーＵ３が発話している期間において、会議用カメラ４０の位置に対して、画像Ｓ１を表示する位置よりも近い位置に、画像Ｓ３を表示しない。例えば図１０における画像Ｓ１～Ｓ４の配置は、基準レイアウトと同じであり、会議用カメラ４０と画像Ｓ１～Ｓ４との距離は、それぞれ同一である。

このような配置とするのは、発話中のユーザーＵ３は、他のユーザーＵ１，Ｕ２，Ｕ４を示す画像Ｓ１，Ｓ２，Ｓ４に目を向けると考えられるためである。例えば図９における画像Ｓ１の位置に画像Ｓ３を配置した場合、他の画像Ｓ１，Ｓ２，Ｓ４は、会議用カメラ４０から離れた位置に配置されることになる。ユーザーＵ３は、画像Ｓ１，Ｓ２，Ｓ４に目を向けるため、ユーザーＵ３の視線は会議用カメラ４０から離れた位置を向く。この場合、他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２に対して違和感を与える。よって、拠点Ｋ３のユーザーＵ３が発話した場合、投射画像生成部２８４は、ユーザーＵ３を示す画像Ｓ３を、画像Ｓ１，Ｓ２よりも会議用カメラ４０に近い位置に表示しない。なお、ユーザーＵ４が発話した場合も同様に、画像Ｓ４は画像Ｓ１，Ｓ２よりも会議用カメラ４０の近くに表示されない。

Ｄ－５：投射画像供給部２８５
投射画像供給部２８５は、投射画像生成部２８４によって生成された投射画像ＳＧの画像データをプロジェクター３０に供給する。画像データの供給を受けたプロジェクター３０は、画像データに基づいて光学装置３４を駆動させ、表示面Ｐに投射画像ＳＧを表示させる。

Ｄ－６：放音制御部２８６
放音制御部２８６は、スピーカー２３からの音声出力を制御する。放音制御部２８６は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で収音された音声データを出力するように、スピーカー２３を制御する。

Ｅ：処理装置２８の動作
図１１は、処理装置２８が制御プログラム２７０に従って実行する表示方法の流れを示すフローチャートである。表示システム１０が起動されると、処理装置２８は、カメラ位置情報取得部２８１として機能することにより、表示面Ｐにおける会議用カメラ４０の位置を示すカメラ位置情報を取得する（ステップＳ１００）。処理装置２８は、投射画像生成部２８４として機能することにより、カメラ位置情報に基づいて、投射画像ＳＧ中のカメラ重畳部分Ｒを特定し、カメラ重畳部分Ｒを黒画像としたマスク画像を生成する（ステップＳ１０２）。生成されたマスク画像は、処理装置２８が投射画像供給部２８５として機能することにより、プロジェクター３０に供給される。プロジェクター３０は、表示面Ｐにマスク画像を表示する。

処理装置２８は、オンライン会議が開始されるまで待機する（ステップＳ１０４：ＮＯ）。オンライン会議が開始されると（ステップＳ１０４：ＹＥＳ）、処理装置２８は、ユーザー画像生成部２８２として機能することにより、会議用カメラ４０の撮像画像ＳＫからユーザーＵ３を示す画像Ｓ３に対応する画像データと、ユーザーＵ４を示す画像Ｓ４に対応する画像データとを生成する（ステップＳ１０６）。処理装置２８は、データ送受信部２８３として機能することにより、会議サーバーＣに接続して、画像データおよび音声データを送受信する（ステップＳ１０８）。より詳細には、処理装置２８は、他の拠点Ｋ１，Ｋ２で撮像された画像データおよび他の拠点Ｋ１，Ｋ２で収音された音声データを受信するとともに、拠点Ｋ３で撮像された画像データおよび拠点Ｋ３で収音された音声データを送信する。他の拠点Ｋ１，Ｋ２で収音された音声データは、処理装置２８が放音制御部２８６として機能することにより、スピーカー２３から出力される。

処理装置２８は、拠点Ｋ１～Ｋ３で収音された音声データに基づいて、オンライン会議において発話者がいるか否かを判断する（ステップＳ１１０）。発話者がいない場合（ステップＳ１１０：ＮＯ）、処理装置２８は、投射画像生成部２８４として機能することにより、画像Ｓ１～Ｓ４を基準レイアウトに配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１６）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

一方、ステップＳ１１０で発話者がいる場合（ステップＳ１１０：ＹＥＳ）、処理装置２８は、発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２であるか否かを判断する（ステップＳ１１２）。発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２である場合（ステップＳ１１２：ＹＥＳ）、処理装置２８は、投射画像生成部２８４として機能することにより、発話者の画像と会議用カメラ４０とが重なるように画像Ｓ１～Ｓ４を配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１４）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

また、発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２でない場合（ステップＳ１１２：ＮＯ）、すなわち、拠点Ｋ３のユーザーＵ３，Ｕ４である場合、処理装置２８は、投射画像生成部２８４として機能することにより、画像Ｓ１～Ｓ４を基準レイアウトに配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１６）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

処理装置２８は、オンライン会議が終了するまでは（ステップＳ１２０：ＮＯ）、ステップＳ１０６に戻り、以降の処理を繰り返す。処理装置２８は、オンライン会議が終了すると（ステップＳ１２０：ＹＥＳ）、本フローチャートによる処理を終了する。

Ｆ：実施形態のまとめ
以上説明したように、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、ユーザーＵ３を示す画像Ｓ３を表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に、表示面Ｐにおいて会議用カメラ４０と重なる位置に画像Ｓ１を表示する。これにより、ユーザーＵ３，Ｕ４の視線が、会議用カメラ４０のより近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線がより自身の近くを向いていると認識し、視線のずれに起因する違和感をより低減することができる。

また、実施形態にかかる表示方法は、画像Ｓ１のうち会議用カメラ４０と重なる部分を、ユーザーＵ１の顔以外の部分とする。画像Ｓ１のうち、ユーザーＵ３，Ｕ４が最も注視する部分であるユーザーＵ１の顔の部分である。会議用カメラ４０と重なる部分をユーザーＵ１の顔以外の部分とすることにより、ユーザーＵ１に顔の視認性が、会議用カメラ４０により視認性が低下するのを回避することができる。

また、実施形態にかかる表示方法は、会議用カメラ４０と重なる画像Ｓ１の部分の輝度を、画像Ｓ１の他の部分の輝度よりも下げて表示する。これにより、会議用カメラ４０のレンズＬに入射するプロジェクター３０の投射光の輝度を低減することができ、会議用カメラ４０の撮像画像ＳＫの撮像不良を防止することができる。

また、実施形態にかかる表示方法は、ユーザーＵ３が発話している期間において、会議用カメラ４０の位置に対して、画像Ｓ１を表示する位置よりも近い位置に、画像Ｓ３を表示しない。一般に、ユーザーＵ３は、自身が話している時は、自分以外のユーザーＵ１，Ｕ２，Ｕ４の画像Ｓ１，Ｓ２，Ｓ４を見る。画像Ｓ１，Ｓ２を上記のような位置に配置することにより、ユーザーＵ３の視線が会議用カメラ４０から離れるのを回避し、会議用カメラ４０の撮像画像ＳＫの送信を受けるユーザーＵ１における、視線のずれに起因する違和感を低減することができる。

また、実施形態にかかる表示システム１０は、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、ユーザーＵ３を示す画像Ｓ３を表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかる表示システム１０は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

また、実施形態にかかるプログラムは、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、ユーザーＵ３を示す画像Ｓ３を表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかるプログラムは、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

Ｇ：変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｇ１：変形例１
本実施形態では、表示システム１０と、端末装置Ｔ１，Ｔ２との間でオンライン会議を実施する場合について説明した。これに限らず、例えば表示システム１０と、他の表示システムとの間でオンライン会議が実施されてもよい。この場合、他の表示システムにおける投射画像ＳＧの基準レイアウトおよび発話中における投射画像ＳＧのレイアウトは、他の表示システムにおける会議用カメラの配置に基づいて決定される。

Ｇ２：変形例２
パーソナルコンピューター２０の処理装置２８が実行する各機能部の処理の少なくとも一部は、プロジェクター３０の処理装置３６、会議用カメラ４０の処理装置、または会議サーバーＣの処理装置が実行してもよい。また、プロジェクター３０の処理装置３６が実行する各機能部の処理の少なくとも一部は、パーソナルコンピューター２０の処理装置２８、会議用カメラ４０の処理装置、または会議サーバーＣの処理装置が実行してもよい。例えば、複数台のプロジェクター３０を用いて巨大なスクリーンに画像を投射するマルチプロジェクションを実施する場合には、会議サーバーＣで投射画像ＳＧを生成するのが効果的である。この場合、会議サーバーＣは、投射画像ＳＧを各プロジェクター３０の投射領域毎に分割して、分割した投射画像ＳＧに対応する画像データを、それぞれのプロジェクター３０に送信する。

Ｇ３：変形例３
本実施形態では、表示システム１０は、パーソナルコンピューター２０と、プロジェクター３０と、会議用カメラ４０とを備えた。これに限らず、例えば、プロジェクター３０がパーソナルコンピューター２０の機能を備えていてもよい。この場合、プロジェクター３０が、ネットワークＮに接続可能とするとともに、会議用カメラ４０の撮像画像を取得可能とする。

Ｇ４：変形例４
本実施形態では、拠点Ｋ３のユーザーＵ３を第２ユーザーの一例とした。これに限らず、例えば拠点Ｋ２のユーザーＵ２を第２ユーザーとしてもよい。この場合、画像Ｓ２が第２画像の一例となる。また、例えば拠点Ｋ３のユーザーＵ４を第２ユーザーとしてもよい。この場合、画像Ｓ４が第２画像の一例となる。なお、第２画像が会議用カメラ４０で撮像された画像である場合には、第２ユーザーはユーザーＵ３またはユーザーＵ４のいずれかである。

Ｇ５：変形例５
本実施形態では、拠点Ｋ３のユーザーＵ３，Ｕ４を示す画像Ｓ３，Ｓ４を投射画像ＳＧに表示するものとした。これに限らず、拠点Ｋ３のユーザーＵ３，Ｕ４を示す画像Ｓ３，Ｓ４は、投射画像ＳＧに表示しないようにしてもよい。これは、拠点Ｋ３にいるユーザーＵ３，Ｕ４は、互いの顔を目視できるためである。また、画像Ｓ３，Ｓ４を非表示とすることにより、投射画像ＳＧ中の他の画像の投射領域を大きくすることができる。

また、本実施形態では、会議用カメラ４０の撮像画像ＳＫから部分画像ＳＢ１，ＳＢ２を生成し、ユーザーＵ３を示す画像Ｓ３およびユーザーＵ４を示す画像Ｓ４を生成した。これに限らず、複数のユーザーＵ３，Ｕ４が写る撮像画像ＳＫをそのまま拠点Ｋ３を示す画像として投射画像ＳＧに表示してもよい。

Ｇ６：変形例６
本実施形態では、プロジェクター３０が表示装置の一例であった。これに限らず、表示装置として、例えば少なくとも１つのフラットパネルディスプレイが用いられてもよい。例えば、複数のフラットパネルディスプレイを同一平面上に並べ、その隙間に会議用カメラ４０を配置してもよい。また、例えばフラットパネルディスプレイの表面に会議用カメラ４０を配置してもよい。

１…会議システム、１０…表示システム、２０…パーソナルコンピューター、２１…操作装置、２２…ディスプレイ、２３…スピーカー、２４…マイクロホン、２５…第１通信装置、２６…第２通信装置、２７…記憶装置、２８…処理装置、３０…プロジェクター、３１…操作装置、３２…通信装置、３３…プロジェクター用カメラ、３４…光学装置、３５…記憶装置、３６…処理装置、４０…会議用カメラ、２８１…カメラ位置情報取得部、２８２…ユーザー画像生成部、２８３…データ送受信部、２８４…投射画像生成部、２８５…投射画像供給部、２８６…放音制御部、３６１…キャリブレーション処理部、３６２…カメラ位置検出部、Ｃ…会議サーバー、Ｋ１～Ｋ３…拠点、Ｎ…ネットワーク、Ｐ…表示面、Ｓ１～Ｓ４…画像、Ｔ１，Ｔ２…端末装置、Ｕ１～Ｕ４…ユーザー。

Claims (7)

1. 第１ユーザーを示し、前記第１ユーザーの顔を含む範囲を撮像した画像である第１画像と、第２ユーザーを示す第２画像とを、カメラが配置された表示面に表示することと、
   前記表示面における前記カメラの位置を示す情報を取得することと、
   前記第１ユーザーの音声を出力することと、
   前記第１ユーザーの音声を出力している期間に、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示することと、
   前記第１ユーザーの音声を出力している期間に前記カメラが取得した画像を、前記第１ユーザーが使用する端末装置に送信することと、
   前記第１画像に含まれる前記第１ユーザーの顔を特定することと、
   を含み、
   前記第１画像を表示することは、前記表示面において前記カメラと重なる位置に前記第１画像を表示することであり、
   前記第１画像のうち前記カメラと重なる部分は、特定された前記第１ユーザーの顔以外の前記第１ユーザーを示す部分である、
   表示方法。
2. 前記第１画像を表示することは、前記カメラと重なる前記第１画像の部分の輝度を、前記第１画像の他の部分の輝度よりも下げて表示することを含む、
   請求項１記載の表示方法。
3. 前記第２画像は、前記カメラで撮像された画像であり、
   前記第２ユーザーが発話している期間において、前記カメラの位置に対して、前記第１画像を表示する位置よりも近い位置に、前記第２画像を表示しないことを更に含む、
   請求項１または２記載の表示方法。
4. 前記第１ユーザーの音声を出力している期間に、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示することは、前記第１画像を第１位置から第２位置に表示位置を移動させることであり、
   前記第１ユーザーの音声の出力が終了した後に、前記第１画像を前記第１位置に戻すことを更に含む、
   請求項１から３のいずれか一項に記載の表示方法。
5. 前記第１画像と、前記第２画像とを、前記カメラが配置された前記表示面に表示することは、前記カメラと重なる位置に前記第１画像と前記第２画像の少なくとも片方の画像の外縁を表示することである、
   請求項１から４のいずれか一項に記載の表示方法。
6. 表示面に配置されたカメラ、および第１ユーザーの端末装置と通信する少なくとも１つの通信インターフェイスと、
   前記表示面に画像を表示する表示装置と、
   スピーカーと、
   前記通信インターフェイス、前記表示装置、および前記スピーカーを制御する少なくとも１つの処理装置と、を備え、
   前記少なくとも１つの処理装置は、
   前記通信インターフェイスを介して取得した前記第１ユーザーを示し、前記第１ユーザーの顔を含む範囲を撮像した画像である第１画像と、前記第１ユーザーとは異なる第２ユーザーを示す第２画像とを、前記表示装置によって前記表示面に表示し、
   前記表示面における前記カメラの位置を示す情報を取得し、
   前記通信インターフェイスを介して取得した前記端末装置からの音声を前記スピーカーから出力し、
   前記音声を出力している期間に、前記表示装置によって、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示し、
   前記音声を出力している期間に前記カメラが取得した画像を、前記通信インターフェイスを介して前記端末装置に送信し、
   前記第１画像に含まれる前記第１ユーザーの顔を特定し、
   前記第１画像を表示することは、前記表示面において前記カメラと重なる位置に前記第１画像を表示することであり、
   前記第１画像のうち前記カメラと重なる部分は、特定された前記第１ユーザーの顔以外の前記第１ユーザーを示す部分である、
   表示システム。
7. 第１ユーザーを示し、前記第１ユーザーの顔を含む範囲を撮像した画像である第１画像と、第２ユーザーを示す第２画像とを、カメラが配置された表示面に表示することと、
   前記表示面における前記カメラの位置を示す情報を取得することと、
   前記第１ユーザーの音声を出力することと、
   前記第１ユーザーの音声を出力している期間に、前記カメラの位置に対して、前記第２画像を表示する位置よりも近い位置に、前記第１画像を表示することと、
   前記第１ユーザーの音声を出力している期間に前記カメラが取得した画像を、前記第１ユーザーが使用する端末装置に送信することと、
   前記第１画像に含まれる前記第１ユーザーの顔を特定することと、
   をコンピューターに実行させるプログラムであり、
   前記第１画像を表示することは、前記表示面において前記カメラと重なる位置に前記第１画像を表示することであり、
   前記第１画像のうち前記カメラと重なる部分は、特定された前記第１ユーザーの顔以外の前記第１ユーザーを示す部分である、
   コンピューターに実行させるプログラム。

Images