JP7459890B2 - 表示方法、表示システムおよびプログラム - Google Patents

Description

本発明は、表示方法、表示システムおよびプログラムに関する。

従来、離れた拠点間をネットワークで接続し、それぞれの拠点にいる人物の画像および音声を送受信することによりコミュニケーションを図る技術が普及している。例えば、下記特許文献１に記載の通信会議システムは、映像投影装置より、会議室に設置されたスクリーンに相手側の会議室の映像を投影する。スクリーンのほぼ中央部分には、開口部が設けられており、この開口部の裏面側にビデオカメラが設置されている。そして、このビデオカメラにより撮影された映像が相手側に送信される。映像投影装置は、開口部の部分に常に黒い画像を投影させており、これによりビデオカメラに映像投影装置の発する投影光が入射することを防止している。

特開２００２－４９３６７号公報

上述した特許文献１のシステムのように、スクリーンと重ねてカメラが設置される場合、表示される画像のうちカメラと重なる部分の視認性が低下する。一方で、画像の内容によっては、カメラを避けて表示することが必ずしも好ましい訳ではない。上述した特許文献１では、画像の内容に応じた投射画像のレイアウトは検討されておらず、改善の余地がある。

本発明の一態様にかかる表示方法は、表示面に配置され、第１ユーザーを撮像するカメラの、前記表示面における位置を示す情報を取得することと、第２ユーザーが発話している期間に、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示することと、前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記第２ユーザーが使用する端末装置に送信することと、前記第１ユーザーが発話している期間に、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示することと、を含む。

本発明の一態様にかかる表示システムは、表示面に配置され第１ユーザーを撮像するカメラ、および第２ユーザーの端末装置と通信する少なくとも１つの通信インターフェイスと、前記表示面に画像を表示する表示装置と、スピーカーと、前記通信インターフェイス、前記表示装置、および前記スピーカーを制御する少なくとも１つの処理装置と、を備え、前記少なくとも１つの処理装置は、前記カメラの前記表示面における位置を示す情報を取得し、前記第２ユーザーが発話している期間に、前記表示装置によって、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示し、前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記通信インターフェイスを介して前記第２ユーザーが使用する端末装置に送信し、前記第１ユーザーが発話している期間に、前記表示装置によって、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示する。

本発明の一態様にかかるプログラムは、表示面に配置され、第１ユーザーを撮像するカメラの、前記表示面における位置を示す情報を取得することと、第２ユーザーが発話している期間に、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示することと、前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記第２ユーザーが使用する端末装置に送信することと、前記第１ユーザーが発話している期間に、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示することと、をコンピューターに実行させる。

実施形態にかかる表示システム１０を含む会議システム１を模式的に示す図である。 表示システム１０の構成を示すブロック図である。 パーソナルコンピューター２０の構成を示すブロック図である。 プロジェクター３０の構成を示すブロック図である。 会議用カメラ４０と表示面Ｐとの位置関係を模式的に示す図である。 図５のＡ－Ａ断面図である。 撮像画像ＳＫと部分画像ＳＢ１，ＳＢ２との関係を模式的に示す図である。 ユーザーＵ１の発話時Ｍ１における投射画像ＳＧのレイアウトを示す。 ユーザーＵ３の発話時Ｍ２における投射画像ＳＧのレイアウトを示す。 発話者がいない状態Ｍ３における投射画像ＳＧのレイアウトを示す。 オフラインでの会議時Ｍ４における投射画像ＳＧのレイアウトを示す。 処理装置２８が制御プログラム２７０に従って実行する表示方法の流れを示すフローチャートである。

以下、添付図面を参照しながら本発明にかかる好適な実施形態を説明する。なお、図面において各部の寸法または縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。

Ａ：表示システム１０の概要
図１は、実施形態にかかる表示システム１０を含む会議システム１を模式的に示す図である。会議システム１は、異なる拠点Ｋ１～Ｋ３にいるユーザーＵ１～Ｕ４が参加するオンライン会議を行うためのシステムである。会議システム１は、表示システム１０と、端末装置Ｔ１，Ｔ２と、会議サーバーＣとを含む。端末装置Ｔ１，Ｔ２は、例えばパーソナルコンピューター、タブレット端末、スマートフォンなどの通信機能を備えた情報処理装置である。

表示システム１０と、端末装置Ｔ１，Ｔ２と、会議サーバーＣとは、ネットワークＮを介して接続されている。端末装置Ｔ１は、拠点Ｋ１に配置されている。拠点Ｋ１には、ユーザーＵ１がいる。端末装置Ｔ２は、拠点Ｋ２に配置されている。拠点Ｋ２には、ユーザーＵ２がいる。表示システム１０は、拠点Ｋ３に配置されている。拠点Ｋ３には、ユーザーＵ３およびＵ４がいる。ユーザーＵ３は第１ユーザーの一例であり、ユーザーＵ１は第２ユーザーの一例である。

オンライン会議は、例えばオンライン会議アプリケーションを用いて行われる。オンライン会議アプリケーションは、端末装置Ｔ１，Ｔ２、および図２に示す表示システム１０のパーソナルコンピューター２０において実行される。オンライン会議アプリケーション上で、例えばユーザーＵ１が会議の開催を要求すると、会議サーバーＣに会議の開催要求が通知される。会議サーバーＣは、開催要求に対応してＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を発行する。ＵＲＬは、会議サーバーＣ上に仮想的に設けられた会議室の識別情報に対応する。ユーザーＵ１は、発行されたＵＲＬを端末装置Ｔ１に保存する。また、ユーザーＵ１は、ユーザーＵ２～Ｕ４に、電子メール等でＵＲＬを通知する。

会議の予定時刻になると、端末装置Ｔ１，Ｔ２およびパーソナルコンピューター２０では、オンライン会議アプリケーションを起動してＵＲＬで示される接続先に接続する。オンライン会議アプリケーションは、自拠点で撮像された画像データと自拠点で収音された音声データを会議サーバーＣに送信する。また、オンライン会議アプリケーションは、自拠点で共有の指示があったデータを、会議サーバーＣに送信する。以下、オンライン会議において共有されるデータを、「共有データ」という。本実施形態では、共有データは、プロジェクター３０またはディスプレイを用いて表示することにより、ユーザーＵ１～Ｕ４が内容を識別可能となるデータであるものとする。また、オンライン会議アプリケーションは、他の拠点で撮像された画像データと他の拠点で収音された音声データと、他拠点から共有された共有データとを、会議サーバーＣから受信し、これらのデータに基づいて画像および音声を出力する。これにより、拠点Ｋ１～Ｋ３間で画像と音声を用いたオンライン会議が実現される。

Ｂ：表示システム１０の詳細
図２は、表示システム１０の構成を示すブロック図である。表示システム１０は、パーソナルコンピューター２０と、プロジェクター３０と、会議用カメラ４０とを備える。

Ｂ－１：パーソナルコンピューター２０の構成
図３は、パーソナルコンピューター２０の構成を示すブロック図である。パーソナルコンピューター２０に代えて、タブレット端末、スマートフォンなど他の情報処理装置を端末装置として用いてもよい。

パーソナルコンピューター２０は、操作装置２１と、ディスプレイ２２と、スピーカー２３と、マイクロホン２４と、第１通信装置２５と、第２通信装置２６と、記憶装置２７と、処理装置２８とを備える。

操作装置２１は、ユーザーＵ３，Ｕ４からの操作を受け付けるための装置である。操作装置２１は、例えばキーボードまたはマウスである。また、操作装置２１として、ディスプレイ２２と操作装置２１とが一体となったタッチパネルが用いられてもよい。

ディスプレイ２２は、外部に対して情報を表示する表示デバイスであり、例えば液晶表示パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示パネル等の各種の表示パネルである。

スピーカー２３は、音声データに基づく音を発生させる。スピーカー２３は、パーソナルコンピューター２０に内蔵されているに限らず、パーソナルコンピューター２０とは別体のスピーカー２３を有線または無線により接続してもよい。

マイクロホン２４は、周囲の音を検出して音声データとして出力する。マイクロホン２４は、パーソナルコンピューター２０に内蔵されているに限らず、パーソナルコンピューター２０とは別体のマイクロホン２４を有線または無線により接続してもよい。

第１通信装置２５は、ネットワークＮに接続された他の端末装置と通信するためのインターフェイスである。他の端末装置とは、本実施形態では、会議サーバーＣである。第１通信装置２５は、例えば、Ｗｉ－Ｆｉなどの通信方式で無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ルーターと通信する。Ｗｉ－Ｆｉは登録商標である。無線ＬＡＮルーターは、無線ＬＡＮアクセスポイントおよびインターネットとの仲介機能を備えた無線ＬＡＮ機器である。なお、第１通信装置２５は、有線ＬＡＮによりネットワークＮと接続されていてもよい。第１通信装置２５は、ユーザーＵ１の端末装置Ｔ１と通信する通信インターフェイスの一例である。

第２通信装置２６は、プロジェクター３０および会議用カメラ４０等の、パーソナルコンピューター２０の近くに位置する機器と通信するためのインターフェイスである。第２通信装置２６は、例えば、無線または有線のＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等のインターフェイスである。Ｂｌｕｅｔｏｏｔｈ、ＵＳＢおよびＨＤＭＩは、それぞれ、登録商標である。第２通信装置２６は、無線の場合はアンテナ、有線の場合はコネクター等のインターフェイスと、インターフェイスを介して受信した信号を電気的に処理するインターフェイス回路を備える。第２通信装置２６は、会議用カメラ４０と通信する通信インターフェイスの一例である。

記憶装置２７は、処理装置２８が読み取り可能な記録媒体である。記憶装置２７は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）が挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。

記憶装置２７は、処理装置２８によって実行される制御プログラム２７０と、処理装置２８が使用する各種のデータ２７２と、を記憶する。制御プログラム２７０は、例えば、オペレーティングシステムと、複数のアプリケーションプログラムとを含む。アプリケーションプログラムには、オンライン会議アプリケーションを実行するプログラムが含まれる。

処理装置２８は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理装置２８は、単数または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって構成される。処理装置２８の機能の一部または全部は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路によって構成されてもよい。処理装置２８は、各種の処理を並列的または逐次的に実行する。処理装置２８は、第１通信装置２５およびスピーカー２３を制御する処理装置の一例である。

処理装置２８は、記憶装置２７から制御プログラム２７０を読み取って実行することにより、カメラ位置情報取得部２８１、ユーザー画像生成部２８２、データ送受信部２８３、投射画像生成部２８４、投射画像供給部２８５および放音制御部２８６として機能する。処理装置２８の各機能部の詳細は後述する。処理装置２８は、制御装置の一例である。

Ｂ－２：プロジェクター３０の構成
図４は、プロジェクター３０の構成を示すブロック図である。プロジェクター３０は、操作装置３１と、通信装置３２と、プロジェクター用カメラ３３と、光学装置３４と、記憶装置３５と、処理装置３６とを備える。プロジェクター３０は、表示面Ｐに画像を表示する表示装置の一例である。

操作装置３１は、ユーザーＵ３，Ｕ４からの操作を受け付けるための装置である。操作装置３１は、例えば各種の操作ボタン、操作キーまたはタッチパネルである。操作装置３１は、例えばプロジェクター３０の筐体に設けられている。また、操作装置３１は、プロジェクター３０の筐体とは別個に設けられたリモートコントローラーであってもよい。

通信装置３２は、パーソナルコンピューター２０等の、プロジェクター３０の近くに位置する機器と通信するためのインターフェイスである。通信装置３２は、例えば、無線または有線のＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＵＳＢ、ＨＤＭＩ等のインターフェイスである。Ｂｌｕｅｔｏｏｔｈ、ＵＳＢおよびＨＤＭＩは、それぞれ、登録商標である。通信装置３２は、無線の場合はアンテナ、有線の場合はコネクター等のインターフェイスと、インターフェイスを介して受信した信号を電気的に処理するインターフェイス回路を備える。

プロジェクター用カメラ３３は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子等を含み、撮像画像に対応する画像データを生成する。撮像素子は、例えば、可視光領域の光を受光するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーである。プロジェクター用カメラ３３は、光学装置３４によって画像が表示される表示面Ｐの全体を撮像範囲に含む。

プロジェクター用カメラ３３は、プロジェクター３０の他の要素とは別体として設けられてもよい。この場合、プロジェクター用カメラ３３とプロジェクター３０は、データの送受信ができるように有線または無線のインターフェイスにより相互に接続されてもよい。また、この場合、プロジェクター用カメラ３３の撮像範囲と光学装置３４の表示面Ｐとの位置関係がキャリブレーションされている。

光学装置３４は、処理装置３６からの画像信号に基づいて、表示面Ｐに投射画像ＳＧを投射する。本実施形態では、表示面Ｐは、壁Ｗのうち、光学装置３４を用いて投射画像ＳＧを投射可能な最大範囲である。表示面Ｐは、例えば図５に示される。光学装置３４は、光源３４１と光変調装置３４２と投射光学系３４３とを有する。

光源３４１は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）またはレーザー光源等を含む。光源３４１は、例えば、赤色、緑色および青色の光をそれぞれ出射するか、または、白色の光を出射する。光源３４１が白色の光を出射する場合、光源３４１から出射される光は、図示しないインテグレーター光学系によって輝度分布のばらつきが低減され、その後、図示しない色分離光学系によって赤色、緑色および青色の光に分離されて光変調装置３４２に入射する。

光変調装置３４２は、赤色、緑色および青色にそれぞれ対応して設けられる３つの光変調素子を含む。光変調素子は、それぞれ、例えば、透過型の液晶パネル、反射型の液晶パネルまたはＤＭＤ（デジタルミラーデバイス）等を含む。光変調素子は、処理装置３６からの画像信号に基づいて、当該赤色、緑色および青色の光をそれぞれ変調して各色の画像光を生成する。光変調装置３４２で生成される各色の画像光は、図示しない色合成光学系によって合成され、フルカラーの画像光となる。なお、光変調装置３４２は、これに限定されず、単板の液晶パネルやＤＭＤ等を用いて、時分割で各色の画像光を出射することにより、フルカラーの画像光を視認させても良い。

投射光学系３４３は、当該フルカラーの画像光をスクリーン上に結像させて投射させる。投射光学系３４３は、少なくとも１つの投射レンズを含む光学系であり、ズームレンズまたはフォーカスレンズ等を含んでもよい。

記憶装置３５は、処理装置３６が読み取り可能な記録媒体である。記憶装置３５は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーとしては、例えば、ＲＯＭ、ＥＰＲＯＭおよびＥＥＰＲＯＭが挙げられる。揮発性メモリーとしては、例えば、ＲＡＭが挙げられる。

記憶装置３５は、処理装置３６によって実行される制御プログラム３５０と、処理装置３６が使用する各種のデータ３５２と、を記憶する。制御プログラム３５０は、処理装置３６によって実行される。制御プログラム３５０は、例えば、オペレーティングシステムと、複数のアプリケーションプログラムとを含む。

また、本実施形態では、記憶装置３５の一部の記憶領域は、フレームメモリーとして機能する。フレームメモリーは、光学装置３４により投射される投射画像ＳＧを１画面分の画像データとして記憶する。なお、フレームメモリーは、制御プログラム３５０等を記憶する記憶装置３５とは別個に設けられてもよい。

本実施形態では、投射画像ＳＧとして、横１９２０ピクセル、縦１０８０ピクセルの画像を投射可能である。よって、投射画像ＳＧの左上の点を基準点とし、横方向にｘ軸、縦方向にｙ軸を取ったｘｙ座標を用いて各ピクセルを識別することができる。例えば、左上のピクセルを座標（１，１）とすると、右下のピクセルは座標（１９２０，１０８０）となる。フレームメモリーの座標についても、ｘｙ座標（ｘ，ｙ）で表すことができる。

処理装置３６は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、処理装置３６は、単数または複数のＣＰＵによって構成される。処理装置３６の機能の一部または全部は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ等の回路によって構成されてもよい。処理装置３６は、各種の処理を並列的または逐次的に実行する。処理装置３６は、プロジェクター３０を制御する処理装置の一例である。

処理装置３６は、記憶装置３５から制御プログラム３５０を読み取って実行することにより、キャリブレーション処理部３６１およびカメラ位置検出部３６２として機能する。処理装置３６の各機能部の詳細は後述する。

Ｂ－３：会議用カメラ４０の構成
会議用カメラ４０は、レンズ等の受光光学系と、受光光学系で集光される光を電気信号に変換する撮像素子と、パーソナルコンピューター２０の第２通信装置２６と通信するための通信装置と、記憶装置と、処理装置等を含む。会議用カメラ４０は、表示面Ｐに配置され、ユーザーＵ３を撮像するカメラの一例である。撮像素子は、例えば、可視光領域の光を受光するＣＣＤイメージセンサーである。会議用カメラ４０は、拠点Ｋ３におけるオンライン会議の参加者である、ユーザーＵ３およびＵ４を撮像するために配置される。会議用カメラ４０は、撮像画像ＳＫに対応する画像データをパーソナルコンピューター２０に送信する。

Ｂ－４：会議用カメラ４０と表示面Ｐとの位置関係
図５は、会議用カメラ４０と表示面Ｐとの位置関係を模式的に示す図である。また、図６は、図５のＡ－Ａ断面図である。本実施形態では、会議用カメラ４０は、拠点Ｋ３に設けられた壁Ｗに配置されている。より詳細には、会議用カメラ４０は、壁Ｗに設けられた切り欠きＨからレンズＬを露出するように配置されている。壁Ｗは、室内に露出する表面Ｆ１と、表面Ｆ１とは反対側の裏面Ｆ２とを有する。裏面Ｆ２側には、切り欠きＨの近傍に位置する台座Ｄが設けられており、台座Ｄに会議用カメラ４０が載置される。なお、会議用カメラ４０は、壁Ｗの裏面Ｆ２に配置されるに限らず、例えば壁Ｗの表面Ｆ１に取り付けられてもよい。

本実施形態では、壁Ｗをスクリーンとして用いて、プロジェクター３０が画像を投射する。プロジェクター３０は、壁ＷにおいてレンズＬが露出する範囲、例えば切り欠きＨの範囲を、表示面Ｐに含むように配置される。言い換えると、会議用カメラ４０は、表示面Ｐに配置されている。図５の例は、拠点Ｋ１における配置例であり、表示面Ｐを正面から見た場合に、やや右側にレンズＬが位置するように配置されている。

Ｃ：プロジェクター３０の処理装置３６の詳細
次に、プロジェクター３０の処理装置３６により実現される機能部の詳細について説明する。上述のように、プロジェクター３０の処理装置３６は、キャリブレーション処理部３６１およびカメラ位置検出部３６２として機能する。

Ｃ－１：キャリブレーション処理部３６１
キャリブレーション処理部３６１は、フレームメモリー上の座標と、プロジェクター用カメラ３３の撮影画像上の座標とを対応付けるキャリブレーションデータを生成する。フレームメモリー上の位置と、プロジェクター用カメラ３３の撮像画像上の位置とが対応付けられることによって、例えば、プロジェクター用カメラ３３の撮像画像に写る物体が、表示面Ｐに投射された投射画像ＳＧのどの領域と重なっているかを特定することができる。

キャリブレーション処理部３６１は、キャリブレーション画像データを記憶装置３５から読み出す。キャリブレーション処理部３６１は、キャリブレーション画像データをフレームメモリー上に展開し、キャリブレーション画像に対応する画像信号を生成する。画像信号に従って光学装置３４が駆動されることにより、キャリブレーション画像が表示面Ｐに投射される。キャリブレーション画像は、例えば予め設定された形状のマークが間隔をあけて配置された画像である。

続いて、キャリブレーション処理部３６１は、キャリブレーション画像が投射された表示面Ｐを含む撮像画像をプロジェクター用カメラ３３により撮像する。キャリブレーション処理部３６１は、撮像画像に写るマークを検出し、各マークの重心位置を、撮像画像における各マークの座標として特定する。キャリブレーション処理部３６１は、撮像画像から検出されたマークの座標と、フレームメモリー上のマークの座標との対応づけを行う。この対応づけにより、撮像画像上の座標とフレームメモリー上の座標とを対応づけるキャリブレーションデータを生成される。生成されたキャリブレーションデータは、記憶装置３５に記憶される。

Ｃ－２：カメラ位置検出部３６２
カメラ位置検出部３６２は、表示面Ｐにおける会議用カメラ４０の位置を示す情報を検出する。以下、表示面Ｐにおける会議用カメラ４０の位置を示す情報を、「カメラ位置情報」という。カメラ位置情報は、例えば表示面Ｐの左上の点を基準点とし、横方向にＸ軸、縦方向にＹ軸を取ったＸＹ座標の座標値を用いることができる。上述のように、投射画像ＳＧは、ｘｙ座標を用いて、座標（１，１）から座標（１９２０，１０８０）で示すことができる。表示面Ｐでは、例えば投射画像ＳＧの座標（１，１）のピクセルが表示される領域を、座標（１，１）とする。これにより、表示面Ｐ上の任意の位置を、（１，１）から（１９２０，１０８０）の座標で特定することができる。

カメラ位置検出部３６２は、例えば、表示面Ｐに露出した会議用カメラ４０の部分の外縁の座標を、カメラ位置情報として検出する。また、例えば表示面Ｐに露出した会議用カメラ４０の部分が円形の場合は、当該部分の中心位置の座標と、当該部分の外縁までの距離とを、カメラ位置情報としてもよい。

カメラ位置検出部３６２は、例えば以下の検出方法１～４のいずれかを用いて、カメラ位置情報を検出する。

［検出方法１］
検出方法１は、パターン検出を用いる方法である。カメラ位置検出部３６２は、光学装置３４を用いて、表示面Ｐに格子状のパターンを投射する。また、カメラ位置検出部３６２は、プロジェクター用カメラ３３を用いて、表示面Ｐの撮像画像を取得する。会議用カメラ４０の光の反射率と、壁Ｗの光の反射率とは異なるので、壁Ｗと会議用カメラ４０との境界では、パターンの歪みや欠けが生じる。カメラ位置検出部３６２は、パターンの歪みや欠けが生じている表示面Ｐの位置を、会議用カメラ４０の位置として検出する。

［検出方法２］
検出方法２は、会議用カメラ４０に、位置検出用のビーコンを設ける方法である。ビーコンとして、例えば赤外光発光素子を用いることができる。この場合、プロジェクター３０は、例えばプロジェクター用カメラ３３に赤外線受光機能が備えられている、またはプロジェクター用カメラ３３とは別に赤外線受光機能を備えたカメラが設けられているものとする。赤外線受光機能を備えたカメラの撮像画像には、ビーコンから発光された赤外光が写る。カメラ位置検出部３６２は、赤外光の位置を、会議用カメラ４０の位置として検出する。

［検出方法３］
検出方法３は、画像認識により会議用カメラ４０を検出する方法である。例えば、カメラ位置検出部３６２は、会議用カメラ４０のうち、表示面Ｐに露出する部分の形状を示す形状データを予め取得しておく。例えば、表示システム１０で、予め定められた形状の会議用カメラ４０を共通して使用するようにしてもよい。カメラ位置検出部３６２は、プロジェクター用カメラ３３の撮像画像を取得して、撮像画像内に形状データに対応する形状の物体が写っているかを判断する。形状データに対応する形状の物体が写っている場合、カメラ位置検出部３６２は、当該物体の位置を、会議用カメラ４０の位置として検出する。

［検出方法４］
検出方法４は、プロジェクター３０からの投射光をプロジェクター用カメラ３３によって検出する方法である。カメラ位置検出部３６２は、表示面Ｐに対してレーザー光のような指向性が高い光を順番に照射していく。レーザー光の照射位置は、例えば表示面Ｐに設定されたＸＹ座標を用いて識別できるものとする。この間、プロジェクター用カメラ３３は、撮像を継続する。プロジェクター用カメラ３３のレンズにレーザー光が入射すると、撮像画像が白飛びした状態となる。カメラ位置検出部３６２は、白飛びした撮像画像が得られた時の、レーザー光の照射位置を、会議用カメラ４０の位置として検出する。

Ｄ：パーソナルコンピューター２０の処理装置２８の詳細
次に、パーソナルコンピューター２０の処理装置２８により実現される機能部の詳細について説明する。上述のように、パーソナルコンピューター２０の処理装置２８は、カメラ位置情報取得部２８１、ユーザー画像生成部２８２、データ送受信部２８３、投射画像生成部２８４、投射画像供給部２８５および放音制御部２８６として機能する。

Ｄ－１：カメラ位置情報取得部２８１
カメラ位置情報取得部２８１は、表示面Ｐにおける会議用カメラ４０の位置を示すカメラ位置情報を取得する。本実施形態では、カメラ位置情報取得部２８１は、カメラ位置検出部３６２によって検出されたカメラ位置情報を、第２通信装置２６を介して取得する。

Ｄ－２：ユーザー画像生成部２８２
ユーザー画像生成部２８２は、会議用カメラ４０で撮像された撮像画像ＳＫから、ユーザーＵ３が写る部分画像ＳＢ１およびユーザーＵ４が写る部分画像ＳＢ２を生成する。図７は、撮像画像ＳＫと部分画像ＳＢ１，ＳＢ２との関係を模式的に示す図である。会議用カメラ４０の撮像画像ＳＫには、拠点Ｋ３にいるユーザーＵ３，Ｕ４の２人が写っている。ユーザー画像生成部２８２は、画像認識技術を用いて撮像画像ＳＫからユーザーＵ３，Ｕ４の顔を検出し、ユーザーＵ３の顔を含む部分画像ＳＢ１と、ユーザーＵ４の顔を含む部分画像ＳＢ２とを生成する。このような部分画像ＳＢ１，ＳＢ２を生成するのは、他のユーザーＵ１，Ｕ２の画像と並べた際の違和感を少なくするためである。また、撮像画像ＳＫと比較して、部分画像ＳＢ１，ＳＢ２の方がユーザーＵ３，Ｕ４の各々の表情が把握しやすい。

なお、拠点Ｋ３にユーザーＵ３，Ｕ４以外のユーザーが加わった場合、ユーザー画像生成部２８２は、加わったユーザーが写る部分画像を更に生成する。また、拠点Ｋ３にユーザーＵ３またはＵ４の一方のみがいる場合は、撮像画像ＳＫから当該ユーザーＵ３またはＵ４の一方が写る部分画像を生成する。

また、例えばユーザーＵ３，Ｕ４の少なくとも一方が、自身の顔が写る部分画像ＳＢ１，ＳＢ２をオンライン会議で表示することに抵抗がある場合やオンライン会議が私的な交流の場である場合などは、例えば自身を模したアバター画像や、自身の名前またはイニシャルを示す文字画像を、部分画像ＳＢ１，ＳＢ２に代えて用いるように指定できてもよい。または、部分画像ＳＢ１，ＳＢ２に対して画像加工処理を行った画像を用いるように指定できてもよい。画像加工処理は、例えばユーザーＵ３，Ｕ４の顔を動物またはイラスト風に変換する処理、ユーザーＵ３，Ｕ４の顔のパーツの一部を入れ替える処理、ぼかし処理等である。以下、部分画像ＳＢ１、アバター画像、または部分画像ＳＢ１に対して画像加工処理を行った画像等、オンライン会議でユーザーＵ３に対応して表示される画像を、「ユーザーＵ３を示す画像Ｓ３」とする。他のユーザーＵ１，Ｕ２，Ｕ４も同様である。

Ｄ－３：データ送受信部２８３
データ送受信部２８３は、会議サーバーＣに対して、ユーザー画像生成部２８２で生成されたユーザーＵ３を示す画像Ｓ３に対応する画像データ、ユーザーＵ４を示す画像Ｓ４に対応する画像データを送信する。

また、データ送受信部２８３は、拠点Ｋ３からデータの共有を行う場合には、会議サーバーＣに対して共有データを送信する。本実施形態では、オンライン会議において、拠点Ｋ３からプレゼンテーション資料を共有し、ユーザーＵ３がプレゼンテーション資料に関するプレゼンテーションを行うものとする。プレゼンテーション資料を表示した画像を、プレゼンテーション画像ＳＰとする。プレゼンテーション画像ＳＰは、ユーザーＵ３の発話に関する画像の一例である。プレゼンテーション画像ＳＰは、ユーザーＵ３の発話の内容に関する画像、または、ユーザーＵ１～Ｕ４のいずれかを撮像した画像とは異なる画像、または、ユーザーＵ３によって共有された画像、データファイルを表示した画像、等と言い換えることもできる。

また、データ送受信部２８３は、会議サーバーＣに対して、マイクロホン２４が生成した音声データを送信する。画像Ｓ３に対応する画像データと、画像Ｓ４に対応する画像データと、マイクロホン２４が生成した音声データとは、拠点Ｋ３で生成されたデータとして対応付けられている。

また、データ送受信部２８３は、会議サーバーＣから、他の拠点Ｋ１，Ｋ２で撮像された画像データおよび他の拠点Ｋ１，Ｋ２で収音された音声データを受信する。拠点Ｋ１で撮像された画像データは、ユーザーＵ１を示す画像Ｓ１に対応する画像データである。拠点Ｋ２で撮像された画像データは、ユーザーＵ２を示す画像Ｓ２に対応する画像データである。拠点Ｋ１で収音された音声データは、ユーザーＵ１の発話を含む音声データである。拠点Ｋ２で収音された音声データは、ユーザーＵ２の発話を含む音声データである。拠点Ｋ１で撮像された画像データと、拠点Ｋ１で収音された音声データとは対応付けられている。また、拠点Ｋ２で撮像された画像データと、拠点Ｋ２で収音された音声データとは対応付けられている。

また、データ送受信部２８３は、他の拠点Ｋ１，Ｋ２からデータが共有された場合には、会議サーバーＣから共有データを受信する。上述のように、本実施形態では、拠点Ｋ３からプレゼンテーション資料を共有して、ユーザーＵ３がプレゼンテーション資料に関するプレゼンテーションを行うものとするが、他の拠点Ｋ１，Ｋ２から共有されたプレゼンテーション資料に関してユーザーＵ３がプレゼンテーションを行ってもよい。

Ｄ－４：投射画像生成部２８４
投射画像生成部２８４は、プロジェクター３０で投射する投射画像ＳＧを生成する。投射画像生成部２８４は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で撮像された画像データと、ユーザー画像生成部２８２で生成された部分画像ＳＢ１に対応する画像データと、部分画像ＳＢ２に対応する画像データと、共有データとを用いて、投射画像ＳＧを生成する。この時、投射画像生成部２８４は、カメラ位置情報取得部２８１で取得されたカメラ位置情報と、会議中の発話者が、ユーザーＵ１～Ｕ４のいずれであるかと、投射画像ＳＧを構成する画像の種類に基づいて、投射画像ＳＧのレイアウトを決定する。

図８は、ユーザーＵ１の発話時Ｍ１における投射画像ＳＧのレイアウトを示す。ユーザーＵ１の発話時Ｍ１は、後述する放音制御部２８６により、第１通信装置２５を介して取得した端末装置Ｔ１からの音声がスピーカー２３から出力される。ユーザーＵ１が発話しているか否かは、例えば拠点Ｋ１で収音された音声データのレベルが所定値以上であるか否かによって判定される。拠点Ｋ１で収音された音声データのレベルが所定値以上である場合、投射画像生成部２８４は、拠点Ｋ１で撮像された画像Ｓ１に写るユーザーＵ１が発話していると判定する。ユーザーＵ１の発話時Ｍ１には、例えばユーザーＵ３のプレゼンテーションに対する質問、または意見が話されることが想定される。

投射画像ＳＧには、ユーザーＵ１を示す画像Ｓ１、ユーザーＵ２を示す画像Ｓ２、ユーザーＵ３を示す画像Ｓ３、ユーザーＵ４を示す画像Ｓ４と、プレゼンテーション画像ＳＰとが含まれている。プレゼンテーション画像ＳＰは第１画像の一例であり、画像Ｓ１は第２画像の一例である。画像Ｓ１は、ユーザーＵ１の顔を含む範囲を撮像した画像である。画像Ｓ１，Ｓ２は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で撮像された画像データに対応する画像である。また、画像Ｓ３，Ｓ４は、ユーザー画像生成部２８２で生成された部分画像ＳＢ１，ＳＢ２である。投射画像ＳＧは、異なる種類の画像が配置されている画像ともいえる。

投射画像生成部２８４は、ユーザーＵ１の発話時Ｍ１における投射画像ＳＧについて、会議用カメラ４０の表示面Ｐにおける位置に対して、プレゼンテーション画像ＳＰの位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。すなわち、ユーザーＵ１が発話している期間に、表示面Ｐには、プレゼンテーション画像ＳＰと、会議用カメラ４０の表示面Ｐにおける位置に対して、プレゼンテーション画像ＳＰの位置よりも近い位置に配置された画像Ｓ１とが表示される。ユーザーＵ１の発話時Ｍ１には、ユーザーＵ３，Ｕ４の視線は、ユーザーＵ１を示す画像Ｓ１を向く。画像Ｓ１は、プレゼンテーション画像ＳＰよりも会議用カメラ４０に近い位置にある。よって、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０に近い位置を向くことになる。

会議用カメラ４０で撮像された撮像画像ＳＫは、ユーザーＵ１，Ｕ２に送信される。すなわち、データ送受信部２８３は、ユーザーＵ１が発話している期間に会議用カメラ４０が撮像した撮像画像ＳＫを、会議サーバーＣに送信する。また、会議サーバーＣは、ユーザーＵ１が使用する端末装置Ｔ１に送信する。会議用カメラ４０で撮像された撮像画像ＳＫにおいて、ユーザーＵ３，Ｕ４の視線は会議用カメラ４０の近くに向いている。これを見たユーザーＵ１，Ｕ２は、ユーザーＵ３，Ｕ４と目線を合わせながら会議を行っているように感じられ、オンライン会議における円滑なコミュニケーションを支援することができる。

本実施形態では、投射画像生成部２８４は、ユーザーＵ１の発話時Ｍ１には、画像Ｓ１を会議用カメラ４０と重なる位置に配置する。すなわち、ユーザーＵ１が発話している期間に画像Ｓ１を表示することは、表示面Ｐにおいて会議用カメラ４０と重なる位置に画像Ｓ１を表示することに対応する。これにより、会議用カメラ４０と重ならない位置に画像Ｓ１が表示されるのと比較して、ユーザーＵ３，Ｕ４の視線を、会議用カメラ４０のより近くに向けさせることができる。

一方で、画像Ｓ１のうちユーザーＵ１の顔が写る部分と会議用カメラ４０とが重なると、ユーザーＵ１の顔の視認性が低下するとともに、画像Ｓ１を見るユーザーＵ３，Ｕ４が違和感を覚える可能性がある。よって、投射画像生成部２８４は、画像Ｓ１と会議用カメラ４０を重ねる際に、ユーザーＵ１が写る部分と会議用カメラ４０とが重ならないように、画像Ｓ１を配置する。すなわち、画像Ｓ１のうち、会議用カメラ４０と重なる部分は、ユーザーＵ１の顔以外の部分である。画像Ｓ１におけるユーザーＵ１の顔の範囲は、例えば顔認識技術等により特定可能である。本実施形態では、投射画像生成部２８４は、ユーザーＵ１のあご下、すなわちユーザーＵ１の首が写る部分に、会議用カメラ４０が重なるように画像Ｓ１を配置する。これにより、ユーザーＵ１の顔の視認性を低下させることなく、会議用カメラ４０により近い位置にユーザーＵ３，Ｕ４の視線を向けさせることができる。

また、図８では、ユーザーＵ１の発話時Ｍ１に、ユーザーＵ１を示す画像Ｓ１が、他のユーザーＵ２～Ｕ４を示す画像Ｓ２～Ｓ４よりも大きく表示されている。言い換えると、投射画像生成部２８４は、ユーザーＵ１の発話時Ｍ１に、ユーザーＵ１を示す画像Ｓ１を、ユーザーＵ１が発話していない期間よりも大きく表示する。ユーザーＵ１が発話していない期間の投射画像ＳＧは、図９に示される。これにより、発話者であるユーザーＵ１の表情を、他のユーザーＵ２～Ｕ４がより把握しやすくなる。また、複数のユーザーＵ１～Ｕ４のうち、発話者が誰なのかを特定しやすくなる。これに限らず、投射画像生成部２８４は、ユーザーＵ１の発話時Ｍ１も、画像Ｓ１の大きさは他の画像Ｓ２～Ｓ４の大きさと同じとし、画像Ｓ１の位置のみ変更するようにしてもよい。

また、投射画像生成部２８４は、投射画像ＳＧのうち、会議用カメラ４０と重なる部分に対して、マスク処理を行う。すなわち、ユーザーＵ１が発話している期間に画像Ｓ１を表示することは、会議用カメラ４０が配置された範囲と重なる画像Ｓ１の部分の輝度を、画像Ｓ１の他の部分の輝度よりも下げて表示することを含む。会議用カメラ４０と重なる部分とは、より詳細には、壁Ｗの表面Ｆ１側に露出する会議用カメラ４０の部分と重なる部分である。以下、投射画像ＳＧのうち、会議用カメラ４０と重なる部分を「カメラ重畳部分Ｒ」という。本実施形態では、マスク処理とは、カメラ重畳部分Ｒの輝度を他の部分より下げる処理であり、例えばカメラ重畳部分Ｒを黒画像とする処理を指す。なお、本実施形態では、ユーザーＵ１が発話している期間に限らず、投射画像ＳＧ中のカメラ重畳部分Ｒは、常時マスク処理されているものとする。

投射画像生成部２８４は、例えばカメラ重畳部分Ｒに対応する部分を黒画像とし、他の部分は透明としたマスク画像を生成し、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰを配置した画像と重畳することにより、カメラ重畳部分Ｒの輝度を他の部分より下げる。または、投射画像生成部２８４は、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰを配置した画像に対して、カメラ重畳部分Ｒに対応する部分の輝度を下げるように画像処理を行うことにより、カメラ重畳部分Ｒの輝度を他の部分より下げるようにしてもよい。本実施形態では、前者のマスク画像を重畳する方法を採るものとする。

マスク処理を行うことにより、会議用カメラ４０のレンズＬに、プロジェクター３０からの投射光が入射するのを防止し、白飛び等の撮像不良が生じるのを防止することができる。より詳細には、カメラ重畳部分Ｒにマスク処理を行うことにより、カメラ重畳部分Ｒに投射される光量が低減し、撮像不良を防止することができる。なお、投射画像ＳＧのうち、マスク処理を行う範囲は、カメラ重畳部分Ｒを含み、カメラ重畳部分Ｒよりも広い範囲であってもよい。

図９は、ユーザーＵ３の発話時Ｍ２における投射画像ＳＧのレイアウトを示す。ユーザーＵ３の発話時Ｍ２とは、例えばユーザーＵ３がプレゼンテーション画像ＳＰを参照しながら、他のユーザーＵ１，Ｕ２，Ｕ４に対してプレゼンテーションを行っている場合である。投射画像生成部２８４は、ユーザーＵ３のプレゼンテーション中は、ユーザーＵ１の発話時Ｍ１よりも、表示面Ｐにおけるプレゼンテーション画像ＳＰの表示の大きさを大きくする。すなわち、ユーザーＵ３が発話している期間には、表示面Ｐに、画像Ｓ１と、ユーザーＵ１が発話している期間におけるプレゼンテーション画像ＳＰの大きさよりも大きな大きさのプレゼンテーション画像ＳＰと、が表示される。

ユーザーＵ３が発話しているか否かは、例えばマイクロホン２４で収音された音声データのレベルが所定値以上であるか否かによって判定される。マイクロホン２４で収音された音声データのレベルが所定値以上である場合、投射画像生成部２８４は、会議用カメラ４０で撮像された撮像画像ＳＫに写るユーザーＵ３が発話していると判定する。

プレゼンテーション中のユーザーＵ３は、表示面Ｐに表示されたプレゼンテーション画像ＳＰを見ながら発話すると考えられる、よって、ユーザーＵ３の発話時Ｍ２にプレゼンテーション画像ＳＰの表示の大きさを大きくすることで、プレゼンテーション画像ＳＰの視認性が向上し、ユーザーＵ３によるプレゼンテーションを補助することができる。

また、ユーザーＵ１の発話時Ｍ１と比較して、表示面Ｐにおけるプレゼンテーション画像ＳＰの大きさが大きくなると、必然的に会議用カメラ４０とプレゼンテーション画像ＳＰとの距離が近くなる。すなわち、ユーザーＵ３が発話している期間にプレゼンテーション画像ＳＰを表示することは、会議用カメラ４０の位置に対して、ユーザーＵ１が発話している期間におけるプレゼンテーション画像ＳＰの位置よりも近い位置に、プレゼンテーション画像ＳＰが表示されることに対応する。プレゼンテーション中のユーザーＵ３の視線は、プレゼンテーション画像ＳＰを向く。プレゼンテーション画像ＳＰは、ユーザーＵ１の発話時Ｍ１の位置よりも会議用カメラ４０に近い位置にある。よって、ユーザーＵ３の視線は、会議用カメラ４０に近い位置を向くことになる。

会議用カメラ４０で撮像された撮像画像ＳＫは、ユーザーＵ１，Ｕ２に送信される。すなわち、データ送受信部２８３は、ユーザーＵ３が発話している期間に会議用カメラ４０が撮像した撮像画像ＳＫを、会議サーバーＣに送信する。また、会議サーバーＣは、ユーザーＵ１，Ｕ２が使用する端末装置Ｔ１，Ｔ２に送信する。会議用カメラ４０で撮像された撮像画像ＳＫにおいて、ユーザーＵ３の視線は会議用カメラ４０の近くに向いている。これを見たユーザーＵ１，Ｕ２は、ユーザーＵ３と目線を合わせながらプレゼンテーションを受けているように感じられ、オンライン会議における円滑なコミュニケーションを支援することができる。

また、投射画像生成部２８４は、ユーザーＵ３の発話時Ｍ２は、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰのいずれもカメラ重畳部分Ｒと重ならないように投射画像ＳＧを生成する。すなわち、ユーザーＵ３が発話している期間に画像Ｓ１とプレゼンテーション画像ＳＰとを表示することは、カメラ重畳部分Ｒと重ならない位置に、画像Ｓ１とプレゼンテーション画像ＳＰとを表示することを含む。このようにすることで、カメラ重畳部分Ｒによって画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰの視認性が低下するのを回避することができる。なお、本実施形態では、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰとカメラ重畳部分Ｒとが重ならないようにしたが、例えば画像Ｓ１～Ｓ４またはプレゼンテーション画像ＳＰの少なくともいずれかの外縁とカメラ重畳部分Ｒとを重ねて配置してもよい。これは、カメラ重畳部分Ｒと重なる部分が画像の外縁であれば、画像の視認性が極端に低下する可能性は低いためである。

図１０は、発話者がいない状態Ｍ３における投射画像ＳＧのレイアウトを示す。発話者がいない状態Ｍ３における投射画像ＳＧのレイアウトは、例えば図９に示すユーザーＵ３の発話時Ｍ２における投射画像ＳＧのレイアウトと同様である。図１０のように、カメラ重畳部分Ｒと重ならない位置に、画像Ｓ１～Ｓ４とプレゼンテーション画像ＳＰとを表示することで、カメラ重畳部分Ｒによって画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰの視認性が低下するのを回避することができる。また、プレゼンテーション画像ＳＰが、ユーザーＵ１の発話時Ｍ１よりも大きく表示されるので、プレゼンテーション画像ＳＰの視認性が向上し、プレゼンテーション画像ＳＰに対する検討を行いやすくすることができる。以下、図９および図１０に示す投射画像ＳＧのレイアウトを、「基準レイアウト」という。

図１１は、オフラインでの会議時Ｍ４における投射画像ＳＧのレイアウトを示す。表示システム１０は、オンライン会議にのみ用いられるのではなく、例えば拠点Ｋ３にいるユーザーＵ３，Ｕ４のみでオフラインで行われる会議にも用いられる。このような場合、会議に参加していないユーザーＵ１，Ｕ２を示す画像Ｓ１，Ｓ２は表示する必要がない。また、拠点Ｋ３にいるユーザーＵ３，Ｕ４は、互いの顔を目視できるため、画像Ｓ３，Ｓ４は表示する必要がない。すなわち、オフライン会議においては、表示面Ｐにプレゼンテーション画像ＳＰのみを表示すればよい。

オフライン会議の場合、投射画像生成部２８４は、例えばカメラ重畳部分Ｒと重ならない位置に、アスペクト比を維持した最大サイズでプレゼンテーション画像ＳＰが表示されるように投射画像ＳＧを生成する。例えば本実施形態では、会議用カメラ４０は表示面Ｐを正面から見た場合に、やや右側に位置している。よって、表示面Ｐの左側の方が表示領域を広く確保できる。投射画像生成部２８４は、表示面Ｐの左上の点を基準として、会議用カメラ４０と重ならない範囲の最大サイズで、プレゼンテーション画像ＳＰを表示する。このようにすることで、オフライン会議におけるプレゼンテーション画像ＳＰの視認性を向上させることができる。

Ｄ－５：投射画像供給部２８５
投射画像供給部２８５は、投射画像生成部２８４によって生成された投射画像ＳＧの画像データをプロジェクター３０に供給する。画像データの供給を受けたプロジェクター３０は、画像データに基づいて光学装置３４を駆動させ、表示面Ｐに投射画像ＳＧを表示させる。

Ｄ－６：放音制御部２８６
放音制御部２８６は、スピーカー２３からの音声出力を制御する。放音制御部２８６は、データ送受信部２８３により受信された他の拠点Ｋ１，Ｋ２で収音された音声データを出力するように、スピーカー２３を制御する。

Ｅ：処理装置２８の動作
図１２は、処理装置２８が制御プログラム２７０に従って実行する表示方法の流れを示すフローチャートである。表示システム１０が起動されると、処理装置２８は、カメラ位置情報取得部２８１として機能することにより、表示面Ｐにおける会議用カメラ４０の位置を示すカメラ位置情報を取得する（ステップＳ１００）。処理装置２８は、投射画像生成部２８４として機能することにより、カメラ位置情報に基づいて、投射画像ＳＧ中のカメラ重畳部分Ｒを特定し、カメラ重畳部分Ｒを黒画像としたマスク画像を生成する（ステップＳ１０２）。生成されたマスク画像は、処理装置２８が投射画像供給部２８５として機能することにより、プロジェクター３０に供給される。プロジェクター３０は、表示面Ｐにマスク画像を表示する。

処理装置２８は、画像の投射が指示されるまで待機する（ステップＳ１０４：ＮＯ）。画像の投射が指示されると（ステップＳ１０４：ＹＥＳ）、処理装置２８は、オンライン会議のための画像投射か否かを判断する（ステップＳ１０５）。オンライン会議用のための画像投射か否かは、例えば画像投射を行うアプリケーションがオンライン会議アプリケーションであるかにより判断することができる。

投射画像ＳＧがオンライン会議用の画像ではない場合（ステップＳ１０５：ＮＯ）、すなわち、オフラインでの画像投射の場合、投射画像生成部２８４は、例えば図１１に示すように、カメラ重畳部分Ｒと重ならない位置に最大サイズでプレゼンテーション画像ＳＰが表示されるように投射画像ＳＧを生成する（ステップＳ１０６）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給し（ステップＳ１０７）、本フローチャートの処理を終了する。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

一方、投射画像ＳＧがオンライン会議用の画像の場合（ステップＳ１０５：ＹＥＳ）、処理装置２８は、ユーザー画像生成部２８２として機能することにより、会議用カメラ４０の撮像画像ＳＫからユーザーＵ３を示す画像Ｓ３に対応する画像データと、ユーザーＵ４を示す画像Ｓ４に対応する画像データとを生成する（ステップＳ１０８）。処理装置２８は、データ送受信部２８３として機能することにより、会議サーバーＣに接続して、画像データおよび音声データを送受信する（ステップＳ１０９）。より詳細には、処理装置２８は、他の拠点Ｋ１，Ｋ２で撮像された画像データおよび他の拠点Ｋ１，Ｋ２で収音された音声データを受信するとともに、拠点Ｋ３で撮像された画像データおよび拠点Ｋ３で収音された音声データを送信する。他の拠点Ｋ１，Ｋ２で収音された音声データは、処理装置２８が放音制御部２８６として機能することにより、スピーカー２３から出力される。

処理装置２８は、拠点Ｋ１～Ｋ３で収音された音声データに基づいて、オンライン会議において発話者がいるか否かを判断する（ステップＳ１１０）。発話者がいない場合（ステップＳ１１０：ＮＯ）、処理装置２８は、投射画像生成部２８４として機能することにより、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰを、図９および図１０に示す基準レイアウトに配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１６）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

一方、ステップＳ１１０で発話者がいる場合（ステップＳ１１０：ＹＥＳ）、処理装置２８は、発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２であるか否かを判断する（ステップＳ１１２）。発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２である場合（ステップＳ１１２：ＹＥＳ）、処理装置２８は、投射画像生成部２８４として機能することにより、発話者の画像と会議用カメラ４０とが重なるように画像Ｓ１～Ｓ４を配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１４）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

また、発話者が他の拠点Ｋ１，Ｋ２のユーザーＵ１，Ｕ２でない場合（ステップＳ１１２：ＮＯ）、すなわち、拠点Ｋ３のユーザーＵ３，Ｕ４である場合、処理装置２８は、投射画像生成部２８４として機能することにより、画像Ｓ１～Ｓ４を基準レイアウトに配置し、マスク画像と重畳して投射画像ＳＧを生成する（ステップＳ１１６）。処理装置２８は、投射画像供給部２８５として機能することにより、投射画像ＳＧをプロジェクター３０に供給する（ステップＳ１１８）。プロジェクター３０は、表示面Ｐに投射画像ＳＧを表示する。

処理装置２８は、オンライン会議が終了するまでは（ステップＳ１２０：ＮＯ）、ステップＳ１０６に戻り、以降の処理を繰り返す。処理装置２８は、オンライン会議が終了すると（ステップＳ１２０：ＹＥＳ）、本フローチャートによる処理を終了する。

Ｆ：実施形態のまとめ
以上説明したように、実施形態にかかる表示方法は、異なる種類の画像が混在する投射画像ＳＧを、会議用カメラ４０が配置された表示面Ｐに表示するに際して、画像の種類や発話者に合わせてレイアウトを変更する。これにより、投射画像ＳＧの視認性を向上できるとともに、投射画像ＳＧの内容の理解を補助することができる。したがって、例えば画像の種類によらず１つの画像を中央に大きく表示するレイアウトなどと比較して、改善されたレイアウトで投射画像ＳＧを表示することができる。

実施形態にかかる表示方法は、ユーザーＵ３の発話時Ｍ２におけるプレゼンテーション画像ＳＰの大きさを、ユーザーＵ１の発話時Ｍ１におけるプレゼンテーション画像ＳＰの大きさよりも大きくする。これにより、表示面Ｐに表示されたプレゼンテーション画像ＳＰの視認性を向上させることができ、ユーザーＵ３による発話、すなわちプレゼンテーションを補助することができる。

また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、プレゼンテーション画像ＳＰを表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

また、実施形態にかかる表示方法は、ユーザーＵ３の音声を出力している期間は、ユーザーＵ１の音声を出力している期間よりも、会議用カメラ４０に近い位置にプレゼンテーション画像ＳＰを表示する。また、実施形態にかかる表示方法は、ユーザーＵ３の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。ユーザーＵ３は、プレゼンテーション中はプレゼンテーション画像ＳＰを見ると考えられるので、ユーザーＵ３の視線は会議用カメラ４０に近い箇所に向く。この時、会議用カメラ４０で撮像した画像Ｓ３をユーザーＵ１の端末装置Ｔ１に送信することで、ユーザーＵ１は、ユーザーＵ３が自身の方を向きながら発話しているような感覚を得ることができる。よって、オンライン会議においても実際に会って話をしているようなコミュニケーションを実現することができる。

また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に、表示面Ｐにおいて会議用カメラ４０と重なる位置に画像Ｓ１を表示する。これにより、ユーザーＵ３，Ｕ４の視線が、会議用カメラ４０のより近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線がより自身の近くを向いていると認識し、視線のずれに起因する違和感をより低減することができる。

また、実施形態にかかる表示方法は、画像Ｓ１のうち会議用カメラ４０と重なる部分を、ユーザーＵ１の顔以外の部分とする。画像Ｓ１のうち、ユーザーＵ３，Ｕ４が最も注視する部分であるユーザーＵ１の顔の部分である。会議用カメラ４０と重なる部分をユーザーＵ１の顔以外の部分とすることにより、ユーザーＵ１に顔の視認性が、会議用カメラ４０により視認性が低下するのを回避することができる。

また、実施形態にかかる表示方法は、会議用カメラ４０と重なる画像Ｓ１の部分の輝度を、画像Ｓ１の他の部分の輝度よりも下げて表示する。これにより、会議用カメラ４０のレンズＬに入射するプロジェクター３０の投射光の輝度を低減することができ、会議用カメラ４０の撮像画像ＳＫの撮像不良を防止することができる。

また、実施形態にかかる表示方法は、ユーザーＵ３が発話している期間において、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰを、会議用カメラ４０と重ならない位置に表示する。これにより、画像Ｓ１～Ｓ４およびプレゼンテーション画像ＳＰの視認性を向上させることができる。

また、実施形態にかかる表示システム１０は、表示面Ｐに配置されユーザーＵ３を撮像する会議用カメラ４０、およびユーザーＵ１の端末装置Ｔ１と通信する第１通信装置２５と、表示面Ｐに画像を表示するプロジェクター３０と、スピーカー２３と、第１通信装置２５、プロジェクター３０、およびスピーカー２３を制御する処理装置２８，３６と、を備える。処理装置２８，３６は、異なる種類の画像が混在する投射画像ＳＧを、会議用カメラ４０が配置された表示面Ｐに表示するに際して、画像の種類や発話者に合わせてレイアウトを変更する。これにより、投射画像ＳＧの視認性を向上できるとともに、投射画像ＳＧの内容の理解を補助することができる。したがって、例えば画像の種類によらず１つの画像を中央に大きく表示するレイアウトなどと比較して、改善されたレイアウトで投射画像ＳＧを表示することができる。

また、実施形態にかかる表示システム１０は、ユーザーＵ３の発話時Ｍ２におけるプレゼンテーション画像ＳＰの大きさを、ユーザーＵ１の発話時Ｍ１におけるプレゼンテーション画像ＳＰの大きさよりも大きくする。これにより、表示面Ｐに表示されたプレゼンテーション画像ＳＰの視認性を向上させることができ、ユーザーＵ３による発話、すなわちプレゼンテーションを補助することができる。

また、実施形態にかかる表示システム１０は、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、プレゼンテーション画像ＳＰを表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

また、実施形態にかかるプログラムは、異なる種類の画像が混在する投射画像ＳＧを、会議用カメラ４０が配置された表示面Ｐに表示するに際して、画像の種類や発話者に合わせてレイアウトを変更する。これにより、投射画像ＳＧの視認性を向上できるとともに、投射画像ＳＧの内容の理解を補助することができる。したがって、例えば画像の種類によらず１つの画像を中央に大きく表示するレイアウトなどと比較して、改善されたレイアウトで投射画像ＳＧを表示することができる。

また、実施形態にかかるプログラムは、ユーザーＵ３の発話時Ｍ２におけるプレゼンテーション画像ＳＰの大きさを、ユーザーＵ１の発話時Ｍ１におけるプレゼンテーション画像ＳＰの大きさよりも大きくする。これにより、表示面Ｐに表示されたプレゼンテーション画像ＳＰの視認性を向上させることができ、ユーザーＵ３による発話、すなわちプレゼンテーションを補助することができる。

また、実施形態にかかるプログラムは、ユーザーＵ１の音声を出力している期間に、会議用カメラ４０の位置に対して、プレゼンテーション画像ＳＰを表示する位置よりも近い位置に、ユーザーＵ１を示す画像Ｓ１を表示する。また、実施形態にかかる表示方法は、ユーザーＵ１の音声を出力している期間に会議用カメラ４０が取得した画像Ｓ３，Ｓ４を、ユーザーＵ１が使用する端末装置Ｔ１に送信する。一般に、表示面Ｐを見るユーザーＵ３，Ｕ４は、ユーザーＵ１の音声を出力している期間には、ユーザーＵ１を示す画像Ｓ１を注視するので、画像Ｓ１を上記のような位置に配置することにより、ユーザーＵ３，Ｕ４の視線は、会議用カメラ４０の近くに向く。よって、会議用カメラ４０の撮像画像ＳＫの送信を受けたユーザーＵ１は、ユーザーＵ３，Ｕ４の視線が自身の近くを向いていると認識し、視線のずれに起因する違和感を低減することができる。

Ｇ：変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

Ｇ１：変形例１
本実施形態では、表示システム１０と、端末装置Ｔ１，Ｔ２との間でオンライン会議を実施する場合について説明した。これに限らず、例えば表示システム１０と、他の表示システムとの間でオンライン会議が実施されてもよい。この場合、他の表示システムにおける投射画像ＳＧの基準レイアウトおよび発話時における投射画像ＳＧのレイアウトは、他の表示システムにおける会議用カメラの配置に基づいて決定される。

Ｇ２：変形例２
パーソナルコンピューター２０の処理装置２８が実行する各機能部の処理の少なくとも一部は、プロジェクター３０の処理装置３６、会議用カメラ４０の処理装置、または会議サーバーＣの処理装置が実行してもよい。また、プロジェクター３０の処理装置３６が実行する各機能部の処理の少なくとも一部は、パーソナルコンピューター２０の処理装置２８、会議用カメラ４０の処理装置、または会議サーバーＣの処理装置が実行してもよい。例えば、複数台のプロジェクター３０を用いて巨大なスクリーンに画像を投射するマルチプロジェクションを実施する場合には、会議サーバーＣで投射画像ＳＧを生成するのが効果的である。この場合、会議サーバーＣは、投射画像ＳＧを各プロジェクター３０の投射領域毎に分割して、分割した投射画像ＳＧに対応する画像データを、それぞれのプロジェクター３０に送信する。

Ｇ３：変形例３
本実施形態では、表示システム１０は、パーソナルコンピューター２０と、プロジェクター３０と、会議用カメラ４０とを備えた。これに限らず、例えば、プロジェクター３０がパーソナルコンピューター２０の機能を備えていてもよい。この場合、プロジェクター３０が、ネットワークＮに接続可能とするとともに、会議用カメラ４０の撮像画像を取得可能とする。

Ｇ４：変形例４
本実施形態では、拠点Ｋ３のユーザーＵ３，Ｕ４を示す画像Ｓ３，Ｓ４を投射画像ＳＧに表示するものとした。これに限らず、拠点Ｋ３のユーザーＵ３，Ｕ４を示す画像Ｓ３，Ｓ４は、投射画像ＳＧに表示しないようにしてもよい。これは、拠点Ｋ３にいるユーザーＵ３，Ｕ４は、互いの顔を目視できるためである。また、画像Ｓ３，Ｓ４を非表示とすることにより、投射画像ＳＧ中の他の画像の投射領域を大きくすることができる。

また、本実施形態では、会議用カメラ４０の撮像画像ＳＫから部分画像ＳＢ１，ＳＢ２を生成し、ユーザーＵ３を示す画像Ｓ３およびユーザーＵ４を示す画像Ｓ４を生成した。これに限らず、複数のユーザーＵ３，Ｕ４が写る撮像画像ＳＫをそのまま拠点Ｋ３を示す画像として投射画像ＳＧに表示してもよい。

Ｇ５：変形例５
本実施形態では、プロジェクター３０が表示装置の一例であった。これに限らず、表示装置として、例えば少なくとも１つのフラットパネルディスプレイが用いられてもよい。例えば、複数のフラットパネルディスプレイを同一平面上に並べ、その隙間に会議用カメラ４０を配置してもよい。また、例えばフラットパネルディスプレイの表面に会議用カメラ４０を配置してもよい。

１…会議システム、１０…表示システム、２０…パーソナルコンピューター、２１…操作装置、２２…ディスプレイ、２３…スピーカー、２４…マイクロホン、２５…第１通信装置、２６…第２通信装置、２７…記憶装置、２８…処理装置、３０…プロジェクター、３１…操作装置、３２…通信装置、３３…プロジェクター用カメラ、３４…光学装置、３５…記憶装置、３６…処理装置、４０…会議用カメラ、２８１…カメラ位置情報取得部、２８２…ユーザー画像生成部、２８３…データ送受信部、２８４…投射画像生成部、２８５…投射画像供給部、２８６…放音制御部、３６１…キャリブレーション処理部、３６２…カメラ位置検出部、Ｃ…会議サーバー、Ｋ１～Ｋ３…拠点、Ｎ…ネットワーク、Ｐ…表示面、Ｓ１～Ｓ４…画像、ＳＰ…プレゼンテーション画像、Ｔ１，Ｔ２…端末装置、Ｕ１～Ｕ４…ユーザー。

Claims (8)

1. 表示面に配置され、第１ユーザーを撮像するカメラの、前記表示面における位置を示す情報を取得することと、
   第２ユーザーが発話している期間に、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示することと、
   前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記第２ユーザーが使用する端末装置に送信することと、
   前記第１ユーザーが発話している期間に、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示することと、
   を含む表示方法。
2. 前記第１ユーザーが発話している期間に前記第１画像を表示することは、前記カメラの位置に対して、前記第２ユーザーが発話している期間における前記第１画像の位置よりも近い位置に、前記第１画像を表示することを含み、
   前記第１ユーザーが発話している期間に前記カメラが取得した画像を、前記第２ユーザーが使用する端末装置に送信することを更に含む、
   請求項１記載の表示方法。
3. 前記第２ユーザーが発話している期間に前記第２画像を表示することは、前記表示面において前記カメラと重なる位置に前記第２画像を表示することを含む、
   請求項１または２記載の表示方法。
4. 前記第２画像は、前記第２ユーザーの顔を含む範囲を撮像した画像であり、
   前記第２画像のうち前記カメラが配置された範囲と重なる部分は、前記第２ユーザーの顔以外の部分である、
   請求項３記載の表示方法。
5. 前記第２ユーザーが発話している期間に前記第２画像を表示することは、前記カメラが配置された範囲と重なる前記第２画像の部分の輝度を、前記第２画像の他の部分の輝度よりも下げて表示することを含む、
   請求項３または４記載の表示方法。
6. 前記第１ユーザーが発話している期間に前記第１画像と前記第２画像とを表示することは、前記表示面において前記カメラが配置された範囲と重ならない位置に、前記第１画像と前記第２画像とを表示することを含む、
   請求項１から５のいずれか１項記載の表示方法。
7. 表示面に配置され第１ユーザーを撮像するカメラ、および第２ユーザーの端末装置と通信する少なくとも１つの通信インターフェイスと、
   前記表示面に画像を表示する表示装置と、
   スピーカーと、
   前記通信インターフェイス、前記表示装置、および前記スピーカーを制御する少なくとも１つの処理装置と、を備え、
   前記少なくとも１つの処理装置は、
   前記カメラの前記表示面における位置を示す情報を取得し、
   前記第２ユーザーが発話している期間に、前記表示装置によって、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示し、
   前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記通信インターフェイスを介して前記第２ユーザーが使用する端末装置に送信し、
   前記第１ユーザーが発話している期間に、前記表示装置によって、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示する、
   表示システム。
8. 表示面に配置され、第１ユーザーを撮像するカメラの、前記表示面における位置を示す情報を取得することと、
   第２ユーザーが発話している期間に、前記表示面に、前記第１ユーザーの発話に関する第１画像と、前記カメラの前記表示面における位置に対して、前記第１画像の位置よりも近い位置に配置された前記第２ユーザーを示す第２画像と、を表示することと、
   前記第２ユーザーが発話している期間に前記カメラが取得した画像を、前記第２ユーザーが使用する端末装置に送信することと、
   前記第１ユーザーが発話している期間に、前記表示面に、前記第２画像と、前記第２ユーザーが発話している期間における前記第１画像の大きさよりも大きな大きさの前記第１画像と、を表示することと、
   をコンピューターに実行させるプログラム。

Images