JP5408348B2 - ポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システム - Google Patents

Description

この発明は、ポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システムに関する。

従来、場所が異なる複数の拠点間で、音声や映像を通信回線経由でやり取りすることにより会議や打合せなど行う、いわゆる遠隔会議システムに関する技術が存在する。この遠隔会議システムでは、会議室内に設けられた映写用のスクリーン上を指し示す場合に、レーザーポインタなどがよく利用される。

このレーザーポインタを遠隔会議にて利用する場合、例えば、レーザーポインタが使用された会議室側で、映写用のスクリーンに映し出された映像情報と、スクリーン上に照射されたレーザーポインタの照射点の位置を示すポインタ情報とを関連付ける。そして、レーザーポインタが使用された会議室側で関連付けられた映像情報およびポインタ情報を、レーザーポインタが使用された会議室側から遠隔会議を行う他の会議室側へ送信する。このようにすることで、レーザーポインタの照射点の位置を遠隔会議が行われる拠点間で共有することができる。

また、スクリーン上に照射されたレーザーポインタの照射点が誰により照射されたものであるかを識別する技術も提案されている。例えば、レーザーポインタからレーザ光を照射する場合に照射者により操作されるスイッチの「ＯＮ／ＯＦＦ」を無線により取得する技術が提案されている。また、レーザーポインタの照射点を固有の点滅周期で点滅させて、スクリーン上の照射点の点滅周期の違いを認識する技術も提案されている。また、レーザーポインタの照射点の形状をレーザーポインタごとに変更する技術も提案されている。これらの技術によってレーザーポインタの照射を検出すると、予め用意しておいた会議参加者の位置と照らし合わせることにより、レーザーポインタの照射点が誰により照射されたものであるかを識別できる。

特開平７−２００１６０号公報 特開２００２−２４４８１３号公報

しかしながら、上述したレーザーポインタの照射点が誰により照射されたものであるかを識別する技術は、レーザーポインタに装置を搭載する必要があるという問題があった。例えば、レーザーポインタからレーザ光を照射する場合に照射者により操作されるスイッチの「ＯＮ／ＯＦＦ」に応じて無線を発信する装置が必要となる。また、レーザーポインタの照射点を固有の点滅周期で点滅させる装置が必要となる。また、レーザーポインタの照射点の形状を変形させる装置が必要となる。

開示の技術は、上記に鑑みてなされたものであって、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタであっても、レーザーポインタの照射点と照射者との関連付けを行うことが可能なポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システムを提供することを目的とする。

本願の開示する技術は、一つの態様において、位置取得部と、発光点検出部と、照射点検出部と、特定部と、関連付け部と、記録部とを有する。位置取得部は、会議参加者の方向を撮影した画像における会議参加者の位置を取得する。発光点検出部は、会議参加者方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの発光点を検出する。照射点検出部は、レーザーポインタのレーザ光照射物方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの照射点を検出する。特定部は、発光点検出部により検出された発光点の画像内の位置と位置取得部により取得された位置とを照らし合わせて、該発光点を有するレーザーポインタを使用している会議参加者を特定する。関連付け部は、発光点検出部により検出された発光点と照射点検出部により検出された照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける。記録部は、関連付け部により関連付けられた発光点および照射点の各位置情報と、特定部により特定された会議参加者の情報を対応付けて記憶部に記録する。

本願の開示する技術の一つの態様によれば、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタであっても、レーザーポインタの照射点と照射者との関連付けを行うことができる。

図１は、実施例１に係るポインタ情報処理装置１０を示す図である。 図２は、実施例２に係る会議システムの構成を示す図である。 図３は、会議参加者情報記憶部１３１に記憶される情報例を示す図である。 図４は、ポインタ情報記憶部１３２に記憶される情報例を示す図である。 図５は、対応情報記憶部１４３Ａに記憶される情報例を示す図である。 図６は、ポインタ情報リンク部１４５の処理の概要を説明する図である。 図７は、ポインタ情報リンク部１４５の処理の概要を説明する図である。 図８は、移動速度ベクトル算出部１４６による処理の概要を説明する図である。 図９は、移動速度ベクトル算出部１４６による処理の概要を説明する図である。 図１０は、移動速度ベクトル算出部１４６による処理の概要を説明する図である。 図１１は、ポインタ情報処理部１４０による処理の流れを示す図である。 図１２は、ポインタ情報処理部１４０による処理の流れを示す図である。 図１３は、ポインタ情報処理部１４０による処理の流れを示す図である。 図１４は、ポインタ情報処理プログラムを実行するコンピュータの一例を示す図である。

以下に、図面を参照しつつ、本願の開示するポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システムの一実施形態について詳細に説明する。なお、本願の開示するポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システムの一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。

図１は、実施例１に係るポインタ情報処理装置１０を示す図である。図１に示すように、実施例１に係るポインタ情報処理装置１０は、位置取得部１１と、発光点検出部１２と、照射点検出部１３と、特定部１４と、関連付け部１５と、記録部１６とを有する。

位置取得部１１は、会議参加者の方向を撮影した画像における会議参加者の位置を取得する。発光点検出部１２は、会議参加者方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの発光点を検出する。照射点検出部１３は、レーザーポインタのレーザ光照射物方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの照射点を検出する。

特定部１４は、発光点検出部１２により検出された発光点の画像内の位置と位置取得部１１により取得された位置とを照らし合わせて、該発光点を有するレーザーポインタを使用している会議参加者を特定する。関連付け部１５は、発光点検出部１２により検出された発光点と照射点検出部１３により検出された照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける。記録部１６は、関連付け部１５により関連付けられた発光点および照射点の各位置情報と、特定部１４により特定された会議参加者の情報を対応付けて記憶部に記録する。

上述してきたように、実施例１に係るポインタ情報処理装置１０は、例えば、レーザーポインタを使用する会議参加者側の画像から発光点を検出するとともに、レーザーポインタの照射対象物側の画像から照射点を検出する。そして、ポインタ情報処理装置１０は、検出したレーザーポインタの発光点および照射点がそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける。さらに、ポインタ情報処理装置１０は、関連付けた発光点および照射点の各位置情報と、会議参加者の情報とを対応付けて記録する。このようなことから、実施例１に係るポインタ情報処理装置１０は、例えば、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタであっても、レーザーポインタの照射点と照射者とを関連付けできる。

［会議システムの構成（実施例２）］
図２は、実施例２に係る会議システムの構成を示す図である。図２に示すように、実施例２に係る会議システムは、各々が別の場所にある会議室に設けられた情報処理装置１００と情報処理装置２００との間で、音声や映像などの各種情報をネットワーク１経由でやり取り可能な状態に接続される。なお、情報処理装置１００および情報処理装置２００は、同様の構成を有し、例えば、パーソナルコンピュータやサーバなどの汎用的なコンピュータである。

一方の会議室に設けられた情報処理装置１００は、図２に示すように、カメラ１１０、カメラ１２０、記憶部１３０およびポインタ情報処理部１４０を有する。

カメラ１１０は、会議参加者方向を撮影した画像を取得する。カメラ１２０は、レーザーポインタのレーザ光照射物方向の画像、例えば、各種情報が映写される会議用のスクリーンやモニタ方向を撮影した画像を取得する。なお、カメラ１１０およびカメラ１２０は、約３０ミリ秒ごとに１フレームの画像を撮影する。

記憶部１３０は、図２に示すように、会議参加者情報記憶部１３１およびポインタ情報記憶部１３２を有する。なお、記憶部１３０は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子である。

会議参加者情報記憶部１３１は、会議参加者名と顔認識テンプレートとを対応付けて記憶する。図３は、会議参加者情報記憶部１３１に記憶される情報例を示す図である。例えば、図３に示すように、会議参加者情報記憶部１３１は、会議参加者名「特許太郎」と顔認識テンプレートとを対応付けて記憶する。また、図３に示すように、会議参加者情報記憶部１３１は、会議参加者名「特許花子」と顔認識テンプレートとを対応付けて記憶する。なお、顔認識テンプレートとは、後述する特定部による画像処理に用いられる。この画像処理は、レーザーポインタを使用している人を特定するための処理である。

ポインタ情報記憶部１３２は、ポインタ情報ごとに一意に付与されるＩＤ番号と、会議参加者名と、ポインタ情報とを対応付けて記憶する。ポインタ情報は、発光点座標値と照射点座標値とを有する。図４は、ポインタ情報記憶部１３２に記憶される情報例を示す図である。例えば、図４に示すように、ポインタ情報記憶部１３２は、ＩＤ番号「００１」と、会議参加者名「特許太郎」と、発光点座標値「（ａ，ｂ）」と、照射点座標値「（ｃ，ｄ）」とを対応付けて記憶する。また、例えば、図４に示すように、ポインタ情報記憶部１３２は、ＩＤ番号「００２」と、会議参加者名「特許花子」と、発光点座標値「（ｅ，ｆ）」と、照射点座標値「（ｇ，ｈ）」とを対応付けて記憶する。

ポインタ情報処理部１４０は、図２に示すように、発光点検出部１４１、照射点検出部１４２、追跡部１４３および会議参加者特定部１４４を有する。さらに、ポインタ情報処理部１４０は、図２に示すように、ポインタ情報リンク部１４５、移動速度ベクトル算出部１４６、ポインタ情報記録部１４７およびポインタ情報送信部１４８を有する。

なお、ポインタ情報処理部１４０は、例えば、電子回路や集積回路に該当する。電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。

発光点検出部１４１は、カメラ１１０により取得された会議者参加者側の画像内からレーザーポインタの発光点を検出する。例えば、発光点検出部１４１は、カメラ１１０により取得された会議者参加者側の画像の各画素が有する画素値を所定の閾値を基準として２値化することにより、会議者参加者側の画像内からレーザーポインタの発光点を検出する。なお、発光点検出部１４１は、発光点を検出する際に、発光点の画像上の座標値および発光点の明度を取得する。

また、発光点検出部１４１は、レーザーポインタにより与えられることが予想される画素値よりも小さく、かつできるだけ近い値を閾値として設定する。会議者参加者側の画像内において、発光点のみを効率的に浮き彫りにする趣旨である。なお、発光点検出部１４１は、会議者参加者側の画像内からレーザーポインタの発光点として複数の候補が検出された場合には、発光点の明度や色、レーザーポインタの発光点の形状などをさらに加味して、複数の候補の中から取捨することもできる。

照射点検出部１４２は、カメラ１２０により取得されたレーザ光照射物側の画像、例えば、スクリーン側の画像内からレーザーポインタの照射点を検出する。例えば、照射点検出部１４２は、カメラ１２０により取得されたスクリーン側の画像の各画素が有する画素値を所定の閾値を基準として２値化することにより、スクリーン側の画像内からレーザーポインタの照射点を検出する。なお、照射点検出部１４２は、照射点を検出する際に、照射点の画像上の座標値および照射点の明度を取得する。

また、照射点検出部１４２は、レーザーポインタにより与えられることが予想される画素値よりも小さく、かつできるだけ近い値を閾値として設定する。なお、照射点検出部１４２は、スクリーン側の画像内からレーザーポインタの照射点として複数の候補が検出された場合には、発光点の明度や色、レーザーポインタの照射点の形状などをさらに加味して、複数の候補の中から取捨することもできる。

追跡部１４３は、図２に示すように、対応情報記憶部１４３Ａを有する。そして、追跡部１４３は、対応情報記憶部１４３Ａに記憶されているデータを参照しつつ、周知の追跡技術を用いて、発光点検出部１４１により検出された発光点および照射点検出部１４２により検出された照射点をそれぞれ追跡する。なお、追跡部１４３が発光点および照射点を追跡する周知の技術については、例えば、「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会、ｐ２４３〜２４５等を参照されたい。

上述した対応情報記憶部１４３Ａは、発光点に一意に付与されるＩＤ番号と、発光点の座標値と、明度データと、移動予測データとを対応付けて記憶する。また、対応情報記憶部１４３Ａは、照射点に一意に付与されるＩＤ番号と、照射点の座標値と、明度データと、移動予測データとを対応付けて記憶する。ここで、明度データとは、発光点あるいは照射点の色の明暗の度合いを示すデータである。移動予測データとは、発光点あるいは照射点の移動を予測するためのデータである。例えば、発光点の移動予測データは、現画像内の発光点の重心位置と、現画像の一つ前の画像内の発光点の重心位置とを結んだベクトルなどに相当する。また、例えば、照射点の移動予測データは、現画像内の照射点の重心位置と、現画像の一つ前の画像内の照射点の重心位置とを結んだベクトルなどに相当する。

図５は、対応情報記憶部１４３Ａに記憶される情報例を示す図である。例えば、図５に示すように、対応情報記憶部１４３Ａは、ＩＤ番号「００１−１」と、発光点座標値「（ａ，ｂ）」と、明度データと、移動予測データとを対応付けて記憶する。また、図５に示すように、対応情報記憶部１４３Ａは、ＩＤ番号「００１−２」と、照射点座標値「（ｃ，ｄ）」と、明度データと、移動予測データとを対応付けて記憶する。また、図５に示すように、対応情報記憶部１４３Ａは、ＩＤ番号「００２−１」と、発光点座標値「（ｅ，ｆ）」と、明度データと、移動予測データとを対応付けて記憶する。また、図５に示すように、対応情報記憶部１４３Ａは、ＩＤ番号「００２−２」と、照射点座標値「（ｇ，ｈ）」と、明度データと、移動予測データとを対応付けて記憶する。

次に、追跡部１４３の動作について説明する。なお、以下では、発光点検出部１４１により発光点が検出される場合には、同様に、照射点検出部１４２によっても当然に照射点が検出されることを前提として説明する。

例えば、追跡部１４３は、発光点検出部１４１により最初の画像フレーム内から発光点が検出されると、発光点検出部１４１から発光点の座標値および明度データを取得する。次に、追跡部１４３は、発光点にＩＤ番号を付与し、付与したＩＤ番号、座標値および明度データを対応付けて対応情報記憶部１４３Ａに記録する。そして、追跡部１４３は、周知の追跡技術により発光点の追跡を開始する。

同様に、追跡部１４３は、発光点検出部１４１による発光点の検出と同様のタイミングで、照射点検出部１４２により最初の画像フレーム内から照射点が検出されると、照射点検出部１４２から照射点の座標値および明度データを取得する。次に、追跡部１４３は、照射点にＩＤ番号を付与し、付与したＩＤ番号、座標値および明度データを対応付けて対応情報記憶部１４３Ａに記録する。そして、追跡部１４３は、周知の追跡技術による追跡を開始する。

その後、追跡部１４３は、発光点検出部１４１および照射点検出部１４２により発光点および照射点が検出されるごとに、追跡中である発光点および照射点については対応情報記憶部１４３Ａの座標値を更新する。また、追跡部１４３は、追跡中ではない新たな発光点および照射点に対してはＩＤ番号をそれぞれ付与し、付与したＩＤ番号、座標値および明度データを対応付けて対応情報記憶部１４３Ａに記録する。そして、追跡部１４３は、新たに検出された発光点および照射点の追跡を開始する。

なお、追跡部１４３は、発光点が最初に検出された位置の座標値と、この発光点が次に検出された位置の座標値とに基づいて移動予測データを生成し、この発光点に付与されているＩＤ番号に対応付けて対応情報記憶部１４３Ａに記録する。この移動予測データは、例えば、周知の技術による発光点の追跡に用いられる。

会議参加者特定部１４４は、レーザーポインタを使用している会議参加者を特定する。例えば、会議参加者特定部１４４は、参加者情報記憶部１３１に記憶されている顔認識用テンプレートを用いて、カメラ１１０により取得された会議者参加者側の画像内に映し出された会議参加者の顔を認識する。そして、会議参加者特定部１４４は、会議者参加者側の画像内に映し出された会議参加者の顔認識結果に応じて、この画像内における会議参加者の位置を取得する。そして、会議参加者特定部１４４は、発光点検出部１４１により検出された発光点の画像内の位置と、顔認識結果により取得した会議参加者の画像内の位置とを照らし合わせて、レーザーポインタを使用している会議参加者を特定する。

なお、会議参加者特定部１４４は、発光点検出部１４１により検出された発光点が複数存在する場合には、各発光点に対応するレーザーポインタを使用している会議参加者を特定する。

ポインタ情報リンク部１４５は、発光点検出部１４１により検出された発光点と照射点検出部１４２により検出された照射点とがそれぞれ単数であることを条件に、発光点と照射点とを関連付ける。

図６は、ポインタ情報リンク部１４５の処理の概要を説明する図である。図６の６−１は、あるタイミングで取得された会議参加者側の画像とスクリーン側の画像を表す。図６の６−２は、６−１の次のタイミングで取得された会議参加者側の画像とスクリーン側の画像を表す。図６の６−３は、会議参加者側の画像から検出された発光点を表す。図６の６−４は、スクリーン側の画像から検出された照射点を表す。

例えば、ポインタ情報リンク部１４５は、発光点検出部１４１および照射点検出部１４２により発光点および照射点がそれぞれ検出されると、検出された発光点および照射点が全て追跡中のものであるか否かを判定する。ポインタ情報リンク部１４５は、判定の結果、全て追跡中のものである場合には、ポインタ情報リンク部１４５は、そのまま処理を終了する。

一方、ポインタ情報リンク部１４５は、判定の結果、全てが追跡中のものでない場合、つまり、追跡中ではない新たな発光点および照射点がある場合には、追跡中ではない新たな発光点および照射点が、それぞれ単数であるか否かを判定する。判定の結果、ポインタ情報リンク部１４５は、追跡中ではない新たな発光点および追跡中ではない新たな照射点がそれぞれ単数である場合には、追跡中ではない新たな発光点と、追跡中ではない新たな照射点を関連付ける。

一方、ポインタ情報リンク部１４５は、判定の結果、追跡中ではない新たな発光点および照射点がそれぞれ単数ではない場合には、各発光点および各照射点の移動速度ベクトルの算出を移動速度ベクトル算出部１４６に要求する。そして、ポインタ情報リンク部１４５は、移動速度ベクトル算出部１４６から通知された発光点と照射点との対応関係に基づいて、発光点および照射点を関連付ける。以下に、図７を用いて、追跡中ではない新たな発光点および追跡中ではない新たな照射点が、それぞれ単数ではない場合の一例を説明する。

図７は、ポインタ情報リンク部１４５の処理の概要を説明する図である。図７の７−１は、あるタイミングで取得された会議参加者側の画像とスクリーン側の画像を表す。図７の７−２は、７−１の次のタイミングで取得された会議参加者側の画像とスクリーン側の画像を表す。図７の７−３，７−４は、会議参加者側の画像から検出された複数の発光点をそれぞれ表す。図７の７−５，７−６は、スクリーン側の画像から検出された複数の照射点を表す。

ポインタ情報リンク部１４５は、例えば、図７に示すように、移動速度ベクトル算出部１４６から通知された発光点と照射点との対応関係に基づいて、発光点７−３と照射点７−５と関連付けるとともに、発光点７−４と照射点７−６とを関連付ける。なお、発光点７−３と照射点７−５との組合せ、発光点７−４と照射点７−６との組合せは、移動速度ベクトル算出部１４６により算出された移動速度ベクトルが一致もしくは近似する発光点と照射点との組合せに該当する。

移動速度ベクトル算出部１４６は、会議参加者側の画像から検出された各発光点、スクリーン側の画像から検出された各照射点について、移動速度ベクトルをそれぞれ算出する。以下、図８〜１０を用いて、移動速度ベクトル算出部１４６による処理の概要を説明する。図８〜１０は、移動速度ベクトル算出部１４６による処理の概要を説明する図である。

図８に示す８−１は、レーザ光照射対象物となるスクリーンを表すモデルである。図８に示す８−２は、スクリーン８−１に平行な仮想面を表すモデルである。図８に示す８−３は、会議参加者側を撮影するカメラを表すモデルであり、上述したカメラ１１０に対応する。図８に示す８−４は、スクリーン側を撮影するカメラを表すモデルであり、上述したカメラ１２０に対応する。図８に示す８−５は、レーザーポインタを表すモデルである。図８に示す８−６は、レーザーポインタの発光点を表す。図８に示す８−７は、レーザーポインタの発光点の移動速度ベクトルを表す。図８に示す８−８は、レーザーポインタの照射点を表す。図８に示す８−９は、レーザーポインタの照射点の移動速度ベクトルを表す。

まず、移動速度ベクトル算出部１４６は、図８に示すように、会議中、レーザーポインタ８−５の発光点８−６は、スクリーン８−１に平行な仮想面８−２上を動くものとする仮定条件を設定する。次に、移動速度ベクトル算出部１４６は、レーザーポインタ８−５を縦横方向に動かした時の画像をカメラ８−３、８−４で取得する。そして、移動速度ベクトル算出部１４６は、図９に示すように、カメラ８−３により取得された画像９−１上を動く発光点９−２の縦方向ベクトル９−３および横方向のベクトル９−４を求めておく。

同様に、移動速度ベクトル算出部１４６は、図１０に示すように、カメラ８−４により取得された画像１０−１上を動く照射点１０−２の縦方向ベクトル１０−３および横方向のベクトル１０−４を求めておく。縦方向ベクトル９−３および横方向のベクトル９−４、縦方向ベクトル１０−３および横方向のベクトル１０−４はそれぞれ正規化しておいてもよい。

そして、移動速度ベクトル算出部１４６は、発光点の移動速度ベクトル８−７を表す式（１）、照射点の移動速度ベクトル８−９を表す式（２）を算出する。なお、移動速度ベクトル８−７は以下の式（１）に示す「ｖ」に対応し、発光点９−２の縦方向ベクトル９−３は以下の式（１）に示す「ａ」に対応し、発光点９−２の横方向のベクトル９−４は以下の式（１）に示す「ｂ」に対応する。また、移動速度ベクトル８−９は以下の式（２）に示す「ｖ´」に対応し、照射点１０−２の縦方向ベクトル１０−３は以下の式（２）に示す「ａ´」に対応し、発光点１０−２の横方向のベクトル１０−４は以下の式（２）に示す「ｂ´」に対応する。
「ｖ」＝ｔ「ａ」＋ｓ「ｂ」・・・（１）
「ｖ´」＝ｕ「ａ´」＋ｖ「ｂ´」・・・（２）
なお、式（１）に示す「ｔ」および「ｓ」、式（２）に示す「ｕ」および「ｖ」はスカラ量である。

移動ベクトル算出部１４６は、会議参加者側の画像から検出された各発光点、およびスクリーン側の画像から検出された各照射点について、追跡部１４３にて更新された次の画像フレームにおける座標値をそれぞれ取得する。そして、移動ベクトル算出部１４６は、会議参加者側の画像から検出された各発光点、およびスクリーン側の画像から検出された各照射点について移動速度ベクトルを求める。

次に、移動ベクトル算出部１４６は、上述した式（１）および式（２）のスカラ量を調整することにより、各発光点および各照射点について求めた移動速度ベクトルを上述した式（１）および式（２）を用いて表現する。そして、移動ベクトル算出部１４６は、各発光点および各照射点の移動速度ベクトルが表現された式をそれぞれ変形することにより、スカラ量を「ｔ」および「ｓ」、「ｕ」および「ｖ」をそれぞれ求める。スカラ量「ｔ」および「ｓ」、「ｕ」および「ｖ」は、以下に示す式（３）および（４）で表現される。
「ｔ」＝「ａ」×「ｖ」，「ｓ」＝「ｂ」×「ｖ」・・・（３）
「ｕ」＝「ａ´」×「ｖ´」，「ｔ」＝「ｂ´」×「ｖ´」・・・（４）

次に、移動ベクトル算出部１４６は、各発光点および各照射点の移動速度ベクトルの縦方向のベクトル成分に関するスカラ量「ｔ」と「ｕ」、および横方向のベクトル成分に関するスカラ量「ｓ」と「ｔ」をそれぞれ比較する。続いて、移動ベクトル算出部１４６は、「ｔ」と「ｕ」および「ｓ」と「ｔ」が一致もしくは近似する移動速度ベクトルの組合せを特定する。そして、移動ベクトル算出部１４６は、特定した移動速度ベクトルの組合せに対応する発光点と照射点の対応関係を求めて、求めた対応関係をポインタ情報リンク部１４５に通知する。

ポインタ情報記録部１４７は、ポインタ情報リンク部１４５により関連付けられた発光点および照射点の組合せごとにＩＤ番号を付与する。そして、ポインタ情報記録部１４７は、ＩＤ番号と、ポインタ情報リンク部１４５により関連付けられた発光点および照射点の座標値と、会議参加者特定部により特定された会議参加者の情報とを対応付けてポインタ情報記憶部１３２に記録する。また、ポインタ情報記録部１４７は、追跡部１４３により発光点および照射点の座標値が更新されると、この更新に合わせて、ポインタ情報記憶部１３２に記憶されている発光点および照射点の座標値を更新する。

ポインタ情報送信部１４８は、ポインタ情報記録部１４７により記録、あるいは更新された発光点および照射点の座標値と特定された会議参加者の情報とを対応付けて、会議を行っている他方の情報処理装置２００に送信する。

［ポインタ情報処理部による処理（実施例２）］
図１１〜図１３は、上述したポインタ情報処理部１４０による処理の流れを示す図である。まず、図１１を用いて、ポインタ情報処理部１４０の追跡部１４３による処理の流れを説明する。

図１１に示すように、追跡部１４３は、発光点検出部１４１により発光点が検出され、照射点検出部１４２により照射点が検出されると（ステップＳ１１０１，ＹＥＳ）、次のように処理する。追跡部１４３は、対応情報記憶部１４３Ａに記憶されている追跡中の発光点および照射点の座標値を更新する（ステップＳ１１０２）。そして、追跡部１４３は、追跡中ではない新たな発光点および照射点に対してはＩＤ番号をそれぞれ付与し、ＩＤ番号と、発光点および照射点の座標値等とを対応付けて対応情報記憶部１４３Ａに記録する（ステップＳ１１０３）。

ここで、ステップＳ１１０１の説明に戻る。発光点検出部１４１および照射点検出部１４２により発光点および照射点が未だ検出されていない場合には、ステップＳ１１０１の判定結果を「ＮＯ」として同判定を繰り返す。

次に、図１２を用いて、ポインタ情報処理部１４０の会議参加者特定部１４４による処理の流れを説明する。

図１２に示すように、発光点検出部１４１により発光点が検出された場合には（ステップＳ１２０１，ＹＥＳ）、会議参加者側の画像の画像認識を行って、会議参加者の画像内の位置を取得する（ステップＳ１２０２）。

次に、会議参加者特定部１４４は、発光点検出部１４１により検出された発光点の画像内の位置と、顔認識結果により取得した会議参加者の画像内の位置とを照らし合わせる（ステップＳ１２０３）。そして、会議参加者特定部１４４は、ステップＳ１２０３の結果に基づいて、レーザーポインタを使用している会議参加者を特定する（ステップＳ１２０４）。

ここでステップＳ１２０１の説明に戻る。会議参加者特定部１４４は、発光点検出部１４１により発光点が未だ検出されていない場合には、ステップＳ１２０１の判定結果を「ＮＯ」として同判定を繰り返す。

続いて、図１３を用いて、ポインタ情報処理部１４０のポインタ情報リンク部１４５、移動速度ベクトル算出部１４６およびポインタ情報記録部１４７による処理の流れを説明する。

図１３に示すように、発光点検出部１４１により発光点が検出され、照射点検出部１４２により照射点が検出されると（ステップＳ１３０１，ＹＥＳ）、ポインタ情報リンク部１４５は、次のように処理する。ポインタ情報リンク部１４５は、検出された発光点および照射点が全て追跡中のものであるか否かを判定する（ステップＳ１３０２）。ポインタ情報リンク部１４５は、判定の結果、全て追跡中のものである場合には（ステップＳ１３０２，ＹＥＳ）、そのまま処理を終了する。

一方、ポインタ情報リンク部１４５は、判定の結果、全てが追跡中のものでない場合、つまり、追跡中ではない新たな発光点および照射点がある場合には（ステップＳ１３０２，ＮＯ）、次の処理を実行する。すなわち、ポインタ情報リンク部１４５は、発光点および照射点のそれぞれが単数であるか否かを判定する（ステップＳ１３０３）。判定の結果、ポインタ情報リンク部１４５は、追跡中ではない新たな発光点および照射点がそれぞれ単数である場合には（ステップＳ１３０３，ＹＥＳ）、追跡中ではない新たな発光点と、追跡中ではない新たな照射点を関連付ける（ステップＳ１３０４）。

一方、ポインタ情報リンク部１４５は、判定の結果、追跡中ではない新たな発光点および照射点がそれぞれ単数ではない場合には（ステップＳ１３０３，ＮＯ）、次のように処理する。ポインタ情報リンク部１４５は、各発光点および各照射点の移動速度ベクトルの算出を移動速度ベクトル算出部１４６に要求する。移動速度ベクトル算出部１４６は、会議参加者側の画像から検出された各発光点、スクリーン側の画像から検出された各照射点について、移動速度ベクトルをそれぞれ算出する（ステップＳ１３０５）。

そして、移動速度ベクトル算出部１４６は、移動速度ベクトルが一致もしくは近似する発光点と照射点との対応関係をポインタ情報リンク部１４５に通知する。ポインタ情報リンク部１４５は、移動速度ベクトル算出部１４６から通知された発光点と照射点との対応関係に基づいて、新たな各発光点および各照射点について、移動速度ベクトルが一致もしくは近似する発光点と照射点とを関連付ける（ステップＳ１３０６）。

ポインタ情報記録部１４７は、ＩＤ番号と、ポインタ情報リンク部１４５により関連付けられた発光点および照射点の座標値と、会議参加者特定部により特定された会議参加者の情報とを対応付けてポインタ情報記憶部１３２に記録する（ステップＳ１３０７）。

ここでステップＳ１３０１の説明に戻る。ポインタ情報リンク部１４５は、発光点検出部１４１により発光点が未だ検出されていない場合には、ステップＳ１３０１の判定結果を「ＮＯ」として同判定を繰り返す。

［実施例２による効果］
上述してきたように、ポインタ情報処理部１４０は、検出したレーザーポインタの発光点および照射点がそれぞれ単数であることを条件に、発光点と照射点とを関連付ける。そして、ポインタ情報処理部１４０は、関連付けた発光点および照射点の各位置情報と、会議参加者の情報とを対応付けて記録する。よって、実施例２によれば、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタであっても、レーザーポインタの照射点と照射者とを関連付けできる。

また、ポインタ情報処理部１４０は、検出したレーザーポインタの発光点および照射点がそれぞれ単数ではない場合、追跡中のものを除いた発光点および照射点がそれぞれ単数である場合には、発光点と照射点とを関連付ける。よって、実施例２によれば、検出された発光点および照射点がそれぞれ複数ある場合でも、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタの照射点と照射者とを関連付けできる。

また、ポインタ情報処理部１４０は、検出した発光点および照射点の中から、追跡中のものを除いた発光点および照射点がそれぞれ単数ではない場合には、発光点および照射点の移動速度ベクトルに基づいて、発光点および照射点を関連付ける。よって、検出した発光点および照射点の中から追跡中のものを除いた発光点および照射点が複数ある場合でも、レーザーポインタの照射点が誰により照射されたものであるかを識別できる装置を搭載していないレーザーポインタの照射点と照射者とを関連付けできる。

また、ポインタ情報処理部１４０は、レーザーポインタの照射点と照射者とを関連付けて会議を行う相手側の情報処理装置２００に送信する。よって、レーザーポインタの照射点がスクリーンに複数表示されても、各照射点に対応するレーザーポインタの使用者を明確に知らせることができる。

以下、本願の開示するポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システムの他の実施形態を説明する。

（１）装置構成等
例えば、図２に示したポインタ情報処理部１４０の構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図２に示したポインタ情報処理部１４０のポインタ情報リンク部１４５と移動速度ベクトル算出部１４６とを機能的または物理的に統合してもよい。このように、ポインタ情報処理部１４０の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

（２）ポインタ情報処理プログラム
また、例えば、上述の実施例にて説明したポインタ情報処理部１４０により実行される各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータなどの電子機器で実行することによって実現することもできる。なお、ポインタ情報処理部１４０の各種の処理については、例えば、図１１〜１３等を参照されたい。

そこで、以下では、図１４を用いて、上述の実施例にて説明したポインタ情報処理部１４０により実行される処理と同様の機能を実現するポインタ情報処理プログラムを実行するコンピュータの一例を説明する。図１４は、ポインタ情報処理プログラムを実行するコンピュータの一例を示す図である。

図１４に示すように、ポインタ情報処理部１４０と同様の機能を実現するコンピュータ３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３１０と、ユーザからデータの入力を受け付ける入力装置３２０と、モニタ３３０とを有する。

また、コンピュータ３００は、図１４に示すように、記憶媒体からプログラム等を読取る媒体読取装置３４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置３５０を有する。また、コンピュータ３００は、図１４に示すように、各種情報を一時記憶するＲＡＭ（Random Access Memory）３６０と、ハードディスク装置３７０とを有する。そして、各装置３１０〜３７０は、バス３８０に接続される。

なお、入力装置３２０は、例えば、キーボードやマウスなどである。なお、入力装置３２０がマウスを有する場合には、図示しないモニタ３３０と協働して、ポインティングデバイス機能を実現することもできる。また、入力装置３２０がタッチパッドなどの他の入力デバイスを有する場合にも、マウスの場合と同様にポインティングデバイス機能を実現できる。

また、ＣＰＵ３１０の代わりに、例えば、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を用いることもできる。また、ＲＡＭ３６０の代わりに、フラッシュメモリ(flash memory)などの半導体メモリ素子を用いることもできる。

ハードディスク装置３７０には、上述したポインタ情報処理部１４０の機能と同様の機能を発揮するポインタ情報処理プログラム３７１およびポインタ情報処理用データ３７２が記憶されている。なお、このポインタ情報処理プログラム３７１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。

そして、ＣＰＵ３１０が、ポインタ情報処理プログラム３７１をハードディスク装置３７０から読み出してＲＡＭ３６０に展開することにより、図１４に示すように、ポインタ情報処理プログラム３７１はポインタ情報処理プロセス３６１として機能する。ポインタ情報処理プロセス３６１は、ハードディスク装置３７０から読み出したポインタ情報処理用データ３７２等の各種データを適宜ＲＡＭ３６０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。

なお、ポインタ情報処理プロセス３６１は、例えば、図２に示したポインタ情報処理部１４０にて実行される処理を含む。

なお、ポインタ情報処理プログラム３７１については、必ずしも最初からハードディスク装置３７０に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラムを読み出して実行するようにしてもよい。

１ ネットワーク
１０ ポインタ情報処理装置
１１ 位置取得部
１２ 発光点検出部
１３ 照射点検出部
１４ 特定部
１５ 関連付け部
１６ 記録部
１００ 情報処理装置
１１０ カメラ
１２０ カメラ
１３０ 記憶部
１３１ 会議参加者情報記憶部
１３２ ポインタ情報記憶部
１４０ ポインタ情報処理部
１４１ 発光点検出部
１４２ 照射点検出部
１４３ 追跡部
１４４ 会議参加者特定部
１４５ ポインタ情報リンク部
１４６ 移動速度ベクトル算出部
１４７ ポインタ情報記録部
１４８ ポインタ情報送信部
２００ 情報処置装置
３００ コンピュータ
３１０ ＣＰＵ
３２０ 入力装置
３３０ モニタ
３４０ 媒体読取装置
３５０ ネットワークインターフェース装置
３６０ ＲＡＭ
３６１ ポインタ情報処理プロセス
３７０ ハードディスク装置
３７１ ポインタ情報処理プログラム
３７２ ポインタ情報処理用データ

Claims (5)

1. 会議参加者の方向を撮影した画像における会議参加者の位置を取得する位置取得部と、
   前記会議参加者の方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの発光点を検出する発光点検出部と、
   前記レーザーポインタのレーザ光照射物方向を撮影した現画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの照射点を検出する照射点検出部と、
   前記発光点検出部により検出された前記発光点の画像内の位置と前記位置取得部により取得された前記位置とを照らし合わせて、該発光点を有するレーザーポインタを使用している会議参加者を特定する特定部と、
   前記発光点検出部により検出された前記発光点と前記照射点検出部により検出された前記照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける関連付け部と、
   前記関連付け部により関連付けられた前記発光点および前記照射点の各位置情報と、前記特定部により特定された会議参加者の情報を対応付けて記憶部に記録する記録部と
   を有することを特徴とするポインタ情報処理装置。
2. 前記発光点検出部により検出された前記発光点および前記照射点検出部により検出された前記照射点をそれぞれ追跡する追跡部をさらに有し、
   前記特定部は、前記発光点検出部により検出された前記発光点の中から前記追跡部により追跡中の発光点を除外することにより残存した発光点の画像内の位置と前記位置取得部により取得された前記着席位置とを照らし合わせて前記会議参加者を特定し、
   前記関連付け部は、前記発光点検出部により検出された前記発光点の中から前記追跡部により追跡中の発光点を除外することにより残存した発光点と、前記照射点検出部により検出された前記照射点の中から前記追跡部により追跡中の照射点を除外することにより残存した照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを新たに関連付け、
   前記記録部は、前記追跡部による前記発光点および前記照射点の追跡結果に基づいて、前記記憶部に記憶されている前記発光点および前記照射点の各位置情報を更新するとともに、前記関連付け部により新たに関連付けられた前記発光点および前記照射点の各位置情報と、前記特定部により特定された会議参加者の情報を対応付けて記憶部に記録することを特徴とする請求項１に記載のポインタ情報処理装置。
3. 前記残存した発光点および前記残存した照射点がそれぞれ複数の存在する場合に、各発光点および各照射点の移動速度ベクトルをそれぞれ算出する移動速度ベクトル算出部をさらに有し、
   前記関連付け部は、前記移動速度ベクトル算出部により算出された前記移動速度ベクトルに基づいて、前記複数存在する各発光点および各照射点の中から、移動速度ベクトルが一致する発光点および照射点をそれぞれ新たに関連付けることを特徴とする請求項２に記載のポインタ情報処理装置。
4. ポインタ情報処理装置としてのコンピュータに実行させるポインタ情報処理プログラムであって、
   前記コンピュータに、
   会議参加者の方向を撮影した画像における会議参加者の位置を取得する位置取得手順と、
   前記会議参加者の方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの発光点を検出する発光点検出手順と、
   前記レーザーポインタのレーザ光照射物方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの照射点を検出する照射点検出手順と、
   前記発光点検出手順により検出された前記発光点の画像内の位置と前記位置取得手順に取得された前記位置とを照らし合わせて、該発光点を有するレーザーポインタを使用している会議参加者を特定する特定手順と、
   前記発光点検出手順により検出された前記発光点と前記照射点検出手順により検出された前記照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける関連付け手順と、
   前記関連付け手順により関連付けられた前記発光点および前記照射点の各位置情報と、前記特定手順により特定された会議参加者の情報を対応付けて記憶部に記録する記録手順と
   を実行させることを特徴とするポインタ情報処理プログラム。
5. 場所が異なる会議室にそれぞれ設けられる情報処理装置間で、各種情報を通信回線経由でやり取りすることにより遠隔会議を行う会議システムであって、
   前記情報処理装置は、
   会議参加者の方向を撮影した画像における会議参加者の位置を取得する位置取得部と、
   前記会議参加者の方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの発光点を検出する発光点検出部と、
   前記レーザーポインタのレーザ光照射物方向を撮影した画像内の各画素が有する画素値を所定の閾値を基準として２値化することによりレーザーポインタの照射点を検出する照射点検出部と、
   前記発光点検出部により検出された前記発光点の画像内の位置と前記位置取得部に取得された前記位置とを照らし合わせて、該発光点を有するレーザーポインタを使用している会議参加者を特定する特定部と、
   前記発光点検出部により検出された前記発光点と前記照射点検出部により検出された前記照射点とがそれぞれ単数であることを条件に、該発光点と該照射点とを関連付ける関連付け部と、
   前記関連付け部により関連付けられた前記発光点および前記照射点の各位置情報と、前記特定部により特定された会議参加者の情報を対応付けて記憶部に記録する記録部と、
   前記記録部に記憶されている前記照射点の位置情報と、該位置情報に対応付けられた前記会議参加者の情報とを他方の会議室に設けられた情報処理装置に送信する送信部と
   を有することを特徴とする会議システム。

Images