JP4581210B2

JP4581210B2 - テレビ会議システム

Info

Publication number: JP4581210B2
Application number: JP2000300657A
Authority: JP
Inventors: 浩三里田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2010-11-17
Anticipated expiration: 2020-09-29
Also published as: JP2002112215A; US6563528B2; US20020041324A1

Description

【０００１】
【発明の属する技術分野】
本発明は、会議の発言者が適切に撮影されるようにカメラの撮影方向および画角を制御するテレビ会議システムに関するものである。
【０００２】
【従来の技術】
従来より、テレビ会議を行うときに、参加者の映像を撮影するために撮像方向や画角を調整可能な駆動式のカメラを用いることが多く、複数の参加者が参加するテレビ会議では、発言者の映像など適切な映像を相手に送信するために、カメラの向きや画角の選択を手動で行っていた。しかし、カメラ制御用の従来のインターフェイスでは、カメラの向きの量や画角の変更量などをボタンで指定するものが多く、直感的な操作ではないため、正確に発言者が写るようにカメラを合わせるために時間がかかってしまい、会議の進行に支障が出ることが多かった。
【０００３】
このようなカメラ制御を自動化するために、発言者を自動的に検出して、その発言者にカメラを向ける制御装置が提案されている。例えば、特開平５−１２２６８９号公報で開示されたテレビ会議システムのように、複数のマイクから最大音声レベルのものを検出してそのマイクの方向にカメラを向けるものや、特開平７−１４０５２７号公報で開示されたカメラ撮影制御装置のように、マイクに入力された音の位相の違いから音の聞こえてくる方向を検出するものなどが提案されている。これらは、音声が聞こえてくる方向を基に発言者の方向を検出して、カメラを制御し、発言者映像を撮影するものである。
【０００４】
また、カメラで参加者を撮影し、その画像から参加者を検出する手法も考案されており、特に特開平８−２９８６５２号公報で開示されたテレビ会議端末用カメラ方向制御装置では、音声で検出した方向へカメラを向け、撮影した画像から人物の輪郭を検出して、カメラの方向を補正する手法が提案されている。また、特開平１１−８８４４号公報で開示された撮像装置コントローラでは、パン、チルトが可能なカメラの稼動範囲をパノラマ画像として表示し、このパノラマ画像内で任意の領域を指定することで、指定した領域にカメラを容易に向けることができるようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、音声によって発言者の方向を検出する方法では、方向の誤差が大きく、発言者が画面の中央にくるようにカメラを制御することが難しいという問題点があった。また、音声によって発言者の方向を検出する方法では、発言者の大きさを検出することができないため、適切な画角で発言者に合わせることができないという問題点があった。一方、特開平８−２９８６５２号公報で開示された、画像を用いて検出する方法では、発言者ではない参加者も検出してしまうという問題点があった。したがって、音声や画像を用いて発言者を検出し、検出した方向にカメラを合わせる従来の方法では、カメラの向きや画角を手動で補正する必要があった。
【０００６】
これに対して、特開平１１−８８４４号公報で開示された方法では、パノラマ画像内で撮影したい領域を指定することにより、カメラの向きを制御することができる。しかし、この方法では、テレビ会議のように一度着席した場所からあまり動かないような場合においても、カメラの向きを変える度にパノラマ画像上で撮影領域を指定しなければならず、操作が煩わしいという問題点があった。
本発明は、上記課題を解決するためになされたもので、テレビ会議において撮影対象となる参加者を簡単に指定することができ、かつ参加者を適切に撮影することができるテレビ会議システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明のテレビ会議システムは、会議室内の参加者を撮影するカメラ（１）と、カメラパラメータに従って前記カメラの撮影方向および画角を制御するカメラ駆動手段（２）と、前記カメラ駆動手段によりカメラの撮像方向を変更することで会議室全体を撮影したパノラマ映像を生成し、生成したパノラマ映像から各参加者の人物映像を抽出し、各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像に基づいて計算する人物抽出部（４）と、前記人物抽出部で抽出された人物映像を記憶する人物映像記憶手段（６２）と、前記人物抽出部で計算されたカメラパラメータを記憶するカメラパラメータ記憶手段（６１）と、前記人物映像記憶手段に記憶された人物映像の中からオペレータが撮影対象として選択した人物映像に対応するカメラパラメータを前記カメラパラメータ記憶手段から読み出して前記カメラ駆動手段に出力し、前記カメラの撮影方向および画角を制御させる人物指示部（５）とを有するものである。本発明では、カメラ駆動手段により、カメラのパンチルト、ズームなどが制御可能である。
【０００８】
また、本発明のテレビ会議システムの１構成例として、前記人物抽出部は、撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第１パノラマ映像を生成する第１パノラマ映像生成手段（４１）と、この第１パノラマ映像の撮影時点とは別の時間に、撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第２パノラマ映像を生成する第２パノラマ映像生成手段（４２）と、前記第１パノラマ映像と前記第２パノラマ映像の差分に基づいて各参加者の人物映像を抽出し、この人物映像を前記人物映像記憶手段に格納する人物映像抽出手段（４３）と、各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像記憶手段に記憶された人物映像に基づいて計算し、このカメラパラメータを前記カメラパラメータ記憶手段に格納するカメラパラメータ計算手段（４４）とを有するものである。
また、本発明のテレビ会議システムの１構成例として、前記人物映像抽出手段は、前記第１パノラマ映像と前記第２パノラマ映像の差分の分布から人物映像が写っている領域を示す矩形領域を抽出するものである。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の実施の形態となるテレビ会議システムの構成を示すブロック図である。
本実施の形態のテレビ会議システムは、カメラ１と、カメラ１の撮影方向および画角を変更することができるカメラ駆動手段２とを有する。
【００１０】
テレビ会議におけるカメラ制御を行うために、本実施の形態では２つの段階に分けて処理を行う。まず、会議の初期段階における人物抽出処理は人物抽出部４で行われる。人物抽出部４は、カメラ１で撮影された会議室全体の映像から、会議に参加している各参加者の映像を抽出する。抽出された各参加者の映像は人物映像記憶手段６２に格納される。そして、人物抽出部４は、各参加者をカメラ１で適切に撮影するための方向と画角のカメラパラメータを参加者の映像毎に計算して、カメラパラメータ記憶手段６１に格納する。
【００１１】
次に、会議中の処理は人物指示部５で行われる。会議中は人物指示部５によってカメラを制御するオペレータが、人物映像記憶手段６２に蓄えられた人物映像から撮影対象となる参加者の人物映像を選択することにより、カメラ１を適切な方向に向けることができる。
【００１２】
以上が本実施の形態のテレビ会議システムの大まかな動作であるが、以下、人物抽出部４および人物指示部５についてより詳細に説明する。
図２は人物抽出部４の動作を示すフローチャート図、図３は人物抽出部４の動作を説明するための説明図である。図１に示すように、人物抽出部４は、第１パノラマ映像生成手段４１と、第２パノラマ映像生成手段４２と、人物映像抽出手段４３と、カメラパラメータ計算手段４４と、パノラマ映像記憶手段４５とを備えている。
【００１３】
まず、会議室に会議参加者がいない状態において、第１パノラマ映像生成手段４１は、カメラ駆動手段２に指示を出して、撮影可能な全ての方向について会議室内の映像をカメラ１で撮影させ、カメラ１で撮影された複数の映像をつなぎ合わせることで、図３（ａ）のような無人の会議室のパノラマ映像（以下、第１パノラマ映像と呼ぶ）を生成する（図２ステップ１０１）。
【００１４】
パノラマ映像を生成する方法としては、映像のつなぎ目の重複等をなくすために、特開平１１−８８４４号公報で開示されたように、カメラの周囲に仮想球面を設定して、カメラで撮影した映像を仮想球面へ写像した後、各映像を連結するようにしてもよいが、本実施の形態のようにテレビ会議におけるカメラ制御が目的の場合、少々の画素のずれは後の処理に影響を及ぼさないので、各映像を単純につなぎ合わせてもよい。第１パノラマ映像生成手段４１は、このようにして生成した第１パノラマ映像をパノラマ映像記憶手段４５に格納する。
【００１５】
次に、会議室に会議参加者が着席した状態において、第２パノラマ映像生成手段４２は、第１パノラマ映像生成手段４１と同様の動作を行い、図３（ｂ）のように会議参加者が存在する会議室のパノラマ映像（以下、第２パノラマ映像と呼ぶ）を生成する（ステップ１０２）。第２パノラマ映像生成手段４２は、生成した第２パノラマ映像をパノラマ映像記憶手段４５に格納する。
【００１６】
第１パノラマ映像と第２パノラマ映像が生成されると、人物映像抽出手段４３は、この２枚のパノラマ映像から各参加者の映像（以下、人物映像と呼ぶ）を抽出する（ステップ１０３）。ステップ１０３において、まず、人物映像抽出手段４３は、パノラマ映像記憶手段４５から第１パノラマ映像と第２パノラマ映像を読み出し、第１パノラマ映像と第２パノラマ映像の差分を求める。第２パノラマ映像には会議参加者が映っているので、第１パノラマ映像と第２パノラマ映像の差分をとることにより、図３（ｃ）に示すように会議参加者が映っている部分だけを抽出することができる。
【００１７】
続いて、人物映像抽出手段４３は、この差分の映像から人物映像を切り出す。
人物映像を切り出す処理を図４を用いて説明する。
ここで、第１パノラマ映像中の画素位置（ｘ，ｙ）における輝度をＹ１（ｘ，ｙ）、第２パノラマ映像中の画素位置（ｘ，ｙ）における輝度をＹ２（ｘ，ｙ）とする。
【００１８】
人物映像抽出手段４３が第１パノラマ映像と第２パノラマ映像の差分をとる際に、しきい値処理を施すことにより、第１パノラマ映像と第２パノラマ映像の差分映像は２値画像となる。このとき、画素位置（ｘ，ｙ）における差分映像Ｄ（ｘ，ｙ）は、次式のような計算で求められる。
Ｄ（ｘ，ｙ）＝０（｜Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）｜＜Ｔの場合）
Ｄ（ｘ，ｙ）＝１（｜Ｙ１（ｘ，ｙ）−Ｙ２（ｘ，ｙ）｜≧Ｔの場合）
・・・（１）
【００１９】
式（１）において、Ｔは予め決められたしきい値、｜｜は値の絶対値をとることを示す。差分映像Ｄ（ｘ，ｙ）の値は会議参加者が存在する領域の画素では「１」であり、存在しない領域の画素では「０」となる。
そして、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）から図４（ｂ）のように各ｘ座標毎の画素値の累積を示す垂直方向のヒストグラムＨ（ｘ）を計算する。このヒストグラムＨ（ｘ）は、次式のように計算することができる。
【００２０】
【数１】

【００２１】
式（２）において、ｈは差分映像の高さである。垂直方向のヒストグラムＨ（ｘ）は、会議参加者が存在する範囲では高い値を示し、存在しない範囲では０などの低い値を示す。したがって、ヒストグラムＨ（ｘ）が所定のしきい値以上の範囲を差分映像Ｄ（ｘ，ｙ）から切り出すことにより、会議参加者が存在する水平方向の範囲（以下、水平方向の存在範囲と呼ぶ）を抽出することができる。
【００２２】
次に、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）のうち抽出した水平方向の存在範囲について、各ｙ座標毎の画素値の累積を示す水平方向のヒストグラムＶ（ｙ，ｎ）を計算する。このヒストグラムＶ（ｙ，ｎ）は、次式のように計算することができる。
【００２３】
【数２】

【００２４】
ここで、ｎは垂直方向のヒストグラムＨ（ｘ）に基づいてｎ番目に抽出された水平方向の存在範囲を示す。よって、ヒストグラムＶ（ｙ，ｎ）はｎ番目に抽出された水平方向の存在範囲についての水平方向のヒストグラムである。また、ｗｎはｎ番目に抽出された存在範囲の水平方向の大きさである。
【００２５】
水平方向のヒストグラムＶ（ｙ，ｎ）は、会議参加者が存在する範囲では高い値を示し、参加者が存在しない範囲あるいは机等で参加者が隠れている範囲では０などの低い値を示す。したがって、ヒストグラムＶ（ｙ，ｎ）が所定のしきい値以上の範囲を、会議参加者が存在する垂直方向の範囲（以下、垂直方向の存在範囲と呼ぶ）として抽出することができ、この垂直方向の存在範囲と先に抽出した水平方向の存在範囲によって規定される矩形の領域（図４（ｃ））を各参加者が存在する領域として決定することができる。
【００２６】
そして、人物映像抽出手段４３は、差分映像Ｄ（ｘ，ｙ）から各参加者が存在する矩形の領域を切り出し、切り出した領域を人物映像として人物映像記憶手段６２に格納する。これで、ステップ１０３の処理が終了する。
【００２７】
次に、カメラパラメータ計算手段４４は、人物映像抽出手段４３によって抽出された各矩形領域毎（人物映像毎）にカメラパラメータを計算する（ステップ１０４）。すなわち、カメラパラメータ計算手段４４は、各矩形領域をカメラ１によって適切な大きさで撮影するためのカメラパラメータ（画角に関するカメラパラメータ、すなわちズームのデータ）を各矩形領域の大きさから計算すると共に、各矩形領域が画面の中央にくるように適切に撮影するためのカメラパラメータ（方向に関するカメラパラメータ、すなわちパンとチルトのデータ）を各矩形領域の位置から計算し、計算したカメラパラメータをカメラパラメータ記憶手段６１に格納する。以上で、人物抽出部４の動作が終了する。
【００２８】
人物抽出部４をこのように構成することでテレビ会議において、各参加者をカメラ１で適切に撮影するための方向と画角のカメラパラメータを計算することができる。
本実施の形態では、人物映像抽出手段４３で人物映像を抽出するときに、無人の会議室のパノラマ映像を第１パノラマ映像生成手段４１で生成し、参加者が着席した時点でのパノラマ映像を第２パノラマ映像生成手段４２で生成している。
【００２９】
休憩で会議参加者の着席順が変わった場合や、会議中に参加者が動いてしまい、計算したパラメータで参加者を撮影できなくなった場合には、人物抽出部４を再度起動させて、人物映像の抽出とカメラパラメータの計算をやり直したいことがある。しかし、一般に会議が進行中の場合や休憩中でも参加者が会議室に残っている場合など、会議室に参加者が完全にいない状態でパノラマ映像を生成するのが困難なことが起こりえる。
【００３０】
このような場合の人物抽出部４の動作を図５に示す。全員がすでに着席していた場合に、人物抽出部４を起動させると、第１パノラマ映像生成手段４１は、ステップ１０１で説明した方法により、図５（ａ）のように人物を含んだ第１パノラマ映像を生成する。続いて、第２パノラマ映像生成手段４２は、ステップ１０２で説明した方法により、図５（ｂ）のように第２パノラマ映像を生成する。
【００３１】
第１パノラマ映像を生成した時点と第２パノラマ映像を生成した時点では時間にずれがあるため、会議の参加者は多少なりとも動いており、この動きを第１パノラマ映像と第２パノラマ映像の差分（図５（ｃ））として抽出することができる。したがって、人物映像抽出手段４３は、ステップ１０３で説明した方法により、各参加者が存在する矩形の領域を切り出すことができる。そして、カメラパラメータ計算手段４４は、ステップ１０４で説明した方法により、各参加者を適切に撮影するためのカメラパラメータを計算することができる。
【００３２】
次に、人物指示部５の動作を説明する。図６は人物指示部５の動作を示すフローチャート図である。人物指示部５は、人物指示手段５１と、カメラパラメータ検索手段５２とを有する。人物指示手段５１は、各参加者の人物映像を表示する表示装置と、テレビ会議のオペレータによって操作されるマウスやキーボード等の入力手段とを備えており、人物映像記憶手段６２から各参加者の人物映像を読み出して、この人物映像を表示装置の画面に表示し、オペレータからの要求を受け付ける。
【００３３】
オペレータは、マウスやキーボード等の入力手段を操作して、会議室内のどの参加者をカメラ１で写したいのかを選択する（図６ステップ２０１）。このときの選択方法としては、表示装置の画面上にすべての参加者の人物映像を表示しておき、カメラ１で撮影したい参加者の人物映像をオペレータがマウスでクリックする方法や、オペレータがキーボードの矢印キーを操作して、撮影したい参加者の人物映像上にカーソルを移動させた後に、キーボードの決定キーを押す方法などが考えられる。
【００３４】
カメラパラメータ検索手段５１は、このようにして選択された人物映像に対応するカメラパラメータをカメラパラメータ記憶手段６１から検索して、読み出したカメラパラメータをカメラ駆動手段２に渡す（ステップ２０２）。カメラ駆動手段２は、カメラパラメータに従ってカメラ１を駆動し、カメラ１のパン、チルト及びズームを制御する（ステップ２０３）。こうして、オペレータによって選択された参加者が画面の中央に位置し、かつ適切な大きさで撮影されるようにカメラ１の方向と画角が制御される。
【００３５】
カメラ１で撮影された参加者の映像は、図示しない送信手段によって他のテレビ会議地点へ送信され、さらにモニタ３の画面に表示される。
なお、本実施の形態では、人物映像記憶手段６２で記憶されている人物映像を参加者選択のキーにしているが、人物映像が抽出された際にオペレータが人物映像に対応する参加者の名前を人物抽出部４に入力する手段を設けることで、人物映像と参加者の名前とを対応付けて人物映像記憶手段６２に記憶させることができ、これによりステップ２０１における参加者選択の際に人物映像の代わりに参加者名を表示装置の画面に表示して、参加者名で撮影したい参加者を選択することもできる。
【００３６】
また、カメラパラメータ記憶手段６１で記憶されているカメラパラメータは、第２パノラマ映像生成手段４２で第２パノラマ映像が生成された時点での参加者の方向、画角の大きさを示している。したがって、第２パノラマ映像の生成後に参加者の姿勢が変わったり、参加者が横にずれたりすると、方向や画角がずれることが考えられる。これに対処するため、カメラパラメータ検索手段５２でカメラパラメータを検索し、カメラ１を参加者の方向に向けた後、オペレータによって微調整を行う手段を設けてもよい。また、オペレータによる微調整ではなく、人物の動きを検出して自動的にカメラの中央にあわせるように人物を追跡する手段を設けてもよい。
【００３７】
【発明の効果】
本発明によれば、カメラで会議室全体を撮影した映像から各参加者の人物映像を抽出し、各参加者をカメラで適切に撮影するための方向と画角のカメラパラメータを人物映像に基づいて計算する人物抽出部と、オペレータが撮影対象として選択した人物映像に対応するカメラパラメータをカメラパラメータ記憶手段から読み出してカメラ駆動手段に出力し、カメラの撮影方向および画角を制御させる人物指示部とを設けることにより、撮影対象となる参加者を人物映像で指定することができるので、参加者の指定を容易にすることができ、カメラ制御の操作を簡単にすることができる。また、人物映像に基づいてカメラパラメータを計算するので、撮影対象となる参加者が画面の中央に位置し、かつ適切な大きさで撮影されるようにカメラの方向と画角を制御することができ、テレビ会議を行いやすくすることができる。また、撮影対象となる参加者をオペレータが人物映像で指定するので、従来の参加者検出方法のように、撮影対象でない参加者を検出してしまうといった問題が発生しなくなる。
【図面の簡単な説明】
【図１】本発明の実施の形態となるテレビ会議システムの構成を示すブロック図である。
【図２】人物抽出部の動作を示すフローチャート図である。
【図３】人物抽出部の動作を説明するための説明図である。
【図４】人物映像抽出手段の動作を説明するための説明図である。
【図５】無人の会議室映像が得られない場合の人物映像抽出手段の動作を説明するための説明図である。
【図６】人物指示部の動作を示すフローチャート図である。
【符号の説明】
１…カメラ、２…カメラ駆動手段、３…モニタ、４…人物抽出部、５…人物指示部、４１…第１パノラマ映像生成手段、４２…第２パノラマ映像生成手段、４３…人物映像抽出手段、４４…カメラパラメータ計算手段、４５…パノラマ映像記憶手段、５１…人物指示手段、５２…カメラパラメータ検索手段、６１…カメラパラメータ記憶手段、６２…人物映像記憶手段。

Claims

会議室内の参加者を撮影するカメラと、
カメラパラメータに従って前記カメラの撮影方向および画角を制御するカメラ駆動手段と、
前記カメラ駆動手段によりカメラの撮像方向を変更することで会議室全体を撮影したパノラマ映像を生成し、生成したパノラマ映像から各参加者の人物映像を抽出し、各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像に基づいて計算する人物抽出部と、
前記人物抽出部で抽出された人物映像を記憶する人物映像記憶手段と、
前記人物抽出部で計算されたカメラパラメータを記憶するカメラパラメータ記憶手段と、
前記人物映像記憶手段に記憶された人物映像の中からオペレータが撮影対象として選択した人物映像に対応するカメラパラメータを前記カメラパラメータ記憶手段から読み出して前記カメラ駆動手段に出力し、前記カメラの撮影方向および画角を制御させる人物指示部とを備えることを特徴とするテレビ会議システム。
請求項１記載のテレビ会議システムにおいて、
前記人物抽出部は、
撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第１パノラマ映像を生成する第１パノラマ映像生成手段と、
この第１パノラマ映像の撮影時点とは別の時間に、撮影可能な全ての方向について会議室内の映像を前記カメラで撮影させ、このカメラで撮影された複数の映像から会議室全体の第２パノラマ映像を生成する第２パノラマ映像生成手段と、
前記第１パノラマ映像と前記第２パノラマ映像の差分に基づいて各参加者の人物映像を抽出し、この人物映像を前記人物映像記憶手段に格納する人物映像抽出手段と、
各参加者を前記カメラで適切に撮影するための方向と画角のカメラパラメータを前記人物映像記憶手段に記憶された人物映像に基づいて計算し、このカメラパラメータを前記カメラパラメータ記憶手段に格納するカメラパラメータ計算手段とを有することを特徴とするテレビ会議システム。
請求項２記載のテレビ会議システムにおいて、
前記人物映像抽出手段は、前記第１パノラマ映像と前記第２パノラマ映像の差分の分布から人物映像が写っている領域を示す矩形領域を抽出することを特徴とするテレビ会議システム。