JPH0481088A - 視線一致型の人物映像表示・撮像装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビ会議、テレビ電話などにおける会議参加
者の視線を一致させて撮像する視線一致型の人物映像表
示・撮像装置に関するものである。

（従来の技術） 画像通信技術の発達により遠隔地にいる相手の顔画像を
見ながら会議や打ち合わせができるテし・ビ会議システ
ムやテレビ電話システムが実用に供されている。テレビ
会議システムやテレビ電話システムでは、通信会議を意
識させないような自然な、臨場感のある、また表情など
をうまく読み取れる撮像、表示方法を必要としている。

ＣＲＴ等の画像表示装置を介してのお互いの視線を一致
させて撮像する方法は、自然で、臨場感のある、また表
情などをうまく読み取れるシステム実現のための有効な
手段である。

しかしながら、視線の一致を実現するためにカメラをＣ
ＲＴ等の映像表示装置の前面部に設置するとカメラが表
示装置の表示面を遮ってしまうため、現在のこれらのシ
ステムでは、映像表示装置の上や横に設置している。こ
の結果、通信相手には斜め上方や横から見た顔画像が送
信されてしまい、お互いの視線はＣＲＴ等の映像表示装
置を向いているので、視線を一致させた会議や打ち合わ
せが実現されていなかった。

上記の問題点を解決するため、映像表示装置の表示面を
遮ることなくカメラを被写体人物像の視線の中に設置す
る方法として、従来では、ハーフミラ−を使用した視線
一致型表示・撮像装置が知られている。

第１２図はハーフミラ−を使用した表示・撮像装置の構
成例を示す図であり、１は表示装置、２はハーフミラ−
１３は撮像装置、４は観察者である。

観察者４はハーフミラ−２を介して表示装置１を観察し
ている。同時に観察者４の顔は、撮像装置３により撮像
されるため、観察者４の視線は撮像装置３の方向を向い
ており、通信相手に視線の一致した顔画像が伝送される
ことになる。

（発明が解決しようとする課題） しかしながら、上記従来の視線一致型表示・撮像装置で
は、 ■　撮像装置３は観察者４から見えないようにするため
、外部からの光を遮断するための箱に納め固定しなけれ
ばならず、装置が大型になる。

■　観察者４は常にハーフミラ−２を介して表示装置１
を観察しなければならず、その結果、表示面の輝度およ
び撮像装置の光量が低減するため、臨場感が低下してし
まう。

■　本装置は、上述したように大型であり、また表示面
の輝度が低減しているため、他の用途に用いること、た
とえばテレビ表示やコンピュータ表示として併用するこ
とが困難である。

■　本装置は、マルチウィンドウにより多画面で画像を
撮像表示するには、その構成上、可成り面倒である。

という開運点がある。

（発明の目的） 本発明の請求項（１）記載の発明は、従来の視線一致型
の人物映像表示・撮像装置の大型化、表示輝度や撮像光
量が低減するための臨場感の低下、他の表示装置への転
用の困難さを解決し、通信会議を意識させない自然な、
臨場感のある、また表情などをうまく読み取れる、視線
一致型の人物映像表示・撮像装置を提供することを目的
とする。

また、請求項（２）及び（３）記載の発明は前記目的に
加え、マルチウィンドウによる多画面で画像を撮像表示
することが容易にできる視線一致型の人物映像表示・撮
像装置を提供することを目的とする。

（課題を解決するための手段） 本発明は上記課題を解決し目的を達成するため、請求項
（１）記載の発明は、映像表示装置の表示画面前面部に
映像入力装置または該装置の一部を設置する装置におい
て、前記設置された映像入力装置または該設置の一部の
水平、垂直方向の位置を検出する手段と、該検出手段で
得られた位置情報を基に前記映像入力装置または該装置
の一部により隠蔽される部分に対するウィンドウを前記
表示画面上に発生させる手段と、前記映像入力装置また
は該装置の一部を移動に応じて前記ウインドウを追従さ
せる手段とを有することを特徴とする請求項（２）記載
の発明は、マルチウィンドウによる多画面で受信する動
画・静止画等の単数または複数の画像を表示できる映像
表示装置の表示画面前面部に映像入力装置または該装置
の一部を設置する装置において、前記設置された映像入
力装置または該設置の一部の水平、垂直方向の位置を検
出する手段と、該検出手段で得られた位置情報を基に前
記映像入力装置または該装置の一部により隠蔽される部
分に対するウィンドウを前記表示画面上に発生させる手
段と、前記映像入力装置または該装置の一部を移動に応
じて前記ウィンドウを追従させる手段と、前記ウィンド
ウの表示位置と前記受信画像のウィンドウの数に応じて
、ウィンドウの大きさ２表示位置を設定する手段とを有
することを特徴とする 請求項（３）記載の発明は、映像入力装置または該装置
の一部を駆動する手段と、受信画像のウィンドウの数に
応じて受信画像のウィンドウの大きさを最大にするよう
に前記映像入力装置または該装置の一部により隠蔽され
る部分に対するウィンドウの表示位置、ウィンドウの大
きさ９表示位置を変化させる手段を有することを特徴と
する。

（作　用） 本発明の請求項（１）記載の発明は、従来のハーフミラ
−を用いた視線−散型の表示・撮像装置の問題点である
装置の大型化、表示輝度の低減、撮像光量の低減、他の
表示装置としての併用の困難さを解決するために、超小
型カメラヘッド部を有するＣＣＤ超小型カメラを使用し
、該超小型カメラを表示装置の前面に配置して観察者を
撮像し、該超小型カメラで隠される表示面はカメラウィ
ンドウと呼ばれるウィンドウでマスクし、カメラウィン
ドウの表示位置は超小型カメラの設置場所に応じて移動
し、通信相手人物像のじゃまにならない位置にカメラウ
ィンドウを表示することにより、視線の一致した撮像を
行う。

また、本発明の請求項（２）及び（３）記載の発明は上
記請求項（１）の発明の作用のほか、受信画像は受信画
像数に応じて、カメラウィンドウにじゃまされない位置
に最大限表示できる大きさに拡大。

縮小されて表示されることにより、視線の一致した撮像
を行う。

（実施例） 第１図ないし第５図は本発明の請求項（１）記載に係る
発明の実施例図を示し、第１図は第１の実施例の構成図
を示す。図において、■はＣＲＴ等の表示装置、５−１
は超小型カメラ支持体、６は水平方向カメラ移動部兼位
置検出部、７は垂直方向カメラ移動部兼位置検出部、８
は超小型カメラヘッド部、９は超小型カメラ透明支持板
、ＩＯはカメラ接続ケーブル、１１はカメラコントロー
ルユニット（ＣＣＵ）、１２はウィンドウ発生制御部、
１３は網側側部、１４は表示画面合成部である。

次に動作を説明すると、超小型カメラヘッド部８で撮像
された人物像はカメラ接続ケーブル１０を介してＣＣＵ
ＩＩに入力される。ＣＣＵＩＩがらは通信相手に送信さ
れる人物映像が網側側部１３に転送され、網側側部Ｉ３
からネットワークに送出される。

超小型カメラヘッド部８は超小型カメラ透明支持板９で
支えられ、この超小型カメラ透明支持板９は超小型カメ
ラ支持体５−１に取り付けられた水平方向、垂直方向移
動部兼位置検出部６，７により夫々左右、上下に移動可
能である。超小型カメラ支持体５−１の枠内には表示装
置１への外光の反射をなくするためのフィルタ等が取り
付けられる。

水平方向、垂直方向移動部兼位置検出部６，７により検
出された水平方向と垂直方向の位置情報はウィンドウ発
生制御部１２に転送される。このウィンドウ発生制御部
１２は、位置情報に基づいて、超小型カメラヘッド部８
で隠される表示部分の大きさのカメラウィンドウ１５（
第２図参照）を発生する。該カメラウィンドウは表示画
面合成部１４で相手人物像に合成され、表示装置ｌに表
示される。

網側側部１３で受信された通信相手人物映像は表示装置
１に送出され、表示される。観察者は表示装置１に表示
された相手人物像のじゃまにならない位置に超小型カメ
ラヘッド部８を移動させ、該移動位置には、超小型カメ
ラヘッド部８がカメラウィンドウ１５で表示させる。

第２図は前記第１図の表示画面合成部１４にて表示され
るカメラウィンドウ表示装置の例を示し、第２図（１）
は正面図、（２）はその側面図を夫々示す。

図において、１５はカメラウィンドウであって、本表示
例では超小型カメラヘッド部８に付随するカメラ接続ケ
ーブル１０の部分も合せてウィンドウで表示している。

第３図は前記第１の実施例（第１図）で示したカメラ支
持体５−］の代わりに、アーム型の構造を持つ支持体を
示している。５−２はアーム型超小型カメラ支持体であ
る。ここで、Ｏはアースと水平線のなす角度、ｒはアー
ムの支持点から超小型カメラヘッド部８までの距離であ
る。

この超小型カメラヘッド部８はアーム型超小型カメラ支
持体５−２の先端に取り付けられる。超小型カメラヘッ
ド８部の位置検出はアームの角度Ｏと超小型カメラヘッ
ド部８までの距離ｒから求めることができる。

第４図は本発明の第２の実施例の構成を示す図であり、
水平方向カメラ移動部兼位置検出部６、（たたし垂直方
向カメラ移動部兼位置検出部７は１式）、超小型カメラ
ヘッド部８、超小型カメラ透明支持板９、カメラ接続ケ
ーブルｌＯ、カメラコントロールユニット（ＣＣＵＨＩ
を複数（３式）設置した場合である。

これは３式の超小型カメラヘッド部８からの画面を合成
するために送出画面合成部１６を備え、ｉ前記第１の実
施例では、基本的に１者対１者を行っているが、本実施
例では３者対３者の通信を実現している。

上記３台のカメラで撮像された３人の観察者の映像は送
出画面合成部１６で１画面の画像に合成され、網制御部
１３に転送され、網制御部１３からネ・ソトワークに送
出される。本実施例では、３人の観察者をそれぞれ３台
のカメラで撮像しているため、３人の観察者は常に正面
のカメラで撮像されるので、常に視線が一致した状態で
通信が行える。

第５図は、前記第４図の表示画面合成部１４にて表示さ
れるカメラウィンドウ表示位置の例を示す。

本表示例では３人の観察者がいて、それぞれを超小型カ
メラで撮像したときのカメラウィンドウ１５の表示例を
示す。

次に第６図ないし第Ｈ図は本発明の請求項（２）及び（
３）記載に係る発明の実施例図を示し、第６図は第３の
実施例の構成図を示す。図において、送出画面合成部１
６を除く１．５〜１５は前記第１図。

第４図と同様の各部であり、１７は受信映像拡大・縮小
部、１８は表示画面制御部であり、夫々綱制御部Ｉ３に
より制御される構成となっている。

次に動作を説明すると、超小型カメラヘッド部８で撮像
された人物像はカメラ接続ケーブルｌＯを介してＣＣＵ
ＩＩに入力される。このＣＣＵＩＩからは通信相手に送
信される人物画像が網制御部１３に転送され、網制御部
１３からネットワークに送出される。

ネットワークから受信した画像は、網制御部１３に入力
され、受信した画像の数を把握する。網制御部１３から
の受信画像は受信映像拡大・縮小部１７に、受信画像数
は表示画面制御部１８にそれぞれ転送される。

超小型カメラヘッド部８は超小型カメラ透明支持板９で
支えられ、この超小型カメラ透明支持板９は超小型カメ
ラ支持体５に取り付けられた水平方向、垂直方向移動部
兼位置検出部６，７により左右、上下に移動可能である
。超小型カメラ支持体５の枠内には表示装置１への外光
の反射をなくすためのフィルタ等が取り付けられる。水
平方向、垂直方向移動部兼位置検出部６，７により検出
された超小型カメラ位置は表示画面制御部１８に転送さ
れる。

ここで、表示画面制御部１８における受信画像ウィンド
ウ拡大・縮小情報、受信画像ウィンドウ位置情報の決定
法を以下に説明する。まず、超小型カメラ位置情報に基
づきカメラウィンドウを表示する範囲を判断する。

次に、網制御部１３から転送される受信画像数に基づき
、該受信画像をカメラウィンドウを除く表示画面上に最
大で表示できるように、受信画像表示位置、表示の大き
さを決定する。最後に、該受信画像表示位置、拡大・縮
小率をそれぞれウインドウ発生制御部１２、受信映像拡
大・縮ｚＪＸ部１７に転送する。

ウィンドウ発生制御部１２では、超小型カメラ水平、垂
直方向位置情報に応じて、超小型カメラヘッド部８が隠
れる大きさのカメラウィンドウ１５を発生し、表示画面
合成部１４に転送する。

また、網制御部１３から受信映像拡大・縮小部１７に転
送された受信画像は、表示画面制御部Ｉ８で指示された
大きさに拡大・縮小され、ウィンドウ発生制御部１２に
転送される。このウィンドウ発生制御部１２では、表示
画面制御部１８で指示された受信画像表示位置情報に基
づいてウィンドウ表示位置を決定し、受信画像ウィンド
ウとして表示画面合成部１４に転送される。この表示画
面合成部１４に転送された該カメラウィンドウ１５と該
受信画像ウィンドウは、合成処理され、表示装置ｌに送
出されて表示される。

第７図は、前記第６図の表示画面制御部１８の指示より
ウィンドウ発生制御部１２、受信映像拡大・縮小部１７
にて制御される受信画像ウィンドウ表示位置、受信画像
ウィンドウ表示の大きさ、カメラウィンドウ表示位置の
例を示す。

（ａ）−１は対地数１、すなわち１対１通信の場合の表
示例である。（ａ）−２は（ａ）−１の超小型カメラの
位置を変化させたときの表示例である。

（ｂ）−１は対地数２、すなわち３者通信の場合の表示
例である。（ｂ）−２は（ｂ）−１の超小型カメラの位
置を変化させたときの表示例である。（Ｃ）■は対地数
３、すなわち４者通信の場合の表示例である。（ｃ）−
２は（ｃ）−１の超小型カメラの位置を変化させたとき
の表示例である。（ｄ）−１は対地数４、すなわち５者
通信の場合の表示例である。

（ｄ）−２は（ｄ）−１の超小型カメラの位置を変化さ
せたときの表示例である。これ以上の対地数については
、表示画面制御部Ｉ８により、超小型カメラ位置に応じ
て最適な受信画像の大きさ、表示位置を決定する。

第８図は本発明の第４の実施例の構成図を示し、図にお
いて、１９は水平・垂直方向駆動制御部、２０゜２１は
それぞれ水平、垂直方向駆動部である。第１の実施例で
は超小型カメラヘッド部８の位置と受信画像数に応じて
受信画像ウィンドウの大きさ、表示位置を変化させてき
たが、本実施例では、表示画面制御部１８が受信画像数
に応じて、最大に表示できる受信画像ウィンドウの拡大
・縮小率と表示位置、視線の一致を妨げない範囲内での
超小型カメラ位置を決定している点が異なっている。

ここでは、異なっている点についてのみ説明する。表示
画面制御部１８で決定された超小型カメラヘッド部８の
位置情報は水平、垂直方向駆動制御部１９に転送され、
水平、垂直方向駆動部２０．２１を駆動し、超小型カメ
ラヘッド部８の位置を変化させている。

また、表示画面制御部１８で計算され、超小型カメラ８
の位置にじゃまされない残りの表示領域に表示できる最
大の大きさの受信画像の拡大・縮小率は、受信映像拡大
・縮小部１７に転送され、拡大・縮小される。

第９図は超小型カメラヘッド部の移動可能範囲の例を示
し、この中ならば視線一致を妨げず、人物像を良好に撮
像できる範囲を示す。２２はカメラヘッド部移動可能範
囲である。

第１０図は、表示画面制御部１８の指示によりウィンド
ウ発生制御部１２にて制御される受信画像ウィンドウ表
示位置、カメラウィンドウ表示位置、受信画像の拡大の
例を示す。

第１０図（ａ）は対地数１、すなわち１対１通信の場合
の表示例である。以下に具体的表示例に従って説明する
。表示画面制御部１８は、対地数が１であることから超
小型カメラの位置を例えば***に、受信画像拡大率を
該超小型カメラの下に表示可能な最大範囲として決定す
る。決定された超小型カメラの位置情報は水平、垂直方
向駆動制御部１９に転送され、水平、垂直方向駆動部２
０．２１で超小型カメラヘッド部８が駆動される。同時
に、超小型カメラの位置情報はウィンドウ発生制御部１
２に転送される。

また、受信画像拡大率は受信映像拡大・縮小部１７に転
送され、拡大・縮小処理された後、ウィンドウ発生制御
部１２に転送される。ウィンドウ発生制御部１２に転送
されたカメラウィンドウと受信画像ウィンドウは、表示
画面合成部１４に転送され、合成されて表示装置１に送
出され、表示される。

第１０図（ｂ）は対地数２、すなわち３者通信の場合の
表示例である。（ｃ）は対地数３、すなわち４者通信の
場合の表示例である。（ｄ）は対地数４、すなわち５者
通信の場合の表示例である。これ以十の対地数について
は、表示画面制御部１８により、最適な起体型カメラ位
置、受信画像の大きさ、受信画像の表示位置を決定する
。

なお、第１及び第２実施例では、カメラウィンドウを表
示している領域には受信画像ウィンドウを表示していな
いが、この領域に文書または他に受信した画像などの表
示ウィンドウを重畳して表示する事も可能である。必要
なときに該ウィンドウをカメラウィンドウによりじゃま
されない範囲に表示して観察することができる。

第１１図はカメラウィンドウを表示している領域に文書
または他に受信した画像などの表示ウィンドウを重畳し
て表示する例を示す図である。２３は受信画像ウィンド
ウ、２４はデッド領域、２５はデッド領域に表示された
画像である。

（ａ）は対地数２の場合の表示例を示す。デッド領域２
４に文書または他に受信した画像なとの表示ウィンドウ
を重畳して表示している。

（ｂ）は対地数３の場合の表示例を示す−カメラウィン
ドウ１５が右上から表示さｔている例である一デッド領
域２４に文書または他に受信した画像なとの表示ウィン
ドウを重畳して表示している。

なお、上記請求項（１）〜（３）の発明の各実施例にお
いては、表示画面は人物像を仮定して説明してきたが、
会議なとでは文書等を画面に表示する場合もある。本発
明では、文書などが表示された場合でも人物像と同様に
撮像することが可能である。

この場合でも、表示装置に表示された文書を観察中の人
物の視線は表示面の方向を向いているので、通信相手側
では視線を一致した会議が可能となる。

（発明の効果） 以上説明したように本発明の請求項（１）−（３’）記
載の発明では、超小型カメラを使用し該カメラを超小型
カメラ支持体に設置（９、該超小型カメラ支持体を表示
装置の前面に設置し、該カメラを該表示装置に表示され
ている相手人物像のじゃまにならない範囲に移動し、該
カメラの設置位置に応じてカメラで遮られる範囲をカメ
ラウィンドウで表示する視線一致型の人物表示・撮像装
置であるから、撮像装置自体は小型化できる。

また、表示装置の表示輝度、撮像装置の撮像光量は減少
しないため臨場感の低下は起こらない。

また、使用時には通常の表示装置の前面に小型カメラ支
持体を設置するだけなので、該表示装置を他の表示ｉｆ
ｆとして併用することが容易である。

という利点がある。

また、請求項（２）及び（３）記載の発明は、マルチウ
ィンドウにより多数の対地数においても最適な受信画像
の大きさ、表示位置に表示が決定され、利用に便ならし
めている。

【図面の簡単な説明】

第１図ないし第５図は本発明の請求項（１）記載の発明
の実施例図を示し、第１図は第１の実施例の構成図、第
２図は第り図のカメラウィンドウ表示装置の表示例を示
す図、第３図は第１図のカメラ支持体の代りにアーム型
の支持体による一例図、第４図は第２の実施例の構成図
、第５図は第４図のカメラウィンドウ表示装置の表示例
を示す図である。第６図ないし第１１図は本発明の請求
項（２）及び（３）記載の発明の実施例図を示し、第６
図は第３の実施例の構成図、第７図は第６図のカメラウ
ィンドウ表示装置の表示例を示す図、第８図は第４の実
施例の構成図、第９図は第８図のカメラヘッド部の移動
可能範囲を示す図、第１０図は受信。 画像ウィンドウ表示位置、カメラウィンドウ表示位置、
受信画像の拡大の例を示す図、第１１図は文書と画像の
重畳表示例を示す図である。第１２図は従来の視線一致
型の撮像装置の構成例を示す図である。 １　・・・表示装置、　２　・・・ハーフミラ−３・・
・撮像装置、　４　・・・観察者、５−１・・・超小型
カメラ支持体、５−２・・アーム型超小型カメラ支持体
、　６　・・　水平方向カメラ移動部兼位置検出部、　
７　・・・垂直方向カメラ移動部兼位置検出部、　８　
・・超小型カメラヘッド部、　９　・・超小型カメラ透
明支持板、　ｌＯ・・・カメラ接続ケーブル、１１・・
・カメラコントロールユニット（ＣＣＵ）、　１２・　
ウィンドウ発生制御部、１３・・・網制御部、１４　　
・・表示画面合成部、　１５・・・カメラウィンドウ、
　１６・・・送出画面合成部、　１７　　・・受信映像
拡大・縮小部、１８・・・表示画面制御部、１９・・・
水平垂直方向駆動制御部、２０・・・水平方向駆動部、
２１・・・垂直方向駆動部、２２・・・カメラヘッド部
移動可能範囲、２３・・・受信画像ウィンドウ、　２４
・・・デッド領域、２５・・・デッド領域に表示された
画像。 特許出願人　日本電信電話株式会社 第 図 第 図 第 図 第 図 ２２７７メラヘ・・、１も捗重り酊態忙園第 図 （ａ） （ｂ） ４！諌考 卜 図 ２ハーフ五う 〆

Claims (3)

【特許請求の範囲】
1. （１）映像表示装置の表示画面前面部に映像入力装置ま
   たは該装置の一部を設置する装置において、前記設置さ
   れた映像入力装置または該設置の一部の水平、垂直方向
   の位置を検出する手段と、該検出手段で得られた位置情
   報を基に前記映像入力装置または該装置の一部により隠
   蔽される部分に対するウィンドウを前記表示画面上に発
   生させる手段と、前記映像入力装置または該装置の一部
   を移動に応じて前記ウィンドウを追従させる手段とを有
   することを特徴とする視線一致型の人物映像表示・撮像
   装置。
2. （２）マルチウィンドウによる多画面で受信する動画・
   静止画等の単数または複数の画像を表示できる映像表示
   装置の表示画面前面部に映像入力装置または該装置の一
   部を設置する装置において、前記設置された映像入力装
   置または該設置の一部の水平、垂直方向の位置を検出す
   る手段と、該検出手段で得られた位置情報を基に前記映
   像入力装置または該装置の一部により隠蔽される部分に
   対するウィンドウを前記表示画面上に発生させる手段と
   、前記映像入力装置または該装置の一部を移動に応じて
   前記ウィンドウを追従させる手段と、前記ウィンドウの
   表示位置と前記受信画像のウィンドウの数に応じて、ウ
   ィンドウの大きさ、表示位置を設定する手段とを有する
   ことを特徴とする視線一致型の人物映像表示・撮像装置
   。
3. （３）映像入力装置または該装置の一部を駆動する手段
   と、受信画像のウィンドウの数に応じて受信画像のウィ
   ンドウの大きさを最大にするように前記映像入力装置ま
   たは該装置の一部により隠蔽される部分に対するウィン
   ドウの表示位置、ウィンドウの大きさ、表示位置を変化
   させる手段を有することを特徴とする請求項（２）記載
   の視線一致型の人物映像表示・撮像装置。