JPH0522722A

JPH0522722A - 画像通信用入出力装置

Info

Publication number: JPH0522722A
Application number: JP3172606A
Authority: JP
Inventors: Kenji Nakazawa; 憲二中沢; Shinichi Shiwa; 新一志和; Kenji Akiyama; 健二秋山
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-07-12
Filing date: 1991-07-12
Publication date: 1993-01-29
Anticipated expiration: 2017-06-10
Also published as: JP3289730B2

Abstract

(57)【要約】【目的】多人数が出席するテレビ会議において、経済
的に、通信相手の任意の人と視線が合った状態で会話が
できるようにする。【構成】複数人Ｍ₁〜Ｍ₃，ＭＴ₁〜ＭＴ₃が出席するテ
レビ会議において、複数台のカメラＣ₁〜Ｃ₃で撮像した
映像を、それぞれの出席者Ｍ₁，Ｍ₂，Ｍ₃の対面する通
信相手ＭＴ₁，ＭＴ₂，ＭＴ₃のみの画像として送信し、
通信相手の表示スクリーン５には、表示スクリーンに使
用しているレンチキュラーレンズによって、送信された
画像のみが表示画面(1)，(2)，(3)表示され、かつ、そ
の表示画像は複数台カメラＣ₁，Ｃ₂，Ｃ₃で撮像した画
像に相当した数を表示できる。これは、複数台のカメラ
が、あたかも会議への出席者の代わりに通信相手の目前
に出席していることに対応する。また、表示スクリーン
にも、出席者があたかも通信相手の目前に位置している
かのように画像が表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話会議システ
ム、テレビ電話システムにおいて臨場感の高い画像通信
用入出力装置に関する。

【０００２】

【従来の技術】画像通信技術の発達により遠隔地にいる
相手の顔画像を見ながら会議や打ち合せができるテレビ
電話会議システムやテレビ電話が実用に供給されてい
る。

【０００３】ところで、テレビ電話会議システムやテレ
ビ電話システムは、通信会議を意識させないような自然
な、臨場感のある、また表情などをうまく読み取られる
撮像、表示方法を必要としている。以下、臨場感を高め
る技術として視線一致による画像通信用入出力装置と３
次元による画像通信用入出力装置を説明する。

【０００４】図６は、現在実用に供されているテレビ電
話会議システムの撮像、表示方法を説明するための図で
ある。図６の(1)，(2)は夫々遠隔地にあるテレビ電話会
議システムの各端末を示し、表示デバイスの表示画面１
に両端末の通信相手Ｍ₁〜Ｍ₃，ＭＴ₁〜ＭＴ₃が向い、表
示画面１から離れた位置にカメラ２が配置されている。
例えば、両端末に夫々３人の出席者Ｍ₁〜Ｍ₃，ＭＴ₁〜
ＭＴ₃により会議が進められているとき、表示はＣＲＴ
のような直視型のデバイスを用いる方法が最も一般的で
あるが、ＣＲＴや液晶表示パネルを用いた投射型による
方法も表示サイズが大きくなった場合には使われやすく
なる。この方法は構成が極めて簡単であるが、表示デバ
イスの表示画面１に表示される通信相手Ｍ₁〜Ｍ₃，ＭＴ
₁〜ＭＴ₃の顔の位置から離れた場所にカメラ２が設置さ
れているために、通信相手との視線が一致しないという
問題があった。

【０００５】上記の問題点を解決するため、画像表示装
置の表示画面を遮ることなくカメラを被写体人物像の視
線の中に設置する方法として、ハーフミラーを使用した
視線一致型の表示・撮像装置が知られている。

【０００６】図７はハーフミラーを使用した視線一致型
の表示・撮像装置の構成例である。観察者Ｍはハーフミ
ラー３を介してＣＲＴのような表示装置４を観察してい
る。同時に観察者Ｍの顔は撮像装置２(カメラ)によって
撮像されているため、観察者Ｍの視線は撮像装置２(カ
メラ)の方向に向いており、通信相手の視線に一致した
顔画像が伝送されることになる。

【０００７】上述した従来の技術では１人対１人の通話
においては、視線の一致した臨場感に富んだ会議が実現
できるが、複数人が出席する会議においてはそれぞれの
出席者の視線が一致した通信会議を実現できない。次
に、複数人が出席するテレビ会議で、なぜ視線が一致し
ないかを説明する。

【０００８】図８は視線不一致を説明する図である。例
えば、３人対３人の通信会議を仮定する。表示デバイス
の表示スクリーン５には通信相手であるＭＴ₁，ＭＴ₂，
ＭＴ₃の３人の映像が表示されている。また、Ｍ₁，
Ｍ₂，Ｍ₃の３人が会議に出席していると仮定する。カメ
ラ２，２′は表示デバイスである表示スクリーン５，
５′の後方中心部に設置されているとする。

【０００９】はじめに、Ｍ₂が通信相手のＭＴ₂と会話す
るときには視線が一致することを説明する。Ｍ₂は表示
スクリーン５の中央部に表示されているＭＴ₂と会話し
ているため、等価的に表示スクリーン５の後方中心部に
設置されているカメラ２を見ていることになる。このカ
メラ２で撮像されたＭ₁，Ｍ₂，Ｍ₃の像は通信相手であ
るＭＴ₁，ＭＴ₂，ＭＴ₃の表示スクリーン５′に表示さ
れる。ＭＴ₂の像は表示スクリーン５′の中央部に正面
を向いた像として表示されるため、あたかも、ＭＴ₂を
見ているかのように表示されることになる。同様に、Ｍ
Ｔ₂の像もＭ₁，Ｍ₂，Ｍ₃の表示スクリーン５の中心部に
正面像として表示されるため、Ｍ₂と通信相手のＭＴ₂は
視線の一致した会話を行うことができる。

【００１０】次に、Ｍ₁と通信相手のＭＴ₁との会話では
決して視線が一致しないことを説明する。Ｍ₁はＭＴ₁と
会話するために表示スクリーン５の端に表示されたＭＴ
₁に顔を向けることになる。表示スクリーン５の後方中
心部に設置したカメラ２からＭ₁の横顔のＭ₁像を撮像
し、その画像がＭＴ₁の表示スクリーン５′に投影され
る。ＭＴ₁は表示スクリーン５′上に投影された横に視
線を向けたＭ₁像を観察するために、視線が一致した会
話を実現することができない。同様に、Ｍ₂とＭＴ₂以外
の組合せでは、上記カメラ１台と表示画像１面の構成で
は、視線の一致した会話を実現することは困難である。

【００１１】臨場感を高める方法として、２次元画像の
通信ではなく、人間が普通に眼に感じている３次元画像
を通信に利用しようとする試みがある。１例として多眼
式レンチキュラーレンズを表示スクリーンとして用いた
装置を説明する。図９は多眼式レンチキュラーの原理を
示した図であり、図中、６はレンチキュラーシートを示
す。これは１個のレンズの中にはａ，ｂ，ｃ，…ｆと記
した部分に、それぞれａ′，ｂ′，ｃ′，…ｆ′という
多方向から撮像したストライプ状の画像を表示する。レ
ンチキュラーシート６のレンズ板の作用によって各方向
のストライプ像は左右の眼Ｅ_L，Ｅ_Rに別々に入り、視点
を移動Ｓ_L，Ｓ_Rすれば横方向の立体画像を見ることがで
きる。

【００１２】この装置では、カメラを目の間隔以下で多
数連続して配置すれば、どの方向から見ても、あたかも
そこに存在するかのような立体感が得られる。したがっ
て、カメラを通話者の目の位置程度に、かつ、目の間隔
以下で多数配置すれば、表示スクリーンに表示されてい
る任意の相手と、かつ同時に、通話者同士の任意の組合
せで視線の一致した通信を実現できる。

【００１３】しかしながら、この３次元の装置では多数
のカメラを使用するため、通信すべき画像情報が膨大に
なる。また、通信に関与する人数に関係なく多数のカメ
ラを使用するため不経済である。10インチ程度までの小
画面を取り扱う範囲では現実的に可能性があるが、100
インチ以上の大画面になってくると膨大な画像情報を考
慮すると現実的でなくなる。

【００１４】

【発明が解決しようとする課題】このように、従来、臨
場感を実現する手段として視線一致装置や、３次元装置
が積極的に提案されているが、視線一致装置では１対１
までの通信しか考慮しておらず、３次元装置は臨場感通
信の究極の解であるが現実的な解ではない。

【００１５】本発明は、従来の技術では多人数が出席す
るもとでのテレビ電話会議において、経済的に、通信相
手の任意の人と視線が合った状態で会話を行うことがで
きなかったことを可能にすることを目的とする。

【００１６】

【課題を解決するための手段】本発明は、拡散板とレン
チキュラーシートからなる表示スクリーンと、複数台の
撮像機と、少なくとも１台の投影機とを含む画像通信用
入出力装置において、前記投影機からの投影画像は前記
複数台の撮像機からの撮像画で合成され、かつ、該投影
画像は、第１の撮像機からの第１番目のライン画素、第
２の撮像機からの第１番目のライン画素という具合いに
それぞれの撮像機から同じ順番のライン画素を並べ、す
べての撮像機から同じ順番のライン画素を配列した後
に、次の順番のライン画素を上記と同様に並べて合成さ
れ、かつ、前記レンチキュラーシートの１個のレンズが
同じ順番のライン画素からなる１組のストライプを覆う
ように配置され、かつ、前記表示スクリーンの観察場所
では、複数台の撮像機で撮影された画像の数に対応する
観察位置が存在するように前記レンチキュラーシートの
レンズの焦点距離と曲率およびレンズピッチを設定した
ことを特徴とする。

【００１７】

【作用】本発明によれば、複数人が出席するテレビ会議
において、複数台のカメラで撮像した映像を、それぞれ
の出席者の対面する通信相手のみの画像として送信し、
通信相手の表示スクリーンには、表示スクリーンに使用
しているレンチキュラーレンズによって、送信された画
像のみが表示され、かつ、その表示画像は複数台のカメ
ラで撮像した画像に相当した数を表示できる。これは、
複数台のカメラが、あたかも会議への出席者の代わりに
通信相手の目前に出席していることに対応する。また、
表示スクリーンにも、出席者があたかも通信相手の目前
に位置しているかのように画像が表示される。

【００１８】

【実施例】図１は本発明による画像通信用入出力装置を
用いた会議風景を示した図である。Ｍ₁，Ｍ₂，Ｍ₃は会
議出席者であり、ＭＴ₁，ＭＴ₂，ＭＴ₃は通信相手であ
る。それぞれの出席者に対してそれぞれの表示画面があ
るため、表示スクリーン５には３面の画面が投影されて
いる。

【００１９】図２は本発明による撮像と表示の原理図で
ある。それぞれの出席者はそれぞれの表示スクリーン表
示画面を観察している。すなわち、出席者Ｍ₁は表示画
面(1)を、出席者Ｍ₂は表示画面(2)を、出席者Ｍ₃は表示
画面(3)を観察している。撮像はそれぞれの出席者に等
価的に対向した位置のカメラ(表示スクリーンに内蔵も
しくは表示スクリーンの前方に配置)で行われる。すな
わち、表示画面(1)は出席者Ｍ₁に対向した通信相手ＭＴ
₁の前に設置されたカメラＣ₃で撮像された画像であり、
同様に表示画面(2)はカメラＣ₂で撮像された画像、また
は表示画面(3)はカメラＣ₁で撮像された画像である。

【００２０】したがって、各々の出席者はあたかも自分
が通信相手の目前にいるかのような画像を見ることがで
きる。例えば、ＭＴ₁がＭ₁を見ているときには、Ｍ₁用
のカメラＣ₃を見ていると等価になり、Ｍ₁に対して視線
が一致した画像が撮像される。また、ＭＴ₁がＭ₃を見て
いるときには、Ｍ₃にはカメラＣ₁で撮像された画像が送
信されるため、Ｍ₃に対して視線が一致した画像が撮像
される。一方、Ｍ₁には視線が一致していないＭＴ₁の画
像が送信されることになる。

【００２１】以上から、複数の表示画面をもつ表示スク
リーンを用いれば、複数人が出席する会議においても、
出席者Ｍ₁，Ｍ₂，Ｍ₃と通信相手ＭＴ₁，ＭＴ₂，ＭＴ₃と
の間では、任意の組合せで視線の一致した通信が実現で
きる。

【００２２】次に、本発明による複数の表示画面を作成
する原理について説明する。図３はプロジェクタによる
背面投射方式による本発明の実施例である。また図４は
プロジェクタ８の方向から見たストライプ状の画素の投
影方法である。表示スクリーン５はレンチキュラーシー
ト６と拡散板７を最小構成要素として構成されている。
拡散板７は表示スクリーン５の後方に配置したプロジェ
クタ８(液晶プロジェクタ)からの投影光に対する表示面
として作用する。図中のＣ，Ｂ，Ａはそれぞれ別々のカ
メラから撮像された画像の１ラインの画素の集合で、
Ｃ，Ｂ，Ａの３ラインの画素がストライプ状のレンチキ
ュラーレンズ１ラインの中に入るように投影する。

【００２３】図５は観察者が３人いる場合にそれぞれの
表示画面をもつようにするためのレンチキュラーレンズ
の設定を説明する図である。図のＬは観察者の観察領域
の幅、Ｓは表示スクリーンから観察者までの距離、ｆ′
はレンズの焦点距離、Ｐはレンズのピッチ、Ｐ_pは１画
素のピッチ、Ｐ′は３画素を１単位とする画素のピッチ
である。観察領域を３分割するために、レンズのピッチ
Ｐは画素のピッチＰ′に比べて狭くしている。Ａの表示
画素による画像は観察者(Ａ)に投影され、同様にＢの表
示画素による画像は観察者(Ｂ)へ、Ｃの表示画素による
画像は観察者(Ｃ)へ投影される。それぞれの観察領域
(斜線図示)の幅やレンズピッチ等のパラメータは次の比
例関係から決定する。

【００２４】

【数１】ｆ′／Ｐ_p＝Ｓ／Ｌ

【００２５】

【数２】ｍ／２×Ｐ′：ｍ／２×Ｐ＝（Ｓ＋ｆ′)：Ｓここでｍはレンズの数である。次にレンズの曲率を計算
機を用いて決定してレンズ設定を行う。

【００２６】

【発明の効果】以上説明したように本発明の画像通信用
入出力装置は、１つの表示スクリーンで該表示スクリー
ンを観察する角度に依存した画面を提供できるため、多
人数が出席するテレビ電話会議において通信相手の任意
の人と視線のあった自然な臨場感に富んだ会議を実現で
きる。

【図面の簡単な説明】

【図１】本発明による画像通信用入出力装置を用いた会
議風景を示した図である。

【図２】本発明による撮像と表示の原理図である。

【図３】本発明のプロジェクタによる背面投射方式を用
いた実施例である。

【図４】プロジェクタの方向から見たストライプ状の画
素の投影方法である。

【図５】観察者が３人いる場合にそれぞれ表示画面をも
つようにするためのレンチキュラーレンズの設定を説明
する図である。

【図６】現在実用に供されているテレビ電話会議システ
ムの撮像、表示方法を説明するための図である。

【図７】ハーフミラーを使用した視線一致型の表示・撮
像装置の構成例である。

【図８】視線不一致を説明する図である。

【図９】多眼式レンチキュラーの原理を示した図であ
る。

【符号の説明】

２…カメラ、５，５′…表示スクリーン、６…レン
チキュラーシート、７…拡散板、８…プロジェク
タ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/74 Ｋ 7205−5Ｃ

Claims

【特許請求の範囲】

【請求項１】拡散板とレンチキュラーシートからなる
表示スクリーンと、複数台の撮像機と、少なくとも１台
の投影機とを含む画像通信用入出力装置において、前記投影機からの投影画像は前記複数台の撮像機からの
撮像画で合成され、かつ、該投影画像は、第１の撮像機からの第１番目のラ
イン画素、第２の撮像機からの第１番目のライン画素と
いう具合いにそれぞれの撮像機から同じ順番のライン画
素を並べ、すべての撮像機から同じ順番のライン画素を
配列した後に、次の順番のライン画素を上記と同様に並
べて合成され、かつ、前記レンチキュラーシートの１個
のレンズが同じ順番のライン画素からなる１組のストラ
イプを覆うように配置され、かつ、前記表示スクリーン
の観察場所では、複数台の撮像機で撮影された画像の数
に対応する観察位置が存在するように前記レンチキュラ
ーシートのレンズの焦点距離と曲率およびレンズピッチ
を設定したことを特徴とする画像通信用入出力装置。
【請求項２】投影機に液晶プロジェクタを用いること
を特徴とする請求項１記載の画像通信用入出力装置。
【請求項３】表示スクリーンへの投影は該表示スクリ
ーンの後方に配置した投影機から行われることを特徴と
する請求項１記載の画像通信用入出力装置。
【請求項４】複数台の撮像機は表示スクリーンに内蔵
もしくは表示スクリーンの前方に配置されていることを
特徴とする請求項１記載の画像通信用入出力装置。