JP2616392B2 - 画像通信端末のユーザインタフェース - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像通信端末のユーザイ
ンタフェースに関するもので、特に臨場感の向上に関す
る。

【０００２】

【従来の技術】従来の画像通信は図６に示すように、相
手地点をビデオカメラなどの撮影部１１０により撮影
し、その画像信号を相手側に送信し、ＣＲＴなどの表示
部１１１によって表示していた。

【０００３】画像通信において背景画像と人物画像を合
成して表示する方法としては、従来は、図７に示すよう
に、受信側の従来の背景画像生成部７０１で背景画像を
生成し、画像合成部７０２でクロマキー手法などを用い
て合成し表示していた。また、クロマキー処理を送信元
で行い人物像のみを抽出し送信する方法もある。さら
に、クロマキー処理方式を多地点通信へ拡張したのが図
８（特開平3-79191）に示す方法である。

【０００４】図８において、各地点から送られてきた画
像信号はクロマキー装置８０５によって処理され特殊効
果装置８０３へ送られる。画像メモリー８０４は隣接し
た複数の表示装置８０１に映し出す背景画像情報を格納
しており、この背景画像情報は複数の表示装置８０１に
映し出したときに連続した画像となるような位置的に連
続した複数の情報である。背景画像と相手地点から送ら
れてきた画像は特殊効果装置８０３によって合成され、
表示装置８０１へ送られる。

【０００５】画像通信環境の照明について制御を行う従
来の方法には、図９（特開平2-119390）に示す方法があ
る。図９の方法は、利用者が送受器９０１を取ると、利
用者を照らすための照明が点灯する方式であり、送受器
９０１をオフフックすると、網制御回路９０２を通して
電流検出回路９０３がそれを検出し、照明部９０４や通
信端末の電源を投入する。また、カメラ部９０５は撮影
対象の周囲の明るさを感知し、照明の強さを周囲の明る
さにほぼ反比例するように照明部９０４を制御する。

【０００６】

【発明が解決しようとする課題】画像通信では臨場感の
向上が重要課題である。従来は、送信側で撮影された画
像をそのまま受信側で再生する装置が中心であった。こ
の装置では仮想対話空間である送信側画像と受信側の物
理的空間との境界を強調し、相手が目の前にいる感覚を
生み出す妨げとなっている。臨場感向上には相手地点か
ら送られてきた画像と自地点で物理空間の一体感や連続
感を高めることが有効で、画像と自地点の情報を一致さ
せる、または、連続的な印象を与えるように設計すると
いった装置がある。この一例が光源情報の一致である。

【０００７】光源情報とは、光源の明るさや種別、色、
位置、数、大きさといった光源の特性を表すものであ
る。相手側の光源条件と自地点側の光源条件に大きな差
があり、これら差異を考慮せずに画像を通信した場合に
は、相手地点から送られてきた画像と自地点条件との一
体感は得られにくくなる。光源情報の不整合は、通信す
る地点数が増えるほど大きくなり、画像がバラバラであ
る印象が強まる。

【０００８】しかし、図６に示したように、従来は光源
に関する情報はカメラが撮影する画像信号として伝達さ
れているだけで、双方の物理空間の光源情報を抽出し記
号化して相手側に伝達し対話空間生成に利用する装置は
行われていなかった。また、通信条件で照明を制御する
装置も図９のように、自地点画像通信端末に照明を取り
つけ、その明るさだけを制御するものである。

【０００９】図８は送信側の人物像のみを抽出し、一つ
の背景（仮想的な対話空間内）で多地点から送られてき
た画像を合成する装置だが、光源情報の一致については
考慮されていない。図１０の装置は光源位置を考慮した
表示装置だが、高品位の立体表示で特にＣＧ情報の表示
を目的とした装置であるため、画像通信のためには実空
間をＣＧ空間に変換する必要があり、かつ、光源情報の
検出部や解析部を付加しない限り対話空間間で光源情報
のやりとりができない。

【００１０】また、仮にこの装置に光源情報伝達機能を
付加しても、表示装置が目に近接させる装置なので、１
表示画像通信端末を複数人で共有するＴＶ会議システム
などでは使用できない。さらに、多地点通信の場合など
のように、別々の地点の画像を合成することができな
い。

【００１１】本発明の目的は、光源情報を画像とは別に
やりとりし、画像通信において自地点の光源情報と、相
手から送られてきた光源情報とから、相手地点から送ら
れてきた画像の背景を処理したり、自地点の照明条件を
制御することで、相手地点から送られてきた画像が自然
に見え、かつ、自地点と相手地点との連続感がある通信
対話空間を得ることである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
めの手段の要旨は以下の２項に存する。

【００１３】［１］ 撮影部及び表示部を具備して成る
画像通信端末に設けられ、相手地点における画像通信端
末に関する対話空間に基づいて自地点における画像通信
端末に関する対話空間を生成し該相手地点からの画像を
表示する画像通信端末のユーザインタフェースであっ
て、前記自地点及び前記相手地点の前記画像通信端末の
設置地点における光源に関する情報を検出し、光源情報
を生成する光源情報検出部と、前記相手地点から送信さ
れてきた該相手地点の前記光源情報及び自地点の前記光
源情報を解析し、合成光源情報を生成する光源情報解析
部と、該合成光源情報に基づいて前記対話空間における
背景画像を生成する背景画像生成部と、前記相手地点か
ら送られてきた前記画像と前記背景画像とを合成して表
示画像を生成する視覚情報合成部と、前記画像および前
記光源情報の送受信を前記相手地点との間で行う信号送
受信部とを備えて構成されたことを特徴とする画像通信
端末のユーザインタフェース。

【００１４】［２］ 撮影部及び表示部を具備して成る
画像通信端末に設けられ、相手地点における画像通信端
末に関する対話空間に基づいて自地点における画像通信
端末に関する対話空間を生成し該相手地点からの画像を
表示する画像通信端末のユーザインタフェースであっ
て、前記画像通信端末の設置地点の光源に関する前記情
報を検出しそれをもとに前記光源情報を生成する光源情
報検出部と、前記相手地点から送信されてきた前記光源
情報と前記自地点の前記光源情報とを解析し合成光源情
報を生成する光源情報解析部と、前記合成光源情報をも
とに対話空間のなかの照明条件を生成する照明条件生成
部と、前記相手地点と画像および前記光源情報の通信を
行う信号送受信部とを備えて構成されたことを特徴とす
る画像通信端末のユーザインタフェース。

【００１５】

【作用】第１の発明の画像通信端末のユーザインタフェ
ースによれば、端末設置地点の光源に関する情報を光源
情報検出部が検出して光源情報を生成し、それが通信部
を介して相手側へ送られる。相手地点から送信されてき
た光源情報と自地点の光源情報とを光源情報解析部が解
析し合成光源情報を生成する。合成光源情報をもとに背
景生成部が光源の整合性がとれた背景画像を生成する。
相手地点から送られてきた画像と背景画像は視覚情報合
成部で合成されて表示画像が生成され、その表示画像は
表示部によって表示される。信号送受信部は、撮影部が
撮影した画像情報と光源情報とを相手地点とやり取りす
る。

【００１６】第２の発明の画像通信端末のユーザインタ
フェースによれば、端末設置地点の光源に関する情報を
光源情報検出部が検出して光源情報を生成し、それが通
信部を介して相手側へ送られる。相手地点から送信され
てきた光源情報と自地点の光源情報とを光源情報解析部
が解析し合成光源情報を生成する。合成光源情報をもと
に照明環境生成部は自地点の照明環境を制御し光源の整
合性がとれた環境を生成する。信号送受信部は、撮影部
が撮影した画像情報と光源情報とを相手地点とやり取り
する。

【００１７】

【実施例】本発明において、光源情報、または、光源に
関する情報とは、光源や照明器具の位置や明るさ、光源
種別、光源の色温度、光源や照明器具の数量、光源の発
光面積、光の到達経路およびその透過率、光が到達する
途中に反射がある場合にはその反射物体の光学特性、直
接光か間接光かの違い、といった照明による室内演出等
で利用されるような情報一般を指す。

【００１８】これら情報は、従来の画像通信では画像信
号に含まれたままで抽出して２次的に利用する事は無か
ったが、本発明では光源情報検出部や光源情報解析部に
おいて光源情報を数値または記号または符号情報などに
変換し、画像信号とは独立した情報として扱うので、光
源情報の精密な伝送や対話空間生成時に用いるといった
２次的な利用が容易になる。

【００１９】また、本発明において、照明環境とは、照
明器具や自然光などによって照らされた、利用者が存在
している室内または物理空間の光学的な様子や特性の事
を指す。

【００２０】また、本発明において、対話空間とは、通
信端末内に生成された対話を行う仮想的な空間、あるい
は、利用者が対峙している立体空間全体のいずれかを指
す。前者の例は、画像によって表現された空間や、実物
模型によって表現された空間の事を指す。後者の例は、
利用者が遠隔相手の画像と対峙している実在の立体空間
全体の事を指し、前者と区別する場合には”物理的な対
話空間”と呼ぶ事にする。

【００２１】第１の発明の実施例について、図面を用い
て説明する。図１に第１の発明の画像通信端末のユーザ
インタフェースの一実施例を構成図で示す。この画像通
信端末１０１によれば、相手地点と光源情報のやり取り
が行われ、相手地点から送られてきた画像の陰影と自地
点の照明環境とが一致した臨場感のある対話空間が実現
できる。

【００２２】利用者がいる空間の光源に関する情報は光
源情報検出部１０２で検出され、自地点の光源情報１９
０が信号送信部１０５と光源情報解析部１０３とへ送ら
れる。信号送受信部１０５は自地点の光源情報１９０と
撮影部１１０から送られてきた利用者の画像信号１８２
を通信部を介して相手地点へ送信する。さらに、信号送
受信部１０５は相手地点から送られてきた画像信号１８
０を視覚情報合成部１０６へ送り、相手地点の光源情報
１９１を光源情報解析部１０３へ送る。

【００２３】光源情報解析部１０３では、自地点の光源
情報１９０と相手地点の光源情報１９１をもとに、生成
する背景の光源の位置や特性を決定し、合成光源情報１
９２を背景画像生成部１０４へ生成する。背景画像生成
部１０４は合成光源情報１９２に従って照明やその光源
の特性を設定し背景画像１９３を生成し視覚情報合成部
１０６へ送る。視覚情報合成部１０６では、相手地点か
ら送られてきた画像１８０と背景画像１９３を合成し、
合成画像１８１を表示部１１１へ生成する。

【００２４】請求項２の発明（第２の発明）の実施例に
ついて、図面を用いて説明する。図２に第２の発明の画
像通信端末のユーザインタフェースの一実施例を構成図
で示す。この画像通信端末２０１によれば、相手地点と
光源情報のやり取りが行われ、相手地点から送られてき
た画像の陰影と自地点の照明環境が一致した臨場感のあ
る対話空間が実現できる。

【００２５】利用者がいる空間の光源に関する情報は光
源情報検出部１０２で検出され、自地点の光源情報１９
０が信号送信部１０５と光源情報解析部２０３とへ送ら
れる。信号送受信部１０５は自地点の光源情報１９０と
撮影部１１０から送られてきた利用者の画像信号１８２
を通信部を介して相手地点へ送信する。さらに、信号送
受信部１０５は相手地点から送られてきた画像信号１８
０を表示部１１１へ送り、相手地点の光源情報１９１を
光源情報解析部２０３へ送る。

【００２６】光源情報解析部２０３では、自地点の光源
情報１９０と相手地点の光源情報１９１をもとに、自地
点の物理空間の光源の位置や特性を決定し、合成光源情
報２９２を照明環境生成部２０２へ生成する。照明環境
生成部２０２は合成光源情報２９２に従って自地点の物
理空間内の照明やその光源の特性を設定する。

【００２７】第１の発明と第２の発明の差異について説
明する。第１の発明は、背景画像と相手地点から送られ
てきた画像が信号レベルで合成され、表示部によって双
方が表示部内で同時に統合されて表示される場合の装置
である。一方、第２の発明は、例えば室内照明を直接制
御するといった、物理的な対話空間における照明環境を
制御する場合の装置であり、表示部内に表示される画像
に対して自地点側では光源情報に関する処理は加えな
い。仮想現実感によって通信のための環境が生成されて
いる場合には、それは信号的に処理されている仮想的な
対話空間であり、第１の発明の範疇に属する。

【００２８】第１の発明と第２の発明とでは、やりとり
される光源情報を共通の形式にすることで、互いに接続
し通信することができる。

【００２９】光源に関する情報および光源情報の端末間
でのやり取りについて、第１の発明の実施例の場合を例
に、図３を用いて詳しく説明する。第２の発明における
光源に関する情報の検出および光源情報のやり取りは、
第１の発明の方法に準ずる。送信側の画像通信端末のユ
ーザインタフェース１０１(s)の光源情報検出部１０２
(s)が送信地点の光源に関する情報を検出し受信側の画
像通信端末のユーザインタフェース１０１(r)の光源情
報解析部１０３へ光源情報１９１を送信し、同時に、受
信側の光源位置検出部１０２(r)が受信地点の光源に関
する情報を検出し光源情報解析部１０３へ光源情報１９
０を送る。光源情報解析部１０３では、双方の光源情報
１９０，１９１をもとに、受信側で作り出す背景画像の
光源に関する情報１９２を作りだし、背景画像生成部１
０４へ送る。背景画像生成部では、合成光源情報１９２
をもとに、送信側と受信側の照明環境の整合性がとれた
背景を作り出す。

【００３０】照明環境の整合性について説明する。照明
環境の整合とは、通信における相手地点から送られてき
た画像や端末内に作りだした仮想的な対話空間と、端末
利用者がいる物理的な空間（実空間）との連続性や一体
感を考える場合に、画像や対話空間と実空間の双方の光
源に関する環境が一致もしくは利用者が違和感を感じな
い程度までに差異が小さくなっている状態を指す。この
ように、対話空間の照明環境と実空間の照明環境とを近
づけることで、対話空間の実在感を向上させる事ができ
る。

【００３１】対話空間と実空間との照明環境の整合をと
る方法には、対話空間の仮想的な光源位置と、実空間の
光源の位置を一致させる方法、対話空間の光源vs被写体
間のベクトルと実空間の光源vs対話空間が表示／表現さ
れている実空間上での位置間のベクトルとの方向を一致
させる方法、照明の明るさや色温度を表示画面と一致さ
せる方法、光源の種別を一致させる方法、光源の数量や
発光面積や形状を一致させる方法などがあり、これらは
方法は組み合わせて実施される。

【００３２】第１の発明の背景画像の生成および表示画
像の生成について、図４を用いて詳しく説明する。第１
の発明では、背景画像生成部に背景画像４０２の原型と
なる原背景画像４０１が格納されている。原背景画像４
０１は様々な照明環境を生成できるような形式で表現さ
れており、原背景画像４０１内での仮想的な照明位置や
特性を与える事で任意の照明環境の背景が生成される。
例えば、原背景画像４０１は座標情報や形状情報として
実現される。従って、原背景画像４０１は仮想現実感の
ように、立体的な画像によっても実現される。また、実
写画像をコンピュータ処理して、色や明るさといったパ
レット情報を操作し、かつ、陰影情報を合成するといっ
た方法でも実現される。実空間と対話空間である表示画
像との連続性を考慮するならば、原背景画像は利用者が
いる実空間の環境との連続性がある画像を選ぶ。例え
ば、利用者が会議室で対話を行うならば、原背景画像に
はその会議室の環境を模倣した画像を選ぶ方が効果的で
ある。

【００３３】さらに、相手から送られてくる画像は、画
像合成による臨場感向上の効果を高めるため、クロマキ
ー処理などにより人物像のみが抽出されている方が望ま
しい。クロマキー処理は送信側で行う場合と受信側で行
う場合がある。クロマキー処理装置は、送信側で行う場
合には撮影部と信号送受信部の中間に、また、受信側で
行う場合には、信号送受信部と視覚情報合成部の中間に
設置される。さらに、視覚情報合成部の内部機能として
実現する場合もある。

【００３４】原背景画像４０１に対して、相手側の光源
情報１９１と自地点側の光源情報１９０の情報が加えら
れ、背景画像４０２が生成される。相手地点から送られ
てきた画像４０３と背景画像４０２が視覚情報合成装置
で合成され表示画像４０４が生成される。通常は、背景
画像４０２の上に相手地点から送られてきた画像４０３
が重なったように合成される。相手地点から送られてき
た画像がＣＧ空間内で扱える形式に変換して、ＣＧ空間
内で合成する方法もある。この場合には、ＣＧ空間内に
相手地点から送られてきた画像を数値的に処理できるの
で、対話空間内で相手地点から送られてきた画像と仮想
オブジェクト（ＣＧで表現された対象）との位置関係を
任意に設定する事ができ、立体感のある対話空間が作り
出される。

【００３５】第２の発明の照明環境の生成について説明
する。第２の発明では、実際に利用者がいる空間（実空
間）の照明環境、もしくは、実空間ではあるが、通信対
話専用領域として端末内などに特別に確保されており利
用者が外部に存在する空間の照明環境を制御する。後者
の例としては、ハーフミラーを用いた視線一致端末のハ
ーフミラーよりも後方に位置する空間などが挙げられ
る。また、透過型ＨＭＤを用いた場合もこの環境に相当
する。

【００３６】照明環境生成部には、照明装置や照明器具
の制御装置のほか、照明装置や照明器具や光源といった
照明部も含まれる。照明環境生成部が対話空間の照明の
全てを制御する場合と、部分的に制御する場合がある。

【００３７】光源の位置に関する整合性をとる例が図５
である。以下、利用者Ａの人物像５２４は平面像として
説明するが、人物像５２４が立体像の場合には、その立
体像の中心を通る切断平面などを考え、その切断平面を
以下で説明する平面の人物像５２４と置き換えて考える
ことで、人物像５２４が平面の場合と同様の扱いが可能
となる。

【００３８】光源Ａ５１１と光源Ｂ５２１は、例えば白
熱球などの実際の照明を示す。また、地点Ａの利用者Ａ
５１０は撮影装置５１３により撮影され、地点Ｂ５０２
の表示部により人物像５２４として表示されている。表
示部にはハーフミラーなどにより実空間に人物像が投影
される場合なども含まれる。地点Ａ５０１では、利用者
Ａ５１０の代表点５１８を原点とし鉛直方向と撮影装置
５１３の撮影軸とを基準とした単位座標系５１９がとら
れ、利用者代表点５１８と光源Ａ５１１との位置関係が
ベクトル５１２で表現される。利用者代表点は、利用者
の頭部や胸、へそといった、人物あるいは人物像の中心
に位置する点を選ぶのが望ましい。

【００３９】また、人物が存在する確率（状態密度）が
最も高い点を選ぶ場合もある。図５は利用者代表点５１
８として利用者Ａ５１０のへその部分を選んだ場合であ
る。このベクトル５１２と利用者代表点５１８に関する
情報が地点Ｂ５０２へ送られる。撮影した画像の平面座
標系における利用者代表点５１８の座標を地点Ｂ５０２
へ送る方法もある。

【００４０】地点Ｂ５０２へ送信された人物像５２４を
必要ならば平面で近似し、その放線ベクトルが利用者Ｂ
５２０の近傍を向き、かつ、人物像５２４は水平面と垂
直に交わりるように配置する。地点Ｂ５０２での単位座
標系５２９を、人物像５２４上に投影された利用者Ａの
代表点５２８を原点とし鉛直方向と人物像５２４の放線
ベクトルとを基準に、かつ、座標系５１９のスカラ倍と
して定義する。ベクトル５１２の座標系５２９における
写像ベクトル５２２の座標位置に光源Ｂ５２１を配置す
る。

【００４１】また、地点Ｂ５０２の対話空間に実在物体
５２５が配置されると、人物像５２４の陰影と実在物体
５２５の陰影との間に一連性が生まれ、人物像５２４の
存在感や実在感が高まる。実在物体５２５の例には模
型、室内什器などがある。

【００４２】位置以外の光源の特性や情報について整合
をとる際には、各属性について照明環境が可変となるよ
うに対話空間の照明環境を設計し制御を行う。例えば、
明るさの可変、光源のスペクトラムを変更できる、とい
った要素が挙げられる。

【００４３】第１の発明および第２の発明における、光
源に関する情報の検出について説明する。光源の種別は
室内照明のスペクトラム（スペクトル）分布で判別でき
る。これには、ＣＣＤなどの撮影装置から得た画像信号
を解析する方法、帯域の違うＮＤフィルタを利用した光
センサを利用する方法、分光器を用いる方法などがあ
る。明るさ情報についても、光源種別を測定した際に得
られたスペクトラム分布を利用して検出できるほか、ホ
トダイオード、ＣｄＳ、太陽電池といった半導体素子や
熱電錐、光電子増倍管などの光検出素子や装置を用いて
検出する方法がある。

【００４４】光源の位置は、撮影範囲や撮影装置や被験
者の位置との相対位置を測定する。光学的に測定するた
めには、検出器の位置を既知とし、検出器の光受動素子
に入射する方向範囲（立体角）を必要な解像度が得られ
るよう一定範囲に制限し、検出器を回転させるなどして
全方向（全立体角）、あるいは、実用的には上半球につ
いて光強度を測定する事により、照明（光源）と検出器
との角度関係が得られる。距離については、検出器を２
台設置する、１台の検出器を既知な距離だけ移動させる
などして三角測量の手法で検出できる。また、間に透明
な障害物がない場合には超音波などを利用した距離セン
サを利用できる。

【００４５】端末設置時に、光源に関する情報をあらか
じめ端末内に登録しておく事で、光源情報の生成が容易
になる。例えば、設置箇所の照明の位置や照明の種別を
端末に登録しておき、設置箇所と撮影範囲との相対的な
位置関係が検出できるようにしておく事で、光源位置や
個数といった情報は数値的に計算できる。このような情
報の登録や記憶などの管理は光源情報解析部に機能を付
加することで実現できる。

【００４６】光源情報の合成について説明する。光源情
報の合成とは、相手側の照明環境と自地点側の照明環境
とを比較し、自地点側での表示を自然なものにするため
の情報を生成する事である。例えば、光源が双方で１つ
ずつあり、対話空間の相手側光源の仮想位置と自地点の
光源の位置とが異なる場合には、背景画像や対話空間で
は、仮想位置の光源が追加され、２つの光源として環境
が設定される。また、光源のスペクトラムが双方で異な
る場合には、双方の照明のスペクトラムの和として設定
される。この相手地点と自地点の光源情報の合成の方法
は、第１の発明の場合と第２の発明の場合で違いがあ
る。

【００４７】第１の発明の場合には、自地点側の照明環
境は制御不可なので、自地点の光源情報の優先度が高
く、従って、背景画像を生成する際には、自地点の光源
を優先して画像生成される。相手側の照明環境と自地点
側の照明環境が極端に異なる場合には、相手地点から送
られてきた画像に対して画像処理を施し、自地点の照明
環境との整合がとりやすいように調整を加える必要が生
ずるが、相手側から送られてきた照明情報と自地点の照
明情報の差分情報を用いる事で、相手地点から送られて
きた画像の解析をしなくても調整処理が可能となる。

【００４８】第２の発明の場合には、自地点側の照明環
境が制御できるため、相手側と自地点側とのどちらの情
報を優先する、あるいは、同等に扱う、といった条件設
定が可能となる。第２の発明では、仮想的に相手と照明
環境を共有する事が可能になり、理想的には同じ照明の
下に対話を行っている感覚が得られる。双方の照明環境
生成部が同一であり、照明環境生成部以外に照明源がな
ければ、照明環境の整合性をとることは容易になる。し
かし、端末が制御できない照明環境要素が対話空間に存
在する場合には、完全に双方の照明環境の整合性を取る
事が困難になる。この場合、端末が制御できない照明要
素について照明環境生成部の環境生成範囲内で整合がと
れるならば、臨場感向上の効果が得られる。

【００４９】対話空間の全ての照明環境が制御不可な場
合には、強調照明という方法をとる。ここでいう強調照
明とは、たとえばスポットライトのように、特定の領域
だけを従来照明よりも明るさを強調するもので、かつ、
点光源性が強い照明の事を指す。強調照明を双方で用い
る事で、制御不可な照明の要素を弱め、疑似的に対話空
間内の全ての照明環境要素が制御可能な状況を作り出す
事ができる。

【００５０】第２の発明の端末同士を接続した場合に
は、互いに自地点の照明環境の制御を自由に開始する
と、制御点の振動を起こし、いつまでも制御が完了せず
に環境が変動しつづけ安定しなくなる可能性がある。そ
こで、これを防ぐために、一方の端末の制御を停止して
おき、その間に他方の環境を設定する方法がある。つま
り、どちらか一方の対話空間を基準にとる方法である。
この場合、照明環境生成部の能力が優れている方を制御
側にする方が良い。また、最初に双方の照明環境の制御
を停止しておき、光源情報を端末間でやり取りし、生成
する照明環境を決定してから、対話空間の照明環境を設
定して制御を完了する方法もある。あらかじめ標準照明
環境を用意しておき、端末起動時に対話空間を標準照明
環境に設定する事で制御のオーバーシュートなどを防止
することができる。

【００５１】多地点への拡張について説明する。地点数
が増えた場合には対話空間の設計が難しくなる。各地点
がばらばらな光源情報をもつ場合、それを単純に合成し
ても、光源の数が増える、平均化されるなどといった、
特徴のない環境が生成されることになる。むしろ、各地
点の画像情報を統合する仮想的な共有対話空間を定義
し、その共有対話空間に特徴的な照明環境を設定し、自
地点の照明環境を共有対話空間と一致するように制御す
る方法が効果的である。

【００５２】表示部や撮影部は装置毎に特性の違いがあ
り、高度に照明環境との整合がとれた環境を得るために
は、これら表示部や撮影部の特性が既知である必要があ
る。これら表示部や撮影部の特性は、必要ならばあらか
じめ光源情報解析部に登録されており、必要に応じて光
源情報と同様に相手地点とやりとりされる。表示部や撮
影部の明るさに関する感度、色温度といった情報がこれ
に相当する。

【００５３】なお、本発明の実施例では音声の対話空間
は含まれていないが、相手地点と対話を行う場合には音
声は重要なので、実際に通信を行う場合には、信号送受
信部に音声通信の機能を付加する、または、別に音声用
の通信系統を用意することで、相手地点と音声を交えた
対話が行われる。

【００５４】

【発明の効果】以上説明した通り、本発明が提供する画
像通信端末のユーザインタフェースを用いる事により、
双方の物理空間の光源の位置や明るさといった光源情報
を記号化し、かつ、画像信号とは分離して相手地点とや
りすることができるようになり、その光源情報をもとに
して利用者が対峙する画像の背景や室内環境を制御、調
整し、相手地点と光源についての環境が一致したよう
な、相手側との連続感のある対話空間が作り出され、相
手地点との意思疎通や作業が円滑の行えるといった効果
的な対話空間が実現できる。

【００５５】対話を行っている室内環境で照明を制御す
る場合にも、自地点側の照明の明るさを制御するだけで
なく、相手側の照明も連動して制御されるため、照明に
関する環境の整合性をより厳密にとることができるよう
になる。さらに、複数の地点から送られてきた人物像を
一つの背景内（仮想的な対話空間内）で合成する場合に
おいて、各人物画像と背景画像との光源情報を一致させ
る際にも、画像処理についてはクロマキー処理装置やＣ
Ｇ生成装置といった、従来から広く利用されている画像
処理装置や画像処理方式が利用できるため、低コストで
実現できる。

【００５６】さらに、光源情報を２次利用が可能な形で
伝送できるようになり、背景画像の照明環境を自由に変
更して生成する事ができ、相手地点から送られてきた画
像を自地点で生成した背景画像と合成する際に光源につ
いての条件を自動的に一致させることができ、相手地点
から送られてきた画像が自然に見え、かつ、自地点と相
手地点との連続感がある通信対話空間が得られる。

【図面の簡単な説明】

【図１】第１の発明の一実施例を示す画像通信端末のユ
ーザインタフェースの構成図である。

【図２】第２の発明の一実施例を示す画像通信端末のユ
ーザインタフェースの構成図である。

【図３】第１の発明の実施例を用いた光源情報のやり取
りの様子を示す図である。

【図４】第１の発明の実施例において表示画像を生成す
る様子を示す図である。

【図５】第２の発明の実施例において光源の位置に関す
る情報をやり取りする様子を示す図である。

【図６】従来の画像通信の構成図である。

【図７】従来の画像通信で背景を自地点側で生成する場
合の構成図である。

【図８】従来の画像通信用入生成装置の構成図である。

【図９】従来のテレビ電話機の構成図である。

【符号の説明】

１０１，２０１ 画像通信端末のユーザインタフェー
ス １０２ 光源情報検出部 １０３，２０３ 光源情報解析部 １０４ 背景画像生成部 １０５ 信号送受信部 １０６ 視覚情報合成部 １０９ 通信回線 １１０ 撮影部 １１１ 表示部 １８０，４０３ 相手地点から送られてきた画像 １８１，４０４ 表示画像 １８２ 自地点画像 １９０ 自地点の光源情報 １９１ 相手側の光源情報 １９２，２９２ 合成光源情報 １９３，４０２ 背景画像 ２０２ 照明環境生成部 ２０８ 対話空間 ４０１ 原背景画像 ５０１ 相手地点である地点Ａ ５０２ 自地点である地点Ｂ ５１０ 相手地点の利用者である利用者Ａ ５１１ 相手地点の光源Ａ ５１２ 利用者Ａと光源との位置関係を示すベクトル ５１３ 撮影装置 ５１８ 利用者Ａの代表点 ５１９ 地点Ａにおける、利用者Ａの代表点を原点と
した単位座標系 ５２０ 自地点の利用者である利用者Ｂ ５２１ 自地点の光源Ｂ ５２８ 像５２４に投影された利用者Ａの代表点 ５２９ 地点Ｂにおける、利用者Ａの像５２４を原点
とした単位座標系 ５２２ 単位座標系５２９におけるベクトル５１２の
写像ベクトル ５２４ 利用者Ａの像 ５２５ 地点Ｂに設置された実在物体 ７０１ 従来の背景画像生成部 ８０１ 表示装置 ８０２ テレビカメラ ８０３ 特殊効果装置 ８０４ 画像メモリー ８０５ クロマキー装置 ９０１ 送受器 ９０２ 網制御回路 ９０３ 電流検出回路 ９０４ 照明部 ９０５ カメラ部

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 撮影部及び表示部を具備して成る画像通
   信端末に設けられ、相手地点における画像通信端末に関
   する対話空間に基づいて自地点における画像通信端末に
   関する対話空間を生成し該相手地点からの画像を表示す
   る画像通信端末のユーザインタフェースであって、 前記自地点及び前記相手地点の前記画像通信端末の設置
   地点における光源に関する情報を検出し、光源情報を生
   成する光源情報検出部と、 前記相手地点から送信されてきた該相手地点の前記光源
   情報及び自地点の前記光源情報を解析し、合成光源情報
   を生成する光源情報解析部と、 該合成光源情報に基づいて前記対話空間における背景画
   像を生成する背景画像生成部と、 前記相手地点から送られてきた前記画像と前記背景画像
   とを合成して表示画像を生成する視覚情報合成部と、 前記画像および前記光源情報の送受信を前記相手地点と
   の間で行う信号送受信部とを備えて構成されたことを特
   徴とする画像通信端末のユーザインタフェース。
2. 【請求項２】 撮影部及び表示部を具備して成る画像通
   信端末に設けられ、相手地点における画像通信端末に関
   する対話空間に基づいて自地点における画像通信端末に
   関する対話空間を生成し該相手地点からの画像を表示す
   る画像通信端末のユーザインタフェースであって、 前記画像通信端末の設置地点の光源に関する前記情報を
   検出しそれをもとに前記光源情報を生成する光源情報検
   出部と、 前記相手地点から送信されてきた前記光源情報と前記自
   地点の前記光源情報とを解析し合成光源情報を生成する
   光源情報解析部と、 前記合成光源情報をもとに該光源によって生成される対
   話空間の照明条件を生成する照明条件生成部と、 前記相手地点と画像および前記光源情報の通信を行う信
   号送受信部とを備えて構成されたことを特徴とする画像
   通信端末のユーザインタフェース。