JPH08237629A - 視差修正および存在感を提供するビデオ会議システムおよび方法 - Google Patents
視差修正および存在感を提供するビデオ会議システムおよび方法Info
- Publication number
- JPH08237629A JPH08237629A JP7299286A JP29928695A JPH08237629A JP H08237629 A JPH08237629 A JP H08237629A JP 7299286 A JP7299286 A JP 7299286A JP 29928695 A JP29928695 A JP 29928695A JP H08237629 A JPH08237629 A JP H08237629A
- Authority
- JP
- Japan
- Prior art keywords
- image
- conference
- conference participant
- participant
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 遠隔で提示されるイメージの中で、現実に対
応した頭の向きによる実在感と、目の触れ合いが可能な
テレビ会議システムを提供する。 【解決手段】 本発明のテレビ会議システムにおいて、
各会議室28、26に、会議参加者のイメージフレーム
を表すビデオ信号を生成するビデオカメラ30、32
と、遠隔の会議参加者A、Bのイメージフレームを表示
するイメージ受像器22、24がある。そのイメージ受
像器とビデオカメラと、その場所の会議参加者の目とが
視差角θを定義する。テレビ会議システムはさらに、ビ
デオ信号に対応して、その場所の会議参加者のイメージ
フレームを分析し、視差補償されたフレームを生成する
ための、フレーム生成システム34を含む。それぞれに
視差補償されたフレームを表す信号は、対応するイメー
ジ受像器に送信される。3人以上の参加者がいる場合
は、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。
応した頭の向きによる実在感と、目の触れ合いが可能な
テレビ会議システムを提供する。 【解決手段】 本発明のテレビ会議システムにおいて、
各会議室28、26に、会議参加者のイメージフレーム
を表すビデオ信号を生成するビデオカメラ30、32
と、遠隔の会議参加者A、Bのイメージフレームを表示
するイメージ受像器22、24がある。そのイメージ受
像器とビデオカメラと、その場所の会議参加者の目とが
視差角θを定義する。テレビ会議システムはさらに、ビ
デオ信号に対応して、その場所の会議参加者のイメージ
フレームを分析し、視差補償されたフレームを生成する
ための、フレーム生成システム34を含む。それぞれに
視差補償されたフレームを表す信号は、対応するイメー
ジ受像器に送信される。3人以上の参加者がいる場合
は、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。
Description
【0001】
【発明の属する技術分野】この発明はビデオ会議(テレ
ビ会議)に関し、特に、見ている者と、離れた位置で見
られている者の対応するイメージとの間に見かけ上の目
の触れ合い(アイコンタクト)が提供されるビデオ会議
システムおよびその技術に関する。
ビ会議)に関し、特に、見ている者と、離れた位置で見
られている者の対応するイメージとの間に見かけ上の目
の触れ合い(アイコンタクト)が提供されるビデオ会議
システムおよびその技術に関する。
【0002】
【従来の技術】ビデオ会議システムの主な目的の一つ
は、離れた位置の人の間の相互の働きかけのための有効
な手段を提供することである。他の会議参加者を見てそ
れに反応できるということは、すべての会議の進行にと
って重要なことである。したがって、姿が見えるという
ことは、ビデオ会議システムが満足するべきもっとも重
要な基準の一つである。さらに、会議中に、誰が誰を見
ているかが見えることが望ましい。
は、離れた位置の人の間の相互の働きかけのための有効
な手段を提供することである。他の会議参加者を見てそ
れに反応できるということは、すべての会議の進行にと
って重要なことである。したがって、姿が見えるという
ことは、ビデオ会議システムが満足するべきもっとも重
要な基準の一つである。さらに、会議中に、誰が誰を見
ているかが見えることが望ましい。
【0003】すべてのビデオ会議システムは、各場所
(サイト)に、離れた所の会議参加者を表示し、その場
所の参加者のイメージを取り込むために、少なくとも一
台のモニタと少なくともー台のカメラを使用する。ビデ
オ会議システムにおけるこれらの要素の現状の構成から
生じる課題には、いわゆる「視差効果」があり、これに
より、話す人と、その人の話し相手であって離れた場所
にいて見ている人との間の目の触れ合いの感覚が妨げら
れる。この効果は、基本的に、モニタとそれを見る人に
対するカメラの相対的位置関係の結果から生じている。
(サイト)に、離れた所の会議参加者を表示し、その場
所の参加者のイメージを取り込むために、少なくとも一
台のモニタと少なくともー台のカメラを使用する。ビデ
オ会議システムにおけるこれらの要素の現状の構成から
生じる課題には、いわゆる「視差効果」があり、これに
より、話す人と、その人の話し相手であって離れた場所
にいて見ている人との間の目の触れ合いの感覚が妨げら
れる。この効果は、基本的に、モニタとそれを見る人に
対するカメラの相対的位置関係の結果から生じている。
【0004】視差効果は図1に示される。図1からわか
るように、会議参加者AとBはそれぞれ、他方の参加者
のイメージを表示する窓をもつ表示装置12、14を見
る。各表示装置に隣接して、その対応する見る人のイメ
ージを取り込むためのビデオカメラが配置されている。
各カメラは、たとえば表示装置の上か下かまたは横に置
かれる。図1に示す従来システムでは、カメラ16、1
8はそれぞれ、表示装置12、14のすぐ上に取り付け
られている。角度θは見る人Aから見たカメラ16と表
示装置12とのなす角度である。参加者Aはカメラ16
ではなくて参加者Bの表示イメージを直接見ているの
で、Aの表示されたイメージは下を見ているように見え
る。視差効果は、参加者Bの表示イメージにも同様に現
れる。
るように、会議参加者AとBはそれぞれ、他方の参加者
のイメージを表示する窓をもつ表示装置12、14を見
る。各表示装置に隣接して、その対応する見る人のイメ
ージを取り込むためのビデオカメラが配置されている。
各カメラは、たとえば表示装置の上か下かまたは横に置
かれる。図1に示す従来システムでは、カメラ16、1
8はそれぞれ、表示装置12、14のすぐ上に取り付け
られている。角度θは見る人Aから見たカメラ16と表
示装置12とのなす角度である。参加者Aはカメラ16
ではなくて参加者Bの表示イメージを直接見ているの
で、Aの表示されたイメージは下を見ているように見え
る。視差効果は、参加者Bの表示イメージにも同様に現
れる。
【0005】視差効果は、カメラとモニタをできるだけ
近くに置くことによって最小に抑えられる。実際、視差
効果を取り除くためのこれまでの試みは、カメラを、特
殊構造の表示スクリーンの背後に直接に設置することに
頼っていた。たとえば、1977年10月18日付けで
Poieierらに発行された米国特許4,054,908号では、見る
人のイメージが、斜めの反射板によって反射されてカメ
ラに届く。見る人は、反射板の中の窓を通して表示スク
リーンを見る。しかし、開口板の中の窓の存在は、見る
人にとって少しうっとうしい。
近くに置くことによって最小に抑えられる。実際、視差
効果を取り除くためのこれまでの試みは、カメラを、特
殊構造の表示スクリーンの背後に直接に設置することに
頼っていた。たとえば、1977年10月18日付けで
Poieierらに発行された米国特許4,054,908号では、見る
人のイメージが、斜めの反射板によって反射されてカメ
ラに届く。見る人は、反射板の中の窓を通して表示スク
リーンを見る。しかし、開口板の中の窓の存在は、見る
人にとって少しうっとうしい。
【0006】そのほかに、電子結晶スクリーンを利用す
ることも提案されている。このスクリーンは、一定の周
期で不透明な状態と透明な状態に変化する。そして、透
明の状態の時は見ている人のイメージがカメラに到達
し、不透明の反射状態の時は表示イメージを提供する。
しかし、そのようにちらちらするスクリーン上に表示さ
れるイメージは、許容できないほどの暗さが欠点であ
る。さらに、スクリーンの構造および関連する駆動回路
の製作費が高くつく。
ることも提案されている。このスクリーンは、一定の周
期で不透明な状態と透明な状態に変化する。そして、透
明の状態の時は見ている人のイメージがカメラに到達
し、不透明の反射状態の時は表示イメージを提供する。
しかし、そのようにちらちらするスクリーン上に表示さ
れるイメージは、許容できないほどの暗さが欠点であ
る。さらに、スクリーンの構造および関連する駆動回路
の製作費が高くつく。
【0007】完全視覚的存在感を提供し、3人以上の会
議参加者の間の空間的関連を伝達するための試みとし
て、いわゆるバーチャル空間ビデオ会議システムが提案
されている。このタイプのシステムでは、各場所(サイ
ト)のモニタとカメラの組の数は、離れた位置の会議参
加者の合計人数に対応し、各参加者に対する組の相対位
置はそれぞれのサイトで固定される。
議参加者の間の空間的関連を伝達するための試みとし
て、いわゆるバーチャル空間ビデオ会議システムが提案
されている。このタイプのシステムでは、各場所(サイ
ト)のモニタとカメラの組の数は、離れた位置の会議参
加者の合計人数に対応し、各参加者に対する組の相対位
置はそれぞれのサイトで固定される。
【0008】このタイプのシステムを図2に示す。見る
人たち(A,B,C,D)それぞれは、それぞれに対応
する部屋(1,2,3,4)の中の回転椅子に座ってい
る。各部屋には、他の3人の「実質的にそこにいる(vir
tually present)」参加者を表示する3台のテレビモニ
タがある。すなわち、たとえば見る人(A)は部屋1の
中の回転椅子に座り、この部屋1には、3人の「実質的
にそこにいる」参加者(B,C,D)を表示する3台の
テレビモニタがある。各部屋のモニタとカメラの組の配
置は、参加者全員が一つの正方形のテーブルに座ってい
る場合の各参加者の位置を模して置かれている。これら
のカメラからの信号は、ビデオ交換機ユニットを通り、
動的割振りネットワークにより、対応する目的地のモニ
タへ直接送られる。
人たち(A,B,C,D)それぞれは、それぞれに対応
する部屋(1,2,3,4)の中の回転椅子に座ってい
る。各部屋には、他の3人の「実質的にそこにいる(vir
tually present)」参加者を表示する3台のテレビモニ
タがある。すなわち、たとえば見る人(A)は部屋1の
中の回転椅子に座り、この部屋1には、3人の「実質的
にそこにいる」参加者(B,C,D)を表示する3台の
テレビモニタがある。各部屋のモニタとカメラの組の配
置は、参加者全員が一つの正方形のテーブルに座ってい
る場合の各参加者の位置を模して置かれている。これら
のカメラからの信号は、ビデオ交換機ユニットを通り、
動的割振りネットワークにより、対応する目的地のモニ
タへ直接送られる。
【0009】
【発明が解決しようとする課題】図2のバーチャル空間
システムは、会議中に誰が誰を見ているかを、3人以上
の参加者に表示する。しかし、参加者同士の目の触れ合
いは、これまでのところ、上述の開口部のあるスクリー
ン装置または半反射スクリーンによるものしかない。さ
らに、会議参加者間の望ましい空間的分布をカバーする
ために必要なビデオチャンネルの数が大きいことから、
大きな送信帯域幅を必要とする。
システムは、会議中に誰が誰を見ているかを、3人以上
の参加者に表示する。しかし、参加者同士の目の触れ合
いは、これまでのところ、上述の開口部のあるスクリー
ン装置または半反射スクリーンによるものしかない。さ
らに、会議参加者間の望ましい空間的分布をカバーする
ために必要なビデオチャンネルの数が大きいことから、
大きな送信帯域幅を必要とする。
【0010】
【課題を解決するための手段】本発明のシステムおよび
方法は上記課題を解決するものであって、遠隔で見てい
る人に提示されるイメージの中で、現実に対応した頭の
向きおよび/または目の触れ合いを提供する。そのため
に、リアルタイムのイメージ分析と処理の技術が使用さ
れる。本発明によるビデオ会議システムにおいては、各
会議室(28、26)は、少なくとも1台のビデオ電話
器すなわち通信装置がある。そのビデオ電話器は、その
会議参加者の一連のイメージフレームを表すビデオ信号
を生成するビデオカメラ(30、32)と、少なくとも
一人の遠隔の会議参加者(A、B)のイメージフレーム
を表示するイメージ受像器(22、24)を含む。その
イメージ受像器とビデオカメラと、その場所の会議参加
者の目とが視差角(θ)を定義する。
方法は上記課題を解決するものであって、遠隔で見てい
る人に提示されるイメージの中で、現実に対応した頭の
向きおよび/または目の触れ合いを提供する。そのため
に、リアルタイムのイメージ分析と処理の技術が使用さ
れる。本発明によるビデオ会議システムにおいては、各
会議室(28、26)は、少なくとも1台のビデオ電話
器すなわち通信装置がある。そのビデオ電話器は、その
会議参加者の一連のイメージフレームを表すビデオ信号
を生成するビデオカメラ(30、32)と、少なくとも
一人の遠隔の会議参加者(A、B)のイメージフレーム
を表示するイメージ受像器(22、24)を含む。その
イメージ受像器とビデオカメラと、その場所の会議参加
者の目とが視差角(θ)を定義する。
【0011】このビデオ会議システムはさらに、ビデオ
信号に対応して、その場所の会議参加者のイメージフレ
ームを分析し、それに対応する一連の視差補償されたフ
レームを生成するための、フレーム生成システム(3
4)を含む。それぞれに一連の視差補償されたフレーム
を表す信号は、対応するイメージ受像器に送信され、こ
れにより、その場所の会議参加者と遠隔地の会議参加者
の表示イメージとの間に見かけ上の目の触れ合いが提供
される。
信号に対応して、その場所の会議参加者のイメージフレ
ームを分析し、それに対応する一連の視差補償されたフ
レームを生成するための、フレーム生成システム(3
4)を含む。それぞれに一連の視差補償されたフレーム
を表す信号は、対応するイメージ受像器に送信され、こ
れにより、その場所の会議参加者と遠隔地の会議参加者
の表示イメージとの間に見かけ上の目の触れ合いが提供
される。
【0012】3人以上の参加者がいる場合は、必要があ
れば、実在感を提供するために、フレーム生成手段によ
り、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。たとえば、各イメージ
受像器は、分割窓表示装置上に二人の遠隔参加者を表示
する。各入力イメージは、3次元楕円体頭部モデルにマ
ップ化され、適当な視線方向が得られるように予め設定
された角度だけ向きを変えられ、再構築された2次元イ
メージフレームに戻される。それから、この再構築され
たイメージフレームを表す信号は、適当な遠隔イメージ
受像器に表示される。このように、本発明によれば、会
議中誰が誰を見ているかを各会議参加者が認識すること
ができる。
れば、実在感を提供するために、フレーム生成手段によ
り、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。たとえば、各イメージ
受像器は、分割窓表示装置上に二人の遠隔参加者を表示
する。各入力イメージは、3次元楕円体頭部モデルにマ
ップ化され、適当な視線方向が得られるように予め設定
された角度だけ向きを変えられ、再構築された2次元イ
メージフレームに戻される。それから、この再構築され
たイメージフレームを表す信号は、適当な遠隔イメージ
受像器に表示される。このように、本発明によれば、会
議中誰が誰を見ているかを各会議参加者が認識すること
ができる。
【0013】
【発明の実施の形態】本発明による会議システムの一実
施例20を図3Aに示す。図3Aで、ビデオ会議の各参
加者は、それぞれの表示装置22、24を見る。各表示
装置は、遠隔参加者数に対応するイメージを表示するた
めの1個または複数の窓に分割してもよい。たとえば、
2カ所の会議室があって、それぞれに一人ずつの会議参
加者がいる。図3Aで、参加者AとBはそれぞれ、会議
場所(サイト)26、28におり、表示装置22、24
に表示されている。
施例20を図3Aに示す。図3Aで、ビデオ会議の各参
加者は、それぞれの表示装置22、24を見る。各表示
装置は、遠隔参加者数に対応するイメージを表示するた
めの1個または複数の窓に分割してもよい。たとえば、
2カ所の会議室があって、それぞれに一人ずつの会議参
加者がいる。図3Aで、参加者AとBはそれぞれ、会議
場所(サイト)26、28におり、表示装置22、24
に表示されている。
【0014】図3Aに示す実施例で、会議参加者Aおよ
びBのイメージはまず、それぞれ、カメラ32、30に
よって取り込まれる。従来の方法により、カメラ32、
30のアナログ出力信号は、通信ネットワーク(図示せ
ず)を通じて送信できるようにするために、デジタル形
式に変換され、前処理され、ビットレート低減のために
符号化される。上述の信号処理機能を実行するためのシ
ステムや技術は周知であって、本発明の新規な面を構成
するものではない。したがってその詳細な説明はここで
は不要であり、省略する。
びBのイメージはまず、それぞれ、カメラ32、30に
よって取り込まれる。従来の方法により、カメラ32、
30のアナログ出力信号は、通信ネットワーク(図示せ
ず)を通じて送信できるようにするために、デジタル形
式に変換され、前処理され、ビットレート低減のために
符号化される。上述の信号処理機能を実行するためのシ
ステムや技術は周知であって、本発明の新規な面を構成
するものではない。したがってその詳細な説明はここで
は不要であり、省略する。
【0015】図3Aにおいて、各カメラからのデジタル
化されたビデオ信号は、それぞれの目的地の表示装置に
直接送信されるわけではない。カメラ30、32の出力
は、後述する目的のために、たとえば高処理速度の計算
機等の適当な処理装置34に提供される。基本的に、処
理装置34は、入力される生のビデオデータをフレーム
ごとにリアルタイムで分析し、表示されたイメージとそ
れを見る人との間の目の触れ合いを回復するように、入
力される各フレームのイメージを修正する。それから、
修正されたフレームは、適当な目的地の表示装置に向け
てリアルタイムで送信される。
化されたビデオ信号は、それぞれの目的地の表示装置に
直接送信されるわけではない。カメラ30、32の出力
は、後述する目的のために、たとえば高処理速度の計算
機等の適当な処理装置34に提供される。基本的に、処
理装置34は、入力される生のビデオデータをフレーム
ごとにリアルタイムで分析し、表示されたイメージとそ
れを見る人との間の目の触れ合いを回復するように、入
力される各フレームのイメージを修正する。それから、
修正されたフレームは、適当な目的地の表示装置に向け
てリアルタイムで送信される。
【0016】図1について前述したように、表示装置の
すぐ上にカメラが配置されていると、カメラと、イメー
ジを見る人Aの目と、参加者Bの表示イメージとの間に
視差角θが形成される。このカメラと表示装置と見る人
との位置関係は、図3Bにも示されている。図では各カ
メラがそれぞれの表示装置の上に配置されているが、カ
メラが表示装置の下または横に配置されても同様である
ことはいうまでもない。本発明では、処理装置34によ
り視差修正がなされる。この目的のために、まず、視差
角θを特定することが必要である。
すぐ上にカメラが配置されていると、カメラと、イメー
ジを見る人Aの目と、参加者Bの表示イメージとの間に
視差角θが形成される。このカメラと表示装置と見る人
との位置関係は、図3Bにも示されている。図では各カ
メラがそれぞれの表示装置の上に配置されているが、カ
メラが表示装置の下または横に配置されても同様である
ことはいうまでもない。本発明では、処理装置34によ
り視差修正がなされる。この目的のために、まず、視差
角θを特定することが必要である。
【0017】視差角θの精度を高めるためにはいくつか
の方法がある。図3Aおよび3Bに示す実施例では、二
人の会議参加者のイメージを修正するだけでよい。これ
らの参加者は真正面を見ている。AとBの動きを無視し
うると仮定すると、カメラと表示装置の相対位置関係に
基づいて固定角θを特定することができる。他の方法と
して、表示装置Aに表示されたBのイメージがあまり動
かないと仮定すると、カメラAによって取り込まれるイ
メージを分析することにより、Aのイメージが真正面を
向いているようにするために必要な修正量を決定するこ
とができる。必要な修正量φは、時間的に一定または変
化する、ある確率分布をもつランダム変数としてモデル
化できる。Aがほとんどの時間にBのイメージを見てい
る仮定すると、視差角θは、φの期待値すなわちE
[φ]に等しい。
の方法がある。図3Aおよび3Bに示す実施例では、二
人の会議参加者のイメージを修正するだけでよい。これ
らの参加者は真正面を見ている。AとBの動きを無視し
うると仮定すると、カメラと表示装置の相対位置関係に
基づいて固定角θを特定することができる。他の方法と
して、表示装置Aに表示されたBのイメージがあまり動
かないと仮定すると、カメラAによって取り込まれるイ
メージを分析することにより、Aのイメージが真正面を
向いているようにするために必要な修正量を決定するこ
とができる。必要な修正量φは、時間的に一定または変
化する、ある確率分布をもつランダム変数としてモデル
化できる。Aがほとんどの時間にBのイメージを見てい
る仮定すると、視差角θは、φの期待値すなわちE
[φ]に等しい。
【0018】上述のようにあまり動きがないという仮定
を採用する場合、各イメージフレームにおける目の位置
を特定し、それらのフレームを視差角θについて修正す
るだけでよい。デジタル化したイメージの中で、目、
鼻、口等の顔の部分の位置を特定するための特徴部抽出
技術はよく知られており、ここでは詳述しない。同様
に、そのようなイメージを局所的に修正する技術もよく
知られている。いずれにしても、目は、顔全体またはそ
のイメージの中の小さな部分を占めるだけなので、目を
前に向けることは、簡単に目を合成することにより可能
である。
を採用する場合、各イメージフレームにおける目の位置
を特定し、それらのフレームを視差角θについて修正す
るだけでよい。デジタル化したイメージの中で、目、
鼻、口等の顔の部分の位置を特定するための特徴部抽出
技術はよく知られており、ここでは詳述しない。同様
に、そのようなイメージを局所的に修正する技術もよく
知られている。いずれにしても、目は、顔全体またはそ
のイメージの中の小さな部分を占めるだけなので、目を
前に向けることは、簡単に目を合成することにより可能
である。
【0019】目を合成することの妥当性は、目の映像の
中の比較的小さな一部分のノイズに対する見る人の許容
範囲に依存する。この点で、表示装置に対するカメラの
相対位置が、得られる結果の質だけでなく目の合成アル
ゴリズムの複雑さにも影響を与える。特に、まぶたの位
置は、視角の鉛直成分に大きく影響されるので、Gの表
示イメージの中の目のように、目を鉛直方向に動かす必
要がある場合、見た目の不自然さを避けるためにはまぶ
たも修正しなければならない。カメラが表示装置の横に
ある場合は、目を合成するにあたりまぶたの位置を変え
る必要がない。したがって、カメラ位置は、表示装置の
横が望ましい。
中の比較的小さな一部分のノイズに対する見る人の許容
範囲に依存する。この点で、表示装置に対するカメラの
相対位置が、得られる結果の質だけでなく目の合成アル
ゴリズムの複雑さにも影響を与える。特に、まぶたの位
置は、視角の鉛直成分に大きく影響されるので、Gの表
示イメージの中の目のように、目を鉛直方向に動かす必
要がある場合、見た目の不自然さを避けるためにはまぶ
たも修正しなければならない。カメラが表示装置の横に
ある場合は、目を合成するにあたりまぶたの位置を変え
る必要がない。したがって、カメラ位置は、表示装置の
横が望ましい。
【0020】目のイメージを合成するために、プログラ
ムは、その目を囲むまぶたの境界を特定しなければなら
ない。まぶたは、おもに白目に隣接するが、通常、虹彩
の上端と下端にも隣接する。この境界の内側のすべての
領域が合成される。映される人がカメラから遠く離れて
いる(そのために、得られるイメージ内の目が小さい)
場合は、見る人との目の触れ合いを提供するために必要
な瞳孔の位置は、修正された位置に適当な大きさの黒丸
領域を加えるだけで作ることができる。
ムは、その目を囲むまぶたの境界を特定しなければなら
ない。まぶたは、おもに白目に隣接するが、通常、虹彩
の上端と下端にも隣接する。この境界の内側のすべての
領域が合成される。映される人がカメラから遠く離れて
いる(そのために、得られるイメージ内の目が小さい)
場合は、見る人との目の触れ合いを提供するために必要
な瞳孔の位置は、修正された位置に適当な大きさの黒丸
領域を加えるだけで作ることができる。
【0021】映される人がカメラ/モニタに充分に近い
場合は、目の輪郭の内側すなわち上まぶたと下まぶたの
間の各画素位置にまったく新しい強度(明度)値を生成
しなければならない。新しい目を合成するためには、目
の輪郭に加えて、5個の追加パラメータを利用する。す
なわち、瞳孔の二つの座標値と、虹彩の半径と、虹彩の
強度レベルと、白目の強度レベルである。
場合は、目の輪郭の内側すなわち上まぶたと下まぶたの
間の各画素位置にまったく新しい強度(明度)値を生成
しなければならない。新しい目を合成するためには、目
の輪郭に加えて、5個の追加パラメータを利用する。す
なわち、瞳孔の二つの座標値と、虹彩の半径と、虹彩の
強度レベルと、白目の強度レベルである。
【0022】普通の境界検出方法によれば、一定領域内
の各Y座標値に対する虹彩の最小および最大のX座標値
を含む簡単な境界表現で表される。虹彩の強度は、基礎
的な目の追跡アルゴリズム中で計算され、同様に、白目
境界の特定の手順の中で、白目強度と目の輪郭が計算さ
れる。目の合成は、たとえばパラメトリック混合関数法
により実現できる。この方法では、虹彩の直径は目と目
の間隔に比例する。目と目の間隔は、映される人がカメ
ラに近づいたりカメラから遠ざかったりするときに適当
な尺度を提供してくれる。
の各Y座標値に対する虹彩の最小および最大のX座標値
を含む簡単な境界表現で表される。虹彩の強度は、基礎
的な目の追跡アルゴリズム中で計算され、同様に、白目
境界の特定の手順の中で、白目強度と目の輪郭が計算さ
れる。目の合成は、たとえばパラメトリック混合関数法
により実現できる。この方法では、虹彩の直径は目と目
の間隔に比例する。目と目の間隔は、映される人がカメ
ラに近づいたりカメラから遠ざかったりするときに適当
な尺度を提供してくれる。
【0023】上述のように、固定角θを、カメラと表示
装置との相対位置関係に基づいて特定することができ
る。たとえば、カメラは表示装置の横にこれと同じ高さ
に配置される。この発明の目的のためには、ユーザは表
示装置を見ており、それ以外のところを見てはいない。
したがって、ユーザが他を見ている場合は、合成された
イメージは、見ている人との目の触れ合いは維持される
ように見えない。
装置との相対位置関係に基づいて特定することができ
る。たとえば、カメラは表示装置の横にこれと同じ高さ
に配置される。この発明の目的のためには、ユーザは表
示装置を見ており、それ以外のところを見てはいない。
したがって、ユーザが他を見ている場合は、合成された
イメージは、見ている人との目の触れ合いは維持される
ように見えない。
【0024】カメラと表示装置をこのように配置して、
虹彩と瞳孔とを、鉛直方向には動かさずに水平にシフト
する。シフトの量は所定の幾何学形状に依存し、目と目
の間隔に反比例する。たとえば、合成アルゴリズムは、
合成される瞳孔の中心への距離を、アスペクト比で修正
した(aspect-ratio-corrected)水平画素において計算す
るように形成されている。この間隔と合成される虹彩の
半径との比に基づく参照表によって、虹彩のレベルと白
目のレベルの間の混合係数が与えられる。この係数は、
虹彩レベルを1とし、白目レベルを0とし、その間を線
形混合とする。この参照表をグラフに表すと図4のよう
になる。1の上はさらに暗い(黒い)レベルであって瞳
孔を表す。白目の合成も同様の処理を利用する。
虹彩と瞳孔とを、鉛直方向には動かさずに水平にシフト
する。シフトの量は所定の幾何学形状に依存し、目と目
の間隔に反比例する。たとえば、合成アルゴリズムは、
合成される瞳孔の中心への距離を、アスペクト比で修正
した(aspect-ratio-corrected)水平画素において計算す
るように形成されている。この間隔と合成される虹彩の
半径との比に基づく参照表によって、虹彩のレベルと白
目のレベルの間の混合係数が与えられる。この係数は、
虹彩レベルを1とし、白目レベルを0とし、その間を線
形混合とする。この参照表をグラフに表すと図4のよう
になる。1の上はさらに暗い(黒い)レベルであって瞳
孔を表す。白目の合成も同様の処理を利用する。
【0025】上述の方法で合成された目のイメージは、
目に深さと輪郭の印象を与える反射のハイライトを欠く
ということがわかる。したがって、そのようなハイライ
トを従来方法によりイメージに追加するのが望ましいか
もしれない。モトローラ88000RISCプロセッサ
を利用して、一つの入力ビデオフレームについて上述の
イメージ分析と処理を行った。その結果は、瞳孔と白目
の境界位置を求めるのに1.177msec、その境界
を後処理するのに0.176msec、新しい目を合成
するのに1.670msec、リアルタイムグラフィッ
クスとテキストの表示に1.453msecをそれぞれ
要した。
目に深さと輪郭の印象を与える反射のハイライトを欠く
ということがわかる。したがって、そのようなハイライ
トを従来方法によりイメージに追加するのが望ましいか
もしれない。モトローラ88000RISCプロセッサ
を利用して、一つの入力ビデオフレームについて上述の
イメージ分析と処理を行った。その結果は、瞳孔と白目
の境界位置を求めるのに1.177msec、その境界
を後処理するのに0.176msec、新しい目を合成
するのに1.670msec、リアルタイムグラフィッ
クスとテキストの表示に1.453msecをそれぞれ
要した。
【0026】もちろん、プロセッサ時間は、イメージ面
内の目のイメージに大きく依存する。しかし、極端なク
ローズアップの場合でも、1フレームインターバルの中
で合成された目を有する修正フレームを作ることは可能
である。その結果、視差補償を施した一連のイメージフ
レームを、リアルタイムで作ることにより、フレームレ
ートを犠牲にすることなく、目の触れ合いを有するビデ
オ会議システムをユーザに提供することができる。
内の目のイメージに大きく依存する。しかし、極端なク
ローズアップの場合でも、1フレームインターバルの中
で合成された目を有する修正フレームを作ることは可能
である。その結果、視差補償を施した一連のイメージフ
レームを、リアルタイムで作ることにより、フレームレ
ートを犠牲にすることなく、目の触れ合いを有するビデ
オ会議システムをユーザに提供することができる。
【0027】上述の、AとBの動きについての仮定を使
えないこともありうる。視差角θの厳密な補償が必要な
場合は、Bの目の位置と表示装置24の上でのAの目の
位置とを検出しなければならない。この発明の目的のた
めに、目の位置を検出するのに用いうる適当なイメージ
分析技術は、種々ある。たとえば、目の位置についての
情報を得るのに利用できる非干渉視線追跡技術が、S.Ba
luja and D.A.Pomerleau著の記事"Non-Intrusive Gaze
Tracking Using Artificial Neural Networks",6 Advan
ces in Neural Information Processing Systems(NIPS)
(1994)に記載されている。各会議参加者が自分の頭を自
由に動かせるという点で、非干渉視線追跡技術が望まし
いといえる。
えないこともありうる。視差角θの厳密な補償が必要な
場合は、Bの目の位置と表示装置24の上でのAの目の
位置とを検出しなければならない。この発明の目的のた
めに、目の位置を検出するのに用いうる適当なイメージ
分析技術は、種々ある。たとえば、目の位置についての
情報を得るのに利用できる非干渉視線追跡技術が、S.Ba
luja and D.A.Pomerleau著の記事"Non-Intrusive Gaze
Tracking Using Artificial Neural Networks",6 Advan
ces in Neural Information Processing Systems(NIPS)
(1994)に記載されている。各会議参加者が自分の頭を自
由に動かせるという点で、非干渉視線追跡技術が望まし
いといえる。
【0028】基本的に、視線追跡の目標は、ある人がど
こを見ているかを、その人の目の外観から特定すること
にある。カメラと目との相対的位置関係の変化を考慮す
るために、各イメージフレーム内でまず目の位置を特定
する。典型的には、一つの目の位置を特定するには、そ
の人の顔のイメージの中で静止光源の鏡面反射を探すこ
とによって行う。この発明の目的のために利用できる適
当な光源は種々ありうるが、非干渉赤外線源が望まし
い。見る人の妨げにならず、すなわち不快感を起こさせ
ずに、容易に検出できる反射パタンを作れるからであ
る。
こを見ているかを、その人の目の外観から特定すること
にある。カメラと目との相対的位置関係の変化を考慮す
るために、各イメージフレーム内でまず目の位置を特定
する。典型的には、一つの目の位置を特定するには、そ
の人の顔のイメージの中で静止光源の鏡面反射を探すこ
とによって行う。この発明の目的のために利用できる適
当な光源は種々ありうるが、非干渉赤外線源が望まし
い。見る人の妨げにならず、すなわち不快感を起こさせ
ずに、容易に検出できる反射パタンを作れるからであ
る。
【0029】イメージ内の鏡面反射は、通常、非常に暗
い領域で囲まれた小さな明るい領域にとして認識でき
る。その反射位置は、次のフレームでその目を探すのを
制限するのに利用してもよい。その反射を囲む窓を抽出
して、その窓内で目の位置を特定する。瞳孔の中心が見
いだされ、光の反射の瞳孔中心に対する相対位置が計算
される。相対位置関係から視線方向が特定される。たと
えば見る人が光源を見ているとき、鏡面反射は瞳孔のイ
メージの中心にある。見る人が光源の上方を見ていると
きは、鏡面反射は瞳孔のイメージの下端部近くにある。
見る人が光源の左方を見ているときは、鏡面反射は瞳孔
のイメージの右端部近くにある。
い領域で囲まれた小さな明るい領域にとして認識でき
る。その反射位置は、次のフレームでその目を探すのを
制限するのに利用してもよい。その反射を囲む窓を抽出
して、その窓内で目の位置を特定する。瞳孔の中心が見
いだされ、光の反射の瞳孔中心に対する相対位置が計算
される。相対位置関係から視線方向が特定される。たと
えば見る人が光源を見ているとき、鏡面反射は瞳孔のイ
メージの中心にある。見る人が光源の上方を見ていると
きは、鏡面反射は瞳孔のイメージの下端部近くにある。
見る人が光源の左方を見ているときは、鏡面反射は瞳孔
のイメージの右端部近くにある。
【0030】図3Aおよび3Bに示すシステムでは、参
加者Aのイメージ上で視線追跡技術を使用するために、
固定光源36がカメラ32の上に設置されている。同様
の光源(図示せず)はカメラ30の上にも設置される。
当業者にはすぐにわかるように、上述のような視線検出
技術により、光源に対する視線の相対的方向に関する有
用な情報が得られる。詳述はしないが、この情報は視差
角θを特定するのに使用できる。
加者Aのイメージ上で視線追跡技術を使用するために、
固定光源36がカメラ32の上に設置されている。同様
の光源(図示せず)はカメラ30の上にも設置される。
当業者にはすぐにわかるように、上述のような視線検出
技術により、光源に対する視線の相対的方向に関する有
用な情報が得られる。詳述はしないが、この情報は視差
角θを特定するのに使用できる。
【0031】図3Bからわかるように、光源36と、参
加者Aと、参加者Bの表示イメージとから、角θ1が定
義される。また、光源36と、参加者Aと、カメラ32
とから、角θ2が定義される。視差角θは、θ1とθ2と
の差として計算できる。視差角が得られた後に、上述の
方法と同様に、改訂イメージフレームの生成および送信
が行われる。
加者Aと、参加者Bの表示イメージとから、角θ1が定
義される。また、光源36と、参加者Aと、カメラ32
とから、角θ2が定義される。視差角θは、θ1とθ2と
の差として計算できる。視差角が得られた後に、上述の
方法と同様に、改訂イメージフレームの生成および送信
が行われる。
【0032】図3Aと3Bに示したビデオ会議システム
による視差修正のステップ手順の例を図5に示す。ここ
では一人の参加者のイメージの処理についてだけ示して
あるが、すべての会議参加者について同じイメージ分析
および処理ステップが同時に行われることはいうまでも
ない。いずれにしても、参加者Aのデジタル化されたビ
デオフレームが処理装置34に受信され(ステップ4
0)、そのイメージの中の目の位置を特定するためにイ
メージ特徴部抽出が行われる(ステップ42)。ステッ
プ44で、映されている人が見ている方向とカメラの方
向との相対関係を検出するために、そのイメージにおい
て視線検出が行われる。
による視差修正のステップ手順の例を図5に示す。ここ
では一人の参加者のイメージの処理についてだけ示して
あるが、すべての会議参加者について同じイメージ分析
および処理ステップが同時に行われることはいうまでも
ない。いずれにしても、参加者Aのデジタル化されたビ
デオフレームが処理装置34に受信され(ステップ4
0)、そのイメージの中の目の位置を特定するためにイ
メージ特徴部抽出が行われる(ステップ42)。ステッ
プ44で、映されている人が見ている方向とカメラの方
向との相対関係を検出するために、そのイメージにおい
て視線検出が行われる。
【0033】次に、視差角が導き出され(ステップ4
6)、見ている参加者Bとの目の触れ合いをするために
必要な瞳孔の位置を(場合によってはさらに虹彩の位置
をも)もつ、改訂イメージフレームが生成される(ステ
ップ48)。次に、改訂されたイメージフレームは、表
示装置22に伝送され(ステップ50)、表示装置22
で参加者Bに見られる。上述のステップは、リアルタイ
ムで、各ビデオ信号の入力についてフレームごとに実行
される。こうして表示イメージと各参加者との間の目の
触れ合いが実現される。
6)、見ている参加者Bとの目の触れ合いをするために
必要な瞳孔の位置を(場合によってはさらに虹彩の位置
をも)もつ、改訂イメージフレームが生成される(ステ
ップ48)。次に、改訂されたイメージフレームは、表
示装置22に伝送され(ステップ50)、表示装置22
で参加者Bに見られる。上述のステップは、リアルタイ
ムで、各ビデオ信号の入力についてフレームごとに実行
される。こうして表示イメージと各参加者との間の目の
触れ合いが実現される。
【0034】3以上の会議場所および/または参加者が
ある場合は、ビデオ会議システムによって実際の会合の
ように見え感じられるようにするためには、参加者間の
目の触れ合いを提供する必要のほかに別の考慮も必要で
ある。上述のように、誰が誰に話しかけているかが各参
加者に見えることが重要である。このため本発明によれ
ば、リアルタイムのイメージの分析・処理技術を、会議
参加者に見かけ上の目の触れ合いの提供に利用するだけ
でなく、頭のイメージの向きを修正するのにも利用す
る。
ある場合は、ビデオ会議システムによって実際の会合の
ように見え感じられるようにするためには、参加者間の
目の触れ合いを提供する必要のほかに別の考慮も必要で
ある。上述のように、誰が誰に話しかけているかが各参
加者に見えることが重要である。このため本発明によれ
ば、リアルタイムのイメージの分析・処理技術を、会議
参加者に見かけ上の目の触れ合いの提供に利用するだけ
でなく、頭のイメージの向きを修正するのにも利用す
る。
【0035】図6は、本発明によるビデオ会議システム
60を示すもので、図3Aのシステム20と類似のもの
である。ただし、図6のシステムは、3箇所の別の場所
にいる3人の参加者A、B、Cの間の会議を提供するよ
うに修正したものである。したがってシステム60は、
それぞれの表示装置62、64、66と、対応するカメ
ラ68、70、72を含む。各カメラの上方に一つずつ
の光源76が配置されている。ただし、図6では一つの
光源だけが示されている。各表示装置は2個の窓に分割
されており、各窓が二人の遠隔地参加者のイメージをそ
れぞれに表示する。上述の方法と同様に、各カメラから
のビデオ信号が処理され、処理装置(たとえば処理装置
74)に送信される。
60を示すもので、図3Aのシステム20と類似のもの
である。ただし、図6のシステムは、3箇所の別の場所
にいる3人の参加者A、B、Cの間の会議を提供するよ
うに修正したものである。したがってシステム60は、
それぞれの表示装置62、64、66と、対応するカメ
ラ68、70、72を含む。各カメラの上方に一つずつ
の光源76が配置されている。ただし、図6では一つの
光源だけが示されている。各表示装置は2個の窓に分割
されており、各窓が二人の遠隔地参加者のイメージをそ
れぞれに表示する。上述の方法と同様に、各カメラから
のビデオ信号が処理され、処理装置(たとえば処理装置
74)に送信される。
【0036】図6に示すビデオ会議の一時点では、Aが
Bに話しかけている。実際の会議では、AはBを見てお
り、BとCはAを見ているであろう。この発明の追加イ
メージ処理を行わない場合は、各参加者は、自分の前の
表示装置にまっすぐ向いているが、そのイメージを他の
参加者から見ると、対応する頭の向きになっていない。
図6に示す適当な向きを得るためには、以下に述べるよ
うに種々のイメージ分析および処理を実施しなければな
らない。
Bに話しかけている。実際の会議では、AはBを見てお
り、BとCはAを見ているであろう。この発明の追加イ
メージ処理を行わない場合は、各参加者は、自分の前の
表示装置にまっすぐ向いているが、そのイメージを他の
参加者から見ると、対応する頭の向きになっていない。
図6に示す適当な向きを得るためには、以下に述べるよ
うに種々のイメージ分析および処理を実施しなければな
らない。
【0037】Aが表示装置62のBの窓を見ていると
き、Aには、BとCが真正面を(すなわちAの方を)見
ているのが見えるべきである。BとCはすでに自分のカ
メラの方を向いているので、彼らの目の位置の視差修正
だけが必要である。このような誤差修正は、図3Aおよ
び3Bで説明した技術を利用して実施できる。
き、Aには、BとCが真正面を(すなわちAの方を)見
ているのが見えるべきである。BとCはすでに自分のカ
メラの方を向いているので、彼らの目の位置の視差修正
だけが必要である。このような誤差修正は、図3Aおよ
び3Bで説明した技術を利用して実施できる。
【0038】表示装置64上では、Aのイメージが真正
面に向かっており、CのイメージがイメージAに向いて
いるのが、Bに見えるべきである。図6の位置関係を達
成するために、表示装置64において、Aのイメージに
ついては視差を修正すればよいが、Cのイメージについ
てはさらに向きを変える必要がある。同様に、表示装置
66上でCには、AとBとが互いに向き合っているのが
見えるべきである。このように、図6に示す位置関係を
達成するためには、AとBの両方のイメージの少なくと
も頭の向きを変える必要がある。
面に向かっており、CのイメージがイメージAに向いて
いるのが、Bに見えるべきである。図6の位置関係を達
成するために、表示装置64において、Aのイメージに
ついては視差を修正すればよいが、Cのイメージについ
てはさらに向きを変える必要がある。同様に、表示装置
66上でCには、AとBとが互いに向き合っているのが
見えるべきである。このように、図6に示す位置関係を
達成するためには、AとBの両方のイメージの少なくと
も頭の向きを変える必要がある。
【0039】この発明による頭の向き変えおよび視差修
正を実行するステップの実施例を、図7のフローチャー
トに示す。一人の会議参加者(たとえば参加者C)のデ
ジタル化したビデオフレームが処理装置74で受信され
る(ステップ80)。そして、イメージの中の目の位置
を特定するために、イメージの特徴抽出が行われる(ス
テップ82)。ステップ84において、見られている人
が見ている方向とカメラの方向との差をそのイメージ上
で検出するために視線検出が行われる。たとえば参加者
Cが参加者Aを見ているとき、カメラ72で取り込まれ
る参加者Cのイメージにおける光源76の鏡面反射は、
瞳孔の中心の右上である。
正を実行するステップの実施例を、図7のフローチャー
トに示す。一人の会議参加者(たとえば参加者C)のデ
ジタル化したビデオフレームが処理装置74で受信され
る(ステップ80)。そして、イメージの中の目の位置
を特定するために、イメージの特徴抽出が行われる(ス
テップ82)。ステップ84において、見られている人
が見ている方向とカメラの方向との差をそのイメージ上
で検出するために視線検出が行われる。たとえば参加者
Cが参加者Aを見ているとき、カメラ72で取り込まれ
る参加者Cのイメージにおける光源76の鏡面反射は、
瞳孔の中心の右上である。
【0040】上述のように、カメラ72および表示装置
66の固定位置が与えられたとき、視差角θはこの情報
から算出することができる(ステップ86)。しかし、
より重要なことは、瞳孔中心に対する鏡面反射の相対位
置を利用することにより、見ている参加者がどのイメー
ジを見ているかを検出することができる点である(ステ
ップ88)。この例では、参加者Cの受信されたイメー
ジの中の瞳孔の中心の右に鏡面反射の位置があることか
ら、Cが左方すなわち参加者Aを見ていることがわか
る。
66の固定位置が与えられたとき、視差角θはこの情報
から算出することができる(ステップ86)。しかし、
より重要なことは、瞳孔中心に対する鏡面反射の相対位
置を利用することにより、見ている参加者がどのイメー
ジを見ているかを検出することができる点である(ステ
ップ88)。この例では、参加者Cの受信されたイメー
ジの中の瞳孔の中心の右に鏡面反射の位置があることか
ら、Cが左方すなわち参加者Aを見ていることがわか
る。
【0041】各会議参加者がどの表示窓を見ているかが
わかると、各目的地の表示装置に適する修正されたイメ
ージフレームをそれぞれに生成するように、イメージ処
理が実行される。ステップ88で、視差修正だけが必要
であると決定された場合は、第1のフレームが適当な表
示装置に送信されるように生成される(ステップ9
0)。図6に示す例では、視差修正され、前を向いてい
るCのイメージを表すフレームが、表示装置62に表示
される。しかし、存在感を参加者Bに伝達するためには
Cの頭の向きを変える必要があるので、いくつかの追加
処理ステップを行わなければならない。
わかると、各目的地の表示装置に適する修正されたイメ
ージフレームをそれぞれに生成するように、イメージ処
理が実行される。ステップ88で、視差修正だけが必要
であると決定された場合は、第1のフレームが適当な表
示装置に送信されるように生成される(ステップ9
0)。図6に示す例では、視差修正され、前を向いてい
るCのイメージを表すフレームが、表示装置62に表示
される。しかし、存在感を参加者Bに伝達するためには
Cの頭の向きを変える必要があるので、いくつかの追加
処理ステップを行わなければならない。
【0042】各フレームの顔のイメージは3次元(3
D)頭部モデルにテクスチャーマップ化(texture mappe
d)される(ステップ92)。この目的のためには、たと
えば比較的単純な楕円体頭部モデルを採用してもよい。
もちろん、特定の応用例によって受ける処理能力および
実行スピードの制限によるが、もっと複雑な3Dモデル
を採用してもよい。他の例として、K.Aizawa,H.Harashi
ma,and T.Saitoが"Model-based Analysis Synthesis Im
age Coding System for a Person's Face",Signal Proc
essing Image Communication,Vol.1,No.2,October 198
9,pp.139-152に開示したワイヤフレームモデルを利用す
ることもできる。
D)頭部モデルにテクスチャーマップ化(texture mappe
d)される(ステップ92)。この目的のためには、たと
えば比較的単純な楕円体頭部モデルを採用してもよい。
もちろん、特定の応用例によって受ける処理能力および
実行スピードの制限によるが、もっと複雑な3Dモデル
を採用してもよい。他の例として、K.Aizawa,H.Harashi
ma,and T.Saitoが"Model-based Analysis Synthesis Im
age Coding System for a Person's Face",Signal Proc
essing Image Communication,Vol.1,No.2,October 198
9,pp.139-152に開示したワイヤフレームモデルを利用す
ることもできる。
【0043】いずれにしても、結果として得られる3次
元のテクスチャード(textured)モデルは、予め決められ
た角度αだけ適当な向きに回転され(ステップ94)、
楕円体モデルのテクスチャーは2D画面に投射され、改
訂イメージを作る(ステップ96)。こうして作られた
イメージは、ステップ98に示すように、適当な目的地
に向けて送信される。図6に示す実施例では、表示装置
64に表示されるCのイメージは、参加者Aの表示イメ
ージの方に向くように、右に90゜回転させてある。C
のイメージの目玉は、同様に、独立にモデル化し、また
は上述の純粋な視差修正技術により、合成されうる。
元のテクスチャード(textured)モデルは、予め決められ
た角度αだけ適当な向きに回転され(ステップ94)、
楕円体モデルのテクスチャーは2D画面に投射され、改
訂イメージを作る(ステップ96)。こうして作られた
イメージは、ステップ98に示すように、適当な目的地
に向けて送信される。図6に示す実施例では、表示装置
64に表示されるCのイメージは、参加者Aの表示イメ
ージの方に向くように、右に90゜回転させてある。C
のイメージの目玉は、同様に、独立にモデル化し、また
は上述の純粋な視差修正技術により、合成されうる。
【0044】ビデオ符号化とともに、視差修正および/
または頭部の向き変更は、各会議場所で、前処理または
後処理として実施することができる。いずれの場合も、
重要なイメージ情報が分析前に失われることがないよう
にするために、イメージ分析は、元のイメージ信号の符
号化の前に行うのが望ましい。しかし、この発明により
修正されたイメージの合成は、どこで行なってもよい。
または頭部の向き変更は、各会議場所で、前処理または
後処理として実施することができる。いずれの場合も、
重要なイメージ情報が分析前に失われることがないよう
にするために、イメージ分析は、元のイメージ信号の符
号化の前に行うのが望ましい。しかし、この発明により
修正されたイメージの合成は、どこで行なってもよい。
【0045】前処理で行う場合は、イメージは、デジタ
ル化され、分析され、合成/処理され、符号化され、そ
して送信される。この場合、それぞれの参加者に異なっ
た処理を施したイメージを送らなければならないため、
大きな送信帯域幅が必要である。
ル化され、分析され、合成/処理され、符号化され、そ
して送信される。この場合、それぞれの参加者に異なっ
た処理を施したイメージを送らなければならないため、
大きな送信帯域幅が必要である。
【0046】後処理で行う場合は、イメージ分析によっ
て得られた各参加者の視差角と頭の向きを、符号化した
ビデオ信号とともに送らなければならない。その後、受
信側で、またはどこかの中央位置で、合成を行えばよ
い。
て得られた各参加者の視差角と頭の向きを、符号化した
ビデオ信号とともに送らなければならない。その後、受
信側で、またはどこかの中央位置で、合成を行えばよ
い。
【0047】
【発明の効果】本発明のビデオ会議システムおよび方法
によれば、遠隔で見ている人に提示されるイメージの中
で、現実に対応した頭の向きおよび/または目の触れ合
いを提供することができる。
によれば、遠隔で見ている人に提示されるイメージの中
で、現実に対応した頭の向きおよび/または目の触れ合
いを提供することができる。
【図1】従来の単一人カメラ(SPC)ビデオ会議シス
テムの動作を表す図。
テムの動作を表す図。
【図2】従来のバーチャル空間ビデオ会議システムを表
す図。
す図。
【図3】図3Aは、本発明の実施例によるビデオ会議シ
ステムを表すブロック図。図3Bは、図3Aのビデオ会
議システムを表す立面図。
ステムを表すブロック図。図3Bは、図3Aのビデオ会
議システムを表す立面図。
【図4】本発明で使用する目合成に沿った画素値を提供
するための参照表のグラフ。
するための参照表のグラフ。
【図5】本発明による視差修正を行うためのイメージの
分析と処理の技術のステップを表すフローチャート。
分析と処理の技術のステップを表すフローチャート。
【図6】本発明による3人の会議参加者間での存在感を
提供するビデオ会議システムの動作を表す立面図。
提供するビデオ会議システムの動作を表す立面図。
【図7】図5のシステムの動作中に、存在感を再現する
ために、視差修正と頭部向き修正とを行う修正イメージ
の分析と処理の技術のステップを表すフローチャート。
ために、視差修正と頭部向き修正とを行う修正イメージ
の分析と処理の技術のステップを表すフローチャート。
1、2、3、4 部屋 12、14 表示装置 16、18 カメラ 20 ビデオ会議システム 22、24 表示装置 26、28 会議場所 30、32 カメラ 34 処理装置 60 ビデオ会議システム 62、64、66 表示装置 68、70、72 カメラ 74 処理装置 76 光源
フロントページの続き (72)発明者 ツハン チェン アメリカ合衆国,07748 ニュージャージ ー,ミドルタウン,クラブハウス ドライ ブ 183 (72)発明者 バリン ジェフリー ハスケル アメリカ合衆国,07724 ニュージャージ ー,タントン フォールズ,グレンウッド ドライブ 82
Claims (10)
- 【請求項1】 少なくとも一人の会議参加者と、ビデオ
カメラと、イメージ受像器とをそれぞれに有し、遠隔に
位置する、複数の会議室の間でビデオ会議を行う方法に
おいて、 前記イメージ受像器とビデオカメラと、それらの近くに
いる各会議参加者とがその会議参加者の視差角を定義
し、 (A)第1のビデオカメラ(32)により、第1の会議
参加者(A)の一連の入力イメージフレームを代表する
ビデオ信号を生成するステップと、 (B)前記入力された会議参加者のイメージフレームの
それぞれで視差角θを決定するべく、それらのフレーム
をリアルタイムで分析するステップと、 (C)それぞれに対応する視差補償した一連のイメージ
フレームを生成するステップと、 (D)前記視差補償された一連のイメージフレームを表
す信号を、イメージ受像器(22)に送信するステップ
と、を有し、前記イメージ受像器(22)は第2の会議
参加者(B)に見られるものであって、 この方法により、前記第1の会議参加者の表示イメージ
と前記第2の会議参加者との間に目の触れ合いが提供さ
れるものであること、 を特徴とする方法。 - 【請求項2】 前記分析するステップは、前記第1の会
議参加者のイメージの中で、前記第1の会議参加者の瞳
孔の中の、固定光源の鏡面反射の位置を決定するステッ
プを含むこと、 を特徴とする請求項1の方法。 - 【請求項3】 前記分析するステップは、前記鏡面反射
の瞳孔中心に対する相対位置を測定するステップをさら
に含むこと、 を特徴とする請求項2の方法。 - 【請求項4】 前記生成するステップは、入力会議参加
者イメージフレームの一つから、各視差補償したイメー
ジフレームの少なくとも一部を合成するステップをさら
に含むこと、 を特徴とする請求項1の方法。 - 【請求項5】前記測定するステップで、前記会議参加者
の視線方向も取得し、 また、前記生成するステップは、各会議参加者のイメー
ジフレームのテクスチャーマップを3次元楕円体顔面モ
デル上に取り、前記視線方向に沿って選択された顔の向
きを実現するように、その顔のモデルの向きを修正する
ステップをさらに含むこと、 を特徴とする請求項1の方法。 - 【請求項6】 それぞれに少なくとも一人の会議参加者
を収容する遠隔に位置する複数の会議室を結ぶビデオ会
議システムにおいて、 そのビデオ会議システムは、第1の会議参加者(A)の
一連のイメージフレームを表すビデオ信号を生成するビ
デオカメラ(32)と、少なくとも第2の会議参加者
(B)のイメージフレームを表示するイメージ受像器
(24)とをそれぞれに有し、各会議室(26、28)
にそれぞれ少なくとも一つ設置された、ビデオ電話を有
し、 前記イメージ受像器と、ビデオカメラと、第1の会議参
加者の目とは、視差角θを定義するものであり、 さらにそのビデオ会議システムは、 前記ビデオ信号に応じて、前記第1の会議参加者の入力
イメージフレームを分析し、これに対応する第1の会議
参加者の視差補償された一連のイメージフレームを生成
するフレーム生成手段(34)と、 前記視差補償された一連のイメージフレームを表す信号
を、少なくとも一つの遠隔イメージ受像器(22)に送
信して、それにより少なくとも前記第2の会議参加者と
前記第1の会議参加者の表示イメージとの間で目の触れ
合いが提供されるように構成された送信手段と、 を有することを特徴とするシステム。 - 【請求項7】 前記各会議室内の会議参加者の目に鏡面
反射を生成するための固定光源(36)が各会議室内に
配置されていることを特徴とする請求項6のシステム。 - 【請求項8】 前記フレーム生成手段(34)は、前記
入力会議イメージフレームを分析し、前記会議参加者の
視線方向を検出するように動作しうること、を特徴とす
る請求項7のシステム。 - 【請求項9】 前記フレーム生成手段(34)は、少な
くとも第3の会議参加者に送信するための前記第2のイ
メージフレームを生成するように動作しうるものであ
り、そのフレーム生成手段は、前記検出された視線方向
に応じて会議参加者の各入力イメージフレームを3次元
楕円体顔モデルにテクスチャーマップ化し、その検出さ
れた視線方向に沿って選択された顔の向きを達成するよ
うに前記顔のモデルの向きを変えるものであること、 を特徴とする請求項8のシステム。 - 【請求項10】 前記送信手段(34)は、前記第1の
会議参加者を表す視差修正された第1の一連のイメージ
フレームを第2の会議参加者の近くに配置されたイメー
ジ受像器に送信し、前記第1の会議参加者を表す視線方
向補償された第2の一連のイメージフレームを第3の会
議参加者の近くに配置されたイメージ受像器に送信し、
これにより前記第1、第2、第3の会議参加者の間の存
在感を提供するものであること、 を特徴とする請求項9のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/328,640 US5500671A (en) | 1994-10-25 | 1994-10-25 | Video conference system and method of providing parallax correction and a sense of presence |
US328640 | 2002-12-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08237629A true JPH08237629A (ja) | 1996-09-13 |
Family
ID=23281793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7299286A Pending JPH08237629A (ja) | 1994-10-25 | 1995-10-25 | 視差修正および存在感を提供するビデオ会議システムおよび方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US5500671A (ja) |
JP (1) | JPH08237629A (ja) |
CA (1) | CA2157613C (ja) |
DE (1) | DE19539048B4 (ja) |
GB (1) | GB2294605B (ja) |
TW (1) | TW297985B (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008504760A (ja) * | 2004-06-30 | 2008-02-14 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 顔画像の補正 |
US8514262B2 (en) | 2009-02-27 | 2013-08-20 | Kabushiki Kaisha Toshiba | Information processing apparatus and network conference system |
JP2013235562A (ja) * | 2012-05-04 | 2013-11-21 | Commonwealth Scientific & Industrial Research Organization | ビデオにおける眼位のためのシステムおよび方法 |
JP2014233035A (ja) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
JP2015513833A (ja) * | 2012-02-27 | 2015-05-14 | エー・テー・ハー・チューリッヒEth Zuerich | ビデオ会議における眼差し補正のための画像処理のための方法およびシステム |
JP2015532483A (ja) * | 2012-10-04 | 2015-11-09 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオ映像の視点を変えるための方法および装置 |
WO2020090128A1 (ja) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | 画像処理装置、方法、コンピュータプログラム |
Families Citing this family (221)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
JPH07222202A (ja) * | 1994-02-02 | 1995-08-18 | Rohm Co Ltd | 立体ビジョンカメラ |
USRE38884E1 (en) * | 1995-02-16 | 2005-11-22 | Sumitomo Electric Industries, Ltd. | Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means |
US5815197A (en) * | 1995-02-16 | 1998-09-29 | Sumitomo Electric Industries, Ltd. | Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means |
JPH08256318A (ja) * | 1995-03-17 | 1996-10-01 | Fujitsu Ltd | テレビ会議システムのカメラ制御装置 |
KR100414629B1 (ko) * | 1995-03-29 | 2004-05-03 | 산요덴키가부시키가이샤 | 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법 |
US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
US5559875A (en) * | 1995-07-31 | 1996-09-24 | Latitude Communications | Method and apparatus for recording and retrieval of audio conferences |
US5675376A (en) * | 1995-12-21 | 1997-10-07 | Lucent Technologies Inc. | Method for achieving eye-to-eye contact in a video-conferencing system |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
US6037970A (en) * | 1996-04-05 | 2000-03-14 | Sony Corporation | Videoconference system and method therefor |
US5856842A (en) * | 1996-08-26 | 1999-01-05 | Kaiser Optical Systems Corporation | Apparatus facilitating eye-contact video communications |
US6275258B1 (en) | 1996-12-17 | 2001-08-14 | Nicholas Chim | Voice responsive image tracking system |
US6259470B1 (en) * | 1997-12-18 | 2001-07-10 | Intel Corporation | Image capture system having virtual camera |
US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
WO2000022823A1 (fr) * | 1998-10-09 | 2000-04-20 | Sony Corporation | Appareil et procede de telecommunication |
US6393136B1 (en) * | 1999-01-04 | 2002-05-21 | International Business Machines Corporation | Method and apparatus for determining eye contact |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US7117157B1 (en) * | 1999-03-26 | 2006-10-03 | Canon Kabushiki Kaisha | Processing apparatus for determining which person in a group is speaking |
GB9908545D0 (en) | 1999-04-14 | 1999-06-09 | Canon Kk | Image processing apparatus |
KR100307854B1 (ko) * | 1999-11-10 | 2001-11-02 | 전병우 | 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치 |
US6806898B1 (en) * | 2000-03-20 | 2004-10-19 | Microsoft Corp. | System and method for automatically adjusting gaze and head orientation for video conferencing |
EP1202209B1 (en) * | 2000-04-21 | 2012-03-21 | Shiseido Company Limited | Makeup counseling apparatus |
CN1192618C (zh) * | 2000-04-28 | 2005-03-09 | 瑞士电信流动电话公司 | 用于电视会议的方法和*** |
US20020015003A1 (en) * | 2000-08-07 | 2002-02-07 | Masami Kato | Virtual space system structured by plural user terminals and server device |
JP3784289B2 (ja) * | 2000-09-12 | 2006-06-07 | 松下電器産業株式会社 | メディア編集方法及びその装置 |
US6718051B1 (en) * | 2000-10-16 | 2004-04-06 | Xerox Corporation | Red-eye detection method |
US6724417B1 (en) * | 2000-11-29 | 2004-04-20 | Applied Minds, Inc. | Method and apparatus maintaining eye contact in video delivery systems using view morphing |
US6785402B2 (en) * | 2001-02-15 | 2004-08-31 | Hewlett-Packard Development Company, L.P. | Head tracking and color video acquisition via near infrared luminance keying |
US6714234B1 (en) | 2001-04-11 | 2004-03-30 | Applied Minds, Inc. | Maintaining eye-contact in teleconferencing using structured light |
US7502770B2 (en) * | 2001-04-11 | 2009-03-10 | Metaweb Technologies, Inc. | Knowledge web |
US7190825B2 (en) * | 2001-08-17 | 2007-03-13 | Geo-Rae Co., Ltd. | Portable communication device for stereoscopic image display and transmission |
US6798457B2 (en) | 2001-09-26 | 2004-09-28 | Digeo, Inc. | Camera positioning system and method for eye-to-eye communication |
US6943843B2 (en) * | 2001-09-27 | 2005-09-13 | Digeo, Inc. | Camera positioning system and method for eye-to eye communication |
US20030169339A1 (en) * | 2001-10-01 | 2003-09-11 | Digeo. Inc. | System and method for tracking an object during video communication |
US6598971B2 (en) * | 2001-11-08 | 2003-07-29 | Lc Technologies, Inc. | Method and system for accommodating pupil non-concentricity in eyetracker systems |
US20040207718A1 (en) * | 2001-11-14 | 2004-10-21 | Boyden James H. | Camera positioning system and method for eye -to-eye communication |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
US20030112325A1 (en) * | 2001-12-13 | 2003-06-19 | Digeo, Inc. | Camera positioning system and method for eye-to-eye communication |
US7126627B1 (en) | 2002-03-06 | 2006-10-24 | Lewis Thomas B | Video conferencing device and method |
US7904826B2 (en) * | 2002-03-29 | 2011-03-08 | Microsoft Corporation | Peek around user interface |
US20030195834A1 (en) * | 2002-04-10 | 2003-10-16 | Hillis W. Daniel | Automated online purchasing system |
US7844610B2 (en) | 2003-12-12 | 2010-11-30 | Google Inc. | Delegated authority evaluation system |
US8069175B2 (en) * | 2002-04-10 | 2011-11-29 | Google Inc. | Delegating authority to evaluate content |
EP1365359A1 (en) * | 2002-05-24 | 2003-11-26 | BRITISH TELECOMMUNICATIONS public limited company | Image processing method and system |
US7765206B2 (en) | 2002-12-13 | 2010-07-27 | Metaweb Technologies, Inc. | Meta-Web |
US8012025B2 (en) * | 2002-12-13 | 2011-09-06 | Applied Minds, Llc | Video game controller hub with control input reduction and combination schemes |
US7106358B2 (en) * | 2002-12-30 | 2006-09-12 | Motorola, Inc. | Method, system and apparatus for telepresence communications |
US7593546B2 (en) * | 2003-03-11 | 2009-09-22 | Hewlett-Packard Development Company, L.P. | Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze |
US8299979B2 (en) * | 2003-05-14 | 2012-10-30 | Broadcom Corporation | Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices |
US8553949B2 (en) * | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US8363951B2 (en) * | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
GB0321083D0 (en) * | 2003-09-09 | 2003-10-08 | British Telecomm | Video communications method and system |
US7336296B2 (en) * | 2003-10-10 | 2008-02-26 | International Business Machines Corporation | System and method for providing position-independent pose estimation |
US20050131918A1 (en) * | 2003-12-12 | 2005-06-16 | W. Daniel Hillis | Personalized profile for evaluating content |
US8824730B2 (en) * | 2004-01-09 | 2014-09-02 | Hewlett-Packard Development Company, L.P. | System and method for control of video bandwidth based on pose of a person |
US7564994B1 (en) * | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7865834B1 (en) * | 2004-06-25 | 2011-01-04 | Apple Inc. | Multi-way video conferencing user interface |
US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7605837B2 (en) * | 2005-06-02 | 2009-10-20 | Lao Chan Yuen | Display system and method |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的***和方法 |
GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
US20070279483A1 (en) * | 2006-05-31 | 2007-12-06 | Beers Ted W | Blended Space For Aligning Video Streams |
US7591558B2 (en) * | 2006-05-31 | 2009-09-22 | Sony Ericsson Mobile Communications Ab | Display based on eye information |
KR100820639B1 (ko) * | 2006-07-25 | 2008-04-10 | 한국과학기술연구원 | 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법 |
JP4730667B2 (ja) * | 2006-07-25 | 2011-07-20 | 富士フイルム株式会社 | 自動再生方法及び装置 |
WO2008015586A2 (en) * | 2006-08-02 | 2008-02-07 | Fotonation Vision Limited | Face recognition with combined pca-based datasets |
US8130261B2 (en) * | 2006-10-10 | 2012-03-06 | Exelis, Inc. | System and method for dynamically correcting parallax in head borne video systems |
US8648897B2 (en) * | 2006-10-10 | 2014-02-11 | Exelis, Inc. | System and method for dynamically enhancing depth perception in head borne video systems |
US20080117290A1 (en) * | 2006-10-18 | 2008-05-22 | Mgc Works, Inc. | Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax |
AU2007221976B2 (en) * | 2006-10-19 | 2009-12-24 | Polycom, Inc. | Ultrasonic camera tracking system and associated methods |
FR2910770A1 (fr) * | 2006-12-22 | 2008-06-27 | France Telecom | Dispositif pour permettre une communication par visioconference et procede de communication associe. |
WO2008109622A1 (en) * | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face categorization and annotation of a mobile phone contact list |
US20080278516A1 (en) * | 2007-05-11 | 2008-11-13 | Santon John C | System and method for adjusting perceived eye rotation in image of face |
US8570373B2 (en) | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
GB2450345A (en) * | 2007-06-20 | 2008-12-24 | Iona Simpson | Videoconference terminal providing enhanced user interface |
US8074581B2 (en) | 2007-10-12 | 2011-12-13 | Steelcase Inc. | Conference table assembly |
US20090183276A1 (en) * | 2008-01-10 | 2009-07-16 | Pioneer Hi-Bred International, Inc. | Novel Bacillus Thuringiensis Gene with Coleopteran Activity |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8289367B2 (en) * | 2008-03-17 | 2012-10-16 | Cisco Technology, Inc. | Conferencing and stage display of distributed conference participants |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
NO331839B1 (no) * | 2008-05-30 | 2012-04-16 | Cisco Systems Int Sarl | Fremgangsmate for a fremvise et bilde pa et display |
US20100054526A1 (en) * | 2008-09-03 | 2010-03-04 | Dean Eckles | Method, apparatus and computer program product for providing gaze information |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
US8593503B2 (en) * | 2008-09-25 | 2013-11-26 | Alcatel Lucent | Videoconferencing terminal and method of operation thereof to maintain eye contact |
US20140361954A1 (en) | 2013-06-07 | 2014-12-11 | Lewis Epstein | Personal control apparatus and method for sharing information in a collaboration workspace |
US10631632B2 (en) | 2008-10-13 | 2020-04-28 | Steelcase Inc. | Egalitarian control apparatus and method for sharing information in a collaborative workspace |
US8266536B2 (en) * | 2008-11-20 | 2012-09-11 | Palo Alto Research Center Incorporated | Physical-virtual environment interface |
US8405706B2 (en) * | 2008-12-17 | 2013-03-26 | Microsoft Corporation | Visual feedback for natural head positioning |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
US10884607B1 (en) | 2009-05-29 | 2021-01-05 | Steelcase Inc. | Personal control apparatus and method for sharing information in a collaborative workspace |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
JP5456159B2 (ja) * | 2009-05-29 | 2014-03-26 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 背景から前景の頭頂部を分離するための方法および装置 |
CZ305294B6 (cs) * | 2009-06-03 | 2015-07-22 | Masarykova Univerzita | Videokonferenční prostředí pro komunikaci vzdálených skupin a způsob komunikace vzdálených skupin v systému videokonferenčního prostředí |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US11300795B1 (en) | 2009-09-30 | 2022-04-12 | Digilens Inc. | Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion |
US8233204B1 (en) | 2009-09-30 | 2012-07-31 | Rockwell Collins, Inc. | Optical displays |
US10795160B1 (en) | 2014-09-25 | 2020-10-06 | Rockwell Collins, Inc. | Systems for and methods of using fold gratings for dual axis expansion |
US11320571B2 (en) | 2012-11-16 | 2022-05-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view with uniform light extraction |
EP2317764A1 (de) | 2009-11-03 | 2011-05-04 | Deutsche Telekom AG | Verfahren und System zur Darbietung von Bilddaten |
US8520051B2 (en) * | 2009-12-17 | 2013-08-27 | Alcatel Lucent | Videoconferencing terminal with a persistence of vision display and a method of operation thereof to maintain eye contact |
CN106124510B (zh) * | 2010-01-26 | 2019-10-18 | 戴比尔斯英国有限公司 | 宝石闪耀分析 |
US8659826B1 (en) | 2010-02-04 | 2014-02-25 | Rockwell Collins, Inc. | Worn display system and method without requiring real time tracking for boresight precision |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD628175S1 (en) | 2010-03-21 | 2010-11-30 | Cisco Technology, Inc. | Mounted video unit |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
USD628968S1 (en) | 2010-03-21 | 2010-12-14 | Cisco Technology, Inc. | Free-standing video unit |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
US9955209B2 (en) | 2010-04-14 | 2018-04-24 | Alcatel-Lucent Usa Inc. | Immersive viewer, a method of providing scenes on a display and an immersive viewing system |
US20110270663A1 (en) * | 2010-04-30 | 2011-11-03 | American Teleconferncing Services Ltd. | Location-Aware Conferencing With Participant Rewards |
US9294716B2 (en) | 2010-04-30 | 2016-03-22 | Alcatel Lucent | Method and system for controlling an imaging system |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US8971628B2 (en) | 2010-07-26 | 2015-03-03 | Fotonation Limited | Face detection using division-generated haar-like features for illumination invariance |
US8421844B2 (en) | 2010-08-13 | 2013-04-16 | Alcatel Lucent | Apparatus for correcting gaze, a method of videoconferencing and a system therefor |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
US8754925B2 (en) | 2010-09-30 | 2014-06-17 | Alcatel Lucent | Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
CN101986346B (zh) * | 2010-11-01 | 2012-08-08 | 华为终端有限公司 | 人脸图像处理方法及装置 |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
WO2012136970A1 (en) | 2011-04-07 | 2012-10-11 | Milan Momcilo Popovich | Laser despeckler based on angular diversity |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
US20140204455A1 (en) | 2011-08-24 | 2014-07-24 | Milan Momcilo Popovich | Wearable data display |
WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
US9538133B2 (en) * | 2011-09-23 | 2017-01-03 | Jie Diao | Conveying gaze information in virtual conference |
US9715067B1 (en) | 2011-09-30 | 2017-07-25 | Rockwell Collins, Inc. | Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials |
US8634139B1 (en) | 2011-09-30 | 2014-01-21 | Rockwell Collins, Inc. | System for and method of catadioptric collimation in a compact head up display (HUD) |
US9366864B1 (en) | 2011-09-30 | 2016-06-14 | Rockwell Collins, Inc. | System for and method of displaying information without need for a combiner alignment detector |
US9507150B1 (en) | 2011-09-30 | 2016-11-29 | Rockwell Collins, Inc. | Head up display (HUD) using a bent waveguide assembly |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
US9008487B2 (en) | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
EP2610855A1 (en) * | 2011-12-28 | 2013-07-03 | Samsung Electronics Co., Ltd | Display apparatus |
WO2013102759A2 (en) | 2012-01-06 | 2013-07-11 | Milan Momcilo Popovich | Contact image sensor using switchable bragg gratings |
US9523852B1 (en) | 2012-03-28 | 2016-12-20 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
US9369667B2 (en) * | 2012-04-11 | 2016-06-14 | Jie Diao | Conveying gaze information in virtual conference |
CN103562802B (zh) | 2012-04-25 | 2016-08-17 | 罗克韦尔柯林斯公司 | 全息广角显示器 |
US8902281B2 (en) | 2012-06-29 | 2014-12-02 | Alcatel Lucent | System and method for image stabilization in videoconferencing |
US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
KR20140090538A (ko) | 2013-01-09 | 2014-07-17 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9674413B1 (en) | 2013-04-17 | 2017-06-06 | Rockwell Collins, Inc. | Vision system and method having improved performance and solar mitigation |
WO2014178047A1 (en) * | 2013-04-30 | 2014-11-06 | Inuitive Ltd. | System and method for video conferencing |
WO2015015138A1 (en) | 2013-07-31 | 2015-02-05 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
US9244281B1 (en) | 2013-09-26 | 2016-01-26 | Rockwell Collins, Inc. | Display system and method using a detached combiner |
US10732407B1 (en) | 2014-01-10 | 2020-08-04 | Rockwell Collins, Inc. | Near eye head up display system and method with fixed combiner |
US9519089B1 (en) | 2014-01-30 | 2016-12-13 | Rockwell Collins, Inc. | High performance volume phase gratings |
US9244280B1 (en) | 2014-03-25 | 2016-01-26 | Rockwell Collins, Inc. | Near eye display system and method for display enhancement or redundancy |
US9843713B2 (en) * | 2014-04-02 | 2017-12-12 | Nebulys Technologies, Inc. | Systems and methods for video communication |
WO2016020632A1 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Method for holographic mastering and replication |
WO2016042283A1 (en) | 2014-09-19 | 2016-03-24 | Milan Momcilo Popovich | Method and apparatus for generating input images for holographic waveguide displays |
TW201615009A (en) * | 2014-09-24 | 2016-04-16 | Thomson Licensing | A background light enhancing apparatus responsive to a local camera output video signal |
TW201624073A (zh) * | 2014-09-24 | 2016-07-01 | 湯普生證照公司 | 回應遠端產生之視訊信號之背景光增強裝置 |
US9715110B1 (en) | 2014-09-25 | 2017-07-25 | Rockwell Collins, Inc. | Automotive head up display (HUD) |
US10088675B1 (en) | 2015-05-18 | 2018-10-02 | Rockwell Collins, Inc. | Turning light pipe for a pupil expansion system and method |
US10437064B2 (en) | 2015-01-12 | 2019-10-08 | Digilens Inc. | Environmentally isolated waveguide display |
US9541998B2 (en) | 2015-01-29 | 2017-01-10 | Samsung Electronics Co., Ltd. | Electronic system with gaze alignment mechanism and method of operation thereof |
US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
US11366316B2 (en) | 2015-05-18 | 2022-06-21 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
US10247943B1 (en) | 2015-05-18 | 2019-04-02 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
US10126552B2 (en) | 2015-05-18 | 2018-11-13 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
KR102317021B1 (ko) * | 2015-06-26 | 2021-10-25 | 삼성전자주식회사 | 디스플레이 장치 및 이의 영상 보정 방법 |
US10108010B2 (en) | 2015-06-29 | 2018-10-23 | Rockwell Collins, Inc. | System for and method of integrating head up displays and head down displays |
WO2017060665A1 (en) | 2015-10-05 | 2017-04-13 | Milan Momcilo Popovich | Waveguide display |
US9743040B1 (en) * | 2015-12-03 | 2017-08-22 | Symantec Corporation | Systems and methods for facilitating eye contact during video conferences |
US10598932B1 (en) | 2016-01-06 | 2020-03-24 | Rockwell Collins, Inc. | Head up display for integrating views of conformally mapped symbols and a fixed image source |
JP6895451B2 (ja) | 2016-03-24 | 2021-06-30 | ディジレンズ インコーポレイテッド | 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置 |
CN109154717B (zh) | 2016-04-11 | 2022-05-13 | 迪吉伦斯公司 | 用于结构光投射的全息波导设备 |
WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
US10264213B1 (en) | 2016-12-15 | 2019-04-16 | Steelcase Inc. | Content amplification system and method |
US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
US10295824B2 (en) | 2017-01-26 | 2019-05-21 | Rockwell Collins, Inc. | Head up display with an angled light pipe |
US10560661B2 (en) | 2017-03-16 | 2020-02-11 | Dolby Laboratories Licensing Corporation | Detecting and mitigating audio-visual incongruence |
JP7399084B2 (ja) | 2017-10-16 | 2023-12-15 | ディジレンズ インコーポレイテッド | ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法 |
US10656706B2 (en) * | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
US10914950B2 (en) | 2018-01-08 | 2021-02-09 | Digilens Inc. | Waveguide architectures and related methods of manufacturing |
KR20200108030A (ko) | 2018-01-08 | 2020-09-16 | 디지렌즈 인코포레이티드. | 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법 |
US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
US11022794B2 (en) * | 2018-12-27 | 2021-06-01 | Facebook Technologies, Llc | Visual indicators of user attention in AR/VR environment |
US11112865B1 (en) * | 2019-02-13 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for using a display as an illumination source for eye tracking |
EP3924759A4 (en) | 2019-02-15 | 2022-12-28 | Digilens Inc. | METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS |
KR20210134763A (ko) | 2019-03-12 | 2021-11-10 | 디지렌즈 인코포레이티드. | 홀로그래픽 도파관 백라이트 및 관련된 제조 방법 |
CN114207492A (zh) | 2019-06-07 | 2022-03-18 | 迪吉伦斯公司 | 带透射光栅和反射光栅的波导及其生产方法 |
EP4004646A4 (en) | 2019-07-29 | 2023-09-06 | Digilens Inc. | METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN |
US11442222B2 (en) | 2019-08-29 | 2022-09-13 | Digilens Inc. | Evacuated gratings and methods of manufacturing |
BR112022002420A2 (pt) * | 2019-09-10 | 2022-05-03 | Intel Corp | Computadores do tipo laptop com alojamento de acessórios móvel |
JP7420585B2 (ja) | 2020-02-20 | 2024-01-23 | 日本放送協会 | Ar表示制御装置及びそのプログラム、並びに、ar表示システム |
US11783531B2 (en) * | 2020-12-01 | 2023-10-10 | Matsuko S.R.O. | Method, system, and medium for 3D or 2.5D electronic communication |
US20230177879A1 (en) * | 2021-12-06 | 2023-06-08 | Hewlett-Packard Development Company, L.P. | Videoconference iris position adjustments |
US20240012472A1 (en) * | 2022-07-08 | 2024-01-11 | Tencent America LLC | Vergence based gaze matching for mixed-mode immersive telepresence application |
DE102022121634A1 (de) * | 2022-08-26 | 2024-02-29 | Telefónica Germany GmbH & Co. OHG | System, Verfahren, Computerprogramm und computerlesbares Medium |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2312904A1 (fr) * | 1975-05-27 | 1976-12-24 | Poirier Alain | Perfectionnements aux systemes et aux dispositifs de teleconference par visiophonie |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
DE4102895C1 (ja) * | 1991-01-31 | 1992-01-30 | Siemens Ag, 8000 Muenchen, De | |
CA2081041C (en) * | 1992-01-03 | 1996-08-06 | Robert Louis Beecher | Camera field of view indicator |
JPH05300499A (ja) * | 1992-04-17 | 1993-11-12 | Toshiba Corp | テレビ電話装置 |
GB2273411A (en) * | 1992-12-11 | 1994-06-15 | Ibm | Video conferencing terminal |
US5359362A (en) * | 1993-03-30 | 1994-10-25 | Nec Usa, Inc. | Videoconference system using a virtual camera image |
US5400069A (en) * | 1993-06-16 | 1995-03-21 | Bell Communications Research, Inc. | Eye contact video-conferencing system and screen |
US5438357A (en) * | 1993-11-23 | 1995-08-01 | Mcnelley; Steve H. | Image manipulating teleconferencing system |
-
1994
- 1994-10-25 US US08/328,640 patent/US5500671A/en not_active Expired - Lifetime
-
1995
- 1995-09-06 CA CA002157613A patent/CA2157613C/en not_active Expired - Fee Related
- 1995-09-11 TW TW084109459A patent/TW297985B/zh active
- 1995-10-18 GB GB9521385A patent/GB2294605B/en not_active Expired - Fee Related
- 1995-10-20 DE DE19539048A patent/DE19539048B4/de not_active Expired - Fee Related
- 1995-10-25 JP JP7299286A patent/JPH08237629A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008504760A (ja) * | 2004-06-30 | 2008-02-14 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 顔画像の補正 |
US8208010B2 (en) | 2004-06-30 | 2012-06-26 | Sony Ericsson Mobile Communications Ab | Face image correction using multiple camera angles |
US8514262B2 (en) | 2009-02-27 | 2013-08-20 | Kabushiki Kaisha Toshiba | Information processing apparatus and network conference system |
JP2015513833A (ja) * | 2012-02-27 | 2015-05-14 | エー・テー・ハー・チューリッヒEth Zuerich | ビデオ会議における眼差し補正のための画像処理のための方法およびシステム |
US9684953B2 (en) | 2012-02-27 | 2017-06-20 | Eth Zurich | Method and system for image processing in video conferencing |
JP2013235562A (ja) * | 2012-05-04 | 2013-11-21 | Commonwealth Scientific & Industrial Research Organization | ビデオにおける眼位のためのシステムおよび方法 |
JP2015532483A (ja) * | 2012-10-04 | 2015-11-09 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | ビデオ映像の視点を変えるための方法および装置 |
JP2014233035A (ja) * | 2013-05-30 | 2014-12-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US10038874B2 (en) | 2013-05-30 | 2018-07-31 | Sony Corporation | Information processing apparatus, display control method, and program |
WO2020090128A1 (ja) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | 画像処理装置、方法、コンピュータプログラム |
WO2020089971A1 (ja) * | 2018-10-29 | 2020-05-07 | 有限会社アドリブ | 画像処理装置、方法、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
CA2157613A1 (en) | 1996-04-26 |
DE19539048A1 (de) | 1996-05-02 |
GB9521385D0 (en) | 1995-12-20 |
CA2157613C (en) | 1999-09-21 |
TW297985B (ja) | 1997-02-11 |
GB2294605A (en) | 1996-05-01 |
GB2294605B (en) | 1997-01-15 |
US5500671A (en) | 1996-03-19 |
DE19539048B4 (de) | 2006-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH08237629A (ja) | 視差修正および存在感を提供するビデオ会議システムおよび方法 | |
EP3510768B1 (en) | Three-dimensional telepresence system | |
KR102054363B1 (ko) | 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템 | |
EP2299726B1 (en) | Video communication method, apparatus and system | |
US6724417B1 (en) | Method and apparatus maintaining eye contact in video delivery systems using view morphing | |
US20110316853A1 (en) | Telepresence systems with viewer perspective adjustment | |
US20050083248A1 (en) | Mobile face capture and image processing system and method | |
US8847956B2 (en) | Method and apparatus for modifying a digital image | |
JP6496172B2 (ja) | 映像表示システム及び映像表示方法 | |
US20170237941A1 (en) | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing | |
US6836286B1 (en) | Method and apparatus for producing images in a virtual space, and image pickup system for use therein | |
US20220398705A1 (en) | Neural blending for novel view synthesis | |
Kara et al. | On the edge of the seat: Reduced angular resolution of a light field cinema with fixed observer positions | |
WO2017141584A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
WO2016159166A1 (ja) | 映像表示システム及び映像表示方法 | |
JP3464754B2 (ja) | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 | |
Jouppi et al. | Bireality: mutually-immersive telepresence | |
US20230122149A1 (en) | Asymmetric communication system with viewer position indications | |
US20200252585A1 (en) | Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras | |
JPH08256316A (ja) | 通信会議システム | |
JP3721624B2 (ja) | Tv電話システム | |
JP7519390B2 (ja) | 新規ビュー合成のためのニューラルブレンド | |
CN116954349A (zh) | Mr元宇宙远程心理咨询ai交互沉浸*** | |
JPH05168005A (ja) | 画像通信用撮影表示装置 | |
Wide-Field-of-View | 1.1 Augmented reality and virtual reality |