JPH08237629A - 視差修正および存在感を提供するビデオ会議システムおよび方法 - Google Patents

視差修正および存在感を提供するビデオ会議システムおよび方法

Info

Publication number
JPH08237629A
JPH08237629A JP7299286A JP29928695A JPH08237629A JP H08237629 A JPH08237629 A JP H08237629A JP 7299286 A JP7299286 A JP 7299286A JP 29928695 A JP29928695 A JP 29928695A JP H08237629 A JPH08237629 A JP H08237629A
Authority
JP
Japan
Prior art keywords
image
conference
conference participant
participant
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7299286A
Other languages
English (en)
Inventor
Russell L Andersson
レンナート アンダーソン ラッセル
Tsuhan Chen
チェン ツハン
Barin Geoffry Haskell
ジェフリー ハスケル バリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH08237629A publication Critical patent/JPH08237629A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 遠隔で提示されるイメージの中で、現実に対
応した頭の向きによる実在感と、目の触れ合いが可能な
テレビ会議システムを提供する。 【解決手段】 本発明のテレビ会議システムにおいて、
各会議室28、26に、会議参加者のイメージフレーム
を表すビデオ信号を生成するビデオカメラ30、32
と、遠隔の会議参加者A、Bのイメージフレームを表示
するイメージ受像器22、24がある。そのイメージ受
像器とビデオカメラと、その場所の会議参加者の目とが
視差角θを定義する。テレビ会議システムはさらに、ビ
デオ信号に対応して、その場所の会議参加者のイメージ
フレームを分析し、視差補償されたフレームを生成する
ための、フレーム生成システム34を含む。それぞれに
視差補償されたフレームを表す信号は、対応するイメー
ジ受像器に送信される。3人以上の参加者がいる場合
は、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明はビデオ会議(テレ
ビ会議)に関し、特に、見ている者と、離れた位置で見
られている者の対応するイメージとの間に見かけ上の目
の触れ合い(アイコンタクト)が提供されるビデオ会議
システムおよびその技術に関する。
【0002】
【従来の技術】ビデオ会議システムの主な目的の一つ
は、離れた位置の人の間の相互の働きかけのための有効
な手段を提供することである。他の会議参加者を見てそ
れに反応できるということは、すべての会議の進行にと
って重要なことである。したがって、姿が見えるという
ことは、ビデオ会議システムが満足するべきもっとも重
要な基準の一つである。さらに、会議中に、誰が誰を見
ているかが見えることが望ましい。
【0003】すべてのビデオ会議システムは、各場所
(サイト)に、離れた所の会議参加者を表示し、その場
所の参加者のイメージを取り込むために、少なくとも一
台のモニタと少なくともー台のカメラを使用する。ビデ
オ会議システムにおけるこれらの要素の現状の構成から
生じる課題には、いわゆる「視差効果」があり、これに
より、話す人と、その人の話し相手であって離れた場所
にいて見ている人との間の目の触れ合いの感覚が妨げら
れる。この効果は、基本的に、モニタとそれを見る人に
対するカメラの相対的位置関係の結果から生じている。
【0004】視差効果は図1に示される。図1からわか
るように、会議参加者AとBはそれぞれ、他方の参加者
のイメージを表示する窓をもつ表示装置12、14を見
る。各表示装置に隣接して、その対応する見る人のイメ
ージを取り込むためのビデオカメラが配置されている。
各カメラは、たとえば表示装置の上か下かまたは横に置
かれる。図1に示す従来システムでは、カメラ16、1
8はそれぞれ、表示装置12、14のすぐ上に取り付け
られている。角度θは見る人Aから見たカメラ16と表
示装置12とのなす角度である。参加者Aはカメラ16
ではなくて参加者Bの表示イメージを直接見ているの
で、Aの表示されたイメージは下を見ているように見え
る。視差効果は、参加者Bの表示イメージにも同様に現
れる。
【0005】視差効果は、カメラとモニタをできるだけ
近くに置くことによって最小に抑えられる。実際、視差
効果を取り除くためのこれまでの試みは、カメラを、特
殊構造の表示スクリーンの背後に直接に設置することに
頼っていた。たとえば、1977年10月18日付けで
Poieierらに発行された米国特許4,054,908号では、見る
人のイメージが、斜めの反射板によって反射されてカメ
ラに届く。見る人は、反射板の中の窓を通して表示スク
リーンを見る。しかし、開口板の中の窓の存在は、見る
人にとって少しうっとうしい。
【0006】そのほかに、電子結晶スクリーンを利用す
ることも提案されている。このスクリーンは、一定の周
期で不透明な状態と透明な状態に変化する。そして、透
明の状態の時は見ている人のイメージがカメラに到達
し、不透明の反射状態の時は表示イメージを提供する。
しかし、そのようにちらちらするスクリーン上に表示さ
れるイメージは、許容できないほどの暗さが欠点であ
る。さらに、スクリーンの構造および関連する駆動回路
の製作費が高くつく。
【0007】完全視覚的存在感を提供し、3人以上の会
議参加者の間の空間的関連を伝達するための試みとし
て、いわゆるバーチャル空間ビデオ会議システムが提案
されている。このタイプのシステムでは、各場所(サイ
ト)のモニタとカメラの組の数は、離れた位置の会議参
加者の合計人数に対応し、各参加者に対する組の相対位
置はそれぞれのサイトで固定される。
【0008】このタイプのシステムを図2に示す。見る
人たち(A,B,C,D)それぞれは、それぞれに対応
する部屋(1,2,3,4)の中の回転椅子に座ってい
る。各部屋には、他の3人の「実質的にそこにいる(vir
tually present)」参加者を表示する3台のテレビモニ
タがある。すなわち、たとえば見る人(A)は部屋1の
中の回転椅子に座り、この部屋1には、3人の「実質的
にそこにいる」参加者(B,C,D)を表示する3台の
テレビモニタがある。各部屋のモニタとカメラの組の配
置は、参加者全員が一つの正方形のテーブルに座ってい
る場合の各参加者の位置を模して置かれている。これら
のカメラからの信号は、ビデオ交換機ユニットを通り、
動的割振りネットワークにより、対応する目的地のモニ
タへ直接送られる。
【0009】
【発明が解決しようとする課題】図2のバーチャル空間
システムは、会議中に誰が誰を見ているかを、3人以上
の参加者に表示する。しかし、参加者同士の目の触れ合
いは、これまでのところ、上述の開口部のあるスクリー
ン装置または半反射スクリーンによるものしかない。さ
らに、会議参加者間の望ましい空間的分布をカバーする
ために必要なビデオチャンネルの数が大きいことから、
大きな送信帯域幅を必要とする。
【0010】
【課題を解決するための手段】本発明のシステムおよび
方法は上記課題を解決するものであって、遠隔で見てい
る人に提示されるイメージの中で、現実に対応した頭の
向きおよび/または目の触れ合いを提供する。そのため
に、リアルタイムのイメージ分析と処理の技術が使用さ
れる。本発明によるビデオ会議システムにおいては、各
会議室(28、26)は、少なくとも1台のビデオ電話
器すなわち通信装置がある。そのビデオ電話器は、その
会議参加者の一連のイメージフレームを表すビデオ信号
を生成するビデオカメラ(30、32)と、少なくとも
一人の遠隔の会議参加者(A、B)のイメージフレーム
を表示するイメージ受像器(22、24)を含む。その
イメージ受像器とビデオカメラと、その場所の会議参加
者の目とが視差角(θ)を定義する。
【0011】このビデオ会議システムはさらに、ビデオ
信号に対応して、その場所の会議参加者のイメージフレ
ームを分析し、それに対応する一連の視差補償されたフ
レームを生成するための、フレーム生成システム(3
4)を含む。それぞれに一連の視差補償されたフレーム
を表す信号は、対応するイメージ受像器に送信され、こ
れにより、その場所の会議参加者と遠隔地の会議参加者
の表示イメージとの間に見かけ上の目の触れ合いが提供
される。
【0012】3人以上の参加者がいる場合は、必要があ
れば、実在感を提供するために、フレーム生成手段によ
り、頭の位置について各入力イメージフレームを分析
し、頭の向きの修正がなされる。たとえば、各イメージ
受像器は、分割窓表示装置上に二人の遠隔参加者を表示
する。各入力イメージは、3次元楕円体頭部モデルにマ
ップ化され、適当な視線方向が得られるように予め設定
された角度だけ向きを変えられ、再構築された2次元イ
メージフレームに戻される。それから、この再構築され
たイメージフレームを表す信号は、適当な遠隔イメージ
受像器に表示される。このように、本発明によれば、会
議中誰が誰を見ているかを各会議参加者が認識すること
ができる。
【0013】
【発明の実施の形態】本発明による会議システムの一実
施例20を図3Aに示す。図3Aで、ビデオ会議の各参
加者は、それぞれの表示装置22、24を見る。各表示
装置は、遠隔参加者数に対応するイメージを表示するた
めの1個または複数の窓に分割してもよい。たとえば、
2カ所の会議室があって、それぞれに一人ずつの会議参
加者がいる。図3Aで、参加者AとBはそれぞれ、会議
場所(サイト)26、28におり、表示装置22、24
に表示されている。
【0014】図3Aに示す実施例で、会議参加者Aおよ
びBのイメージはまず、それぞれ、カメラ32、30に
よって取り込まれる。従来の方法により、カメラ32、
30のアナログ出力信号は、通信ネットワーク(図示せ
ず)を通じて送信できるようにするために、デジタル形
式に変換され、前処理され、ビットレート低減のために
符号化される。上述の信号処理機能を実行するためのシ
ステムや技術は周知であって、本発明の新規な面を構成
するものではない。したがってその詳細な説明はここで
は不要であり、省略する。
【0015】図3Aにおいて、各カメラからのデジタル
化されたビデオ信号は、それぞれの目的地の表示装置に
直接送信されるわけではない。カメラ30、32の出力
は、後述する目的のために、たとえば高処理速度の計算
機等の適当な処理装置34に提供される。基本的に、処
理装置34は、入力される生のビデオデータをフレーム
ごとにリアルタイムで分析し、表示されたイメージとそ
れを見る人との間の目の触れ合いを回復するように、入
力される各フレームのイメージを修正する。それから、
修正されたフレームは、適当な目的地の表示装置に向け
てリアルタイムで送信される。
【0016】図1について前述したように、表示装置の
すぐ上にカメラが配置されていると、カメラと、イメー
ジを見る人Aの目と、参加者Bの表示イメージとの間に
視差角θが形成される。このカメラと表示装置と見る人
との位置関係は、図3Bにも示されている。図では各カ
メラがそれぞれの表示装置の上に配置されているが、カ
メラが表示装置の下または横に配置されても同様である
ことはいうまでもない。本発明では、処理装置34によ
り視差修正がなされる。この目的のために、まず、視差
角θを特定することが必要である。
【0017】視差角θの精度を高めるためにはいくつか
の方法がある。図3Aおよび3Bに示す実施例では、二
人の会議参加者のイメージを修正するだけでよい。これ
らの参加者は真正面を見ている。AとBの動きを無視し
うると仮定すると、カメラと表示装置の相対位置関係に
基づいて固定角θを特定することができる。他の方法と
して、表示装置Aに表示されたBのイメージがあまり動
かないと仮定すると、カメラAによって取り込まれるイ
メージを分析することにより、Aのイメージが真正面を
向いているようにするために必要な修正量を決定するこ
とができる。必要な修正量φは、時間的に一定または変
化する、ある確率分布をもつランダム変数としてモデル
化できる。Aがほとんどの時間にBのイメージを見てい
る仮定すると、視差角θは、φの期待値すなわちE
[φ]に等しい。
【0018】上述のようにあまり動きがないという仮定
を採用する場合、各イメージフレームにおける目の位置
を特定し、それらのフレームを視差角θについて修正す
るだけでよい。デジタル化したイメージの中で、目、
鼻、口等の顔の部分の位置を特定するための特徴部抽出
技術はよく知られており、ここでは詳述しない。同様
に、そのようなイメージを局所的に修正する技術もよく
知られている。いずれにしても、目は、顔全体またはそ
のイメージの中の小さな部分を占めるだけなので、目を
前に向けることは、簡単に目を合成することにより可能
である。
【0019】目を合成することの妥当性は、目の映像の
中の比較的小さな一部分のノイズに対する見る人の許容
範囲に依存する。この点で、表示装置に対するカメラの
相対位置が、得られる結果の質だけでなく目の合成アル
ゴリズムの複雑さにも影響を与える。特に、まぶたの位
置は、視角の鉛直成分に大きく影響されるので、Gの表
示イメージの中の目のように、目を鉛直方向に動かす必
要がある場合、見た目の不自然さを避けるためにはまぶ
たも修正しなければならない。カメラが表示装置の横に
ある場合は、目を合成するにあたりまぶたの位置を変え
る必要がない。したがって、カメラ位置は、表示装置の
横が望ましい。
【0020】目のイメージを合成するために、プログラ
ムは、その目を囲むまぶたの境界を特定しなければなら
ない。まぶたは、おもに白目に隣接するが、通常、虹彩
の上端と下端にも隣接する。この境界の内側のすべての
領域が合成される。映される人がカメラから遠く離れて
いる(そのために、得られるイメージ内の目が小さい)
場合は、見る人との目の触れ合いを提供するために必要
な瞳孔の位置は、修正された位置に適当な大きさの黒丸
領域を加えるだけで作ることができる。
【0021】映される人がカメラ/モニタに充分に近い
場合は、目の輪郭の内側すなわち上まぶたと下まぶたの
間の各画素位置にまったく新しい強度(明度)値を生成
しなければならない。新しい目を合成するためには、目
の輪郭に加えて、5個の追加パラメータを利用する。す
なわち、瞳孔の二つの座標値と、虹彩の半径と、虹彩の
強度レベルと、白目の強度レベルである。
【0022】普通の境界検出方法によれば、一定領域内
の各Y座標値に対する虹彩の最小および最大のX座標値
を含む簡単な境界表現で表される。虹彩の強度は、基礎
的な目の追跡アルゴリズム中で計算され、同様に、白目
境界の特定の手順の中で、白目強度と目の輪郭が計算さ
れる。目の合成は、たとえばパラメトリック混合関数法
により実現できる。この方法では、虹彩の直径は目と目
の間隔に比例する。目と目の間隔は、映される人がカメ
ラに近づいたりカメラから遠ざかったりするときに適当
な尺度を提供してくれる。
【0023】上述のように、固定角θを、カメラと表示
装置との相対位置関係に基づいて特定することができ
る。たとえば、カメラは表示装置の横にこれと同じ高さ
に配置される。この発明の目的のためには、ユーザは表
示装置を見ており、それ以外のところを見てはいない。
したがって、ユーザが他を見ている場合は、合成された
イメージは、見ている人との目の触れ合いは維持される
ように見えない。
【0024】カメラと表示装置をこのように配置して、
虹彩と瞳孔とを、鉛直方向には動かさずに水平にシフト
する。シフトの量は所定の幾何学形状に依存し、目と目
の間隔に反比例する。たとえば、合成アルゴリズムは、
合成される瞳孔の中心への距離を、アスペクト比で修正
した(aspect-ratio-corrected)水平画素において計算す
るように形成されている。この間隔と合成される虹彩の
半径との比に基づく参照表によって、虹彩のレベルと白
目のレベルの間の混合係数が与えられる。この係数は、
虹彩レベルを1とし、白目レベルを0とし、その間を線
形混合とする。この参照表をグラフに表すと図4のよう
になる。1の上はさらに暗い(黒い)レベルであって瞳
孔を表す。白目の合成も同様の処理を利用する。
【0025】上述の方法で合成された目のイメージは、
目に深さと輪郭の印象を与える反射のハイライトを欠く
ということがわかる。したがって、そのようなハイライ
トを従来方法によりイメージに追加するのが望ましいか
もしれない。モトローラ88000RISCプロセッサ
を利用して、一つの入力ビデオフレームについて上述の
イメージ分析と処理を行った。その結果は、瞳孔と白目
の境界位置を求めるのに1.177msec、その境界
を後処理するのに0.176msec、新しい目を合成
するのに1.670msec、リアルタイムグラフィッ
クスとテキストの表示に1.453msecをそれぞれ
要した。
【0026】もちろん、プロセッサ時間は、イメージ面
内の目のイメージに大きく依存する。しかし、極端なク
ローズアップの場合でも、1フレームインターバルの中
で合成された目を有する修正フレームを作ることは可能
である。その結果、視差補償を施した一連のイメージフ
レームを、リアルタイムで作ることにより、フレームレ
ートを犠牲にすることなく、目の触れ合いを有するビデ
オ会議システムをユーザに提供することができる。
【0027】上述の、AとBの動きについての仮定を使
えないこともありうる。視差角θの厳密な補償が必要な
場合は、Bの目の位置と表示装置24の上でのAの目の
位置とを検出しなければならない。この発明の目的のた
めに、目の位置を検出するのに用いうる適当なイメージ
分析技術は、種々ある。たとえば、目の位置についての
情報を得るのに利用できる非干渉視線追跡技術が、S.Ba
luja and D.A.Pomerleau著の記事"Non-Intrusive Gaze
Tracking Using Artificial Neural Networks",6 Advan
ces in Neural Information Processing Systems(NIPS)
(1994)に記載されている。各会議参加者が自分の頭を自
由に動かせるという点で、非干渉視線追跡技術が望まし
いといえる。
【0028】基本的に、視線追跡の目標は、ある人がど
こを見ているかを、その人の目の外観から特定すること
にある。カメラと目との相対的位置関係の変化を考慮す
るために、各イメージフレーム内でまず目の位置を特定
する。典型的には、一つの目の位置を特定するには、そ
の人の顔のイメージの中で静止光源の鏡面反射を探すこ
とによって行う。この発明の目的のために利用できる適
当な光源は種々ありうるが、非干渉赤外線源が望まし
い。見る人の妨げにならず、すなわち不快感を起こさせ
ずに、容易に検出できる反射パタンを作れるからであ
る。
【0029】イメージ内の鏡面反射は、通常、非常に暗
い領域で囲まれた小さな明るい領域にとして認識でき
る。その反射位置は、次のフレームでその目を探すのを
制限するのに利用してもよい。その反射を囲む窓を抽出
して、その窓内で目の位置を特定する。瞳孔の中心が見
いだされ、光の反射の瞳孔中心に対する相対位置が計算
される。相対位置関係から視線方向が特定される。たと
えば見る人が光源を見ているとき、鏡面反射は瞳孔のイ
メージの中心にある。見る人が光源の上方を見ていると
きは、鏡面反射は瞳孔のイメージの下端部近くにある。
見る人が光源の左方を見ているときは、鏡面反射は瞳孔
のイメージの右端部近くにある。
【0030】図3Aおよび3Bに示すシステムでは、参
加者Aのイメージ上で視線追跡技術を使用するために、
固定光源36がカメラ32の上に設置されている。同様
の光源(図示せず)はカメラ30の上にも設置される。
当業者にはすぐにわかるように、上述のような視線検出
技術により、光源に対する視線の相対的方向に関する有
用な情報が得られる。詳述はしないが、この情報は視差
角θを特定するのに使用できる。
【0031】図3Bからわかるように、光源36と、参
加者Aと、参加者Bの表示イメージとから、角θ1が定
義される。また、光源36と、参加者Aと、カメラ32
とから、角θ2が定義される。視差角θは、θ1とθ2
の差として計算できる。視差角が得られた後に、上述の
方法と同様に、改訂イメージフレームの生成および送信
が行われる。
【0032】図3Aと3Bに示したビデオ会議システム
による視差修正のステップ手順の例を図5に示す。ここ
では一人の参加者のイメージの処理についてだけ示して
あるが、すべての会議参加者について同じイメージ分析
および処理ステップが同時に行われることはいうまでも
ない。いずれにしても、参加者Aのデジタル化されたビ
デオフレームが処理装置34に受信され(ステップ4
0)、そのイメージの中の目の位置を特定するためにイ
メージ特徴部抽出が行われる(ステップ42)。ステッ
プ44で、映されている人が見ている方向とカメラの方
向との相対関係を検出するために、そのイメージにおい
て視線検出が行われる。
【0033】次に、視差角が導き出され(ステップ4
6)、見ている参加者Bとの目の触れ合いをするために
必要な瞳孔の位置を(場合によってはさらに虹彩の位置
をも)もつ、改訂イメージフレームが生成される(ステ
ップ48)。次に、改訂されたイメージフレームは、表
示装置22に伝送され(ステップ50)、表示装置22
で参加者Bに見られる。上述のステップは、リアルタイ
ムで、各ビデオ信号の入力についてフレームごとに実行
される。こうして表示イメージと各参加者との間の目の
触れ合いが実現される。
【0034】3以上の会議場所および/または参加者が
ある場合は、ビデオ会議システムによって実際の会合の
ように見え感じられるようにするためには、参加者間の
目の触れ合いを提供する必要のほかに別の考慮も必要で
ある。上述のように、誰が誰に話しかけているかが各参
加者に見えることが重要である。このため本発明によれ
ば、リアルタイムのイメージの分析・処理技術を、会議
参加者に見かけ上の目の触れ合いの提供に利用するだけ
でなく、頭のイメージの向きを修正するのにも利用す
る。
【0035】図6は、本発明によるビデオ会議システム
60を示すもので、図3Aのシステム20と類似のもの
である。ただし、図6のシステムは、3箇所の別の場所
にいる3人の参加者A、B、Cの間の会議を提供するよ
うに修正したものである。したがってシステム60は、
それぞれの表示装置62、64、66と、対応するカメ
ラ68、70、72を含む。各カメラの上方に一つずつ
の光源76が配置されている。ただし、図6では一つの
光源だけが示されている。各表示装置は2個の窓に分割
されており、各窓が二人の遠隔地参加者のイメージをそ
れぞれに表示する。上述の方法と同様に、各カメラから
のビデオ信号が処理され、処理装置(たとえば処理装置
74)に送信される。
【0036】図6に示すビデオ会議の一時点では、Aが
Bに話しかけている。実際の会議では、AはBを見てお
り、BとCはAを見ているであろう。この発明の追加イ
メージ処理を行わない場合は、各参加者は、自分の前の
表示装置にまっすぐ向いているが、そのイメージを他の
参加者から見ると、対応する頭の向きになっていない。
図6に示す適当な向きを得るためには、以下に述べるよ
うに種々のイメージ分析および処理を実施しなければな
らない。
【0037】Aが表示装置62のBの窓を見ていると
き、Aには、BとCが真正面を(すなわちAの方を)見
ているのが見えるべきである。BとCはすでに自分のカ
メラの方を向いているので、彼らの目の位置の視差修正
だけが必要である。このような誤差修正は、図3Aおよ
び3Bで説明した技術を利用して実施できる。
【0038】表示装置64上では、Aのイメージが真正
面に向かっており、CのイメージがイメージAに向いて
いるのが、Bに見えるべきである。図6の位置関係を達
成するために、表示装置64において、Aのイメージに
ついては視差を修正すればよいが、Cのイメージについ
てはさらに向きを変える必要がある。同様に、表示装置
66上でCには、AとBとが互いに向き合っているのが
見えるべきである。このように、図6に示す位置関係を
達成するためには、AとBの両方のイメージの少なくと
も頭の向きを変える必要がある。
【0039】この発明による頭の向き変えおよび視差修
正を実行するステップの実施例を、図7のフローチャー
トに示す。一人の会議参加者(たとえば参加者C)のデ
ジタル化したビデオフレームが処理装置74で受信され
る(ステップ80)。そして、イメージの中の目の位置
を特定するために、イメージの特徴抽出が行われる(ス
テップ82)。ステップ84において、見られている人
が見ている方向とカメラの方向との差をそのイメージ上
で検出するために視線検出が行われる。たとえば参加者
Cが参加者Aを見ているとき、カメラ72で取り込まれ
る参加者Cのイメージにおける光源76の鏡面反射は、
瞳孔の中心の右上である。
【0040】上述のように、カメラ72および表示装置
66の固定位置が与えられたとき、視差角θはこの情報
から算出することができる(ステップ86)。しかし、
より重要なことは、瞳孔中心に対する鏡面反射の相対位
置を利用することにより、見ている参加者がどのイメー
ジを見ているかを検出することができる点である(ステ
ップ88)。この例では、参加者Cの受信されたイメー
ジの中の瞳孔の中心の右に鏡面反射の位置があることか
ら、Cが左方すなわち参加者Aを見ていることがわか
る。
【0041】各会議参加者がどの表示窓を見ているかが
わかると、各目的地の表示装置に適する修正されたイメ
ージフレームをそれぞれに生成するように、イメージ処
理が実行される。ステップ88で、視差修正だけが必要
であると決定された場合は、第1のフレームが適当な表
示装置に送信されるように生成される(ステップ9
0)。図6に示す例では、視差修正され、前を向いてい
るCのイメージを表すフレームが、表示装置62に表示
される。しかし、存在感を参加者Bに伝達するためには
Cの頭の向きを変える必要があるので、いくつかの追加
処理ステップを行わなければならない。
【0042】各フレームの顔のイメージは3次元(3
D)頭部モデルにテクスチャーマップ化(texture mappe
d)される(ステップ92)。この目的のためには、たと
えば比較的単純な楕円体頭部モデルを採用してもよい。
もちろん、特定の応用例によって受ける処理能力および
実行スピードの制限によるが、もっと複雑な3Dモデル
を採用してもよい。他の例として、K.Aizawa,H.Harashi
ma,and T.Saitoが"Model-based Analysis Synthesis Im
age Coding System for a Person's Face",Signal Proc
essing Image Communication,Vol.1,No.2,October 198
9,pp.139-152に開示したワイヤフレームモデルを利用す
ることもできる。
【0043】いずれにしても、結果として得られる3次
元のテクスチャード(textured)モデルは、予め決められ
た角度αだけ適当な向きに回転され(ステップ94)、
楕円体モデルのテクスチャーは2D画面に投射され、改
訂イメージを作る(ステップ96)。こうして作られた
イメージは、ステップ98に示すように、適当な目的地
に向けて送信される。図6に示す実施例では、表示装置
64に表示されるCのイメージは、参加者Aの表示イメ
ージの方に向くように、右に90゜回転させてある。C
のイメージの目玉は、同様に、独立にモデル化し、また
は上述の純粋な視差修正技術により、合成されうる。
【0044】ビデオ符号化とともに、視差修正および/
または頭部の向き変更は、各会議場所で、前処理または
後処理として実施することができる。いずれの場合も、
重要なイメージ情報が分析前に失われることがないよう
にするために、イメージ分析は、元のイメージ信号の符
号化の前に行うのが望ましい。しかし、この発明により
修正されたイメージの合成は、どこで行なってもよい。
【0045】前処理で行う場合は、イメージは、デジタ
ル化され、分析され、合成/処理され、符号化され、そ
して送信される。この場合、それぞれの参加者に異なっ
た処理を施したイメージを送らなければならないため、
大きな送信帯域幅が必要である。
【0046】後処理で行う場合は、イメージ分析によっ
て得られた各参加者の視差角と頭の向きを、符号化した
ビデオ信号とともに送らなければならない。その後、受
信側で、またはどこかの中央位置で、合成を行えばよ
い。
【0047】
【発明の効果】本発明のビデオ会議システムおよび方法
によれば、遠隔で見ている人に提示されるイメージの中
で、現実に対応した頭の向きおよび/または目の触れ合
いを提供することができる。
【図面の簡単な説明】
【図1】従来の単一人カメラ(SPC)ビデオ会議シス
テムの動作を表す図。
【図2】従来のバーチャル空間ビデオ会議システムを表
す図。
【図3】図3Aは、本発明の実施例によるビデオ会議シ
ステムを表すブロック図。図3Bは、図3Aのビデオ会
議システムを表す立面図。
【図4】本発明で使用する目合成に沿った画素値を提供
するための参照表のグラフ。
【図5】本発明による視差修正を行うためのイメージの
分析と処理の技術のステップを表すフローチャート。
【図6】本発明による3人の会議参加者間での存在感を
提供するビデオ会議システムの動作を表す立面図。
【図7】図5のシステムの動作中に、存在感を再現する
ために、視差修正と頭部向き修正とを行う修正イメージ
の分析と処理の技術のステップを表すフローチャート。
【符号の説明】
1、2、3、4 部屋 12、14 表示装置 16、18 カメラ 20 ビデオ会議システム 22、24 表示装置 26、28 会議場所 30、32 カメラ 34 処理装置 60 ビデオ会議システム 62、64、66 表示装置 68、70、72 カメラ 74 処理装置 76 光源
フロントページの続き (72)発明者 ツハン チェン アメリカ合衆国,07748 ニュージャージ ー,ミドルタウン,クラブハウス ドライ ブ 183 (72)発明者 バリン ジェフリー ハスケル アメリカ合衆国,07724 ニュージャージ ー,タントン フォールズ,グレンウッド ドライブ 82

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも一人の会議参加者と、ビデオ
    カメラと、イメージ受像器とをそれぞれに有し、遠隔に
    位置する、複数の会議室の間でビデオ会議を行う方法に
    おいて、 前記イメージ受像器とビデオカメラと、それらの近くに
    いる各会議参加者とがその会議参加者の視差角を定義
    し、 (A)第1のビデオカメラ(32)により、第1の会議
    参加者(A)の一連の入力イメージフレームを代表する
    ビデオ信号を生成するステップと、 (B)前記入力された会議参加者のイメージフレームの
    それぞれで視差角θを決定するべく、それらのフレーム
    をリアルタイムで分析するステップと、 (C)それぞれに対応する視差補償した一連のイメージ
    フレームを生成するステップと、 (D)前記視差補償された一連のイメージフレームを表
    す信号を、イメージ受像器(22)に送信するステップ
    と、を有し、前記イメージ受像器(22)は第2の会議
    参加者(B)に見られるものであって、 この方法により、前記第1の会議参加者の表示イメージ
    と前記第2の会議参加者との間に目の触れ合いが提供さ
    れるものであること、 を特徴とする方法。
  2. 【請求項2】 前記分析するステップは、前記第1の会
    議参加者のイメージの中で、前記第1の会議参加者の瞳
    孔の中の、固定光源の鏡面反射の位置を決定するステッ
    プを含むこと、 を特徴とする請求項1の方法。
  3. 【請求項3】 前記分析するステップは、前記鏡面反射
    の瞳孔中心に対する相対位置を測定するステップをさら
    に含むこと、 を特徴とする請求項2の方法。
  4. 【請求項4】 前記生成するステップは、入力会議参加
    者イメージフレームの一つから、各視差補償したイメー
    ジフレームの少なくとも一部を合成するステップをさら
    に含むこと、 を特徴とする請求項1の方法。
  5. 【請求項5】前記測定するステップで、前記会議参加者
    の視線方向も取得し、 また、前記生成するステップは、各会議参加者のイメー
    ジフレームのテクスチャーマップを3次元楕円体顔面モ
    デル上に取り、前記視線方向に沿って選択された顔の向
    きを実現するように、その顔のモデルの向きを修正する
    ステップをさらに含むこと、 を特徴とする請求項1の方法。
  6. 【請求項6】 それぞれに少なくとも一人の会議参加者
    を収容する遠隔に位置する複数の会議室を結ぶビデオ会
    議システムにおいて、 そのビデオ会議システムは、第1の会議参加者(A)の
    一連のイメージフレームを表すビデオ信号を生成するビ
    デオカメラ(32)と、少なくとも第2の会議参加者
    (B)のイメージフレームを表示するイメージ受像器
    (24)とをそれぞれに有し、各会議室(26、28)
    にそれぞれ少なくとも一つ設置された、ビデオ電話を有
    し、 前記イメージ受像器と、ビデオカメラと、第1の会議参
    加者の目とは、視差角θを定義するものであり、 さらにそのビデオ会議システムは、 前記ビデオ信号に応じて、前記第1の会議参加者の入力
    イメージフレームを分析し、これに対応する第1の会議
    参加者の視差補償された一連のイメージフレームを生成
    するフレーム生成手段(34)と、 前記視差補償された一連のイメージフレームを表す信号
    を、少なくとも一つの遠隔イメージ受像器(22)に送
    信して、それにより少なくとも前記第2の会議参加者と
    前記第1の会議参加者の表示イメージとの間で目の触れ
    合いが提供されるように構成された送信手段と、 を有することを特徴とするシステム。
  7. 【請求項7】 前記各会議室内の会議参加者の目に鏡面
    反射を生成するための固定光源(36)が各会議室内に
    配置されていることを特徴とする請求項6のシステム。
  8. 【請求項8】 前記フレーム生成手段(34)は、前記
    入力会議イメージフレームを分析し、前記会議参加者の
    視線方向を検出するように動作しうること、を特徴とす
    る請求項7のシステム。
  9. 【請求項9】 前記フレーム生成手段(34)は、少な
    くとも第3の会議参加者に送信するための前記第2のイ
    メージフレームを生成するように動作しうるものであ
    り、そのフレーム生成手段は、前記検出された視線方向
    に応じて会議参加者の各入力イメージフレームを3次元
    楕円体顔モデルにテクスチャーマップ化し、その検出さ
    れた視線方向に沿って選択された顔の向きを達成するよ
    うに前記顔のモデルの向きを変えるものであること、 を特徴とする請求項8のシステム。
  10. 【請求項10】 前記送信手段(34)は、前記第1の
    会議参加者を表す視差修正された第1の一連のイメージ
    フレームを第2の会議参加者の近くに配置されたイメー
    ジ受像器に送信し、前記第1の会議参加者を表す視線方
    向補償された第2の一連のイメージフレームを第3の会
    議参加者の近くに配置されたイメージ受像器に送信し、
    これにより前記第1、第2、第3の会議参加者の間の存
    在感を提供するものであること、 を特徴とする請求項9のシステム。
JP7299286A 1994-10-25 1995-10-25 視差修正および存在感を提供するビデオ会議システムおよび方法 Pending JPH08237629A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/328,640 US5500671A (en) 1994-10-25 1994-10-25 Video conference system and method of providing parallax correction and a sense of presence
US328640 2002-12-23

Publications (1)

Publication Number Publication Date
JPH08237629A true JPH08237629A (ja) 1996-09-13

Family

ID=23281793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7299286A Pending JPH08237629A (ja) 1994-10-25 1995-10-25 視差修正および存在感を提供するビデオ会議システムおよび方法

Country Status (6)

Country Link
US (1) US5500671A (ja)
JP (1) JPH08237629A (ja)
CA (1) CA2157613C (ja)
DE (1) DE19539048B4 (ja)
GB (1) GB2294605B (ja)
TW (1) TW297985B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504760A (ja) * 2004-06-30 2008-02-14 ソニー エリクソン モバイル コミュニケーションズ, エービー 顔画像の補正
US8514262B2 (en) 2009-02-27 2013-08-20 Kabushiki Kaisha Toshiba Information processing apparatus and network conference system
JP2013235562A (ja) * 2012-05-04 2013-11-21 Commonwealth Scientific & Industrial Research Organization ビデオにおける眼位のためのシステムおよび方法
JP2014233035A (ja) * 2013-05-30 2014-12-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP2015513833A (ja) * 2012-02-27 2015-05-14 エー・テー・ハー・チューリッヒEth Zuerich ビデオ会議における眼差し補正のための画像処理のための方法およびシステム
JP2015532483A (ja) * 2012-10-04 2015-11-09 エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc ビデオ映像の視点を変えるための方法および装置
WO2020090128A1 (ja) * 2018-10-29 2020-05-07 有限会社アドリブ 画像処理装置、方法、コンピュータプログラム

Families Citing this family (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
JPH07222202A (ja) * 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
USRE38884E1 (en) * 1995-02-16 2005-11-22 Sumitomo Electric Industries, Ltd. Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means
US5815197A (en) * 1995-02-16 1998-09-29 Sumitomo Electric Industries, Ltd. Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means
JPH08256318A (ja) * 1995-03-17 1996-10-01 Fujitsu Ltd テレビ会議システムのカメラ制御装置
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
US5559875A (en) * 1995-07-31 1996-09-24 Latitude Communications Method and apparatus for recording and retrieval of audio conferences
US5675376A (en) * 1995-12-21 1997-10-07 Lucent Technologies Inc. Method for achieving eye-to-eye contact in a video-conferencing system
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
US6037970A (en) * 1996-04-05 2000-03-14 Sony Corporation Videoconference system and method therefor
US5856842A (en) * 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US6275258B1 (en) 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
WO2000022823A1 (fr) * 1998-10-09 2000-04-20 Sony Corporation Appareil et procede de telecommunication
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7117157B1 (en) * 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
GB9908545D0 (en) 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
KR100307854B1 (ko) * 1999-11-10 2001-11-02 전병우 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
EP1202209B1 (en) * 2000-04-21 2012-03-21 Shiseido Company Limited Makeup counseling apparatus
CN1192618C (zh) * 2000-04-28 2005-03-09 瑞士电信流动电话公司 用于电视会议的方法和***
US20020015003A1 (en) * 2000-08-07 2002-02-07 Masami Kato Virtual space system structured by plural user terminals and server device
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US6718051B1 (en) * 2000-10-16 2004-04-06 Xerox Corporation Red-eye detection method
US6724417B1 (en) * 2000-11-29 2004-04-20 Applied Minds, Inc. Method and apparatus maintaining eye contact in video delivery systems using view morphing
US6785402B2 (en) * 2001-02-15 2004-08-31 Hewlett-Packard Development Company, L.P. Head tracking and color video acquisition via near infrared luminance keying
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US7502770B2 (en) * 2001-04-11 2009-03-10 Metaweb Technologies, Inc. Knowledge web
US7190825B2 (en) * 2001-08-17 2007-03-13 Geo-Rae Co., Ltd. Portable communication device for stereoscopic image display and transmission
US6798457B2 (en) 2001-09-26 2004-09-28 Digeo, Inc. Camera positioning system and method for eye-to-eye communication
US6943843B2 (en) * 2001-09-27 2005-09-13 Digeo, Inc. Camera positioning system and method for eye-to eye communication
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
US6598971B2 (en) * 2001-11-08 2003-07-29 Lc Technologies, Inc. Method and system for accommodating pupil non-concentricity in eyetracker systems
US20040207718A1 (en) * 2001-11-14 2004-10-21 Boyden James H. Camera positioning system and method for eye -to-eye communication
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030112325A1 (en) * 2001-12-13 2003-06-19 Digeo, Inc. Camera positioning system and method for eye-to-eye communication
US7126627B1 (en) 2002-03-06 2006-10-24 Lewis Thomas B Video conferencing device and method
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US20030195834A1 (en) * 2002-04-10 2003-10-16 Hillis W. Daniel Automated online purchasing system
US7844610B2 (en) 2003-12-12 2010-11-30 Google Inc. Delegated authority evaluation system
US8069175B2 (en) * 2002-04-10 2011-11-29 Google Inc. Delegating authority to evaluate content
EP1365359A1 (en) * 2002-05-24 2003-11-26 BRITISH TELECOMMUNICATIONS public limited company Image processing method and system
US7765206B2 (en) 2002-12-13 2010-07-27 Metaweb Technologies, Inc. Meta-Web
US8012025B2 (en) * 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
GB0321083D0 (en) * 2003-09-09 2003-10-08 British Telecomm Video communications method and system
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US20050131918A1 (en) * 2003-12-12 2005-06-16 W. Daniel Hillis Personalized profile for evaluating content
US8824730B2 (en) * 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7865834B1 (en) * 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7605837B2 (en) * 2005-06-02 2009-10-20 Lao Chan Yuen Display system and method
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的***和方法
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
JP4730667B2 (ja) * 2006-07-25 2011-07-20 富士フイルム株式会社 自動再生方法及び装置
WO2008015586A2 (en) * 2006-08-02 2008-02-07 Fotonation Vision Limited Face recognition with combined pca-based datasets
US8130261B2 (en) * 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US20080117290A1 (en) * 2006-10-18 2008-05-22 Mgc Works, Inc. Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
FR2910770A1 (fr) * 2006-12-22 2008-06-27 France Telecom Dispositif pour permettre une communication par visioconference et procede de communication associe.
WO2008109622A1 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
US20080278516A1 (en) * 2007-05-11 2008-11-13 Santon John C System and method for adjusting perceived eye rotation in image of face
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
GB2450345A (en) * 2007-06-20 2008-12-24 Iona Simpson Videoconference terminal providing enhanced user interface
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
US20090183276A1 (en) * 2008-01-10 2009-07-16 Pioneer Hi-Bred International, Inc. Novel Bacillus Thuringiensis Gene with Coleopteran Activity
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8289367B2 (en) * 2008-03-17 2012-10-16 Cisco Technology, Inc. Conferencing and stage display of distributed conference participants
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
NO331839B1 (no) * 2008-05-30 2012-04-16 Cisco Systems Int Sarl Fremgangsmate for a fremvise et bilde pa et display
US20100054526A1 (en) * 2008-09-03 2010-03-04 Dean Eckles Method, apparatus and computer program product for providing gaze information
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8593503B2 (en) * 2008-09-25 2013-11-26 Alcatel Lucent Videoconferencing terminal and method of operation thereof to maintain eye contact
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US8405706B2 (en) * 2008-12-17 2013-03-26 Microsoft Corporation Visual feedback for natural head positioning
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
CZ305294B6 (cs) * 2009-06-03 2015-07-22 Masarykova Univerzita Videokonferenční prostředí pro komunikaci vzdálených skupin a způsob komunikace vzdálených skupin v systému videokonferenčního prostředí
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
EP2317764A1 (de) 2009-11-03 2011-05-04 Deutsche Telekom AG Verfahren und System zur Darbietung von Bilddaten
US8520051B2 (en) * 2009-12-17 2013-08-27 Alcatel Lucent Videoconferencing terminal with a persistence of vision display and a method of operation thereof to maintain eye contact
CN106124510B (zh) * 2010-01-26 2019-10-18 戴比尔斯英国有限公司 宝石闪耀分析
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
US9955209B2 (en) 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US20110270663A1 (en) * 2010-04-30 2011-11-03 American Teleconferncing Services Ltd. Location-Aware Conferencing With Participant Rewards
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8421844B2 (en) 2010-08-13 2013-04-16 Alcatel Lucent Apparatus for correcting gaze, a method of videoconferencing and a system therefor
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
CN101986346B (zh) * 2010-11-01 2012-08-08 华为终端有限公司 人脸图像处理方法及装置
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US20140204455A1 (en) 2011-08-24 2014-07-24 Milan Momcilo Popovich Wearable data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
US9507150B1 (en) 2011-09-30 2016-11-29 Rockwell Collins, Inc. Head up display (HUD) using a bent waveguide assembly
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
EP2610855A1 (en) * 2011-12-28 2013-07-03 Samsung Electronics Co., Ltd Display apparatus
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
US9369667B2 (en) * 2012-04-11 2016-06-14 Jie Diao Conveying gaze information in virtual conference
CN103562802B (zh) 2012-04-25 2016-08-17 罗克韦尔柯林斯公司 全息广角显示器
US8902281B2 (en) 2012-06-29 2014-12-02 Alcatel Lucent System and method for image stabilization in videoconferencing
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR20140090538A (ko) 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
WO2014178047A1 (en) * 2013-04-30 2014-11-06 Inuitive Ltd. System and method for video conferencing
WO2015015138A1 (en) 2013-07-31 2015-02-05 Milan Momcilo Popovich Method and apparatus for contact image sensing
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
TW201615009A (en) * 2014-09-24 2016-04-16 Thomson Licensing A background light enhancing apparatus responsive to a local camera output video signal
TW201624073A (zh) * 2014-09-24 2016-07-01 湯普生證照公司 回應遠端產生之視訊信號之背景光增強裝置
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
US9541998B2 (en) 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
KR102317021B1 (ko) * 2015-06-26 2021-10-25 삼성전자주식회사 디스플레이 장치 및 이의 영상 보정 방법
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
WO2017060665A1 (en) 2015-10-05 2017-04-13 Milan Momcilo Popovich Waveguide display
US9743040B1 (en) * 2015-12-03 2017-08-22 Symantec Corporation Systems and methods for facilitating eye contact during video conferences
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
CN109154717B (zh) 2016-04-11 2022-05-13 迪吉伦斯公司 用于结构光投射的全息波导设备
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
US10560661B2 (en) 2017-03-16 2020-02-11 Dolby Laboratories Licensing Corporation Detecting and mitigating audio-visual incongruence
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11022794B2 (en) * 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
EP3924759A4 (en) 2019-02-15 2022-12-28 Digilens Inc. METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
BR112022002420A2 (pt) * 2019-09-10 2022-05-03 Intel Corp Computadores do tipo laptop com alojamento de acessórios móvel
JP7420585B2 (ja) 2020-02-20 2024-01-23 日本放送協会 Ar表示制御装置及びそのプログラム、並びに、ar表示システム
US11783531B2 (en) * 2020-12-01 2023-10-10 Matsuko S.R.O. Method, system, and medium for 3D or 2.5D electronic communication
US20230177879A1 (en) * 2021-12-06 2023-06-08 Hewlett-Packard Development Company, L.P. Videoconference iris position adjustments
US20240012472A1 (en) * 2022-07-08 2024-01-11 Tencent America LLC Vergence based gaze matching for mixed-mode immersive telepresence application
DE102022121634A1 (de) * 2022-08-26 2024-02-29 Telefónica Germany GmbH & Co. OHG System, Verfahren, Computerprogramm und computerlesbares Medium

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2312904A1 (fr) * 1975-05-27 1976-12-24 Poirier Alain Perfectionnements aux systemes et aux dispositifs de teleconference par visiophonie
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
DE4102895C1 (ja) * 1991-01-31 1992-01-30 Siemens Ag, 8000 Muenchen, De
CA2081041C (en) * 1992-01-03 1996-08-06 Robert Louis Beecher Camera field of view indicator
JPH05300499A (ja) * 1992-04-17 1993-11-12 Toshiba Corp テレビ電話装置
GB2273411A (en) * 1992-12-11 1994-06-15 Ibm Video conferencing terminal
US5359362A (en) * 1993-03-30 1994-10-25 Nec Usa, Inc. Videoconference system using a virtual camera image
US5400069A (en) * 1993-06-16 1995-03-21 Bell Communications Research, Inc. Eye contact video-conferencing system and screen
US5438357A (en) * 1993-11-23 1995-08-01 Mcnelley; Steve H. Image manipulating teleconferencing system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008504760A (ja) * 2004-06-30 2008-02-14 ソニー エリクソン モバイル コミュニケーションズ, エービー 顔画像の補正
US8208010B2 (en) 2004-06-30 2012-06-26 Sony Ericsson Mobile Communications Ab Face image correction using multiple camera angles
US8514262B2 (en) 2009-02-27 2013-08-20 Kabushiki Kaisha Toshiba Information processing apparatus and network conference system
JP2015513833A (ja) * 2012-02-27 2015-05-14 エー・テー・ハー・チューリッヒEth Zuerich ビデオ会議における眼差し補正のための画像処理のための方法およびシステム
US9684953B2 (en) 2012-02-27 2017-06-20 Eth Zurich Method and system for image processing in video conferencing
JP2013235562A (ja) * 2012-05-04 2013-11-21 Commonwealth Scientific & Industrial Research Organization ビデオにおける眼位のためのシステムおよび方法
JP2015532483A (ja) * 2012-10-04 2015-11-09 エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc ビデオ映像の視点を変えるための方法および装置
JP2014233035A (ja) * 2013-05-30 2014-12-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US10038874B2 (en) 2013-05-30 2018-07-31 Sony Corporation Information processing apparatus, display control method, and program
WO2020090128A1 (ja) * 2018-10-29 2020-05-07 有限会社アドリブ 画像処理装置、方法、コンピュータプログラム
WO2020089971A1 (ja) * 2018-10-29 2020-05-07 有限会社アドリブ 画像処理装置、方法、コンピュータプログラム

Also Published As

Publication number Publication date
CA2157613A1 (en) 1996-04-26
DE19539048A1 (de) 1996-05-02
GB9521385D0 (en) 1995-12-20
CA2157613C (en) 1999-09-21
TW297985B (ja) 1997-02-11
GB2294605A (en) 1996-05-01
GB2294605B (en) 1997-01-15
US5500671A (en) 1996-03-19
DE19539048B4 (de) 2006-04-06

Similar Documents

Publication Publication Date Title
JPH08237629A (ja) 視差修正および存在感を提供するビデオ会議システムおよび方法
EP3510768B1 (en) Three-dimensional telepresence system
KR102054363B1 (ko) 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템
EP2299726B1 (en) Video communication method, apparatus and system
US6724417B1 (en) Method and apparatus maintaining eye contact in video delivery systems using view morphing
US20110316853A1 (en) Telepresence systems with viewer perspective adjustment
US20050083248A1 (en) Mobile face capture and image processing system and method
US8847956B2 (en) Method and apparatus for modifying a digital image
JP6496172B2 (ja) 映像表示システム及び映像表示方法
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
US6836286B1 (en) Method and apparatus for producing images in a virtual space, and image pickup system for use therein
US20220398705A1 (en) Neural blending for novel view synthesis
Kara et al. On the edge of the seat: Reduced angular resolution of a light field cinema with fixed observer positions
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
WO2016159166A1 (ja) 映像表示システム及び映像表示方法
JP3464754B2 (ja) ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
Jouppi et al. Bireality: mutually-immersive telepresence
US20230122149A1 (en) Asymmetric communication system with viewer position indications
US20200252585A1 (en) Systems, Algorithms, and Designs for See-through Experiences With Wide-Angle Cameras
JPH08256316A (ja) 通信会議システム
JP3721624B2 (ja) Tv電話システム
JP7519390B2 (ja) 新規ビュー合成のためのニューラルブレンド
CN116954349A (zh) Mr元宇宙远程心理咨询ai交互沉浸***
JPH05168005A (ja) 画像通信用撮影表示装置
Wide-Field-of-View 1.1 Augmented reality and virtual reality