JPH0716244B2 - 視線一致補正装置 - Google Patents

視線一致補正装置

Info

Publication number
JPH0716244B2
JPH0716244B2 JP4162807A JP16280792A JPH0716244B2 JP H0716244 B2 JPH0716244 B2 JP H0716244B2 JP 4162807 A JP4162807 A JP 4162807A JP 16280792 A JP16280792 A JP 16280792A JP H0716244 B2 JPH0716244 B2 JP H0716244B2
Authority
JP
Japan
Prior art keywords
eye
image
sight
area
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4162807A
Other languages
English (en)
Other versions
JPH066786A (ja
Inventor
英朋 境野
Original Assignee
株式会社エイ・ティ・アール通信システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイ・ティ・アール通信システム研究所 filed Critical 株式会社エイ・ティ・アール通信システム研究所
Priority to JP4162807A priority Critical patent/JPH0716244B2/ja
Publication of JPH066786A publication Critical patent/JPH066786A/ja
Publication of JPH0716244B2 publication Critical patent/JPH0716244B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は視線一致補正装置に関
し、特に、テレビ電話やテレビ会議などの分野で、通話
者同士の表情をより正確に伝えるために視線を一致させ
るような視線一致補正装置に関する。
【0002】
【従来の技術】画像通信において、話者同士の正確な表
情を伝達する手段は、会話を助長させるための最も重要
な手段の1つである。
【0003】図9は従来の方法によって画像通信で会話
を行なっている概要を示す図である。図9(a)におい
て、話者10はスクリーンに写出された遠隔地に話者1
1と会話を行なっており、話者10の姿はカメラ12に
より撮像されている。大まかな人の姿は、背景とのコン
トラストまたは色成分の違いを画像処理などによって認
識されている。
【0004】
【発明が解決しようとする課題】図9(a)に示したそ
れぞれの話者の視線13,14は視線方向のカメラ12
が設置されていないため、ずれ15が生じてしまう問題
点がある。視線に関して、大まかな位置合せは、カメラ
12や人の座位を変えることでも可能であるが、人が移
動するたびに毎回位置合せを行なわなくてはならない。
特に、複数の地点間での通信を行なう場合、このような
機械的な補正方法をとることは効率が非常に悪いという
問題点がある。
【0005】また、知的画像通信の1つの形態として、
図9(b)に示すように、話者の動き16を予め検出し
ておき、動き量17のみを送信し、受け手側では送信さ
れた動き量に応じてコンピュータグラフィックスで生成
された顔画像18を局所的に変形する方式がある。この
方式の特徴は、限られた伝送体を有効に使うために、必
要最小限の情報量として、動き量のみを伝送する点にあ
る。一方、会話を行なう者の視線を一致させる方法につ
いては、何らかのアルゴリズムがあった。このように、
従来の視線一致を行なう方法は、会話を開始するごとに
あるいは話し手が移動するごとに機械的に補正を行なう
方法をとらざるを得なかった。
【0006】それゆえに、この発明の主たる目的は、実
時間性を有する視線方向変化検出アルゴリズムおよび実
画像とコンピュータグラフィック画像を合成するアルゴ
リズムを備えた視線一致補正装置を提供することであ
る。
【0007】
【課題を解決するための手段】この発明は視線一致補正
装置であって、入力された顔画像から人の目の領域を検
出する目領域検出手段と、検出された目の領域を眼球と
瞼の領域に分離する領域分離手段と、分離された眼球の
領域から眼球の方向変化を検出し、その方向変化を符号
化して出力するとともに、分離された瞼の領域から瞼の
形状変化を抽出し、その形状変化を符号化して出力する
抽出手段と、入力された顔画像とともに、符号化された
信号を目の挙動情報として伝送する伝送手段と、伝送さ
れてきた信号を復号する復号化手段と、受け手側の話者
の視線方向を検出する視線検出手段と、復号された信号
または検出された話者の視線方向に応じて、双方の視線
が一致するようにグラフィック画像を生成する画像生成
手段と、伝送されてきた顔画像に生成されたグラフィッ
ク画像を合成する画像合成手段とを備えた較正される。
【0008】
【作用】この発明に係る視線一致補正装置は、顔画像か
ら人の目の領域を検出し、さらに人の目の領域を眼球と
瞼の領域に分離し、それぞれの領域から眼球の方向変化
と瞼の形状変化とを抽出し、符号化して伝送する。受け
手側では、伝送されてきた信号を復号し、話者の視線を
検出する。そして、復号された信号または検出された話
者の視線方向に応じて、双方の視線が一致するようにグ
ラフィック画像を生成し、そのグラフィック画像を伝送
されてきた顔画像に合成することにより、より自然に近
い視線のやり取りを達成する。
【0009】
【実施例】図1はこの発明の一実施例の概略ブロック図
である。図1を参照して、画像入力部20は送信側の話
者の顔画像を入力するものであり、入力された顔画像は
特徴量抽出部21に与えられる。特徴量抽出部21は入
力された顔画像から目付近の特徴量を抽出し、符号化部
22に与える。符号化部22は話者の画像および特徴量
抽出部21で検出された目付近の変位情報をそれぞれ符
号化し、その情報を送信部23に与える。送信部23は
符号化された情報を受け手側の復号化部24に与える。
復号化部24は変位情報を復号化し目挙動判定部26に
与える。
【0010】視線方向検出部25は受け手側の話者の視
線の方向を検出するものであり、その検出出力を目挙動
判定部26に与える。目挙動判定部26は視線方向検出
部25で検出された受信側の話者の視線方向の変位量に
対して適当なしきい値を設けることにより、送信された
話者の目の方向情報をそのまま利用するか、または受信
側の話者の視線の方向情報を用いて送信側の話者の視線
方向を補正するかを判定する。目挙動判定部26の判定
出力は画像合成部27に与えられる。画像合成部27は
目挙動判定部26で判定された補正量に応じて送信側の
話者の目付近のコンピュータグラフィック画像を変形
し、送信側の話者の実顔画像に合成し、画像再生部28
で合成された送信側の顔画像を表示する。
【0011】図2は図1に示した特徴量抽出部のブロッ
ク図である。図2を参照して、図1に示した特徴量抽出
部21は頭部抽出部211と目領域抽出部212と変位
量抽出部213とを含む。頭部抽出部211は画像上の
話者の顔領域を予め入力してある背景画像と頭部領域と
を差分することで抽出し、目領域抽出部212で頭部領
域から目の領域を目,鼻,口の顔上の特徴量の幾何学的
な相対位置より認識して検出する。変位量抽出部213
は目付近のフレーム間の変位量を抽出する。
【0012】図3は図2に示した目領域抽出部のブロッ
ク図である。図2に示した目領域抽出部212は眼球
部,瞼部分離抽出部31と方向変化抽出部33と変位量
抽出部35とを含む。眼球部,瞼部分離抽出部31は目
付近から色彩情報を用いて、眼球領域と瞼領域とに分離
してそれぞれを抽出する。眼球領域は方向変化抽出部3
3に与えられ、方向変化抽出部33は抽出された眼球部
32におけるフレーム間の差分からその方向変化を検出
する。一方、変位量抽出部35は瞼部34によりフレー
ム間の差分から瞼の弾性的な変位情報を検出する。
【0013】図4は図1に示した特徴量抽出部での目に
関する処理について説明するための図である。画像上の
話者の目40について、図3に示した眼球部,瞼部分離
抽出部31によって色彩情報を用いて眼球部41と瞼部
42とに領域分割が行なわれる。ある時系列的変化があ
ったとし、一例として、眼球が正面方向43から右方向
44へ向いた場合について説明する。2つのフレーム間
の差分をとると、動いた領域が分かる。この差分の取り
方は、眼球領域と瞼領域について独立的に処理する。眼
球の変位量45,47については、各フレーム間の眼球
の重心の位置変化46と瞼の変位量48が算出される。
【0014】図5は瞼の変位を検出する方法を説明する
ための図である。目の状態の時系列変化において、薄目
の状態50から大きく開いた状態51を説明する。x−
yに関する二次元座標軸上で、目の局所的な濃度変化に
ついての計算を行なう。連続した画像フレーム50,5
1の間の目の濃淡変化を従来より用いられているオプテ
ィカルフローと呼ばれる手法により計算する。この手法
に従えば、求める画像の局所的な位置変化は、次の第
(1)式および第(2)式の下位であるu,vとして算
出される。
【0015】
【数1】
【0016】緩和法により、解く形式に上述の第(1)
式および第(2)式を第(3)式および第(4)のよう
におく。
【0017】
【数2】
【0018】適当な初期値を与えて、反復時のuk ,v
k の反復誤差(ある時点とその1つ前のu,vの値の
差)について、適宜定めた判定基準を満たすまで反復が
繰返される。この判定基準に達したときの回転すなわち
収束解が2つのフレーム間の局所的な変位を示す。計算
された結果のベクトル表現を52で示す。この図から分
かるように、瞳(黒目)が瞼のほぼ中心付近にあると
き、瞼の最大変位はちょうどこの瞳の位置する付近に生
じる。その他の変位について、瞼の形状に依存した変位
を示す。
【0019】上述の第(1)式〜第(4)式中における
x ,fy は、画像の局所的な濃度勾配であり、ft
画像の時間に関する勾配であり、u,vは画像中のx,
y方向の速度であり、第(3)式および第(4)式の収
束解である。uav,vavは適当な定数である。
【0020】図6は実像と目の部分のコンピュータグラ
フィック像を合成するまでの過程を説明するための図で
ある。送信された実画像60は画像合成部27に入力さ
れ、眼球,瞼の変位量61は目挙動判定部26に入力さ
れる。視線方向検出部25は受け手側の話者の視線方向
を検出し、目挙動判定部26は送信された目の変位情報
を利用するか、受け手側の話者の視線の方向情報を利用
するかを適当なしきい値で判定する。判定された変位情
報に基づいて、発信側の話者の目のコンピュータグラフ
ィックが変形される。このようにして、変形された発信
側の話者の目のコンピュータグラフィックと実画像60
とが画像合成部27で合成される。
【0021】図7は目挙動判定部の動作を説明するため
の図である。画像通信では、視線の一致を行なう方法に
ついて、少なくとも2つの状況が考えられる。1つに
は、ほぼ完全に視線の一致が要求される場合である。正
面方向70と横向きの場合71など意思の疎通が会話で
なされる必要がある場合に有効である。もう1つは、送
信側の話者が、話者が机上の文章を読む、隣の人に話し
かけるといったような特定の状況下で、目を逸らす場合
がある。多くの場合、このような状況の場合は、顔部の
向いている方向に依存する。すなわち、話者が大きく下
を向いたような場合、あるいは興味の対象を大きく話者
の横にいる者に向けた場合72が考えられる。このよう
に、適宜、視線の一致を行なったり止めたりする必要が
あり、結果的には自然な会話が進められることになる。
【0022】図8は実際の画像通信での適応的な視線一
致を行なっている状況を説明する図である。発信側の話
者と受信側の話者が視線を一致させようとする場合、従
来の装置では、本来横方向に受信側の話者がいるにもか
かわらず、視線80は正面を向いているようになってし
まう。これに対して、この発明の一実施例では、視線の
方向を補正して補正された視線91のようにする。瞼に
ついては、85に示すように丸印から三角印に変形さ
れ、眼球についても同様に86に示すように変形され
る。入力環境については、画像相手に送信するためのカ
メラ82と視線方向を検出するためのカメラ83とがあ
る。表示面には実像とコンピュータグラフィックの目に
より合成された画像84が写し出される。
【0023】
【発明の効果】以上のように、この発明によれば、実像
にコンピュータグラフィックで生成された目付近の像を
合成することにより、受け手側で発信側の話者の眼球と
瞼を受け手側の話者の視線の方向に合せたり、適宜、発
信側の話者の目付近の変位情報をそのまま利用したりす
ることで、自然な視線一致が可能となり、違和感のない
画像通信会話および会議ができる。
【図面の簡単な説明】
【図1】この発明の一実施例の概略ブロック図である。
【図2】図1に示した特徴抽出部のブロック図である。
【図3】図2に示した目領域抽出部のブロック図であ
る。
【図4】図2に示した特徴抽出部における目に関する処
理を説明するための図である。
【図5】瞼の変位を検出する方法を説明するための図で
ある。
【図6】実像と目の部分のコンピュータグラフィック像
を合成するまでの過程を説明するための図である。
【図7】目挙動判定部での動作を説明するための図であ
る。
【図8】実際の画像通信での適応的な視線一致を行なっ
ている状況を説明するための図である。
【図9】従来の方法によって画像通信の会話を行なう概
要を説明するための図である。
【符号の説明】
20 画像入力部 21 特徴量抽出部 22 符号化部 23 送信部 24 復号化部 25 視線方向検出部 26 目挙動判定部 27 画像合成部 28 画像再生部 31 眼球部,瞼部分離抽出部 33 方向変化抽出部 35 変位量抽出部 211 頭部抽出部 212 目領域抽出部 213 変位量抽出部

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 入力された顔画像から人の目の領域を検
    出する目領域検出手段と、 前記目領域検出手段によって検出された目の領域を眼球
    と瞼の領域に分離する領域分離手段と、 前記領域分離手段によって分離された眼球の領域から眼
    球の方向変化を検出し、その方向変化を符号化して出力
    するとともに、前記分離された瞼の領域から瞼の形状変
    化を抽出し、その形状変化を符号化して出力する抽出手
    段と、 前記入力された顔画像とともに、前記抽出手段出力の符
    号化された信号を目の挙動情報として伝送する伝送手段
    と、 前記伝送手段によって伝送されてきた信号を復号する復
    号化手段と、 受け手側の話者の視線方向を検出する視線検出手段と、 前記復号化手段によって復号された信号または前記視線
    検出手段によって検出された話者の視線方向に応じて、
    双方の視線が一致するようにグラフィック画像を生成す
    る画像生成手段、および前記伝送手段によって伝送され
    てきた顔画像に前記画像生成手段によって生成されたグ
    ラフィック画像とを合成する画像合成手段を備えた、視
    線一致補正装置。
JP4162807A 1992-06-22 1992-06-22 視線一致補正装置 Expired - Fee Related JPH0716244B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4162807A JPH0716244B2 (ja) 1992-06-22 1992-06-22 視線一致補正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4162807A JPH0716244B2 (ja) 1992-06-22 1992-06-22 視線一致補正装置

Publications (2)

Publication Number Publication Date
JPH066786A JPH066786A (ja) 1994-01-14
JPH0716244B2 true JPH0716244B2 (ja) 1995-02-22

Family

ID=15761599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4162807A Expired - Fee Related JPH0716244B2 (ja) 1992-06-22 1992-06-22 視線一致補正装置

Country Status (1)

Country Link
JP (1) JPH0716244B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4267950B2 (ja) 2003-03-28 2009-05-27 住友重機械工業株式会社 内歯揺動型内接噛合遊星歯車装置
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
US7705877B2 (en) 2004-01-28 2010-04-27 Hewlett-Packard Development Company, L.P. Method and system for display of facial features on nonplanar surfaces
JP5601142B2 (ja) * 2010-10-20 2014-10-08 カシオ計算機株式会社 画像表示装置、画像表示方法及びプログラム
JP5645255B2 (ja) * 2010-11-11 2014-12-24 埼玉日本電気株式会社 画像処理装置および画像処理方法
WO2014097465A1 (ja) * 2012-12-21 2014-06-26 日立マクセル株式会社 映像処理装置および映像処理方法
JP2019201360A (ja) * 2018-05-17 2019-11-21 住友電気工業株式会社 画像処理装置、コンピュータプログラム、ビデオ通話システム、及び画像処理方法
CN113222857A (zh) * 2021-05-27 2021-08-06 Oppo广东移动通信有限公司 图像处理方法、模型的训练方法及装置、介质和电子设备

Also Published As

Publication number Publication date
JPH066786A (ja) 1994-01-14

Similar Documents

Publication Publication Date Title
US7330584B2 (en) Image processing apparatus and method
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP4069855B2 (ja) 画像処理装置及び方法
US6677980B1 (en) Method and apparatus for correcting gaze of image using single camera
WO2011148449A1 (ja) 映像処理装置、映像処理方法、および映像通信システム
JP4144492B2 (ja) 画像表示装置
JPH1040420A (ja) 奥行き感制御方法
CN106796443A (zh) 三维上的凝视点的位置确定方法
JPWO2017141511A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2000338987A (ja) 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム
Petajan et al. Robust face feature analysis for automatic speachreading and character animation
JP6946684B2 (ja) 電子情報ボードシステム、画像処理装置、及びプログラム
US20190014288A1 (en) Information processing apparatus, information processing system, information processing method, and program
JPH0716244B2 (ja) 視線一致補正装置
JP2000137789A (ja) 画像処理装置
CN113170075B (zh) 信息处理装置、信息处理方法和程序
CN110018738B (zh) 一种基于真实场景情感表达的情感转换***
EP4113982A1 (en) Method for sensing and communicating visual focus of attention in a video conference
JPH0652945B2 (ja) テレビ電話装置
JP2006024141A (ja) 画像処理装置及び方法、プログラム
JP2006039770A (ja) 画像処理装置及び方法、プログラム
KR200145873Y1 (ko) 얼굴 표정 추출을 위한 헤드폰형 카메라 마이크
KR100220598B1 (ko) 3차원 모델 기반 코딩 시스템의 입술 변형 변수 추출 장치
US20230306698A1 (en) System and method to enhance distant people representation
JPH0832947A (ja) 画像通信装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19950822

LAPS Cancellation because of no payment of annual fees