JPH01141479A

JPH01141479A - 視線検出を利用した画像通信装置

Info

Publication number: JPH01141479A
Application number: JP62301065A
Authority: JP
Inventors: Akira Tomono; 明伴野
Original assignee: A T R TSUSHIN SYST KENKYUSHO KK
Current assignee: A T R TSUSHIN SYST KENKYUSHO KK
Priority date: 1987-11-28
Filing date: 1987-11-28
Publication date: 1989-06-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］この発明は視線検出を利用した画像通信装置に関し、特
Ｃ゛こ、受信者の視線情報を送信側にフィードバックす
ることによって、画像品質を高めるとともに、大幅な情
報圧縮を図ることのできるような視線検出を利用した画
像通信装置に関する。

［従来の技術］第１２図はテレビ会議、テレビ電話、動画像データベー
スへのアクセスなどの画像通信に用いられる従来の通信
方式の概略を示す図である。第１２図において、画像送
信側の原画像抽出部１は、カメラ３によって人物の視覚
対象２をとらえる場合を示している。カメラ３によって
撮影された視覚対象２の原画像は画像符号化手段４に与
えられ、原画像が符号化される。符号化された原画像は
送信手段５によって受信側に伝送される。符号化された
原画像は画像受信側の受信手段６によって受信され、復
号手段７によって原画像に復元される。

復元された原画像は表示手段８に表示され、受信者９は
その画像を見る。

ここで、以下の説明では画像符号化手段４に入力される
前の画像を原画像とし、伝送のために情報が走査（圧縮
など）された画像情報を送信画像情報と呼ぶことにする
。この方式では、送信画像情報は各画面ごとに画面の全
領域で一様に、また直接的に符号化され、受信側に伝送
される形態がとられている。このため、１０７〜’１０
８ｂｐｓの符号化レートとなり、伝送路として広い伝送
帯域が必要とされる。このために、第１２図に示した形
態セ画像情報を伝送するには伝送コストが高価になると
いう問題点があった。　′ 上述の問題点に対して、ビットレートを下げるために様
々な検討が行なわれている。実用化されたものとしては
、画面の濃淡の傾向や画素間の相関などの統計的な性質
を使用し１．空間的にあるいは時間的に予測を行なって
伝送情報を最少限にする方法がある。たとえば、動きの
部分だけを抽出したり、あるいは輪郭を抽出して伝送す
る方法などである。また、近年では、動画像の高能率符
号化方式として注目され、一部実用化されているものに
ベクトル量子化がある。これは、符号化の対象となる原
画像を小ブロックに分割し、各ブロックをに次元のベク
トルＸ−（Ｘ＋　ｌ　　ｘ２・・・ｘｋ）で表わし、こ
の各要素には予め用意したブロック集合Ｙ＝　（Ｙ＋　
）　ｌ＝ｌ　、Ｎ　Ｉ　　Ｖ＋　−（Ｙ＋’＋　。

ｙ１２．・・・ｙ、、）の中から適当なものを選び、Ｘ
、をｙ６．の添字ｉで置換えることによって符号化する
方式である。ここで、Ｙはコードブックと呼ばれる。

第１３図はベクトル量子化を用いた従来の画像情報の圧
縮方法を説明するための図である。原画像１０はカメラ
３でとらえたものであり、この原画像１０には視覚対象
１１が含まれている。この原画像１０はに個のブロック
に分割され、各ブロックはＸ、で表わされる。Ｘ、は４
画素×４画素のコードブック１２の中のＮ個のブロック
と比較され、最も近いブロックｉが選択され、Ｘ（はこ
のインデックスｉに置換えられ、これが符号化される。

したがって、この操作が効率良くなされれば、Ｘ、をそ
のまま伝送するよりも少ない情報量で済むことになる。

このベクトル量子化では、コードブック１２の作り方お
よびコードブック１２の使用にあたって原画像の入力ベ
クトルに一番近いベクトルをコードブックの中から検索
する方法が問題となる。コ−ドブック１２の作り方につ
いては、原画像の種類−によって再生される画像の画質
に偏りが生じないようにするため、各種の方法が提案さ
れている。

また、検索については、コードブックの中のすべてのコ
ードベクトルと逐次比較を行なっていたのでは演算量が
大きくなりすぎるため、コードブックの中のベクトルを
いくつかのカテゴリに分類しておいて、入力ベクトルの
性質によって、このカテゴリを選択して検索することに
より、検索回数を減らす本検索法や複数のブロックサイ
ズを用意しておき、量子化誤差が所定の値まで小さくな
るように、大きなブロックから順次小さなブロックに分
割していく多段ベクトル量子化、さらにこれを小画面表
示装置に適用し、大小２段階のブロックを選択する適応
ブロックサイズベクトル量子化（泉岡、長谷、鈴木：適
応ブロックサイズベクトル量子化による小画面動画通信
、電子情報通信学会技術報告Ｉ　Ｅ８６−９８参照）な
どが知られている。

また、最近、大幅な圧縮と自然な画像品質伝送を狙った
将来の画像通信方式として、符号化に知能処理を適用す
る検討がなされている。これは、送信側で原画像の特徴
を認識し、この特徴認識情報を符号化して伝送し、受信
側ではこれを元に蓄積されている画像特徴データベース
から物体像およびこの動きを実時間で高速生成し、表示
するものである。

［発明が解決しようとする問題点］上述の従来の情報圧縮法は、いずれも画面全体を一様な
アルゴリズムに従って処理している点が共通している。

さらに、ベクトル量子化について言えば、少なくとも量
子化の初期段階において、画面の分割方法が一様である
と言える。しかし、テレビ電話、テレビ会議など各種画
像サービスにおいて、当該画像が利用者にとって意味が
ある場合には、視線は一部分に注がれることが日常の経
験かられかる。すなわち、人は画面全体を一度に知覚す
るのではなく、関心のある部分を走査しながら画像を理
解しようとしているのである。この傾向は、関心の度合
が高いほど、また、画面が大きくなるほど強くなる。

人間の視覚特性がこのようであるにもかからず、前述の
従来の方法は画面全体を一様なアルゴリズムに従って符
号化処理するため、本来必要としない部分まで多くの情
報量で符号化することになり、無駄が多いという欠点が
ある。また、リアルタイムで伝送できる情報量が制限さ
れている場合には、全体を一様なアルゴリズムで伝送す
ることにより、符号化が粗くなり、注視点近傍の情報量
を十分得ることができず、画像品質が悪くなるなどの欠
点があった。

また、知能画像通信方式について言えば、各画面の全視
覚対象について、−様に特徴を抽出して符号化する場合
、処理時間が長くなる欠点がある。

また、リアルタイムで実行するためには処理装置が大き
くなるという欠点もあった。

それゆえに、この発明の主たる目的は、人間の視覚特性
に着目し、画面全体を一様にアルゴリズムで情報圧縮す
るのではなく、受信側からフィードバックされた視線情
報をもとにして、受信者の認知にとって重要な視線の中
心部分の画像情報と、細部の認知にかかわりの少ない注
視点周辺の画像情報との間に伝送情報量の点で重みづけ
することにより、大幅な画像情報の圧縮さらには画像情
報の経済化を図ることができ、しかも品質の高いと感す
る画像通信を実現し得る視線検出を利用した画像通信装
置を提供することである。

［問題点を解決するための手段］この発明は画像受信部と画像送信部とからなり、受信者
の視線検出を利用した画像通信装置であって、画像受信
部は受信信号から画像を再生する画像復元手段と、受信
者が再生された画像をモニタするための画像表示手段と
、画像表示手段の表示画面上を動く受信者の視線の動き
を検出するための視線検出手段と、視線検出手段により
得られた視線情報を画像送信部に送信するための視線情
報送信手段とから構成される。

一方、画像送信部は、視線情報送信手段から送信された
視線位置情報に基づいて原画像の情報量に重みづけして
送信画像情報を抽出する送信画像情報抽出手段と、抽出
された画像情報を受信部に送信するための送信手段とに
よって構成される。

ここで、送信画像情報を抽出する手段の一例として、原
画像を符号化する部分と、受信者の注視点からの距離を
少なくとも１つのパラメータとして符号化に重みづけす
る部分とからなる例がある。

この場合、符号化の例としては、ベクトル量子化があり
、当該符号化のためのブロックサイズ選択に際して、注
視点からの距離を少なくとも１つの重みづけパラメータ
とする例がある。また、他のパラメータの例としては、
受信者の視力特性があり、これは注視塵を検出すること
により補正できる。送信画像情報抽出手段の他の例とし
ては、原画像から画像の特徴を認識する部分と、視線情
報に基づいて特徴認識走査に重みづけをする部分とから
なる例がある。この場合、受信側の画像復元手段は予め
蓄積されている対象画像に関する画像特徴データベース
と、送信部から伝送された特徴認識情報から対象画像の
特徴を理解して画像を復元する例がある。

［作用］゛この発明に係る視線検出を利用した画像通信装置は、
受信信号から画像を再生して画像表示手段に表示し、画
像表示手段をモニタしている受信者の視線の動きを検出
して、その視線情報を画像送信部に送信し、画像送信部
ではその視線位置情報に基づいて原画像の情報量に重み
づけして送信画像情報を抽出し、抽出された画像情報を
受信側に送信することにより、受信者の認知にとって重
要な視線の中心部分の画像情報と、細部の認知にかかわ
りの少ない注視点周辺の画像情報との間に伝送情報量の
点で重みづけすることにより、大幅な画像情報の圧縮を
図ることができるので、画像情報の経済化を図ることが
でき、伝送情報量が一定の場合には品質の高いと感する
画像通信を実現できる。

［発明の実施例コ第２図および第３図はこの発明の詳細な説明するための
図であって、特に、第２図は視覚に対する視力特性を示
し、第３図は表示装置における標準的な観察条件を示す
図である。

まず、第２図および第３図を参照して、この発明の原理
について説明する。人が外界の情報を入手する場合、８
割以上は視覚によるものと言われている。一方、視力は
第２図に示すように、網膜において一様ではなく、視力
の高い部分は中心窩（視覚にして約１°）と呼ばれるご
く一部であり、視力０．３以上の部分は網膜全体の０．
５％程度であり、残りの大部分は視力０．１以下である
。

ここで、視力の比較的高い視覚数度の範囲を中心部と呼
び、視力が低下するその周辺を周辺視と呼ぶことにする
。

また、表示装置の視野角は、現行のテレビジョンやハイ
ビジョンを例にとると、標準的には第３図に示すようで
あり、他の表示装置でも１０°以上のものが多い。また
、臨場感は画面の大きさに比例するため、将来的には視
覚はさらに大きくなると思われる。以上のことから、人
は表示画面の全範囲を高い視力で一度に知覚することが
できないことがわかる。したがって、人は画面内に興味
ある対象を抽出し、これに視線を合わせ、興味対象が移
るときには視線を動かすことにより情報を得ている。

そこで、この眼球運動をリアルタイムで計測し、この情
報を送信側にフィードバックし、送信側では人が注目し
ている部分の情報については必要な程度忠実に伝送し、
他の部分の情報はビットレイトを落として伝送すること
により、伝送情報を圧縮することが考えられる。この原
理に基づいて、以下にこの発明の実施例について説明す
る。

第１図はこの発明の一実施例の概略ブロック図である。

まず、第１図を参照して、この発明の一実施例の構成に
ついて説明する。原画像の抽出部１は前述の第１２図に
示した従来例と同様にして、カメラ３により人物などの
視覚対象２の画像を抽出するものである。なお、カメラ
３に関連してカメラワーク制御手段２１が設けられてい
て、このカメラワーク制御手段２１によってカメラ３の
向く方向や倍率や焦点などが制御される。カメラ３の出
力である画像情報は画像符号化手段１４に与えられて原
画像が符号化される。符号化された原画像情報は送信手
段１５によって受信側に送信される。

受信部に含まれる受信手段１６は送信された画像情報を
受信し、復号手段１７は受信した画像情報の符号を表示
信号に復元する。表示手段８は復元された表示信号を表
示する。受信者９は表示手段８によって表示された画像
をモニタする。受信者９の視線の動きを検出するために
視線検出カメラ１８が設けられていて、注視点検出・送
信手段１９は視線検知カメラ１８によって得られた画像
から視線情報としての注視点を検出して送信部に送信す
る。

なお、送信部には、注視点重みづけ処理手段２０が設け
られている。この注視点重みづけ処理手段２０は受信部
からフィードバックされた注視点情報に基づいて、注視
点からの距離を少なくとも１つのパラメータとして、画
像符号化手段１４による画像の復号化のアルゴリズムを
制御するものである。

第４図は注視点に重みづけして画像を伝送する概念を説
明するための図である。第４図（ａ）において、第１図
に示したカメラ３によってとらえられた原画像２２には
視覚対象２が含まれている。

この原画像２２は注視点重みづけ処理されて送信画像２
３となる。第４図（ｂ）において、２４は受信者の注視
点であり、２５は中心視に相当する範囲で必要な程度忠
実に伝送される。さらに、２６．２７は周辺視に相当す
る範囲で画像情報はそれぞれ２つの段階に間引かれて伝
送される。

第５図はこの発明をベクトル量子化に適用したときの符
号化方法を説明するための図である。次に、第１図、第
４図および第５図を参照して、この発明の一実施例にお
ける画像符号化について詳細に説明する。原画像３０は
第１図に示した画像符号化手段１４に入力され、第５図
に示すように７Ｘ７のブロックｘｋに分割される。ここ
で、注視点３１が位置するブロックで顔の左エツジ部を
ＸＩ６とし、ＸＩ６と顔の中心を挾んで対象的な位置に
あるブロックで顔の右エツジ部をＸ２０とする。ここで
、Ｘ、６とＸ２０は第５図においては同等な情報量であ
るものとする。また、各ブロックは４Ｘ４の画素からな
るものとする。

各ブロックは４画素×４画素のコードブック３２の中の
Ｎ個のブロックと順次比較され、それぞれ歪量が計算さ
れる。ここで、歪量が最も小さいブロックをｉとすると
、従来の例ではこのｉが選択された。これに対して、こ
の発明の一実施例では、この歪ｉｉ　’ｄ　（はさらに
しきい値Ａ（ｒ、ｈ）と比較され、ｄ、　＜Ａ　（ｒ、
　　ｈ）の条件を満足する場合、ｘｋはこのインデック
スｉに置換えられる。ここで、しきい値Ａ　（ｒ、　ｈ
）は、注視点３１からの距Ｍｒと注目度などの視覚特性
りをパラメータとする変数である。ここでは簡単のため
に、ｒが中心視向であれば、Ａ　（ｒ＋　　）１）　−
ａ　＋　　（定数）とし、周辺視の領域であれば、Ａ　
（ｒ、　　ｈ）−ａ２とする。Ｘ２０のブロックでは、
ｄｌ＜ａ２の条件を満足するものと仮定し、第５図に示
すようにｉが選択される。

一方、ｘｉｓのブロックでは、ｄｌ　＜ａ、を満たさな
い。すなわち、第５図に示すように、ｄ１≧Ａ　Ｄ、ｈ
）と仮定する。この場合、４画素×４画素のブロックＸ
ｌｌ＋はさらに小さな４つの２画素×２画素のブロック
に分割され、２画素×２画素のコードブック３３と比較
され、それぞれ最も近いブロックｊ、に、（１，ｍが選
択され、これが出力される。符号化の際には、各ブロッ
クＸ。

について、４画素×４画素のブロックであれば、コード
０を立て、その後に４Ｘ４コードブツク３２の中のイン
デックスがコード化される。

また、４つの２画素×２画素のブロックであれば、コー
ド“１”を立て、その後に２×２コードブツク３３の中
のインデックスＪ、に、ｆｌ＋　ｍがコード化される。

このように、原画像ではＸ１ｌｉとＸ２０　とは同じ情
報量ブロックであるが、この実施例による重みづけを行
なう符号化によって、Ｘ２０　はＸ１ｌｉよりも少なく
できる。他のブロックについても同様である。このよう
にして、視力の低い周辺視の部分では情報を削減できる
。

ここで、情報圧縮量について説明する。動画像観察時の
眼球随従運動の速度は、５°／Ｓ以下が累積７０％を占
める。この速度以内において、人は注視可能とみなせる
ため、よく見えている範囲（中心視）を５°程度と仮定
し、これ以外を周辺視と仮定する。次に、認識対象を人
物とし、認識限界画素数を心理実験により求めると、５
１２Ｘ４８０画素の原画像に対して、約１７２０以下に
画素を削減すると、人物の大きな表情が判別できなくな
り、１１５〜１／１０で細かい表情が判別できなくなる
ことが知られている（鎧沢、宮田二人物像の画素数と識
別可能情報の関係、テレビジョン学会技術報告ＩＤ８７
−５参照）。そこで、視点から５°以上離れた部分の画
像について情報量を１１５に削減できると仮定すると、
情報圧縮率は現行テレビジョンで１／３程度となり、ハ
イビジョンで１／４程度となる。

以上、Ａ　（ｒ、　　ｈ）が中心視と周辺視によりａ、
と８２の２段階に変化する場合について述べたが、人間
の視力はｒの逆数にほぼ比例し、連続的に変化する。ま
た、中心点が興味ある対象であって、ここに意識が集中
している場合には、ｒに対する視力の変化はさらに急峻
になる。また、緊張しているときやリラックスしている
ときなどによっても視力は変化する。このような人の意
識にかかわるファクタをｈで表わす。このとき、Ａ（ｒ
。

ｈ）の値を以上を踏まえて変化させてもよい。なお、注
目度については、目の瞳孔面積の測定や視線のサツケー
ドの頻度などから推定できる。すなわち、注目度が高く
なると瞳孔が拡がり、またサツケードは少なくなる傾向
がある。これらはカメラ３でとらえることができる。

ところで、利用者の視線は意志を反映していると考えら
れる。そこで、さらに高度な制御として、受信側からフ
ィードバックされた注視点情報から第１図に示した注視
している視覚対象１００を抽出し、これ以外の部分、た
とえば背景などをあまり重要でない情報とみなし、この
情報量を落とすように制御してもネい。この場合、利用
者は画面の中の注視対象を鮮明に認識することができる
。

以上、視線情報として注視点位置をフィードバックする
例について述べたが、この他に、利用者が画面を見てい
るか否かの情報をフィードバックし、見ていない場合に
は画像の伝送を中断するなどの制御を行なうようにして
もよい。

次に、第１図において、注視点情報のカメラワーク制御
手段２１へのフィードバックについて説明する。視線情
報から視覚対象が推定された場合、この視覚対象が表示
画面の中央にくるようにカメラワーク制御手段２１によ
ってカメラ３を回転させ、さらには像を拡大させるなど
のように原画像を制御してもよい。なお、視覚対象の推
定は、受信側で行ない、これを視線情報として送信側に
フィードバックしてもよい。

第６図はこの発明の他の実施例における符号化方法を説
明するための図である。この第６図に示した実施例は、
Ａ（ｒ、ｈ）が３段階に変化し、ブロックサイズを４段
階とした場合である。Ａ（ｒ、　ｈ）は第６図に示すａ
ｌ　ｒ　８２　ｒ　　ａａとする。注視点４５の近傍の
ブロックｘ４を例にとると、原画像は８画素Ｘ８画素で
あるため、８×８コードブツク４６と比較される。ｄ、
＜Ａ　（ｒ。

ｈ）であれば、８画素Ｘ８画素のブロックサイズを表わ
すコード“００“とともにｉがコード化される。ｄ１≧
Ａ（ｒ、ｈ）であれば、４個の４×４ブロツク■に分割
され、それぞれ４×４コードブツク４７と比較される。

ここで、ｄｆｆ、　＜Ａ　（ｒ、　　ｈ）であれば、ブ
ロック■を表わすコード“０１１とともにｍが符号化さ
れ、ｄｌＴｌ≧Ａ（ｒ、ｈ）であれば、該当なしＺを符
号化してブロック■に移る。同様にして、１６個の２Ｘ
２ブロツク■（コード“１０”）に分割され、それぞれ
は２Ｘ２コードブツク４８と比較される。ここで、ｄｏ
＜Ａ　（ｒ、ｈ）であれば、ｎが符号化され、ｄｎ≧Ａ
（ｒ、ｈ）であれば、該当なしＺを符号化して、画素■
（コード“１１“）を符号化する。

第７図は原画像を初期の段階から均等に分割することな
く、中心視の部分は小さなブロックに分割し、周辺視の
部分は大きなブロックで分割してからコードブックとの
比較を行なう実施例を説明するための図である。この第
７図に示した実施例においては、前述の第５図に示した
実施例と同様にして、ブロックサイズは２段階である。

そして、全体は１６個の大ブロックに分割されるが、こ
のうち中心視２７の領域にかかるブロックについては、
初期の段階でさらに小さな小ブロックに分割される。す
なわち、パターンマツチングの初期において、注視点か
らの距離をパラメータとしてブロックサイズに重みづけ
する。符号化の処理は第５図に示した実施例と同様であ
る。

また、この発明は動画伝送への適用のみでなく、高精細
な静止画を少ないビットレートで伝送する際にも適用で
きる。

第８図はこの発明を静止画通信に用いた例を示す図であ
る。第８図において、伝送の対象となる高精細画像５５
には最初の注視点■が含まれている。対象画像の伝送開
始時においては、量子化は前述の動画伝送の場合と同様
にして、注視点近傍を平均すると伝送される情報密度が
高く、すなわちブロックサイズが小さい領域が多く、ま
た注視点周辺部は平均すると情報密度が低く、すなわち
ブロックサイズが大きい領域が多くなっている。

ここで、注視点が■、■のように移動するのに伴って、
それまで情報量の少なかった領域は、情報量の大きい画
像に置換えられていく。

この際、情報量に変化のない領域は伝送しなくてもよい
。このように制御することにより、利用者は受信の初期
段階から、対象画像が高精細であると知覚しながらこの
画像を受信することができる。

以上でベクトル量子化について説明したが、この発明は
他の圧縮手段、たとえば離散的コサイン変換、特徴抽出
による知的画像通信方式（村上。

市原：知能画像通信方式の一構成法、？！！子情報通信
学会技術報告ＩＥ８７−１４参照）などにも適用できる
。

第９図はこの発明の知能画像通信方式に適用した実施例
を示す図である。この実施例は、概念的には、表示画像
に対する人の注視点を知ることにより、対象画像の特徴
認識について、注視されている部分は細かく行ない、そ
れ以外の部分は粗く、またはコンピュータアニメーショ
ン技術で代用することなどにより、送信する情報量を大
幅に削減しようとするものである。

なお、第９図は、以下の点を除いて前述の第１図に示し
た実施例と同様にして構成される。すなわち、第１図に
示した送信側の画像符号化手段１４に代えて画像認識符
号化手段６１が設けられるとともに、画像データベース
６２が設けられ、受信側の復号手段１７に代えて画像生
成手段６３と画像データベース６４が設けられる。画像
認識符号化手段６１は原画像の特徴を認識して符号化す
るものである。送信側および受信側の画像データベース
６２および６４はそれぞれ認識に必要な各画像の特徴を
有している。画像生成手段６３は受信手段１６によって
受信された認識情報に基づいて、画像データベース６４
を参照しながら画像を生成することにより、原画像を復
元するものである。ここで、注視点重み付は処理手段２
０は、原画像の特徴を認識して符号化する際、画像の区
分け（ブロック）の数および認識のための命令要素（コ
マンド）の数などの認識のための操作を制御する。

次に、第９図に示した実施例の動作について説明する。

送信側および受信側に設けられる画像データベース６２
．６４には、大きく別けて、■静的画像データベースと
、■動的画像データベースとがある。静的画像データベ
ース■はシステム構成時に用意されるものであって、対
象画像が人物像の場合、標準的な形状が蓄積されたもの
である。

具体的には、人物を正面および側面方向がら撮影した画
像を用いて、三次元計測により小平面近似したものであ
る。すなわち、人の顔の方向および基本的な表情などを
人力すると、これに応じた典型的な顔ｉｉ！ｊ像が表現
されるようなデータベースとなっている。したがって、
通信時には、対象人物の動きや表情などを認識し、これ
を符号化して伝送すると、受信側ではこのデータベース
を用いて典型顔画像が得られるものである。このデータ
ベース６２．６４は平面バッチ法と呼ばれ、物体を小平
面（あるいは曲面）で近似表現する方法である。

動的画像データベース■は、実際の通信時に顔画像の各
小平面の近傍を自然に表現するためのデータベースであ
る。すなわち、静的画像データベース■で得られた画像
はモデルであり、当然として、原画像（通信時の画（！
ａ）とは異なるため、小平面の位置および法線方向など
を原画に近くなるように修正するためのものである。こ
のデータベースには、画像表現法と呼ばれ、物体をその
表面画素単位で表現する方法が用いられる。具体的な方
法としては、表面が対象物体の基点（たとえば中心）か
らどの位置にあり、面の法線はどの方向を向いているか
などが蓄積される。

物体の記述はコマンド体系としてグループ化され、たと
えば頭部、目、鼻、耳、頬、皮膚などが相互関係ととも
に階層化され記述される。したがって、通信にあたって
、送信側では、小平面に位置する領域の各部分について
の表面の位置および法線方向を特徴認識情報として抽出
し、コマンドにより符号化して送信する。受信側では、
平面パッチ法で特徴認識された情報と画像表現法で認識
された情報を合せて画像を再生する。

以上の説明から明らかように、物体の表現は平面パッチ
法および画素表現法のいずれにしろ任意に細かくするこ
とができ、すなわち、階層化を複雑にすることができ、
これにより原画像自然再生度が上がる。しかし、ベクト
ル量子化の実施例と同様にして、画面全体にわたって一
様に視力特性以上に細分化する必要はないため、この実
施例では、送信にあたり受信側からフィードバックされ
た視線情報をコマンド選択に反映させ、必要十分な小画
面分割および表面表示を行なうこととする。

なお、この発明では、視線は非接触で測定されることが
望ましい。そこで、顔面に眼鏡などの機器の装着を必要
としない非接触な視線検出法の例について、第１０図お
よび第１１図を用いて簡単に説明する。第１１図におい
て、眼球は２つの球７１と７２を第１０図に示すように
中心をずらして重ねたモデルで表わすことができる。球
７１゜７２の曲率は、それぞれガラス体、角膜の曲率に
相当する。頭部を固定して目を回転すると、このモデル
では球７１の中心に球７２が太い実線円のように回転す
ることになる。そこで、この例では、顔の中の不動特徴
点位置を計測し、球７２の中心座標を推定し、また瞳孔
の中心位置を測定し、これらの位置ベクトルを合わせる
ことにより、視線の方向を検出する。

不動特徴点の抽出方法の一例を第１１図に示す。

第１１図で示した両眼の目尻の位置は、眼球の動作に対
して動きが少ない。そこで、左右の目尻の位置を計測し
、この中間の位置を不動特徴点として近似することがで
きる。不動特徴点および瞳孔中心の位置計測には３つの
カメラを用いた３点測量法などが適用できる。第１０図
において、視線の方向はベクトルＡ、Ｂ、Ｃの和で表わ
される。

ここで、球７１の中心の座標は、このシステムの使用開
始時に、表示画面に決まった目標を提示し、利用者がこ
れを指示することにより求めることができる。すなわち
、キャリブレーションによって求めることができる。

なお、注視点の検出について、視線検出カメラ１８を用
いた例を示したが、他のセンサ、たとえば眼球の定常電
位の測定から眼球の位置を測定するＥＯＧ　（Ｅｌｅｃ
ｔｒｏ−Ｏｃｕｌｏｇｒａｍ）法や角膜反射像を位置検
出センサで検出する方法を用いてもよい。

また、この発明は従来技術で述べた対象の動きの部分だ
けを抽出して伝送する情報圧縮技術と併用してもよいこ
とは勿論である。

［発明の効果］以上のように、この発明によれば、受信者の視線情報を
送信部にフィードバックし、これに基づいて、原画像か
ら送信画像情報を抽出するようにしたので、たとえばテ
レビ電話や遠隔ロボット制御などにおいて、相手側（送
信側）に設置したカメラによってとらえた画像を高い品
質で経済的に受信することが可能となる。また、両眼視
差を用いた画像通信にも適用できる。

【図面の簡単な説明】

第１図はこの発明の一実施例の視線情報をフィードバッ
クする画像通信装置の一例を示す概略ブロック図である
。第２図は視覚に対する視力特性を示す図である。第３
図は表示装置の標準的な観察条件を説明するための図で
ある。第４図はこの発明の一実施例の動作を説明するた
めに注視点に重み付けをして伝送された画像の概念を示
す図である。第５図はこの発明の一実施例をベクトル量
子化に適用したときの符号化方法を説明するための図で
ある。第６図および第７図はこの発明の他の実施例にお
ける符号化方法を説明するための図である。第８図はこ
の発明を静止画通信に用いた実施例を説明するための図
である。第９図はこの発明を知能画像通信方式に適用し
た実施例の概略ブロック図である。第１０図および第１
１図は非接触型視線検出方式の一例を示す図である。第
１２図は従来の蝉像符号化通信装置の概略ブロック図で
ある。第１３図はベクトル量子化を用いた従来の画像情
報圧縮方法を説明するための図である。図において、１は原画像の抽出部、３はカメラ、８は表
示手段、１４は画像符号化手段、１５は送信手段、１６
は受信手段、１７は復号手段、１８は視線検出カメラ、
１９は注視点検出・送信手段、２０は注視点重み付は処
理手段、２１はカメラワーク制御手段、６１は画像認識
符号化手段、６２゜６４は画像データベース、６３は画
像生成手段を示す。特許出願人　株式会社エイ・ティ・アール通信第２図第３図第１０図第１１図べ鳳＝沁曇郭 ○ヂモ

Claims

【特許請求の範囲】

（１）画像受信部と画像送信部とからなり、受信者の視
線検出を利用した画像通信装置であって、前記画像受信
部は、受信信号から画像を再生する画像復元手段と、受
信者が再生された画像をモニタするための画像表示手段
と、前記画像表示手段の表示画面上を動く受信者の視線
を動きを検出するための視線検出手段と、前記視線検出
手段により得られた視線情報を前記画像送信部に送信す
るための視線情報送信手段とを含み、前記画像送信部は
、前記送信手段から送信された視線位置情報に基づいて
原画像の情報量に重みづけして送信画像情報を抽出する
送信画像情報抽出手段と、前記送信画像情報抽出手段に
よって抽出された画像情報を前記受信部に送信するため
の送信手段を含むことを特徴とする、視線検出を利用し
た画像通信装置。
（２）前記送信画像情報抽出手段は、前記源画像を符号
化する符号化手段と、前記受信者の注視点からの距離を
少なくとも１つのパラメータとして、前記符号化に重み
づけする重みづけ手段とを含むことを特徴とする、特許
請求の範囲第１項記載の視線検出を利用した画像通信装
置。
（３）前記符号化手段はベクトル量子化により前記原画
像を符号化し、当該符号化のためのブロックサイズの選
択に際して、注視点からの距離を少なくとも１つの重み
づけパラメータとすることを特徴とする、特許請求の範
囲第２項記載の視線検出を利用した画像通信装置。
（４）前記符号化手段は前記受信者の視力特性を他の重
みづけパラメータとすることを特徴とする、特許請求の
範囲第２項記載の視線検出を利用した画像通信装置。
（５）前記符号化手段は、注視度を検出して視力特性を
補正することを特徴とする、特許請求の範囲第４項記載
の視線検出を利用した画像通信装置。
（６）前記送信画像情報抽出手段は、前記原画像から画
像の特徴を認識する手段と、前記視線情報に基づいて、
前記特徴認識操作に重みづけすする手段とを含み、前記
画像復元手段は、予め蓄積されている対象画像に関する
画像特徴データベースと、前記画像送信部から伝送され
た特徴認識情報から対象画像の特徴を理解して画像を復
元する手段とを含むことを特徴とする、特許請求の範囲
第１項記載の視線検出を利用した画像通信装置。