JPH01141479A - 視線検出を利用した画像通信装置 - Google Patents
視線検出を利用した画像通信装置Info
- Publication number
- JPH01141479A JPH01141479A JP62301065A JP30106587A JPH01141479A JP H01141479 A JPH01141479 A JP H01141479A JP 62301065 A JP62301065 A JP 62301065A JP 30106587 A JP30106587 A JP 30106587A JP H01141479 A JPH01141479 A JP H01141479A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- line
- sight
- transmitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 title claims description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 230000005540 biological transmission Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 22
- 230000004304 visual acuity Effects 0.000 claims description 17
- 238000013139 quantization Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 230000000007 visual effect Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005043 peripheral vision Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004371 high visual acuity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 241000931705 Cicada Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000283986 Lepus Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
[産業上の利用分野]
この発明は視線検出を利用した画像通信装置に関し、特
C゛こ、受信者の視線情報を送信側にフィードバックす
ることによって、画像品質を高めるとともに、大幅な情
報圧縮を図ることのできるような視線検出を利用した画
像通信装置に関する。
C゛こ、受信者の視線情報を送信側にフィードバックす
ることによって、画像品質を高めるとともに、大幅な情
報圧縮を図ることのできるような視線検出を利用した画
像通信装置に関する。
[従来の技術]
第12図はテレビ会議、テレビ電話、動画像データベー
スへのアクセスなどの画像通信に用いられる従来の通信
方式の概略を示す図である。第12図において、画像送
信側の原画像抽出部1は、カメラ3によって人物の視覚
対象2をとらえる場合を示している。カメラ3によって
撮影された視覚対象2の原画像は画像符号化手段4に与
えられ、原画像が符号化される。符号化された原画像は
送信手段5によって受信側に伝送される。符号化された
原画像は画像受信側の受信手段6によって受信され、復
号手段7によって原画像に復元される。
スへのアクセスなどの画像通信に用いられる従来の通信
方式の概略を示す図である。第12図において、画像送
信側の原画像抽出部1は、カメラ3によって人物の視覚
対象2をとらえる場合を示している。カメラ3によって
撮影された視覚対象2の原画像は画像符号化手段4に与
えられ、原画像が符号化される。符号化された原画像は
送信手段5によって受信側に伝送される。符号化された
原画像は画像受信側の受信手段6によって受信され、復
号手段7によって原画像に復元される。
復元された原画像は表示手段8に表示され、受信者9は
その画像を見る。
その画像を見る。
ここで、以下の説明では画像符号化手段4に入力される
前の画像を原画像とし、伝送のために情報が走査(圧縮
など)された画像情報を送信画像情報と呼ぶことにする
。この方式では、送信画像情報は各画面ごとに画面の全
領域で一様に、また直接的に符号化され、受信側に伝送
される形態がとられている。このため、107〜’10
8bpsの符号化レートとなり、伝送路として広い伝送
帯域が必要とされる。このために、第12図に示した形
態セ画像情報を伝送するには伝送コストが高価になると
いう問題点があった。 ′ 上述の問題点に対して、ビットレートを下げるために様
々な検討が行なわれている。実用化されたものとしては
、画面の濃淡の傾向や画素間の相関などの統計的な性質
を使用し1.空間的にあるいは時間的に予測を行なって
伝送情報を最少限にする方法がある。たとえば、動きの
部分だけを抽出したり、あるいは輪郭を抽出して伝送す
る方法などである。また、近年では、動画像の高能率符
号化方式として注目され、一部実用化されているものに
ベクトル量子化がある。これは、符号化の対象となる原
画像を小ブロックに分割し、各ブロックをに次元のベク
トルX−(X+ l x2・・・xk)で表わし、こ
の各要素には予め用意したブロック集合Y= (Y+
) l=l 、N I V+ −(Y+’+ 。
前の画像を原画像とし、伝送のために情報が走査(圧縮
など)された画像情報を送信画像情報と呼ぶことにする
。この方式では、送信画像情報は各画面ごとに画面の全
領域で一様に、また直接的に符号化され、受信側に伝送
される形態がとられている。このため、107〜’10
8bpsの符号化レートとなり、伝送路として広い伝送
帯域が必要とされる。このために、第12図に示した形
態セ画像情報を伝送するには伝送コストが高価になると
いう問題点があった。 ′ 上述の問題点に対して、ビットレートを下げるために様
々な検討が行なわれている。実用化されたものとしては
、画面の濃淡の傾向や画素間の相関などの統計的な性質
を使用し1.空間的にあるいは時間的に予測を行なって
伝送情報を最少限にする方法がある。たとえば、動きの
部分だけを抽出したり、あるいは輪郭を抽出して伝送す
る方法などである。また、近年では、動画像の高能率符
号化方式として注目され、一部実用化されているものに
ベクトル量子化がある。これは、符号化の対象となる原
画像を小ブロックに分割し、各ブロックをに次元のベク
トルX−(X+ l x2・・・xk)で表わし、こ
の各要素には予め用意したブロック集合Y= (Y+
) l=l 、N I V+ −(Y+’+ 。
y12.・・・y、、)の中から適当なものを選び、X
、をy6.の添字iで置換えることによって符号化する
方式である。ここで、Yはコードブックと呼ばれる。
、をy6.の添字iで置換えることによって符号化する
方式である。ここで、Yはコードブックと呼ばれる。
第13図はベクトル量子化を用いた従来の画像情報の圧
縮方法を説明するための図である。原画像10はカメラ
3でとらえたものであり、この原画像10には視覚対象
11が含まれている。この原画像10はに個のブロック
に分割され、各ブロックはX、で表わされる。X、は4
画素×4画素のコードブック12の中のN個のブロック
と比較され、最も近いブロックiが選択され、X(はこ
のインデックスiに置換えられ、これが符号化される。
縮方法を説明するための図である。原画像10はカメラ
3でとらえたものであり、この原画像10には視覚対象
11が含まれている。この原画像10はに個のブロック
に分割され、各ブロックはX、で表わされる。X、は4
画素×4画素のコードブック12の中のN個のブロック
と比較され、最も近いブロックiが選択され、X(はこ
のインデックスiに置換えられ、これが符号化される。
したがって、この操作が効率良くなされれば、X、をそ
のまま伝送するよりも少ない情報量で済むことになる。
のまま伝送するよりも少ない情報量で済むことになる。
このベクトル量子化では、コードブック12の作り方お
よびコードブック12の使用にあたって原画像の入力ベ
クトルに一番近いベクトルをコードブックの中から検索
する方法が問題となる。コ−ドブック12の作り方につ
いては、原画像の種類−によって再生される画像の画質
に偏りが生じないようにするため、各種の方法が提案さ
れている。
よびコードブック12の使用にあたって原画像の入力ベ
クトルに一番近いベクトルをコードブックの中から検索
する方法が問題となる。コ−ドブック12の作り方につ
いては、原画像の種類−によって再生される画像の画質
に偏りが生じないようにするため、各種の方法が提案さ
れている。
また、検索については、コードブックの中のすべてのコ
ードベクトルと逐次比較を行なっていたのでは演算量が
大きくなりすぎるため、コードブックの中のベクトルを
いくつかのカテゴリに分類しておいて、入力ベクトルの
性質によって、このカテゴリを選択して検索することに
より、検索回数を減らす本検索法や複数のブロックサイ
ズを用意しておき、量子化誤差が所定の値まで小さくな
るように、大きなブロックから順次小さなブロックに分
割していく多段ベクトル量子化、さらにこれを小画面表
示装置に適用し、大小2段階のブロックを選択する適応
ブロックサイズベクトル量子化(泉岡、長谷、鈴木:適
応ブロックサイズベクトル量子化による小画面動画通信
、電子情報通信学会技術報告I E86−98参照)な
どが知られている。
ードベクトルと逐次比較を行なっていたのでは演算量が
大きくなりすぎるため、コードブックの中のベクトルを
いくつかのカテゴリに分類しておいて、入力ベクトルの
性質によって、このカテゴリを選択して検索することに
より、検索回数を減らす本検索法や複数のブロックサイ
ズを用意しておき、量子化誤差が所定の値まで小さくな
るように、大きなブロックから順次小さなブロックに分
割していく多段ベクトル量子化、さらにこれを小画面表
示装置に適用し、大小2段階のブロックを選択する適応
ブロックサイズベクトル量子化(泉岡、長谷、鈴木:適
応ブロックサイズベクトル量子化による小画面動画通信
、電子情報通信学会技術報告I E86−98参照)な
どが知られている。
また、最近、大幅な圧縮と自然な画像品質伝送を狙った
将来の画像通信方式として、符号化に知能処理を適用す
る検討がなされている。これは、送信側で原画像の特徴
を認識し、この特徴認識情報を符号化して伝送し、受信
側ではこれを元に蓄積されている画像特徴データベース
から物体像およびこの動きを実時間で高速生成し、表示
するものである。
将来の画像通信方式として、符号化に知能処理を適用す
る検討がなされている。これは、送信側で原画像の特徴
を認識し、この特徴認識情報を符号化して伝送し、受信
側ではこれを元に蓄積されている画像特徴データベース
から物体像およびこの動きを実時間で高速生成し、表示
するものである。
[発明が解決しようとする問題点]
上述の従来の情報圧縮法は、いずれも画面全体を一様な
アルゴリズムに従って処理している点が共通している。
アルゴリズムに従って処理している点が共通している。
さらに、ベクトル量子化について言えば、少なくとも量
子化の初期段階において、画面の分割方法が一様である
と言える。しかし、テレビ電話、テレビ会議など各種画
像サービスにおいて、当該画像が利用者にとって意味が
ある場合には、視線は一部分に注がれることが日常の経
験かられかる。すなわち、人は画面全体を一度に知覚す
るのではなく、関心のある部分を走査しながら画像を理
解しようとしているのである。この傾向は、関心の度合
が高いほど、また、画面が大きくなるほど強くなる。
子化の初期段階において、画面の分割方法が一様である
と言える。しかし、テレビ電話、テレビ会議など各種画
像サービスにおいて、当該画像が利用者にとって意味が
ある場合には、視線は一部分に注がれることが日常の経
験かられかる。すなわち、人は画面全体を一度に知覚す
るのではなく、関心のある部分を走査しながら画像を理
解しようとしているのである。この傾向は、関心の度合
が高いほど、また、画面が大きくなるほど強くなる。
人間の視覚特性がこのようであるにもかからず、前述の
従来の方法は画面全体を一様なアルゴリズムに従って符
号化処理するため、本来必要としない部分まで多くの情
報量で符号化することになり、無駄が多いという欠点が
ある。また、リアルタイムで伝送できる情報量が制限さ
れている場合には、全体を一様なアルゴリズムで伝送す
ることにより、符号化が粗くなり、注視点近傍の情報量
を十分得ることができず、画像品質が悪くなるなどの欠
点があった。
従来の方法は画面全体を一様なアルゴリズムに従って符
号化処理するため、本来必要としない部分まで多くの情
報量で符号化することになり、無駄が多いという欠点が
ある。また、リアルタイムで伝送できる情報量が制限さ
れている場合には、全体を一様なアルゴリズムで伝送す
ることにより、符号化が粗くなり、注視点近傍の情報量
を十分得ることができず、画像品質が悪くなるなどの欠
点があった。
また、知能画像通信方式について言えば、各画面の全視
覚対象について、−様に特徴を抽出して符号化する場合
、処理時間が長くなる欠点がある。
覚対象について、−様に特徴を抽出して符号化する場合
、処理時間が長くなる欠点がある。
また、リアルタイムで実行するためには処理装置が大き
くなるという欠点もあった。
くなるという欠点もあった。
それゆえに、この発明の主たる目的は、人間の視覚特性
に着目し、画面全体を一様にアルゴリズムで情報圧縮す
るのではなく、受信側からフィードバックされた視線情
報をもとにして、受信者の認知にとって重要な視線の中
心部分の画像情報と、細部の認知にかかわりの少ない注
視点周辺の画像情報との間に伝送情報量の点で重みづけ
することにより、大幅な画像情報の圧縮さらには画像情
報の経済化を図ることができ、しかも品質の高いと感す
る画像通信を実現し得る視線検出を利用した画像通信装
置を提供することである。
に着目し、画面全体を一様にアルゴリズムで情報圧縮す
るのではなく、受信側からフィードバックされた視線情
報をもとにして、受信者の認知にとって重要な視線の中
心部分の画像情報と、細部の認知にかかわりの少ない注
視点周辺の画像情報との間に伝送情報量の点で重みづけ
することにより、大幅な画像情報の圧縮さらには画像情
報の経済化を図ることができ、しかも品質の高いと感す
る画像通信を実現し得る視線検出を利用した画像通信装
置を提供することである。
[問題点を解決するための手段]
この発明は画像受信部と画像送信部とからなり、受信者
の視線検出を利用した画像通信装置であって、画像受信
部は受信信号から画像を再生する画像復元手段と、受信
者が再生された画像をモニタするための画像表示手段と
、画像表示手段の表示画面上を動く受信者の視線の動き
を検出するための視線検出手段と、視線検出手段により
得られた視線情報を画像送信部に送信するための視線情
報送信手段とから構成される。
の視線検出を利用した画像通信装置であって、画像受信
部は受信信号から画像を再生する画像復元手段と、受信
者が再生された画像をモニタするための画像表示手段と
、画像表示手段の表示画面上を動く受信者の視線の動き
を検出するための視線検出手段と、視線検出手段により
得られた視線情報を画像送信部に送信するための視線情
報送信手段とから構成される。
一方、画像送信部は、視線情報送信手段から送信された
視線位置情報に基づいて原画像の情報量に重みづけして
送信画像情報を抽出する送信画像情報抽出手段と、抽出
された画像情報を受信部に送信するための送信手段とに
よって構成される。
視線位置情報に基づいて原画像の情報量に重みづけして
送信画像情報を抽出する送信画像情報抽出手段と、抽出
された画像情報を受信部に送信するための送信手段とに
よって構成される。
ここで、送信画像情報を抽出する手段の一例として、原
画像を符号化する部分と、受信者の注視点からの距離を
少なくとも1つのパラメータとして符号化に重みづけす
る部分とからなる例がある。
画像を符号化する部分と、受信者の注視点からの距離を
少なくとも1つのパラメータとして符号化に重みづけす
る部分とからなる例がある。
この場合、符号化の例としては、ベクトル量子化があり
、当該符号化のためのブロックサイズ選択に際して、注
視点からの距離を少なくとも1つの重みづけパラメータ
とする例がある。また、他のパラメータの例としては、
受信者の視力特性があり、これは注視塵を検出すること
により補正できる。送信画像情報抽出手段の他の例とし
ては、原画像から画像の特徴を認識する部分と、視線情
報に基づいて特徴認識走査に重みづけをする部分とから
なる例がある。この場合、受信側の画像復元手段は予め
蓄積されている対象画像に関する画像特徴データベース
と、送信部から伝送された特徴認識情報から対象画像の
特徴を理解して画像を復元する例がある。
、当該符号化のためのブロックサイズ選択に際して、注
視点からの距離を少なくとも1つの重みづけパラメータ
とする例がある。また、他のパラメータの例としては、
受信者の視力特性があり、これは注視塵を検出すること
により補正できる。送信画像情報抽出手段の他の例とし
ては、原画像から画像の特徴を認識する部分と、視線情
報に基づいて特徴認識走査に重みづけをする部分とから
なる例がある。この場合、受信側の画像復元手段は予め
蓄積されている対象画像に関する画像特徴データベース
と、送信部から伝送された特徴認識情報から対象画像の
特徴を理解して画像を復元する例がある。
[作用]
゛この発明に係る視線検出を利用した画像通信装置は、
受信信号から画像を再生して画像表示手段に表示し、画
像表示手段をモニタしている受信者の視線の動きを検出
して、その視線情報を画像送信部に送信し、画像送信部
ではその視線位置情報に基づいて原画像の情報量に重み
づけして送信画像情報を抽出し、抽出された画像情報を
受信側に送信することにより、受信者の認知にとって重
要な視線の中心部分の画像情報と、細部の認知にかかわ
りの少ない注視点周辺の画像情報との間に伝送情報量の
点で重みづけすることにより、大幅な画像情報の圧縮を
図ることができるので、画像情報の経済化を図ることが
でき、伝送情報量が一定の場合には品質の高いと感する
画像通信を実現できる。
受信信号から画像を再生して画像表示手段に表示し、画
像表示手段をモニタしている受信者の視線の動きを検出
して、その視線情報を画像送信部に送信し、画像送信部
ではその視線位置情報に基づいて原画像の情報量に重み
づけして送信画像情報を抽出し、抽出された画像情報を
受信側に送信することにより、受信者の認知にとって重
要な視線の中心部分の画像情報と、細部の認知にかかわ
りの少ない注視点周辺の画像情報との間に伝送情報量の
点で重みづけすることにより、大幅な画像情報の圧縮を
図ることができるので、画像情報の経済化を図ることが
でき、伝送情報量が一定の場合には品質の高いと感する
画像通信を実現できる。
[発明の実施例コ
第2図および第3図はこの発明の詳細な説明するための
図であって、特に、第2図は視覚に対する視力特性を示
し、第3図は表示装置における標準的な観察条件を示す
図である。
図であって、特に、第2図は視覚に対する視力特性を示
し、第3図は表示装置における標準的な観察条件を示す
図である。
まず、第2図および第3図を参照して、この発明の原理
について説明する。人が外界の情報を入手する場合、8
割以上は視覚によるものと言われている。一方、視力は
第2図に示すように、網膜において一様ではなく、視力
の高い部分は中心窩(視覚にして約1°)と呼ばれるご
く一部であり、視力0.3以上の部分は網膜全体の0.
5%程度であり、残りの大部分は視力0.1以下である
。
について説明する。人が外界の情報を入手する場合、8
割以上は視覚によるものと言われている。一方、視力は
第2図に示すように、網膜において一様ではなく、視力
の高い部分は中心窩(視覚にして約1°)と呼ばれるご
く一部であり、視力0.3以上の部分は網膜全体の0.
5%程度であり、残りの大部分は視力0.1以下である
。
ここで、視力の比較的高い視覚数度の範囲を中心部と呼
び、視力が低下するその周辺を周辺視と呼ぶことにする
。
び、視力が低下するその周辺を周辺視と呼ぶことにする
。
また、表示装置の視野角は、現行のテレビジョンやハイ
ビジョンを例にとると、標準的には第3図に示すようで
あり、他の表示装置でも10°以上のものが多い。また
、臨場感は画面の大きさに比例するため、将来的には視
覚はさらに大きくなると思われる。以上のことから、人
は表示画面の全範囲を高い視力で一度に知覚することが
できないことがわかる。したがって、人は画面内に興味
ある対象を抽出し、これに視線を合わせ、興味対象が移
るときには視線を動かすことにより情報を得ている。
ビジョンを例にとると、標準的には第3図に示すようで
あり、他の表示装置でも10°以上のものが多い。また
、臨場感は画面の大きさに比例するため、将来的には視
覚はさらに大きくなると思われる。以上のことから、人
は表示画面の全範囲を高い視力で一度に知覚することが
できないことがわかる。したがって、人は画面内に興味
ある対象を抽出し、これに視線を合わせ、興味対象が移
るときには視線を動かすことにより情報を得ている。
そこで、この眼球運動をリアルタイムで計測し、この情
報を送信側にフィードバックし、送信側では人が注目し
ている部分の情報については必要な程度忠実に伝送し、
他の部分の情報はビットレイトを落として伝送すること
により、伝送情報を圧縮することが考えられる。この原
理に基づいて、以下にこの発明の実施例について説明す
る。
報を送信側にフィードバックし、送信側では人が注目し
ている部分の情報については必要な程度忠実に伝送し、
他の部分の情報はビットレイトを落として伝送すること
により、伝送情報を圧縮することが考えられる。この原
理に基づいて、以下にこの発明の実施例について説明す
る。
第1図はこの発明の一実施例の概略ブロック図である。
まず、第1図を参照して、この発明の一実施例の構成に
ついて説明する。原画像の抽出部1は前述の第12図に
示した従来例と同様にして、カメラ3により人物などの
視覚対象2の画像を抽出するものである。なお、カメラ
3に関連してカメラワーク制御手段21が設けられてい
て、このカメラワーク制御手段21によってカメラ3の
向く方向や倍率や焦点などが制御される。カメラ3の出
力である画像情報は画像符号化手段14に与えられて原
画像が符号化される。符号化された原画像情報は送信手
段15によって受信側に送信される。
ついて説明する。原画像の抽出部1は前述の第12図に
示した従来例と同様にして、カメラ3により人物などの
視覚対象2の画像を抽出するものである。なお、カメラ
3に関連してカメラワーク制御手段21が設けられてい
て、このカメラワーク制御手段21によってカメラ3の
向く方向や倍率や焦点などが制御される。カメラ3の出
力である画像情報は画像符号化手段14に与えられて原
画像が符号化される。符号化された原画像情報は送信手
段15によって受信側に送信される。
受信部に含まれる受信手段16は送信された画像情報を
受信し、復号手段17は受信した画像情報の符号を表示
信号に復元する。表示手段8は復元された表示信号を表
示する。受信者9は表示手段8によって表示された画像
をモニタする。受信者9の視線の動きを検出するために
視線検出カメラ18が設けられていて、注視点検出・送
信手段19は視線検知カメラ18によって得られた画像
から視線情報としての注視点を検出して送信部に送信す
る。
受信し、復号手段17は受信した画像情報の符号を表示
信号に復元する。表示手段8は復元された表示信号を表
示する。受信者9は表示手段8によって表示された画像
をモニタする。受信者9の視線の動きを検出するために
視線検出カメラ18が設けられていて、注視点検出・送
信手段19は視線検知カメラ18によって得られた画像
から視線情報としての注視点を検出して送信部に送信す
る。
なお、送信部には、注視点重みづけ処理手段20が設け
られている。この注視点重みづけ処理手段20は受信部
からフィードバックされた注視点情報に基づいて、注視
点からの距離を少なくとも1つのパラメータとして、画
像符号化手段14による画像の復号化のアルゴリズムを
制御するものである。
られている。この注視点重みづけ処理手段20は受信部
からフィードバックされた注視点情報に基づいて、注視
点からの距離を少なくとも1つのパラメータとして、画
像符号化手段14による画像の復号化のアルゴリズムを
制御するものである。
第4図は注視点に重みづけして画像を伝送する概念を説
明するための図である。第4図(a)において、第1図
に示したカメラ3によってとらえられた原画像22には
視覚対象2が含まれている。
明するための図である。第4図(a)において、第1図
に示したカメラ3によってとらえられた原画像22には
視覚対象2が含まれている。
この原画像22は注視点重みづけ処理されて送信画像2
3となる。第4図(b)において、24は受信者の注視
点であり、25は中心視に相当する範囲で必要な程度忠
実に伝送される。さらに、26.27は周辺視に相当す
る範囲で画像情報はそれぞれ2つの段階に間引かれて伝
送される。
3となる。第4図(b)において、24は受信者の注視
点であり、25は中心視に相当する範囲で必要な程度忠
実に伝送される。さらに、26.27は周辺視に相当す
る範囲で画像情報はそれぞれ2つの段階に間引かれて伝
送される。
第5図はこの発明をベクトル量子化に適用したときの符
号化方法を説明するための図である。次に、第1図、第
4図および第5図を参照して、この発明の一実施例にお
ける画像符号化について詳細に説明する。原画像30は
第1図に示した画像符号化手段14に入力され、第5図
に示すように7X7のブロックxkに分割される。ここ
で、注視点31が位置するブロックで顔の左エツジ部を
XI6とし、XI6と顔の中心を挾んで対象的な位置に
あるブロックで顔の右エツジ部をX20とする。ここで
、X、6とX20は第5図においては同等な情報量であ
るものとする。また、各ブロックは4X4の画素からな
るものとする。
号化方法を説明するための図である。次に、第1図、第
4図および第5図を参照して、この発明の一実施例にお
ける画像符号化について詳細に説明する。原画像30は
第1図に示した画像符号化手段14に入力され、第5図
に示すように7X7のブロックxkに分割される。ここ
で、注視点31が位置するブロックで顔の左エツジ部を
XI6とし、XI6と顔の中心を挾んで対象的な位置に
あるブロックで顔の右エツジ部をX20とする。ここで
、X、6とX20は第5図においては同等な情報量であ
るものとする。また、各ブロックは4X4の画素からな
るものとする。
各ブロックは4画素×4画素のコードブック32の中の
N個のブロックと順次比較され、それぞれ歪量が計算さ
れる。ここで、歪量が最も小さいブロックをiとすると
、従来の例ではこのiが選択された。これに対して、こ
の発明の一実施例では、この歪ii ’d (はさらに
しきい値A(r、h)と比較され、d、 <A (r、
h)の条件を満足する場合、xkはこのインデック
スiに置換えられる。ここで、しきい値A (r、 h
)は、注視点31からの距Mrと注目度などの視覚特性
りをパラメータとする変数である。ここでは簡単のため
に、rが中心視向であれば、A (r+ )1) −
a + (定数)とし、周辺視の領域であれば、A
(r、 h)−a2とする。X20のブロックでは、
dl<a2の条件を満足するものと仮定し、第5図に示
すようにiが選択される。
N個のブロックと順次比較され、それぞれ歪量が計算さ
れる。ここで、歪量が最も小さいブロックをiとすると
、従来の例ではこのiが選択された。これに対して、こ
の発明の一実施例では、この歪ii ’d (はさらに
しきい値A(r、h)と比較され、d、 <A (r、
h)の条件を満足する場合、xkはこのインデック
スiに置換えられる。ここで、しきい値A (r、 h
)は、注視点31からの距Mrと注目度などの視覚特性
りをパラメータとする変数である。ここでは簡単のため
に、rが中心視向であれば、A (r+ )1) −
a + (定数)とし、周辺視の領域であれば、A
(r、 h)−a2とする。X20のブロックでは、
dl<a2の条件を満足するものと仮定し、第5図に示
すようにiが選択される。
一方、xisのブロックでは、dl <a、を満たさな
い。すなわち、第5図に示すように、d1≧A D、h
)と仮定する。この場合、4画素×4画素のブロックX
ll+はさらに小さな4つの2画素×2画素のブロック
に分割され、2画素×2画素のコードブック33と比較
され、それぞれ最も近いブロックj、に、(1,mが選
択され、これが出力される。符号化の際には、各ブロッ
クX。
い。すなわち、第5図に示すように、d1≧A D、h
)と仮定する。この場合、4画素×4画素のブロックX
ll+はさらに小さな4つの2画素×2画素のブロック
に分割され、2画素×2画素のコードブック33と比較
され、それぞれ最も近いブロックj、に、(1,mが選
択され、これが出力される。符号化の際には、各ブロッ
クX。
について、4画素×4画素のブロックであれば、コード
0を立て、その後に4X4コードブツク32の中のイン
デックスがコード化される。
0を立て、その後に4X4コードブツク32の中のイン
デックスがコード化される。
また、4つの2画素×2画素のブロックであれば、コー
ド“1”を立て、その後に2×2コードブツク33の中
のインデックスJ、に、fl+ mがコード化される。
ド“1”を立て、その後に2×2コードブツク33の中
のインデックスJ、に、fl+ mがコード化される。
このように、原画像ではX1liとX20 とは同じ情
報量ブロックであるが、この実施例による重みづけを行
なう符号化によって、X20 はX1liよりも少なく
できる。他のブロックについても同様である。このよう
にして、視力の低い周辺視の部分では情報を削減できる
。
報量ブロックであるが、この実施例による重みづけを行
なう符号化によって、X20 はX1liよりも少なく
できる。他のブロックについても同様である。このよう
にして、視力の低い周辺視の部分では情報を削減できる
。
ここで、情報圧縮量について説明する。動画像観察時の
眼球随従運動の速度は、5°/S以下が累積70%を占
める。この速度以内において、人は注視可能とみなせる
ため、よく見えている範囲(中心視)を5°程度と仮定
し、これ以外を周辺視と仮定する。次に、認識対象を人
物とし、認識限界画素数を心理実験により求めると、5
12X480画素の原画像に対して、約1720以下に
画素を削減すると、人物の大きな表情が判別できなくな
り、115〜1/10で細かい表情が判別できなくなる
ことが知られている(鎧沢、宮田二人物像の画素数と識
別可能情報の関係、テレビジョン学会技術報告ID87
−5参照)。そこで、視点から5°以上離れた部分の画
像について情報量を115に削減できると仮定すると、
情報圧縮率は現行テレビジョンで1/3程度となり、ハ
イビジョンで1/4程度となる。
眼球随従運動の速度は、5°/S以下が累積70%を占
める。この速度以内において、人は注視可能とみなせる
ため、よく見えている範囲(中心視)を5°程度と仮定
し、これ以外を周辺視と仮定する。次に、認識対象を人
物とし、認識限界画素数を心理実験により求めると、5
12X480画素の原画像に対して、約1720以下に
画素を削減すると、人物の大きな表情が判別できなくな
り、115〜1/10で細かい表情が判別できなくなる
ことが知られている(鎧沢、宮田二人物像の画素数と識
別可能情報の関係、テレビジョン学会技術報告ID87
−5参照)。そこで、視点から5°以上離れた部分の画
像について情報量を115に削減できると仮定すると、
情報圧縮率は現行テレビジョンで1/3程度となり、ハ
イビジョンで1/4程度となる。
以上、A (r、 h)が中心視と周辺視によりa、
と82の2段階に変化する場合について述べたが、人間
の視力はrの逆数にほぼ比例し、連続的に変化する。ま
た、中心点が興味ある対象であって、ここに意識が集中
している場合には、rに対する視力の変化はさらに急峻
になる。また、緊張しているときやリラックスしている
ときなどによっても視力は変化する。このような人の意
識にかかわるファクタをhで表わす。このとき、A(r
。
と82の2段階に変化する場合について述べたが、人間
の視力はrの逆数にほぼ比例し、連続的に変化する。ま
た、中心点が興味ある対象であって、ここに意識が集中
している場合には、rに対する視力の変化はさらに急峻
になる。また、緊張しているときやリラックスしている
ときなどによっても視力は変化する。このような人の意
識にかかわるファクタをhで表わす。このとき、A(r
。
h)の値を以上を踏まえて変化させてもよい。なお、注
目度については、目の瞳孔面積の測定や視線のサツケー
ドの頻度などから推定できる。すなわち、注目度が高く
なると瞳孔が拡がり、またサツケードは少なくなる傾向
がある。これらはカメラ3でとらえることができる。
目度については、目の瞳孔面積の測定や視線のサツケー
ドの頻度などから推定できる。すなわち、注目度が高く
なると瞳孔が拡がり、またサツケードは少なくなる傾向
がある。これらはカメラ3でとらえることができる。
ところで、利用者の視線は意志を反映していると考えら
れる。そこで、さらに高度な制御として、受信側からフ
ィードバックされた注視点情報から第1図に示した注視
している視覚対象100を抽出し、これ以外の部分、た
とえば背景などをあまり重要でない情報とみなし、この
情報量を落とすように制御してもネい。この場合、利用
者は画面の中の注視対象を鮮明に認識することができる
。
れる。そこで、さらに高度な制御として、受信側からフ
ィードバックされた注視点情報から第1図に示した注視
している視覚対象100を抽出し、これ以外の部分、た
とえば背景などをあまり重要でない情報とみなし、この
情報量を落とすように制御してもネい。この場合、利用
者は画面の中の注視対象を鮮明に認識することができる
。
以上、視線情報として注視点位置をフィードバックする
例について述べたが、この他に、利用者が画面を見てい
るか否かの情報をフィードバックし、見ていない場合に
は画像の伝送を中断するなどの制御を行なうようにして
もよい。
例について述べたが、この他に、利用者が画面を見てい
るか否かの情報をフィードバックし、見ていない場合に
は画像の伝送を中断するなどの制御を行なうようにして
もよい。
次に、第1図において、注視点情報のカメラワーク制御
手段21へのフィードバックについて説明する。視線情
報から視覚対象が推定された場合、この視覚対象が表示
画面の中央にくるようにカメラワーク制御手段21によ
ってカメラ3を回転させ、さらには像を拡大させるなど
のように原画像を制御してもよい。なお、視覚対象の推
定は、受信側で行ない、これを視線情報として送信側に
フィードバックしてもよい。
手段21へのフィードバックについて説明する。視線情
報から視覚対象が推定された場合、この視覚対象が表示
画面の中央にくるようにカメラワーク制御手段21によ
ってカメラ3を回転させ、さらには像を拡大させるなど
のように原画像を制御してもよい。なお、視覚対象の推
定は、受信側で行ない、これを視線情報として送信側に
フィードバックしてもよい。
第6図はこの発明の他の実施例における符号化方法を説
明するための図である。この第6図に示した実施例は、
A(r、h)が3段階に変化し、ブロックサイズを4段
階とした場合である。A(r、 h)は第6図に示すa
l r 82 r aaとする。注視点45の近傍の
ブロックx4を例にとると、原画像は8画素X8画素で
あるため、8×8コードブツク46と比較される。d、
<A (r。
明するための図である。この第6図に示した実施例は、
A(r、h)が3段階に変化し、ブロックサイズを4段
階とした場合である。A(r、 h)は第6図に示すa
l r 82 r aaとする。注視点45の近傍の
ブロックx4を例にとると、原画像は8画素X8画素で
あるため、8×8コードブツク46と比較される。d、
<A (r。
h)であれば、8画素X8画素のブロックサイズを表わ
すコード“00“とともにiがコード化される。d1≧
A(r、h)であれば、4個の4×4ブロツク■に分割
され、それぞれ4×4コードブツク47と比較される。
すコード“00“とともにiがコード化される。d1≧
A(r、h)であれば、4個の4×4ブロツク■に分割
され、それぞれ4×4コードブツク47と比較される。
ここで、dff、 <A (r、 h)であれば、ブ
ロック■を表わすコード“011とともにmが符号化さ
れ、dlTl≧A(r、h)であれば、該当なしZを符
号化してブロック■に移る。同様にして、16個の2X
2ブロツク■(コード“10”)に分割され、それぞれ
は2X2コードブツク48と比較される。ここで、do
<A (r、h)であれば、nが符号化され、dn≧A
(r、h)であれば、該当なしZを符号化して、画素■
(コード“11“)を符号化する。
ロック■を表わすコード“011とともにmが符号化さ
れ、dlTl≧A(r、h)であれば、該当なしZを符
号化してブロック■に移る。同様にして、16個の2X
2ブロツク■(コード“10”)に分割され、それぞれ
は2X2コードブツク48と比較される。ここで、do
<A (r、h)であれば、nが符号化され、dn≧A
(r、h)であれば、該当なしZを符号化して、画素■
(コード“11“)を符号化する。
第7図は原画像を初期の段階から均等に分割することな
く、中心視の部分は小さなブロックに分割し、周辺視の
部分は大きなブロックで分割してからコードブックとの
比較を行なう実施例を説明するための図である。この第
7図に示した実施例においては、前述の第5図に示した
実施例と同様にして、ブロックサイズは2段階である。
く、中心視の部分は小さなブロックに分割し、周辺視の
部分は大きなブロックで分割してからコードブックとの
比較を行なう実施例を説明するための図である。この第
7図に示した実施例においては、前述の第5図に示した
実施例と同様にして、ブロックサイズは2段階である。
そして、全体は16個の大ブロックに分割されるが、こ
のうち中心視27の領域にかかるブロックについては、
初期の段階でさらに小さな小ブロックに分割される。す
なわち、パターンマツチングの初期において、注視点か
らの距離をパラメータとしてブロックサイズに重みづけ
する。符号化の処理は第5図に示した実施例と同様であ
る。
のうち中心視27の領域にかかるブロックについては、
初期の段階でさらに小さな小ブロックに分割される。す
なわち、パターンマツチングの初期において、注視点か
らの距離をパラメータとしてブロックサイズに重みづけ
する。符号化の処理は第5図に示した実施例と同様であ
る。
また、この発明は動画伝送への適用のみでなく、高精細
な静止画を少ないビットレートで伝送する際にも適用で
きる。
な静止画を少ないビットレートで伝送する際にも適用で
きる。
第8図はこの発明を静止画通信に用いた例を示す図であ
る。第8図において、伝送の対象となる高精細画像55
には最初の注視点■が含まれている。対象画像の伝送開
始時においては、量子化は前述の動画伝送の場合と同様
にして、注視点近傍を平均すると伝送される情報密度が
高く、すなわちブロックサイズが小さい領域が多く、ま
た注視点周辺部は平均すると情報密度が低く、すなわち
ブロックサイズが大きい領域が多くなっている。
る。第8図において、伝送の対象となる高精細画像55
には最初の注視点■が含まれている。対象画像の伝送開
始時においては、量子化は前述の動画伝送の場合と同様
にして、注視点近傍を平均すると伝送される情報密度が
高く、すなわちブロックサイズが小さい領域が多く、ま
た注視点周辺部は平均すると情報密度が低く、すなわち
ブロックサイズが大きい領域が多くなっている。
ここで、注視点が■、■のように移動するのに伴って、
それまで情報量の少なかった領域は、情報量の大きい画
像に置換えられていく。
それまで情報量の少なかった領域は、情報量の大きい画
像に置換えられていく。
この際、情報量に変化のない領域は伝送しなくてもよい
。このように制御することにより、利用者は受信の初期
段階から、対象画像が高精細であると知覚しながらこの
画像を受信することができる。
。このように制御することにより、利用者は受信の初期
段階から、対象画像が高精細であると知覚しながらこの
画像を受信することができる。
以上でベクトル量子化について説明したが、この発明は
他の圧縮手段、たとえば離散的コサイン変換、特徴抽出
による知的画像通信方式(村上。
他の圧縮手段、たとえば離散的コサイン変換、特徴抽出
による知的画像通信方式(村上。
市原:知能画像通信方式の一構成法、?!!子情報通信
学会技術報告IE87−14参照)などにも適用できる
。
学会技術報告IE87−14参照)などにも適用できる
。
第9図はこの発明の知能画像通信方式に適用した実施例
を示す図である。この実施例は、概念的には、表示画像
に対する人の注視点を知ることにより、対象画像の特徴
認識について、注視されている部分は細かく行ない、そ
れ以外の部分は粗く、またはコンピュータアニメーショ
ン技術で代用することなどにより、送信する情報量を大
幅に削減しようとするものである。
を示す図である。この実施例は、概念的には、表示画像
に対する人の注視点を知ることにより、対象画像の特徴
認識について、注視されている部分は細かく行ない、そ
れ以外の部分は粗く、またはコンピュータアニメーショ
ン技術で代用することなどにより、送信する情報量を大
幅に削減しようとするものである。
なお、第9図は、以下の点を除いて前述の第1図に示し
た実施例と同様にして構成される。すなわち、第1図に
示した送信側の画像符号化手段14に代えて画像認識符
号化手段61が設けられるとともに、画像データベース
62が設けられ、受信側の復号手段17に代えて画像生
成手段63と画像データベース64が設けられる。画像
認識符号化手段61は原画像の特徴を認識して符号化す
るものである。送信側および受信側の画像データベース
62および64はそれぞれ認識に必要な各画像の特徴を
有している。画像生成手段63は受信手段16によって
受信された認識情報に基づいて、画像データベース64
を参照しながら画像を生成することにより、原画像を復
元するものである。ここで、注視点重み付は処理手段2
0は、原画像の特徴を認識して符号化する際、画像の区
分け(ブロック)の数および認識のための命令要素(コ
マンド)の数などの認識のための操作を制御する。
た実施例と同様にして構成される。すなわち、第1図に
示した送信側の画像符号化手段14に代えて画像認識符
号化手段61が設けられるとともに、画像データベース
62が設けられ、受信側の復号手段17に代えて画像生
成手段63と画像データベース64が設けられる。画像
認識符号化手段61は原画像の特徴を認識して符号化す
るものである。送信側および受信側の画像データベース
62および64はそれぞれ認識に必要な各画像の特徴を
有している。画像生成手段63は受信手段16によって
受信された認識情報に基づいて、画像データベース64
を参照しながら画像を生成することにより、原画像を復
元するものである。ここで、注視点重み付は処理手段2
0は、原画像の特徴を認識して符号化する際、画像の区
分け(ブロック)の数および認識のための命令要素(コ
マンド)の数などの認識のための操作を制御する。
次に、第9図に示した実施例の動作について説明する。
送信側および受信側に設けられる画像データベース62
.64には、大きく別けて、■静的画像データベースと
、■動的画像データベースとがある。静的画像データベ
ース■はシステム構成時に用意されるものであって、対
象画像が人物像の場合、標準的な形状が蓄積されたもの
である。
.64には、大きく別けて、■静的画像データベースと
、■動的画像データベースとがある。静的画像データベ
ース■はシステム構成時に用意されるものであって、対
象画像が人物像の場合、標準的な形状が蓄積されたもの
である。
具体的には、人物を正面および側面方向がら撮影した画
像を用いて、三次元計測により小平面近似したものであ
る。すなわち、人の顔の方向および基本的な表情などを
人力すると、これに応じた典型的な顔ii!j像が表現
されるようなデータベースとなっている。したがって、
通信時には、対象人物の動きや表情などを認識し、これ
を符号化して伝送すると、受信側ではこのデータベース
を用いて典型顔画像が得られるものである。このデータ
ベース62.64は平面バッチ法と呼ばれ、物体を小平
面(あるいは曲面)で近似表現する方法である。
像を用いて、三次元計測により小平面近似したものであ
る。すなわち、人の顔の方向および基本的な表情などを
人力すると、これに応じた典型的な顔ii!j像が表現
されるようなデータベースとなっている。したがって、
通信時には、対象人物の動きや表情などを認識し、これ
を符号化して伝送すると、受信側ではこのデータベース
を用いて典型顔画像が得られるものである。このデータ
ベース62.64は平面バッチ法と呼ばれ、物体を小平
面(あるいは曲面)で近似表現する方法である。
動的画像データベース■は、実際の通信時に顔画像の各
小平面の近傍を自然に表現するためのデータベースであ
る。すなわち、静的画像データベース■で得られた画像
はモデルであり、当然として、原画像(通信時の画(!
a)とは異なるため、小平面の位置および法線方向など
を原画に近くなるように修正するためのものである。こ
のデータベースには、画像表現法と呼ばれ、物体をその
表面画素単位で表現する方法が用いられる。具体的な方
法としては、表面が対象物体の基点(たとえば中心)か
らどの位置にあり、面の法線はどの方向を向いているか
などが蓄積される。
小平面の近傍を自然に表現するためのデータベースであ
る。すなわち、静的画像データベース■で得られた画像
はモデルであり、当然として、原画像(通信時の画(!
a)とは異なるため、小平面の位置および法線方向など
を原画に近くなるように修正するためのものである。こ
のデータベースには、画像表現法と呼ばれ、物体をその
表面画素単位で表現する方法が用いられる。具体的な方
法としては、表面が対象物体の基点(たとえば中心)か
らどの位置にあり、面の法線はどの方向を向いているか
などが蓄積される。
物体の記述はコマンド体系としてグループ化され、たと
えば頭部、目、鼻、耳、頬、皮膚などが相互関係ととも
に階層化され記述される。したがって、通信にあたって
、送信側では、小平面に位置する領域の各部分について
の表面の位置および法線方向を特徴認識情報として抽出
し、コマンドにより符号化して送信する。受信側では、
平面パッチ法で特徴認識された情報と画像表現法で認識
された情報を合せて画像を再生する。
えば頭部、目、鼻、耳、頬、皮膚などが相互関係ととも
に階層化され記述される。したがって、通信にあたって
、送信側では、小平面に位置する領域の各部分について
の表面の位置および法線方向を特徴認識情報として抽出
し、コマンドにより符号化して送信する。受信側では、
平面パッチ法で特徴認識された情報と画像表現法で認識
された情報を合せて画像を再生する。
以上の説明から明らかように、物体の表現は平面パッチ
法および画素表現法のいずれにしろ任意に細かくするこ
とができ、すなわち、階層化を複雑にすることができ、
これにより原画像自然再生度が上がる。しかし、ベクト
ル量子化の実施例と同様にして、画面全体にわたって一
様に視力特性以上に細分化する必要はないため、この実
施例では、送信にあたり受信側からフィードバックされ
た視線情報をコマンド選択に反映させ、必要十分な小画
面分割および表面表示を行なうこととする。
法および画素表現法のいずれにしろ任意に細かくするこ
とができ、すなわち、階層化を複雑にすることができ、
これにより原画像自然再生度が上がる。しかし、ベクト
ル量子化の実施例と同様にして、画面全体にわたって一
様に視力特性以上に細分化する必要はないため、この実
施例では、送信にあたり受信側からフィードバックされ
た視線情報をコマンド選択に反映させ、必要十分な小画
面分割および表面表示を行なうこととする。
なお、この発明では、視線は非接触で測定されることが
望ましい。そこで、顔面に眼鏡などの機器の装着を必要
としない非接触な視線検出法の例について、第10図お
よび第11図を用いて簡単に説明する。第11図におい
て、眼球は2つの球71と72を第10図に示すように
中心をずらして重ねたモデルで表わすことができる。球
71゜72の曲率は、それぞれガラス体、角膜の曲率に
相当する。頭部を固定して目を回転すると、このモデル
では球71の中心に球72が太い実線円のように回転す
ることになる。そこで、この例では、顔の中の不動特徴
点位置を計測し、球72の中心座標を推定し、また瞳孔
の中心位置を測定し、これらの位置ベクトルを合わせる
ことにより、視線の方向を検出する。
望ましい。そこで、顔面に眼鏡などの機器の装着を必要
としない非接触な視線検出法の例について、第10図お
よび第11図を用いて簡単に説明する。第11図におい
て、眼球は2つの球71と72を第10図に示すように
中心をずらして重ねたモデルで表わすことができる。球
71゜72の曲率は、それぞれガラス体、角膜の曲率に
相当する。頭部を固定して目を回転すると、このモデル
では球71の中心に球72が太い実線円のように回転す
ることになる。そこで、この例では、顔の中の不動特徴
点位置を計測し、球72の中心座標を推定し、また瞳孔
の中心位置を測定し、これらの位置ベクトルを合わせる
ことにより、視線の方向を検出する。
不動特徴点の抽出方法の一例を第11図に示す。
第11図で示した両眼の目尻の位置は、眼球の動作に対
して動きが少ない。そこで、左右の目尻の位置を計測し
、この中間の位置を不動特徴点として近似することがで
きる。不動特徴点および瞳孔中心の位置計測には3つの
カメラを用いた3点測量法などが適用できる。第10図
において、視線の方向はベクトルA、B、Cの和で表わ
される。
して動きが少ない。そこで、左右の目尻の位置を計測し
、この中間の位置を不動特徴点として近似することがで
きる。不動特徴点および瞳孔中心の位置計測には3つの
カメラを用いた3点測量法などが適用できる。第10図
において、視線の方向はベクトルA、B、Cの和で表わ
される。
ここで、球71の中心の座標は、このシステムの使用開
始時に、表示画面に決まった目標を提示し、利用者がこ
れを指示することにより求めることができる。すなわち
、キャリブレーションによって求めることができる。
始時に、表示画面に決まった目標を提示し、利用者がこ
れを指示することにより求めることができる。すなわち
、キャリブレーションによって求めることができる。
なお、注視点の検出について、視線検出カメラ18を用
いた例を示したが、他のセンサ、たとえば眼球の定常電
位の測定から眼球の位置を測定するEOG (Elec
tro−Oculogram)法や角膜反射像を位置検
出センサで検出する方法を用いてもよい。
いた例を示したが、他のセンサ、たとえば眼球の定常電
位の測定から眼球の位置を測定するEOG (Elec
tro−Oculogram)法や角膜反射像を位置検
出センサで検出する方法を用いてもよい。
また、この発明は従来技術で述べた対象の動きの部分だ
けを抽出して伝送する情報圧縮技術と併用してもよいこ
とは勿論である。
けを抽出して伝送する情報圧縮技術と併用してもよいこ
とは勿論である。
[発明の効果]
以上のように、この発明によれば、受信者の視線情報を
送信部にフィードバックし、これに基づいて、原画像か
ら送信画像情報を抽出するようにしたので、たとえばテ
レビ電話や遠隔ロボット制御などにおいて、相手側(送
信側)に設置したカメラによってとらえた画像を高い品
質で経済的に受信することが可能となる。また、両眼視
差を用いた画像通信にも適用できる。
送信部にフィードバックし、これに基づいて、原画像か
ら送信画像情報を抽出するようにしたので、たとえばテ
レビ電話や遠隔ロボット制御などにおいて、相手側(送
信側)に設置したカメラによってとらえた画像を高い品
質で経済的に受信することが可能となる。また、両眼視
差を用いた画像通信にも適用できる。
第1図はこの発明の一実施例の視線情報をフィードバッ
クする画像通信装置の一例を示す概略ブロック図である
。第2図は視覚に対する視力特性を示す図である。第3
図は表示装置の標準的な観察条件を説明するための図で
ある。第4図はこの発明の一実施例の動作を説明するた
めに注視点に重み付けをして伝送された画像の概念を示
す図である。第5図はこの発明の一実施例をベクトル量
子化に適用したときの符号化方法を説明するための図で
ある。第6図および第7図はこの発明の他の実施例にお
ける符号化方法を説明するための図である。第8図はこ
の発明を静止画通信に用いた実施例を説明するための図
である。第9図はこの発明を知能画像通信方式に適用し
た実施例の概略ブロック図である。第10図および第1
1図は非接触型視線検出方式の一例を示す図である。第
12図は従来の蝉像符号化通信装置の概略ブロック図で
ある。第13図はベクトル量子化を用いた従来の画像情
報圧縮方法を説明するための図である。 図において、1は原画像の抽出部、3はカメラ、8は表
示手段、14は画像符号化手段、15は送信手段、16
は受信手段、17は復号手段、18は視線検出カメラ、
19は注視点検出・送信手段、20は注視点重み付は処
理手段、21はカメラワーク制御手段、61は画像認識
符号化手段、62゜64は画像データベース、63は画
像生成手段を示す。 特許出願人 株式会社エイ・ティ・アール通信第2図 第3図 第10図 第11図 べ鳳 = 沁 曇 郭 ○ヂモ
クする画像通信装置の一例を示す概略ブロック図である
。第2図は視覚に対する視力特性を示す図である。第3
図は表示装置の標準的な観察条件を説明するための図で
ある。第4図はこの発明の一実施例の動作を説明するた
めに注視点に重み付けをして伝送された画像の概念を示
す図である。第5図はこの発明の一実施例をベクトル量
子化に適用したときの符号化方法を説明するための図で
ある。第6図および第7図はこの発明の他の実施例にお
ける符号化方法を説明するための図である。第8図はこ
の発明を静止画通信に用いた実施例を説明するための図
である。第9図はこの発明を知能画像通信方式に適用し
た実施例の概略ブロック図である。第10図および第1
1図は非接触型視線検出方式の一例を示す図である。第
12図は従来の蝉像符号化通信装置の概略ブロック図で
ある。第13図はベクトル量子化を用いた従来の画像情
報圧縮方法を説明するための図である。 図において、1は原画像の抽出部、3はカメラ、8は表
示手段、14は画像符号化手段、15は送信手段、16
は受信手段、17は復号手段、18は視線検出カメラ、
19は注視点検出・送信手段、20は注視点重み付は処
理手段、21はカメラワーク制御手段、61は画像認識
符号化手段、62゜64は画像データベース、63は画
像生成手段を示す。 特許出願人 株式会社エイ・ティ・アール通信第2図 第3図 第10図 第11図 べ鳳 = 沁 曇 郭 ○ヂモ
Claims (6)
- (1)画像受信部と画像送信部とからなり、受信者の視
線検出を利用した画像通信装置であって、前記画像受信
部は、受信信号から画像を再生する画像復元手段と、受
信者が再生された画像をモニタするための画像表示手段
と、前記画像表示手段の表示画面上を動く受信者の視線
を動きを検出するための視線検出手段と、前記視線検出
手段により得られた視線情報を前記画像送信部に送信す
るための視線情報送信手段とを含み、前記画像送信部は
、前記送信手段から送信された視線位置情報に基づいて
原画像の情報量に重みづけして送信画像情報を抽出する
送信画像情報抽出手段と、前記送信画像情報抽出手段に
よって抽出された画像情報を前記受信部に送信するため
の送信手段を含むことを特徴とする、視線検出を利用し
た画像通信装置。 - (2)前記送信画像情報抽出手段は、前記源画像を符号
化する符号化手段と、前記受信者の注視点からの距離を
少なくとも1つのパラメータとして、前記符号化に重み
づけする重みづけ手段とを含むことを特徴とする、特許
請求の範囲第1項記載の視線検出を利用した画像通信装
置。 - (3)前記符号化手段はベクトル量子化により前記原画
像を符号化し、当該符号化のためのブロックサイズの選
択に際して、注視点からの距離を少なくとも1つの重み
づけパラメータとすることを特徴とする、特許請求の範
囲第2項記載の視線検出を利用した画像通信装置。 - (4)前記符号化手段は前記受信者の視力特性を他の重
みづけパラメータとすることを特徴とする、特許請求の
範囲第2項記載の視線検出を利用した画像通信装置。 - (5)前記符号化手段は、注視度を検出して視力特性を
補正することを特徴とする、特許請求の範囲第4項記載
の視線検出を利用した画像通信装置。 - (6)前記送信画像情報抽出手段は、前記原画像から画
像の特徴を認識する手段と、前記視線情報に基づいて、
前記特徴認識操作に重みづけすする手段とを含み、前記
画像復元手段は、予め蓄積されている対象画像に関する
画像特徴データベースと、前記画像送信部から伝送され
た特徴認識情報から対象画像の特徴を理解して画像を復
元する手段とを含むことを特徴とする、特許請求の範囲
第1項記載の視線検出を利用した画像通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP62301065A JPH01141479A (ja) | 1987-11-28 | 1987-11-28 | 視線検出を利用した画像通信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP62301065A JPH01141479A (ja) | 1987-11-28 | 1987-11-28 | 視線検出を利用した画像通信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH01141479A true JPH01141479A (ja) | 1989-06-02 |
Family
ID=17892442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP62301065A Pending JPH01141479A (ja) | 1987-11-28 | 1987-11-28 | 視線検出を利用した画像通信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH01141479A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01289388A (ja) * | 1988-05-16 | 1989-11-21 | Nec Corp | 動画像信号の符号化復号化方式 |
JPH02119464A (ja) * | 1988-10-28 | 1990-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 2地点間画像符号化方式 |
WO1997050253A1 (en) * | 1996-06-27 | 1997-12-31 | Sharp Kabushiki Kaisha | Picture encoder and picture decoder |
WO2000022823A1 (fr) * | 1998-10-09 | 2000-04-20 | Sony Corporation | Appareil et procede de telecommunication |
JP2005027086A (ja) * | 2003-07-03 | 2005-01-27 | Tadahiro Omi | データ再生装置、再生方法、データ圧縮装置及び圧縮方法 |
JP2018110399A (ja) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | 方法、装置、およびカメラ |
US10855946B2 (en) | 2014-06-10 | 2020-12-01 | Socionext Inc. | Semiconductor integrated circuit, display device provided with same, and control method |
WO2022158220A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システムおよび画像表示方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPS62245183A (ja) * | 1986-04-04 | 1987-10-26 | アプライド サイエンス グル−プ インコ−ポレ−テツド | テレビ・コマ−シヤルの視聴時間の分布を発生させる方法およびシステム |
-
1987
- 1987-11-28 JP JP62301065A patent/JPH01141479A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
JPS62245183A (ja) * | 1986-04-04 | 1987-10-26 | アプライド サイエンス グル−プ インコ−ポレ−テツド | テレビ・コマ−シヤルの視聴時間の分布を発生させる方法およびシステム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01289388A (ja) * | 1988-05-16 | 1989-11-21 | Nec Corp | 動画像信号の符号化復号化方式 |
JPH02119464A (ja) * | 1988-10-28 | 1990-05-07 | Nippon Telegr & Teleph Corp <Ntt> | 2地点間画像符号化方式 |
US6546142B2 (en) | 1996-06-19 | 2003-04-08 | Sharp Kabushiki Kaisha | Motion image coding apparatus for performing hierarchical coding |
WO1997050253A1 (en) * | 1996-06-27 | 1997-12-31 | Sharp Kabushiki Kaisha | Picture encoder and picture decoder |
US6295381B1 (en) | 1996-06-27 | 2001-09-25 | Sharp Kabushiki Kaisha | Coding apparatus and decoding apparatus of image data and corresponding shape data at different resolutions |
US6671412B2 (en) | 1996-06-27 | 2003-12-30 | Sharp Kabushiki Kaisha | Motion image coding apparatus for performing hierarchical coding |
WO2000022823A1 (fr) * | 1998-10-09 | 2000-04-20 | Sony Corporation | Appareil et procede de telecommunication |
US6606111B1 (en) | 1998-10-09 | 2003-08-12 | Sony Corporation | Communication apparatus and method thereof |
JP2005027086A (ja) * | 2003-07-03 | 2005-01-27 | Tadahiro Omi | データ再生装置、再生方法、データ圧縮装置及び圧縮方法 |
US10855946B2 (en) | 2014-06-10 | 2020-12-01 | Socionext Inc. | Semiconductor integrated circuit, display device provided with same, and control method |
JP2018110399A (ja) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | 方法、装置、およびカメラ |
WO2022158220A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システムおよび画像表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11694353B2 (en) | Single depth tracked accommodation-vergence solutions | |
US20210266571A1 (en) | Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking | |
CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
KR101824501B1 (ko) | 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법 | |
US8299979B2 (en) | Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices | |
US7219364B2 (en) | System and method for selectable semantic codec pairs for very low data-rate video transmission | |
CN107105333A (zh) | 一种基于视线追踪技术的vr视频直播交互方法与装置 | |
EP0557007A2 (en) | Picture processing apparatus | |
CN107065197B (zh) | 面向vr眼镜的人眼跟踪远程渲染实时显示方法及*** | |
CN111710050A (zh) | 一种用于虚拟现实设备的图像处理方法及装置 | |
CN113362450B (zh) | 一种三维重建方法、装置及*** | |
CN113362449B (zh) | 一种三维重建方法、装置及*** | |
US11567567B2 (en) | Encoders, methods and display apparatuses incorporating gaze-directed compression ratios | |
WO2016158014A1 (ja) | 情報処理装置、通信システム、情報処理方法及びプログラム | |
JPH01141479A (ja) | 視線検出を利用した画像通信装置 | |
CN113255476B (zh) | 一种基于眼动追踪的目标跟踪方法、***及存储介质 | |
JP2017107359A (ja) | 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 | |
CN115022616B (zh) | 一种基于人眼跟踪的图像聚焦增强显示装置和显示方法 | |
CN114374832B (zh) | 虚拟现实体验的控制方法、装置、用户设备及网络设备 | |
WO2022004130A1 (ja) | 情報処理装置、情報処理方法、および記憶媒体 | |
JPH02100488A (ja) | 画像伝送装置 | |
CN114047822B (zh) | 近眼显示方法及*** | |
JP2011041190A (ja) | 動画像ビット深度削減装置及びプログラム | |
JP2020160226A (ja) | 画像処理システム、及び画像処理方法 | |
WO2023079623A1 (ja) | 画像表示システム、画像送信装置、表示制御装置、および画像表示方法 |