JP2733953B2 - 動画像信号の符号化復号化方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビカメラ等から入力される動画像信号の
伝送を行うための、動画像信号の符号化復号化方式に関
する。

（従来の技術） テレビ会議等で用いられる動画像信号の符号化復号化
方式においては、テレビカメラ等から入力される動画像
信号が符号化されて、アナログもしくはデジタルの通信
路を介して伝送され、受信側で復号化されて表示され
る。その際に、狭帯域の通信路を使用するために、動画
像信号は高能率の符号化方式により符号化される。

例えば、通常のNTSC信号をデジタルデータで表現する
と、１秒当たり60Mから100Mビットの情報量となる。実
際のテレビ会議では、この動画像信号を符号化して、64
kから1.5Mビット／秒程度の符号量で伝送する。従って
符号化の圧縮率は、40分の１から1000分の１にも連す
る。

（発明が解決しようとする問題点） 従来の動画像信号の符号化復号化方式においては、テ
レビカメラ等から入力される動画像信号が、そのまま符
号化されて伝送される。従って、受信側では復号された
動画像を表示するのみである。しかしながら、例えばテ
レビ会議などで多人数を被写体とする動画像を伝送し受
信側での観察者が発言者に注目しているような場合、真
に受信側で必要な情報は発言者の部分だけであり、発言
者のアップを受信側に表示できることが望ましい。

特に、狭帯域の通信路を使用した場合に復号される画
像には多くの劣化が生じてしまう。従って、受信側での
観察者が注目している部分のみにズーミングして伝送し
た方がその注目部分をより精細に表示することができ
る。

従来の方式でこのようなことを実現する場合には、送
信側でテレビカメラを操作したり、複数のテレビカメラ
から出力される動画像信号を切り替えて伝送している。
しかしこれらはあくまでも送信側での処理であり、受信
側での観察者の意図とは必ずしも一致しないという問題
点がある。

また、受信側の観察者の意図を反映させるために、観
察者になんらかの情報を入力させて受信側から送信側に
制御情報を伝送し、送信側のテレビカメラノ操作や切替
えを受信側で行う方法も考えられる。しかし、このよう
な操作は煩雑であり観察者に多くの負担をかけてしまう
という問題点がある。

本発明は、受信側での観察者の視線の位置を認識して
送信側に伝送し、送信側では受信側の観察者が注目して
いる部分のみを符号化して伝送することにより、受信側
の観察者に対して注目している部分のみを精細に表示す
ることのできる、動画像信号の符号化復号化方式を提供
することを目的とする。

（問題点を解決するための手段） 本発明の動画像信号の符号化復号化方式は、 受信側で送信側から伝送される符号を復号する復号化
手段と、 復号された動画像を表示する画面と、 上記画面上における観察者の視線の位置を認識する認
識手段と、 上記視線の位置を送信側に伝送する伝送手段と、 送信側で上記視線の位置を受信側から受け取り上記視
線の位置の時間的変動に基づいて伝送する動画像の位置
と範囲とを決定する決定手段と、 上記の位置と範囲とに従って上記動画像を入力する入
力手段と、 上記動画像を符号化して符号を受信側に伝送する符号
化手段とを備えることを特徴とする。

（作用） 本発明の動画像信号の符号化復号化方式について説明
する。

受信側では送信側から伝送される符号を復号して、動
画像を画面に表示する。そして、画面上における復号さ
れた表示画面上での観察者の視線の位置を認識し、これ
を送信側に伝送する。

送信側では、受信側から伝送される視線の位置を受け
取り、この位置に基づいて伝送する動画像の位置と範囲
とを決定する。この動画像の位置と範囲とは、被写体の
内のどこを伝送するかを示すものであり、例えばテレビ
カメラのカメラアングルとズームに当たるものである。

こうして決定された位置と範囲とに基づいて、動画像
の入力を行う。この入力方法としては、実際にカメラを
制御してそのアングル、ズームを切り替える方法の他
に、複数のカメラで入力した動画像を切り替えて利用し
たり、広い範囲を撮影した動画像の中から必要な部分の
みを切り出して入力したりといった、様々な方法があ
る。

そして、入力された動画像を符号化して符号を受信側
に伝送する。この符号化方法としては、予測符号化や変
換符号化など動画像信号の様々な符号化方法を利用でき
る。

（実施例） 以下、図面により本発明の一実施例を説明する。第１
図は、本発明の動画像信号の符号化復号化方式の一実施
例を示すブロック図である。第１図に示すように、受信
側の復号化手段１は送信側から伝送される符号100を復
号して、動画像101を画面２に表示する。

第２図は、表示される画面を示す説明図である。第２
図に示すように、画面２上における観察者の視線の位置
102を認識手段３で認識する。この認識手段３は、アイ
マークレコーダと呼ばれる装置を用いて容易に実現でき
る。また、観察者を被写体とする画像を入力して処理
し、観察者の動きを検出することにより、画面２上での
観察者の視線の位置を認識することもできる。こうして
認識される視線の位置102が、伝送手段４を介して送信
側に伝送される。この視線の位置102の情報は非常に少
ないので狭帯域（例えば300ボーのシリアル回線）によ
り伝送できる。

この視線の位置102を受けた送信側の決定手段５は、
視線の位置102に基づいて伝送すべき動画像の中心の位
置103と範囲104とを決定する。第３図は、伝送すべき動
画像の位置と範囲との決定方法を示す説明図である。第
３図に示すように、画面２上における視線の位置102は
時間的に変動している。そこで、例えばある時間内の視
線の位置102の中央を伝送すべき動画像の中心の位置103
とする。

そして、時間的な変動の範囲に応じて、もし変動が大
きい場合には伝送すべき動画像の範囲104を大きくして
全体を伝送できるようにし、もし変動が小さい場合には
範囲104を小さくして位置103で示される部分をアップで
伝送する。

次に、決定手段５で決定された動画像の位置103と範
囲104とに基づいて、入力手段６で動画像105を入力す
る。この入力手段６では、実際にはテレビカメラを自動
的に制御して、位置103で示される位置を撮影し、範囲1
04で示される値を用いてズームを行い、動画像105を入
力する。このような方法の他に、複数のカメラで入力し
た動画像を切り替えて利用したり、広い範囲を撮影した
動画像の中から必要な部分のみを切り出して入力したり
といった、様々な方法がある。

そして、符号化手段７は入力された動画像105を符号
化して符号100を受信側に伝送する。この符号化方法と
しては、予測符号化や変換符号化など動画像信号の様々
な符号化方法を利用できる。

ただし、このような送信側の処理において符号化を開
始した時点ではまだ受信側から視線の位置102が伝送さ
れていない。従って、符号化を開始した時点だけは、視
線の位置102を用いずに範囲104をできるだけ大きく決定
する。これにより広い範囲を撮影した動画像を伝送でき
るので、徐々に視線102を用いて必要な部分を絞り込む
ことができる。

また、このように位置103と範囲104とで示される動画
像105のみを符号化して伝送するので、絶えず全体を符
号化して伝送する場合と比べて、少ない情報量で受信側
の観察者にとって必要な画像を表示できる。また、伝送
できる情報量が限定されている場合には、観察者が注目
している部分のみをより精細に伝送できる。

さらに、受信側の観察者がなんらかの煩雑な操作を行
う必要も無い。

（発明の効果） 受信側での観察者の視線の位置を認識して送信側に伝
送し、送信側では観察者が注目している部分のみを符号
化して伝送ことにより、受信側の観察者が注目している
部分のみを精細に伝送して表示することができる。

【図面の簡単な説明】

第１図は本発明の動画像信号の符号化復号化方式の一実
施例を示すブロック図、第２図は表示される画面を示す
説明図、第３図は伝送すべき動画像の位置と範囲との決
定方法を示す説明図である。 図において、 １……復号化手段、２……画面、３……認識手段、４…
…伝送手段、５……決定手段、６……入力手段、７……
符号化手段。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】受信側で送信側から伝送される符号を復号
   する復号化手段と、 復号された動画像を表示する画面と、 上記画面上における観察者の視線の位置を認識する認識
   手段と、 上記視線の位置を送信側に伝送する伝送手段と、 送信側で上記視線の位置を受信側から受け取り上記視線
   の位置の時間的変動に基づいて伝送する動画像の位置と
   範囲とを決定する決定手段と、 上記の位置と範囲とに従って上記動画像を入力する入力
   手段と、 上記動画像を符号化して符号を受信側に伝送する符号化
   手段とを備えることを特徴とする動画像信号の符号化復
   号化方式。