JP3439361B2 - 画像符号化装置および動画像伝送システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化した画像デ
ータをインターネットや移動体通信網等のネットワーク
を介して伝送する画像符号化装置および動画像伝送シス
テムに関する。

【０００２】

【従来の技術】インターネットの普及に伴い、インター
ネット等のネットワークシステムにおいて音声データと
ビデオデータとを同時に搬送するようなマルチサービス
の要求が高まっている。インターネットでそのようなリ
アルタイム通信アプリケーション用のプロトコルとして
ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）があ
る。リアルタイムアプリケーションでは通常インターネ
ット通信で使用されるＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏ
ｎ Ｃｏｎｔｏｒｏｌ Ｐｒｏｔｏｃｏｌ）が提供する
ような複雑なプロトコルを必要としない。例えば音声再
生アルゴリズムではＴＣＰの複雑な処理により長時間の
余分な遅延が生じるよりもデータの紛失を許容すること
のほうがメリットがあると考えられる。つまりＴＣＰが
提供する順序制御サービス、再配送サービス、配送保証
サービス、フロー制御などは必要ではない。

【０００３】そのためＲＴＰはリアルタイムアプリケー
ションデータの伝送にＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒ
ａｍ Ｐｒｏｔｏｃｏｌ）を用いるのが一般的である。
ＵＤＰはＴＣＰの処理を簡素化したもので一方向のみの
データ転送を行う。具体的には送信端末は指定ポートに
データを送るだけで、データの廃棄、順序逆転、フロー
制御などについてＵＤＰは関知せずこれらへの対処はす
べてアプリケーションに任せられる。またＵＤＰは音声
会議やビデオ会議のような一対複数の放送型アプリケー
ションのために特殊なＩＰアドレスを用いたマルチキャ
ストを行うことができる。これらの理由によりＵＤＰは
リアルタイムアプリケーションに適している。ＲＴＰは
アプリケーションデータを運ぶためのメッセージという
ただ一つのメッセージタイプしかサポートしていない。
これは簡単なアプリケーションを運ぶのには十分である
が多くのリアルタイムアプリケーションではフィードバ
ックやその他の応答メッセージが必要である。これらの
機能は別のプロトコルであるＲＴＣＰ（Ｒｅａｌ Ｔｉ
ｍｅ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）に委ねられ
ている。ＲＴＣＰは送信者報告パケット、受信者報告パ
ケット、送信元記述パケット、退去メッセージパケッ
ト、アプリケーション独自のパケットの５個のメッセー
ジタイプが定義されている。このＲＴＣＰを用いること
によりタイムスタンプ、送出パケット数、送出バイト
数、廃棄パケット数、ジッタなどの遅延をフィードバッ
クすることができる。これにより柔軟性のあるリアルタ
イムアプリケーションを構成することが可能となってい
る。

【０００４】リアルタイムアプリケーションとして動画
像を配送する場合を考えると動画像をそのまま配送する
のはデータ量が多すぎるため現実的ではない。そのため
動画像圧縮方法としてＩＴＵ−ＴからはＨ．２６１や
Ｈ．２６３、ＩＳＯからはＭＰＥＧ１、ＭＰＥＧ２、Ｍ
ＰＥＧ４などが勧告されている。これらの動画像符号化
方法のなかで超低ビットレートで符号化を行うものとし
てＨ．２６３、ＭＰＥＧ４がある。Ｈ．２６３、ＭＰＥ
Ｇ４が使用されると考えられる環境はインターネットや
携帯電話など無線ネットワークのような場合である。イ
ンターネットの場合はパケットの紛失などのバーストエ
ラー、無線ネットワークの場合はパケットの紛失などの
バーストエラーとビットが反転してしまうようなビット
エラーが起ると考えられる。

【０００５】このようなバーストエラーやビットエラー
が発生しやすい状況を考慮しているため、その他の動画
像符号化方式に比べてエラー耐性ツールが多く追加され
ている。そのようなエラー耐性の一つとして画像を小さ
なスライスに分割し、それぞれのスライスが含むデータ
のみから復号できるアルゴリズムがある。Ｈ．２６３の
場合、Ａｎｎｅｘ Ｋ Ｓｌｉｃｅ Ｓｔｒｕｃｔｕｒ
ｅｍｏｄｅとＡｎｎｅｘ Ｒ Ｉｎｄｅｐｅｎｄｅｎｔ
ＳｅｇｍｅｎｔＤｅｃｏｄｉｎｇｍｏｄｅであり、Ｍ
ＰＥＧ４の場合、Ａｎｎｅｘ Ｅ Ｒｅｓｙｎｃｒｏｎ
ｉｚａｔｉｏｎである。前者は画像を符号化する前に画
像を複数のマクロブロックを持つスライスに分割し、そ
れぞれのスライスはその他のスライスと独立に符号化さ
れる。後者はデータサイズの閾値を決めマクロブロック
ごとに符号化を行い符号化されたデータサイズが閾値を
超えた時点でそれまでの符号化した複数のマクロブロッ
クを持つスライスとする。このスライスのサイズは圧縮
効率とエラー耐性に大きな影響を与える。

【０００６】スライスサイズが大きい場合、動き補償予
測を行う際に参照領域が大きくなるため符号化効率が向
上するが伝送路でバーストエラーやパケット紛失などが
起きた場合にエラーコンシールメントが難しくなる。逆
にスライスサイズが小さい場合、符号化効率が低下する
がパケット紛失などに対するエラー耐性が向上する。そ
のため、Ｈ．２６３やＭＰＥＧ４で符号化したデータを
エラー発生率の高い伝送路で送る場合にスライスサイズ
の決定が重要な問題となる。

【０００７】このスライス決定手段に関しての一例が、
特開平８−２４２４４５号公報に記載されている。この
公報に記載された画像符号化方式ではビデオシーケンス
のスライスのマクロブロックの個数を、画像内部の動き
領域と静止領域とで適応的に変化させ、画像の動き領域
では少数の個数のマクロブロック、画像の静止領域では
多数の個数のマクロブロックによりスライス層の符号化
データの構成を行い、ＡＴＭ伝送する際に前記少数個数
のマクロブロックを持つスライスにはセル損失率の少な
い優先クラスとし、前記多数個数のマクロブロックを持
つスライスにはセル損失率の多い非優先クラスとし伝送
する方式である。

【０００８】また、特開平７−１０７０９６号公報では
データを高優先度と低優先度でもって伝送する方式とし
て、ＡＴＭネットワークの高セル損失レベルにおいて
は、低優先度のビットストリームで伝送される情報を符
号化する方法を、ネットワークのセル喪失の比率に合わ
せて採用している。また、ネットワークの負荷が低いと
きには、圧縮効率と画質が良くなり、ネットワークの負
荷が高いときには、セル損失の回復性が高くなるという
二層のビデオ符号化技術を用いている。この符号化装置
は、遠隔地の復号化装置によって生成されたセル損失情
報信号に応答して、低優先度ビットストリームを符号化
するのに用いられる予測モードを選択し、低優先度ビッ
トストリーム内にスライス−スタート同期コードの配置
を変えることにより行っている。

【０００９】

【発明が解決しようとする課題】従来の画像符号化装置
においては、ＭＰＥＧ４に示されている再同期方式では
固定長スライスを用いているが、スライスの符号量を制
御する手段が無いから発生符号量に応じてエラー耐性を
制御することができないため、伝送エラーの影響が大き
くなってしまうという問題がある。

【００１０】また、Ｈ．２６３に示される従来のスライ
ス方式では、任意の長さのスライスを許容しているが、
画像の種類によって特定のスライスに符号量が集中され
ることがあり、このように符号量が集中したスライスが
廃棄された場合、画像の劣化が激しくなってしまうとい
う問題がある。

【００１１】また、特開平８−２４２４４５号公報に記
載された方式では、スライス内のマクロブロック個数を
画像の動き領域と静止領域から決定しているという問題
がある。これは、動き領域で少数の個数のマクロブロッ
クとしているため符号化効率が低下し、符号量が増加す
るがこれに対するレートコントロールがないため回線容
量が小さい回線では実用的でないからである。

【００１２】また、特開平８−２４２４４５号公報に記
載の方式では、スライス内のマクロブロック個数を画像
の動き領域と静止領域のみから決定しているという問題
がある。これは、受信側からのフィードバック情報を用
いていないために回線網の変化に対して効果がないから
である。

【００１３】また、特開平７−１０７０９６号公報に記
載されている方法では、二階層のビデオ符号化技術を前
提としているが相手端末によってはこのような階層符号
化技術をサポートしていない場合があるという問題があ
る。

【００１４】また、特開平８−２４２４４５号公報およ
び特開平７−１０７０９６号公報に示されている方式で
は、優先度の異なるチャンネルの使用を前提としている
が、ネットワークによってこのような機能が提供できな
い場合があるという問題がある。

【００１５】本発明の目的は、エラーの発生しやすいネ
ットワーク上で動画像を高能率で高画質の画像に符号化
できる動画像符号化装置および動画像伝送システムを提
供することにある。

【００１６】

【課題を解決するための手段】前記課題を解決するため
に、請求項１記載の発明は、入力されたビデオ信号に対
し情報量を圧縮する符号化手段と、この符号化手段で使
用されるスライス構造を制御するスライス制御手段と、
符号化手段の符号化したビットストリームをパケット化
してネットワークに送出するパケット送出手段とを備
え、符号化手段は動き検出手段と符号量制御手段と符号
量測定手段を有し、パケット送出手段は回線容量検出手
段を有し、スライス制御手段は、動き検出手段の結果か
ら動き領域と静止領域の判別を行う動き情報計算手段
と、符号量測定手段の結果から画面内の符号量分布を計
測する符号量分布計算手段と、回線容量検出手段から回
線容量を計算する回線容量計算手段と、動き検出手段と
符号量測定手段と回線容量検出手段の結果からスライス
構造を更新するスライス構造決定手段とを有し、動き検
出手段はスライス構造を参照して動き検出を行い、符号
量制御手段はスライス構造を参照してスライス毎の符号
量制御を行うことを特徴とする。

【００１７】請求項２記載の発明は、請求項１に記載の
発明において、さらに画像復号装置からパケット廃棄率
を受信するパケット受信手段を備え、スライス構造決定
手段はパケット廃棄率を新たな入力としてスライス構造
を決定することを特徴とする。

【００１８】請求項３記載の発明は、請求項１および請
求項２の１つに記載の発明において、さらに画像復号装
置から画像観察者の注視領域を受信するパケット受信手
段または画像送信部の注視領域を検出する領域検出手段
を備え、スライス構造決定手段は注視領域を新たな入力
としてスライス構造を決定することを特徴とする。

【００１９】請求項４記載の発明は、請求項１記載の発
明において、スライス構造決定手段は、スライス単位の
発生符号量がほぼ均等となるようにスライス構造を決定
することを特徴とする。

【００２０】請求項５記載の発明は、請求項２記載の発
明において、スライス構造決定手段は、スライス単位の
発生符号量がほぼ均等となるようにスライス構造を決定
することを特徴とする。

【００２１】請求項６記載の発明は、請求項３記載の発
明において、スライス構造決定手段は、注視領域に多く
の符号量を割り当てるようにし、注視領域の内部ではス
ライス単位の発生符号量がほぼ均等となるようにスライ
ス構造を決定することを特徴とする。

【００２２】請求項７記載の発明は、画像符号化装置
と、この画像符号化装置の出力を復号可能な画像復号装
置とから構成されている動画像伝送システムにおいて、
画像符号化装置は、入力されたビデオ信号に対し情報量
を圧縮する符号化手段と、この符号化手段で使用される
スライス構造を制御するスライス制御手段と、符号化手
段の符号化したビットストリームをパケット化してネッ
トワークに送出するパケット送出手段とを備え、符号化
手段は動き検出手段と符号量制御手段と符号量測定手段
を有し、パケット送出手段は回線容量検出手段を有し、
スライス制御手段は、動き検出手段の結果から動き領域
と静止領域の判別を行う動き情報計算手段と、符号量測
定手段の結果から画面内の符号量分布を計測する符号量
分布計算手段と、回線容量検出手段から回線容量を計算
する回線容量計算手段と、動き検出手段と符号量測定手
段と回線容量検出手段の結果からスライス構造を更新す
るスライス構造決定手段とを有し、動き検出手段は前記
スライス構造を参照して動き検出を行い、符号量制御手
段はスライス構造を参照してスライス毎の符号量制御を
行うことを特徴とする。

【００２３】請求項８記載の発明は、請求項７に記載の
発明において、画像符号化装置は、さらに画像復号装置
からパケット廃棄率を受信するパケット受信手段を備
え、スライス構造決定手段はパケット廃棄率を新たな入
力としてスライス構造を決定することを特徴とする。

【００２４】請求項９記載の発明は、請求項７および請
求項８の１つに記載の発明において、画像符号化装置
は、さらに画像復号装置から画像観察者の注視領域を受
信するパケット受信手段または画像送信部の注視領域を
検出する領域検出手段を備え、スライス構造決定手段は
注視領域を新たな入力としてスライス構造を決定するこ
とを特徴とする。

【００２５】請求項１０記載の発明は、請求項７記載の
発明において、スライス構造決定手段は、スライス単位
の発生符号量がほぼ均等となるようにスライス構造を決
定することを特徴とする。

【００２６】請求項１１記載の発明は、請求項８記載の
発明において、スライス構造決定手段は、スライス単位
の発生符号量がほぼ均等となるようにスライス構造を決
定することを特徴とする。

【００２７】請求項１２記載の発明は、請求項９記載の
発明において、スライス構造決定手段は、注視領域に多
くの符号量を割り当てるようにし、注視領域の内部では
スライス単位の発生符号量がほぼ均等となるようにスラ
イス構造を決定することを特徴とする。

【００２８】

【発明の実施の形態】次に、本発明の実施の形態を図面
に基づいて詳細に説明する。図１に示すように、本発明
の第１の実施形態としての画像符号化装置は、符号化部
１と、スライス制御部２と、パケット送出部３とを備え
ている。符号化部１は、ビデオ信号入力部１０と、ＤＣ
Ｔ（離散コサイン変換）部１１と、量子化部１２と、可
変長符号化部１３と、バッファ部１４と、レート制御部
１５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオ
メモリ部１８と、動き検出部１９と、動き補償部２０
と、加算部２１と、加算部２２とを有している。スライ
ス制御部２は、スライス構造決定部２３と、動き情報計
算部２６と、回線容量計算部２７と、符号量分布計算部
２８とを有している。パケット送出部３は、パケット生
成部３５と、回線容量検出部３６とを有している。

【００２９】まず、符号化部１の動作について説明す
る。ＤＣＴ部１１は、入力されたビデオ信号に対して８
×８画素からなるブロックを単位にＤＣＴ変換の行列演
算を行い、その変換係数を量子化部１２に出力する。量
子化部１２では入力された変換係数に対して量子化処理
を行い、量子化変換係数を出力する。量子化の特性は、
レート制御部１５によって制御される。量子化変換係数
は、可変長符号化部１３に渡され可変長符号化，ランレ
ングス符号化などのエントロピ符号化処理を行う。一
方、逆量子化部１６で逆量子化の処理を行って変換係数
に復号された信号は、逆ＤＣＴ部１７でＤＣＴ逆変換の
行列演算を行い、ＰおよびＢピクチャの時には予測誤差
信号を、Ｉピクチャの時には符号化画像信号に相当した
信号を復号する。加算部２１は、ＰおよびＢピクチャ時
には予測信号を加算した信号と、Ｉピクチャの時にはそ
のままの信号を、それぞれ出力する。この加算部２１の
出力信号は、ビデオメモリ部１８に記憶される。ビデオ
メモリ部１８の出力信号（符号化フレームの１フレーム
相当遅延させた信号）は、動き検出部１９に入力する。
動き検出部１９では各マクロブロックごとの動きベクト
ル信号ＭＶを検出する。この時、スライス制御部２より
入力されたスライス情報１０１を用いてそれぞれのスラ
イスまたは複数個のスライスが独立に復号が可能になる
ように動き検出を行うことが可能である。

【００３０】この動きベクトル信号ＭＶは、可変長符号
化部１３で所定の符号化を行う。動き補償部２０は、動
き検出部１９から入力された動きベクトル信号ＭＶをも
とに動き補償を行い、動き補償予測画像を生成する。こ
の予測信号は加算部２２で入力された画像と差分計算を
行い、その差分情報がＤＣＴ部１１に入力され上記と同
様に符号化される。

【００３１】可変長符号化部１３でエントロピ符号化し
た符号化データ信号は、バッファ部１４に入力し、その
出力信号は符号化データとしてパケット送出部３に渡さ
れる。また、レート制御部１５はバッファを監視し、そ
の状態に応じて量子化部１２の量子化特性を制御する。

【００３２】次に、スライス制御部２の動作を説明す
る。動き情報計算部２６は符号化部１の動き検出部１９
から動き情報１０２を受け取り、各スライスごとの動き
情報を計算する。回線容量計算部２７は回線容量検出部
３６から入力される回線容量情報１０４を受け取り、最
適なスライスサイズの上限値を計算する。符号量分布計
算部２８は符号化部１のバッファ部１４より符号量情報
１０３を受け取り、それぞれのマクロブロックごとまた
は所定の領域単位の符号量を計算する。スライス構造決
定部２３では動き情報計算部２６と回線容量計算部２７
と符号量分布計算部２８からの情報を用いてスライス構
造を決定する。決定したスライス構造情報１０１は符号
化部１の動き検出部１９に送られる。また、スライス構
造情報１０１はレート制御部１５にも送られる。動き情
報計算部２６は符号化部１の動き検出部１９から動き情
報１０２を受け取り、図１３のように各スライス内の動
き情報を計算し、スライス内での動きが大きい場合はス
ライス領域を小さくし、スライス内での動きが小さい場
合はスライス領域を大きくする。これにより各パケット
ごとの重要度を均一にすることができる。

【００３３】回線容量計算部２７が最適なスライスサイ
ズを計算するのに用いる回線容量情報１０４として具体
的には、ネットワーク上に送るデータグラムの最大送信
単位｛ＭＴＵ（Ｍａｘｉｍｕｍ Ｔｒａｎｓｍｉｓｓｉ
ｏｎ Ｕｎｉｔ) ｝がある。ネットワークに送出するパ
ケットサイズがこのＭＴＵを超えるとそのパケットはネ
ットワーク上で複数のデータグラムとして分割され伝送
される。このような場合エラー耐性を考慮して作られた
パケットがＭＴＵサイズにより分割されるため、エラー
耐性の弱い複数のパケットになってしまう。

【００３４】次に多重化方式を用いて音声信号やビデオ
信号、制御信号などを多重化する場合を説明する。ビデ
オ信号が多重化される場合にはビデオ信号をあるデータ
サイズで分割して他のデータと多重化するので分割され
たデータサイズはある意味を持った単位であることが望
ましい。ここで多重化のために分割されたデータをスラ
イス単位に設定すると多重化されたビットストリーム内
でエラーが発生した場合にエラー耐性が強化される。次
にＡＴＭ網で伝送する場合を説明する。ＡＴＭ伝送の場
合にも伝送単位であるセルのサイズ以内に１個のスライ
スのサイズを制限することによりエラー耐性を強化する
ことができる。以上のように伝送の際に生じる伝送路で
のパケットサイズの最大値がエラー耐性の観点からとて
も重要である。そのため回線容量検出部３６によりパケ
ットサイズの最大値を検出し、回線容量情報１０４をス
ライス制御部２に入力することによりエラー耐性が強い
スライスを生成する。

【００３５】符号量分布計算部２８は符号化部１のバッ
ファ部１４より符号量情報１０３を受け取り、それぞれ
の図１４のようにマクロブロックごとの符号量を計算
し、スライスの開始からの符号量が回線容量計算部２７
より得られたスライスサイズの最大値を超えるまでを１
個のスライスとする。図１３ではスライスサイズの最大
値を９としてスライス構造が動的に変化している様子を
示している。これにより１個のスライスが持つ符号量を
制御することができる。

【００３６】次にパケット送出部３の動作について説明
する。パケット生成部３５は、符号化部１より入力され
たビットストリームをパケットとしてネットワークに送
出する。回線容量検出部３６ではネットワークと情報交
換を行うなどの方法により、パケットを送出するネット
ワークやネットワーク状況に応じてパケットサイズの最
大値を決定する。

【００３７】次に、本発明の第２の実施形態を図面に基
づいて詳細に説明する。本発明の第２の実施形態におい
ては、本発明の第１の実施形態と同じ構成要素には同じ
参照符号が付されている。図２に示すように、本発明の
第２の実施形態としての画像符号化装置は、符号化部１
と、スライス制御部２と、パケット送出部３とを備えて
いる。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２４と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９とを有している。パケット送出部
３は、パケット生成部３５と、回線容量検出部３６とを
有している。

【００３８】次に、本発明の第２の実施形態としての画
像符号化装置の動作を詳細に説明する。符号化部１の動
作は、本発明の第１の実施形態の動作と同じである。次
に、スライス制御部２の動作を説明する。廃棄率計算部
２９は、パケット廃棄率情報１０６を受ける。廃棄率計
算部２９からパケット廃棄率がスライス構造決定部２４
に入力される。スライス構造決定部２４は、パケット廃
棄率が大きい場合にはスライスサイズの最大値を減少さ
せ、それぞれのパケットサイズを小さくすることにより
廃棄エラーに対するエラー耐性を強化する。しかし、パ
ケットサイズを減少させるとエラー耐性が強化される代
わりに符号量が増加し、回線の負荷がさらに増加する可
能性があるため、スライス構造決定部２４は符号化部１
のレート制御部１５にスライス構造情報１０１を出す。
スライス構造情報１０１を受け取ったレート制御部１５
は与えられたスライス構造を考慮して適応的に符号量を
減少させる。逆に、パケット廃棄率が小さい場合には、
回線容量計算部２７により入力されたスライスサイズの
最大値を上限としてスライスサイズを増加させる。この
動作によりネットワーク回線の変動に適応した符号化を
行なうことができる。パケット送出部３の動作は、上記
第１の実施形態の動作と同じである。

【００３９】次に、本発明の第３の実施形態を図面に基
づいて詳細に説明する。本発明の第３の実施形態におい
ては、本発明の第１および第２の実施形態と同じ構成要
素には同じ参照符号が付されている。図３に示すよう
に、本発明の第３の実施形態としての画像符号化装置
は、符号化部１と、スライス制御部２と、パケット送出
部３とを備えている。符号化部１は、ビデオ信号入力部
１０と、ＤＣＴ（離散コサイン変換）部１１と、量子化
部１２と、可変長符号化部１３と、バッファ部１４と、
レート制御部１５と、逆量子化部１６と、逆ＤＣＴ部１
７と、ビデオメモリ部１８と、動き検出部１９と、動き
補償部２０と、加算部２１と、加算部２２とを有してい
る。スライス制御部２は、スライス構造決定部２５と、
動き情報計算部２６と、回線容量計算部２７と、符号量
分布計算部２８と、廃棄率計算部２９と、注視領域計算
部３０とを有している。パケット送出部３は、パケット
生成部３５と、回線容量検出部３６とを有している。

【００４０】次に、本発明の第３の実施形態としての画
像符号化装置の動作を詳細に説明する。符号化部１の動
作は、本発明の第１の実施形態の動作と同じである。次
に、スライス制御部２の動作を説明する。注視領域計算
部３０は、注視領域情報１０７を用いて画像を注視領域
と非注視領域に分割し分割情報を生成する。注視領域計
算部３０の分割情報は、スライス構造決定部２５に入力
される。スライス構造決定部２５においては、動き情報
計算部２６と、回線容量計算部２７と、符号量分布計算
部２８および廃棄率計算部２９とにより図１５のように
注視領域および非注視領域のそれぞれを別のスライスに
配分する。パケット送出部３の動作は、本発明の第１の
実施形態の動作と同じである。なお、本発明の第３の実
施形態としての画像符号化装置においては、廃棄率計算
部２９を削除してもよい。

【００４１】次に、本発明の第４の実施形態を図面に基
づいて詳細に説明する。本発明の第４の実施形態におい
ては、本発明の第１の実施形態と同じ構成要素には同じ
参照符号が付されている。図４に示すように、本発明の
第４の実施形態としての画像符号化装置は、符号化部１
と、スライス制御部２と、パケット送出部３とを備えて
いる。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２３と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
とを有している。パケット送出部３は、パケット生成部
３５と、回線容量検出部３６とを有している。

【００４２】次に、本発明の第４の実施形態としての画
像符号化装置の動作を詳細に説明する。符号化部１の動
作は、本発明の第１の実施形態の動作と同じである。ス
ライス制御部２の動作で本発明の第１の実施形態の動作
と異なる点は、各スライスごとの発生符号量をほぼ均等
にすることである。各スライスごとの発生符号量をほぼ
均等にすることで動き領域ではスライスサイズが小さく
なり、静止領域ではスライスサイズが大きくなるのでパ
ケットが紛失した場合、失われた符号量がどちらの場合
でも同じサイズとなるため画質に対する影響をほぼ一定
に保つことができるからである。パケット送出部３の動
作は、本発明の第１の実施形態の動作と同じである。

【００４３】次に、本発明の第５の実施形態を図面に基
づいて詳細に説明する。本発明の第５の実施形態におい
ては、本発明の第２の実施形態と同じ構成要素には同じ
参照符号が付されている。図５に示すように、本発明の
第５の実施形態としての画像符号化装置は、符号化部１
と、スライス制御部２と、パケット送出部３とを備えて
いる。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２４と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９とを有している。パケット送出部
３は、パケット生成部３５と、回線容量検出部３６とを
有している。

【００４４】次に、本発明の第５の実施形態としての画
像符号化装置の動作を説明する。符号化部１の動作は、
本発明の第１の実施形態の動作と同じである。スライス
制御部２の動作で本発明の第２の実施形態の動作と異な
る点は、各スライスごとの発生符号量をほぼ均等にする
ことである。パケット送出部３の動作は、本発明の第１
の実施形態の動作と同じである。

【００４５】次に、本発明の第６の実施形態を図面に基
づいて詳細に説明する。本発明の第６の実施形態におい
ては、本発明の第３の実施形態と同じ構成要素には同じ
参照符号が付されている。図６に示すように、本発明の
第５の実施形態としての画像符号化装置は、符号化部１
と、スライス制御部２と、パケット送出部３とを備えて
いる。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２５と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９と、注視領域計算部３０とを有し
ている。パケット送出部３は、パケット生成部３５と、
回線容量検出部３６とを有している。

【００４６】次に、本発明の第６の実施形態としての画
像符号化装置の動作を説明する。符号化部１の動作は、
本発明の第１の実施形態の動作と同じである。スライス
制御部２の動作で本発明の第３の実施形態の動作と異な
る点は、非注視領域よりも注視領域に多くの符号量を割
りあてることである。また、スライス制御部２は、非注
視領域および注視領域ともにスライス内の符号量は一定
となるようにスライス構造を決定し、かつ、符号量制御
を行なう。パケット送出部３の動作は、本発明の第１の
実施形態の動作と同じである。なお、本発明の第６の実
施形態としての画像符号化装置においては、廃棄率計算
部２９を削除してもよい。

【００４７】次に、本発明の第７の実施形態を図面に基
づいて詳細に説明する。本発明の第７の実施形態におい
ては、本発明の第１の実施形態と同じ構成要素には同じ
参照符号が付されている。図７に示すように、本発明の
第７の実施形態としての動画像伝送システムは、符号化
部１と、スライス制御部２と、パケット送出部３と、パ
ケット受信部４と、復号部５とを備えている。符号化部
１は、ビデオ信号入力部１０と、ＤＣＴ（離散コサイン
変換）部１１と、量子化部１２と、可変長符号化部１３
と、バッファ部１４と、レート制御部１５と、逆量子化
部１６と、逆ＤＣＴ部１７と、ビデオメモリ部１８と、
動き検出部１９と、動き補償部２０と、加算部２１と、
加算部２２とを有している。スライス制御部２は、スラ
イス構造決定部２３と、動き情報計算部２６と、回線容
量計算部２７と、符号量分布計算部２８とを有してい
る。パケット送出部３は、パケット生成部３５と、回線
容量検出部３６とを有している。パケット受信部４は、
受信部４０と、ビットストリーム生成部４２とを有して
いる。復号部５は、バッファ部５１と、可変長復号化部
５２と、逆量子化部５３と、逆ＤＣＴ部５４と、ビデオ
メモリ部５５と、動き補償予測部５６、と加算部５７と
を有している。

【００４８】次に、本発明の第７の実施形態としての動
画像伝送システムの動作を詳細に説明する。符号化部１
とスライス制御部２およびパケット送出部３の動作は、
本発明の第１の実施形態の動作と同じである。パケット
受信部４の受信部４０はパケット送出部３のパケット生
成部３５から送出されるパケット２０１を受信する。受
信部４０で受信したパケット２０１はビットストリーム
生成部４２に渡され、ビットストリーム生成部４２はパ
ケットよりビットストリームを再構成する。ビットスト
リーム生成部４２で再構成されたビットストリーム２０
２は復号部５のバッファ部５１に蓄えられる。バッファ
部５１からとりだされたビットストリームは可変長復号
化部５２で復号され、逆量子化部５３に送られる。逆量
子化部５３で逆量子化の処理を行って変換係数に復号し
た信号は、逆ＤＣＴ部５４でＤＣＴ逆変換の行列演算を
行い、Ｉピクチャの時には符号化画像信号に相当した信
号を復号する。ＰおよびＢピクチャの場合、ビデオメモ
リ部５５に蓄えられた画像を使用して動き補償予測部５
６で動き補償を行い、信号を復号し加算部５７で加算さ
れビデオ信号として出力される。

【００４９】次に、本発明の第８の実施形態を図面に基
づいて詳細に説明する。本発明の第８の実施形態におい
ては、本発明の第２の実施形態と同じ構成要素には同じ
参照符号が付されている。図８に示すように、本発明の
第２の実施形態としての動画像伝送システムは、符号化
部１と、スライス制御部２と、パケット送出部３と、パ
ケット受信部４と、復号部５とを備えている。符号化部
１は、ビデオ信号入力部１０と、ＤＣＴ（離散コサイン
変換）部１１と、量子化部１２と、可変長符号化部１３
と、バッファ部１４と、レート制御部１５と、逆量子化
部１６と、逆ＤＣＴ部１７と、ビデオメモリ部１８と、
動き検出部１９と、動き補償部２０と、加算部２１と、
加算部２２とを有している。スライス制御部２は、スラ
イス構造決定部２４と、動き情報計算部２６と、回線容
量計算部２７と、符号量分布計算部２８と、廃棄率計算
部２９とを有している。パケット送出部３は、パケット
生成部３５と、回線容量検出部３６とを有している。パ
ケット受信部４は、受信部４１と、ビットストリーム生
成部４２と、送信部４３とを有している。復号部５は、
バッファ部５１と、可変長復号化部５２と、逆量子化部
５３と、逆ＤＣＴ部５４と、ビデオメモリ部５５と、動
き補償予測部５６と、加算部５７とを有している。

【００５０】次に、本発明の第８の実施形態としての動
画像伝送システムの動作を詳細に説明する。符号化部１
とスライス制御部２およびパケット送出部３の動作は、
本発明の第２の実施形態の動作と同じである。パケット
受信部４の受信部４１は、パケット送出部３のパケット
生成部３５から送出されるパケット２０１を受信する。
受信部４１で受信したパケット２０１はビットストリー
ム生成部４２に渡され、ビットストリーム生成部４２は
パケットよりビットストリームを再構成する。また、受
信部４１よりパケット廃棄率情報が送信部４３に送られ
る。送信部４３からパケット廃棄率情報１０６がスライ
ス制御部２の廃棄率計算部２９に送られる。ビットスト
リーム生成部４２で再構成されたビットストリーム２０
２は復号部５のバッファ部５１に蓄えられる。復号部５
の動作は、本発明の第７の実施形態の動作と同じであ
る。

【００５１】次に、本発明の第９の実施形態を図面に基
づいて詳細に説明する。本発明の第９の実施形態におい
ては、本発明の第３の実施形態と同じ構成要素には同じ
参照符号が付されている。図９に示すように、本発明の
第９の実施形態としての動画像伝送システムは、符号化
部１と、スライス制御部２と、パケット送出部３と、パ
ケット受信部４と、復号部５とを備えている。符号化部
１は、ビデオ信号入力部１０と、ＤＣＴ（離散コサイン
変換）部１１と、量子化部１２と、可変長符号化部１３
と、バッファ部１４と、レート制御部１５と、逆量子化
部１６と、逆ＤＣＴ部１７と、ビデオメモリ部１８と、
動き検出部１９と、動き補償部２０と、加算部２１と、
加算部２２とを有している。スライス制御部２は、スラ
イス構造決定部２５と、動き情報計算部２６と、回線容
量計算部２７と、符号量分布計算部２８と、廃棄率計算
部２９と、注視領域計算部３０とを有している。パケッ
ト送出部３は、パケット生成部３５と、回線容量検出部
３６とを有している。パケット受信部４は、受信部４１
と、ビットストリーム生成部４２と、送信部４３とを有
している。復号部５は、バッファ部５１と、可変長復号
化部５２と、逆量子化部５３と、逆ＤＣＴ部５４と、ビ
デオメモリ部５５と、動き補償予測部５６と、加算部５
７とを有している。本発明の第９の実施形態としての動
画像伝送システムは、さらに注視領域計算部３０に接続
されている注視領域入力装置７１と、送信部４３に接続
されている注視領域入力装置６１とを有している。

【００５２】次に、本発明の第９の実施形態としての動
画像伝送システムの動作を詳細に説明する。符号化部１
とスライス制御部２およびパケット送出部３の動作は、
本発明の第３の実施形態の動作と同じである。パケット
受信部４の受信部４１は、パケット送出部３のパケット
生成部３５から送出されるパケット２０１を受信する。
受信部４１で受信したパケット２０１はビットストリー
ム生成部４２に渡され、ビットストリーム生成部４２は
パケットよりビットストリームを再構成する。また、パ
ケット受信部４１よりパケット廃棄率情報が送信部４３
に送られる。注視領域入力装置６１で得られる受信者の
注視領域情報２０３は送信部４３に送られる。パケット
送出部４３からはパケット廃棄率情報１０６がスライス
制御部２の廃棄率計算部２９に、注視領域情報１０７が
スライス制御部２の注視領域計算部３０に送られる。

【００５３】ビットストリーム生成部４２で再構成され
たビットストリーム２０２は復号部５のバッファ部５１
に蓄えられる。復号部５の動作は、本発明の第７の実施
形態の動作と同じである。注視領域入力装置７１では送
信者からの注視領域情報１０８がスライス制御部２の注
視領域計算部３０に送られる。なお、本発明の第９の実
施形態としての動画像伝送システムにおいては、廃棄率
計算部２９を削除してもよい。

【００５４】次に、本発明の第１０の実施形態を図面に
基づいて詳細に説明する。本発明の第１０の実施形態に
おいては、本発明の第４の実施形態と同じ構成要素には
同じ参照符号が付されている。図１０に示すように、本
発明の第１０の実施形態としての動画像伝送システム
は、符号化部１と、スライス制御部２と、パケット送出
部３と、パケット受信部４と、復号部５とを備えてい
る。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２３と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
とを有している。パケット送出部３は、パケット生成部
３５と、回線容量検出部３６とを有している。パケット
受信部４は、受信部４０と、ビットストリーム生成部４
２とを有している。復号部５は、バッファ部５１と、可
変長復号化部５２と、逆量子化部５３と、逆ＤＣＴ部５
４と、ビデオメモリ部５５と、動き補償予測部５６と、
加算部５７とを有している。

【００５５】次に、本発明の第１０の実施形態としての
動画像伝送システムの動作を説明する。符号化部１とス
ライス制御部２およびパケット送出部３の動作は、本発
明の第４の実施形態の動作と同じである。パケット受信
部４および復号部５の動作は、本発明の第７の実施形態
の動作と同じである。

【００５６】次に、本発明の第１１の実施形態を図面に
基づいて詳細に説明する。本発明の第１１の実施形態に
おいては、本発明の第５の実施形態と同じ構成要素には
同じ参照符号が付されている。図１１に示すように、本
発明の第１１の実施形態としての動画像伝送システム
は、符号化部１と、スライス制御部２と、パケット送出
部３と、パケット受信部４と、復号部５とを備えてい
る。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２４と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９とを有している。パケット送出部
３は、パケット生成部３５と、回線容量検出部３６とを
有している。パケット受信部４は、受信部４１と、ビッ
トストリーム生成部４２と、送信部４３とを有してい
る。復号部５は、バッファ部５１と、可変長復号化部５
２と、逆量子化部５３と、逆ＤＣＴ部５４と、ビデオメ
モリ部５５と、動き補償予測部５６と、加算部５７とを
有している。

【００５７】次に、本発明の第１１の実施形態としての
動画像伝送システムの動作を説明する。符号化部１とス
ライス制御部２およびパケット送出部３の動作は、本発
明の第５の実施形態の動作と同じである。パケット受信
部４の動作は、本発明の第８の実施形態の動作と同じで
ある。復号部５の動作は、本発明の第７の実施形態の動
作と同じである。

【００５８】次に、本発明の第１２の実施形態を図面に
基づいて詳細に説明する。本発明の第１２の実施形態に
おいては、本発明の第９の実施形態と同じ構成要素には
同じ参照符号が付されている。図１２に示すように、本
発明の第１２の実施形態としての動画像伝送システム
は、符号化部１と、スライス制御部２と、パケット送出
部３と、パケット受信部４と、復号部５とを備えてい
る。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２５と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９と、注視領域計算部３０とを有し
ている。パケット送出部３は、パケット生成部３５と、
回線容量検出部３６とを有している。パケット受信部４
は、受信部４１と、ビットストリーム生成部４２と、送
信部４３とを有している。復号部５は、バッファ部５１
と、可変長復号化部５２と、逆量子化部５３と、逆ＤＣ
Ｔ部５４と、ビデオメモリ部５５と、動き補償予測部５
６と、加算部５７とを有している。本発明の第１２の実
施形態としての動画像伝送システムは、さらに注視領域
計算部３０に接続されている注視領域入力装置７１と、
送信部４３に接続されている注視領域入力装置６１とを
有している。

【００５９】次に、本発明の第１２の実施形態としての
動画像伝送システムの動作を説明する。符号化部１とス
ライス制御部２およびパケット送出部３の動作は、本発
明の第４の実施形態の動作と同じである。パケット受信
部４の動作は、本発明の第９の実施形態の動作と同じで
ある。復号部５の動作は、本発明の第７の実施形態の動
作と同じである。

【００６０】次に、本発明の第１３の実施形態を図面に
基づいて詳細に説明する。本発明の第１３の実施形態に
おいては、本発明の第１２の実施形態と同じ構成要素に
は同じ参照符号が付されている。図１２に示すように、
本発明の第１３の実施形態としての動画像伝送システム
は、符号化部１と、スライス制御部２と、パケット送出
部３と、パケット受信部４と、復号部５とを備えてい
る。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２５と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９と、注視領域計算部３０とを有し
ている。パケット送出部３は、パケット生成部３５と、
回線容量検出部３６とを有している。パケット受信部４
は、受信部４１と、ビットストリーム生成部４２と、送
信部４３とを有している。復号部５は、バッファ部５１
と、可変長復号化部５２と、逆量子化部５３と、逆ＤＣ
Ｔ部５４と、ビデオメモリ部５５と、動き補償予測部５
６と、加算部５７とを有している。本発明の第１２の実
施形態としての動画像伝送システムは、さらに注視領域
計算部３０に接続されている注視領域入力装置７１と、
送信部４３に接続されている注視領域入力装置６１とを
有している。

【００６１】本発明の第１３の実施形態としての動画像
伝送システムは、インターネット上でのものである。符
号化部１と復号部５の方式としては、Ｈ．２６３、ＭＰ
ＥＧ４などがある。パケット送出部３としてＲＴＰ、パ
ケット受信部４のパケット送信部４３としてＲＴＣＰが
ある。符号化部１ではスライス制御部２からスライス構
造を受け取り、そのスライス構造に基づいて入力される
画像を符号化していく。動き情報計算部２６では符号化
部１の動き検出部１９から上下方向と左右方向の動きベ
クトルを受け取る。回線容量計算部２７ではネットワー
ク上でパケットサイズの最大値を受け取る。符号量分布
計算部２８では符号化部１のバッファ部１４から各マク
ロブロックの符号量を受け取る。廃棄率計算部２９では
ＲＴＣＰのヘッダより廃棄率を受け取る。注視領域計算
部３０では画像内のそれぞれのマクロブロックが注視領
域であるか非注視領域であるかを決定する。

【００６２】スライス構造決定部２５では入力されるそ
れぞれの情報に基づきスライス構造を決定し符号化部１
の動き検出部１９に入力する。パケット送出部３では受
け取ったビットストリームをＲＴＰのフォーマットに合
った形でパケット化し、ネットワークに送出する。パケ
ット受信部４ではＲＴＰフォーマットのパケットを受け
取り、ビットストリーム生成部４２にパケットを送る。

【００６３】また、ここでＲＴＣＰに必要な情報を計算
し送信部４３に送る。送信部４３では注視領域入力装置
６１から注視領域を受け取る。送信部４３は、送信側に
ＲＴＣＰフォーマットのパケットや注視領域情報を送
る。ビットストリーム生成部４２はパケットをビットス
トリームに変換し、復号部５に送る。復号部５は受け取
ったビットストリームを復号し画像を出力する。

【００６４】次に、本発明の第１４の実施形態を図面に
基づいて詳細に説明する。本発明の第１４の実施形態に
おいては、本発明の第１２の実施形態と同じ構成要素に
は同じ参照符号が付されている。図１２に示すように、
本発明の第１４の実施形態としての動画像伝送システム
は、符号化部１と、スライス制御部２と、パケット送出
部３と、パケット受信部４と、復号部５とを備えてい
る。符号化部１は、ビデオ信号入力部１０と、ＤＣＴ
（離散コサイン変換）部１１と、量子化部１２と、可変
長符号化部１３と、バッファ部１４と、レート制御部１
５と、逆量子化部１６と、逆ＤＣＴ部１７と、ビデオメ
モリ部１８と、動き検出部１９と、動き補償部２０と、
加算部２１と、加算部２２とを有している。スライス制
御部２は、スライス構造決定部２５と、動き情報計算部
２６と、回線容量計算部２７と、符号量分布計算部２８
と、廃棄率計算部２９と、注視領域計算部３０とを有し
ている。パケット送出部３は、パケット生成部３５と、
回線容量検出部３６とを有している。パケット受信部４
は、受信部４１と、ビットストリーム生成部４２と、送
信部４３とを有している。復号部５は、バッファ部５１
と、可変長復号化部５２と、逆量子化部５３と、逆ＤＣ
Ｔ部５４と、ビデオメモリ部５５と、動き補償予測部５
６と、加算部５７とを有している。本発明の第１２の実
施形態としての動画像伝送システムは、さらに注視領域
計算部３０に接続されている注視領域入力装置７１と、
送信部４３に接続されている注視領域入力装置６１とを
有している。

【００６５】本発明の第１４の実施形態としての動画像
伝送システムは、移動体通信網上でのものである。符号
化部１と復号部５の方式としては、Ｈ．２６３、ＭＰＥ
Ｇ４などがある。パケット送出部３およびパケット受信
部４の送信部４３としてＩＴＵのＨ．２２３、及びＨ．
２２３上で転送されるＨ．２４５がある。ここでＨ．２
２３は多重化方式であり、Ｈ．２４５はシグナリング方
式である。

【００６６】符号化部１ではスライス制御部２からスラ
イス構造を受け取り、そのスライス構造に基づいて入力
される画像を符号化していく。動き情報計算部２６では
符号化部１の動き検出部１９から上下方向と左右方向の
動きベクトルを受け取る。回線容量計算部２７では回線
上でのパケットサイズの最大値を例えばＨ．２４５のｆ
ｏｒｗａｒｄ Ｍａｘｉｍｕｍ ＳＤＵ Ｓｉｚｅ、
ｂａｃｋｗａｒｄ Ｍａｘｉｍｕｍ ＳＤＵ Ｓｉｚｅ
コマンドによって受け取る。符号量分布計算部２８では
符号化部１のバッファ部１４から各マクロブロックの符
号量を受け取る。

【００６７】廃棄率計算部２９ではＨ．２４５のＨ２２
３Ｍｕｌｉｔｐｌｅｘ Ｒｅｃｏｎｆｉｇｕｒａｔｉｏ
ｎコマンドなどにより廃棄率情報を受け取り廃棄率を計
算する。ここで、Ｈ．２２３ Ｍｕｌｉｔｐｌｅｘ Ｒ
ｅｃｏｎｆｉｇｕｒａｔｉｏｎコマンドは回線上でのエ
ラー発生頻度よりＨ．２２３自体が持つエラー耐性モー
ドを強くしたり弱くしたりするものであるので、このコ
マンドにより廃棄率とほぼ等価な値を計算することがで
きる。また廃棄率としてＨ．２６３ Ａｎｎｅｘ Ｎ
Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｌｅｃｔｉ
ｏｎ Ｍｏｄｅでは受信側から送信側へ画像内のエラー
情報を通知できる。この通知情報を基に廃棄率を計算す
ることもできる。

【００６８】注視領域計算部３０では画像内のそれぞれ
のマクロブロックが注視領域であるか非注視領域である
かを決定する。あるいは上記Ａｎｎｅｘ Ｎ Ｒｅｆｅ
ｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｌｅｃｔｉｏｎ Ｍ
ｏｄｅを使用して、受信者は故意に注視領域を廃棄領域
に見せかけて符号量割り当ての増加をすることも可能で
ある。スライス構造決定部２５では入力されるそれぞれ
の情報に基づきスライス構造を決定し符号化部１の動き
検出部１９に入力する。パケット送出部３では受け取っ
たビットストリームをＨ．２２３に規定されるデータに
合った形でパケット化し、Ｈ．２２３が規定する多重化
装置に送出する。

【００６９】パケット受信部４では多重化されたデータ
からパケットを受け取り、ビットストリーム生成部４２
にパケットを送る。送信部４３では注視領域入力装置６
１から注視領域を受け取る。送信部４３は送信側に例え
ばＨ．２４５のＨ２２３ Ｍｕｌｉｔｐｌｅｘ Ｒｅｃ
ｏｎｆｉｇｕｒａｔｉｏｎコマンドや注視領域情報を送
る。ビットストリーム生成部４２はパケットをビットス
トリームに変換し、復号部５に送る。復号部５は受け取
ったビットストリームを復号し画像を出力する。

【００７０】本発明の実施形態においては、スライスの
符号量を制御する部を備えているから、発生符号量に応
じてエラー耐性を制御することができ、送信エラーの影
響を制御することができる。また、本発明の実施に形態
においては、１個のスライスサイズの最大値を各ネット
ワークに適したサイズにできるため画像符号化装置より
下のレイヤでのパケット分割を回避することができる。
また、本発明の実施形態においては、受信側からのフィ
ードバック情報として廃棄率を符号化装置が利用して符
号化を行うため、ネットワーク回線の変動に対応した符
号化を行うことができる。さらに、本発明の実施形態に
おいては、受信側からのフィードバック情報である注視
領域情報や送信側での注視領域情報を利用することによ
り、送受信者にとって重要な個所と重要でない個所とを
分けて符号化装置が符号化を行うことができる。

【００７１】

【発明の効果】本発明によれば、発生符号量に応じてエ
ラー耐性を制御してエラーの影響を最小限に抑えること
ができるから、エラーが発生しやすいネットワーク上で
動画像を高能率で高画質の画像に符号化できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態としての画像符号化装
置を示すブロック図である。

【図２】本発明の第２の実施形態としての画像符号化装
置を示すブロック図である。

【図３】本発明の第３の実施形態としての画像符号化装
置を示すブロック図である。

【図４】本発明の第４の実施形態としての画像符号化装
置を示すブロック図である。

【図５】本発明の第５の実施形態としての画像符号化装
置を示すブロック図である。

【図６】本発明の第６の実施形態としての画像符号化装
置を示すブロック図である。

【図７】本発明の第７の実施形態としての動画像伝送シ
ステムを示すブロック図である。

【図８】本発明の第８の実施形態としての動画像伝送シ
ステムを示すブロック図である。

【図９】本発明の第９の実施形態としての動画像伝送シ
ステムを示すブロック図である。

【図１０】本発明の第１０の実施形態としての動画像伝
送システムを示すブロック図である。

【図１１】本発明の第１１の実施形態としての動画像伝
送システムを示すブロック図である。

【図１２】本発明の第１２の実施形態としての動画像伝
送システムを示すブロック図である。

【図１３】図１〜図１２におけるスライス制御部の動作
を説明するための図である。

【図１４】図１〜１２におけるスライス制御部の動作を
するための他の図である。

【図１５】図３と図６と図９および図１２における注視
領域を説明するための図である。

【符号の説明】

１ 符号化部 ２ スライス制御部 ３ パケット送出部 ４ パケット受信部 ５ 復号部 １０ ビデオ信号入力部 １１ ＤＣＴ部 １２ 量子化部 １３ 可変長符号化部 １４ バッファ部 １５ レート制御部 １６ 逆量子化部 １７ 逆ＤＣＴ部 １８ ビデオメモリ部 １９ 動き検出部 ２０ 動き補償部 ２１、２２ 加算部 ２３〜２５ スライス構造決定部 ２６ 動き情報計算部 ２７ 回線容量計算部 ２８ 符号量分布計算部 ２９ 廃棄率計算部 ３０ 注視領域計算部 ３５ パケット生成部 ３６ 回線容量検出部 ４０、４１ 受信部 ４２ ビットストリーム生成部 ４３ 送信部 ５１ バッファ部 ５２ 可変長復号化部 ５３ 逆量子化部 ５４ 逆ＤＣＴ部 ５５ ビデオメモリ部 ５６ 動き補償予測部 ５７ 加算部 ６１、７１ 注視領域入力装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−107458（ＪＰ，Ａ) 特開 平６−351006（ＪＰ，Ａ) 特開 平８−107096（ＪＰ，Ａ) 特開 平６−319134（ＪＰ，Ａ) 特開 平10−164572（ＪＰ，Ａ) 特開 平８−331559（ＪＰ，Ａ) 特表 平８−511931（ＪＰ，Ａ)

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】 入力されたビデオ信号に対し情報量を圧
   縮する符号化手段と、この符号化手段で使用されるスラ
   イス構造を制御するスライス制御手段と、前記符号化手
   段の符号化したビットストリームをパケット化してネッ
   トワークに送出するパケット送出手段とを備え、 前記符号化手段は動き検出手段と符号量制御手段と符号
   量測定手段を有し、 前記パケット送出手段は回線容量検出手段を有し、 前記スライス制御手段は、前記動き検出手段の結果から
   動き領域と静止領域の判別を行う動き情報計算手段と、
   前記符号量測定手段の結果から画面内の符号量分布を計
   測する符号量分布計算手段と、前記回線容量検出手段か
   ら回線容量を計算する回線容量計算手段と、前記動き検
   出手段と前記符号量測定手段と前記回線容量検出手段の
   結果からスライス構造を更新するスライス構造決定手段
   とを有し、 前記動き検出手段は前記スライス構造を参照して動き検
   出を行い、前記符号量制御手段は前記スライス構造を参
   照してスライス毎の符号量制御を行うことを特徴とする
   画像符号化装置。
2. 【請求項２】 請求項１に記載の画像符号化装置におい
   て、 さらに画像復号装置からパケット廃棄率を受信するパケ
   ット受信手段を備え、前記スライス構造決定手段は前記
   パケット廃棄率を新たな入力としてスライス構造を決定
   することを特徴とする請求項１記載の画像符号化装置。
3. 【請求項３】 請求項１および請求項２の１つに記載の
   画像符号化装置において、 さらに画像復号装置から画像観察者の注視領域を受信す
   るパケット受信手段または画像送信部の注視領域を検出
   する領域検出手段を備え、 前記スライス構造決定手段は前記注視領域を新たな入力
   としてスライス構造を決定することを特徴とする画像符
   号化装置。
4. 【請求項４】 請求項１に記載の画像符号化装置におい
   て、 前記スライス構造決定手段は、スライス単位の発生符号
   量がほぼ均等になるようにスライス構造を決定すること
   を特徴とする画像符号化装置。
5. 【請求項５】 請求項２に記載の画像符号化装置におい
   て、 前記スライス構造決定手段は、スライス単位の発生符号
   量がほぼ均等になるようにスライス構造を決定すること
   を特徴とする画像符号化装置。
6. 【請求項６】 請求項３に記載の画像符号化装置におい
   て、 前記スライス構造決定手段は、前記注視領域に多くの符
   号量を割り当てるようにし、前記注視領域の内部ではス
   ライス単位の発生符号量がほぼ均等となるようにスライ
   ス構造を決定することを特徴とする画像符号化装置。
7. 【請求項７】 画像符号化装置と、この画像符号化装置
   の出力を復号可能な画像復号装置とから構成されている
   動画像伝送システムにおいて、前記画像符号化装置は、
   入力されたビデオ信号に対し情報量を圧縮する符号化手
   段と、この符号化手段で使用されるスライス構造を制御
   するスライス制御手段と、前記符号化手段の符号化した
   ビットストリームをパケット化してネットワークに送出
   するパケット送出手段とを備え、 前記符号化手段は動き検出手段と符号量制御手段と符号
   量測定手段を有し、 前記パケット送出手段は回線容量検出手段を有し、 前記スライス制御手段は、前記動き検出手段の結果から
   動き領域と静止領域の判別を行う動き情報計算手段と、
   前記符号量測定手段の結果から画面内の符号量分布を計
   測する符号量分布計算手段と、前記回線容量検出手段か
   ら回線容量を計算する回線容量計算手段と、前記動き検
   出手段と前記符号量測定手段と前記回線容量検出手段の
   結果からスライス構造を更新するスライス構造決定手段
   とを有し、 前記動き検出手段は前記スライス構造を参照して動き検
   出を行い、前記符号量制御手段は前記スライス構造を参
   照してスライス毎の符号量制御を行うことを特徴とする
   動画像伝送システム。
8. 【請求項８】 請求項７に記載の動画像伝送システムに
   おいて、前記画像符号化装置は、 さらに画像復号装置からパケッ
   ト廃棄率を受信するパケット受信手段を備え、前記スラ
   イス構造決定手段は前記パケット廃棄率を新たな入力と
   してスライス構造を決定することを特徴とする動画像伝
   送システム。
9. 【請求項９】 請求項７および請求項８の１つに記載の
   動画像伝送システムにおいて、前記画像符号化装置は、 さらに画像復号装置から画像観
   察者の注視領域を受信するパケット受信手段または画像
   送信部の注視領域を検出する領域検出手段を備え、前記
   スライス構造決定手段は前記注視領域を新たな入力とし
   てスライス構造を決定することを特徴とする動画像伝送
   システム。
10. 【請求項１０】 請求項７に記載の動画像伝送システム
    において、 前記スライス構造決定手段は、スライス単位の発生符号
    量がほぼ均等となるようにスライス構造を決定すること
    を特徴とする動画像伝送システム。
11. 【請求項１１】 請求項８に記載の動画像伝送システム
    において、 前記スライス構造決定手段は、スライス単位の発生符号
    量がほぼ均等となるようにスライス構造を決定すること
    を特徴とする動画像伝送システム。
12. 【請求項１２】 請求項９に記載の動画像伝送システム
    において、 前記スライス構造決定手段は、前記注視領域に多くの符
    号量を割り当てるようにし、前記注視領域の内部ではス
    ライス単位の発生符号量がほぼ均等となるようにスライ
    ス構造を決定することを特徴とする動画像伝送システ
    ム。