JP2006141037A - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

Abstract

【課題】 映像通信端末の使用環境や使用目的に応じて符号化手段の組み合わせを適切に設定する手段がなかったため、不必要にエラー耐性能力を強化することにより、画質や符号化効率が低下させるという問題があった。
【解決手段】 本発明に係る動画像符号化装置は、画像を入力する入力手段と、入力された画像を複数の領域に分割し、各領域を画像の走査順以外の順番で符号化するエラー強化ツールを有する画像符号化手段と、画像符号化手段で符号化された圧縮データを蓄積する蓄積手段と、圧縮データを外部に送出する送出手段と、圧縮データを送出手段に出力する第１モード、または蓄積手段に出力する第２モードを判定し、第１モードの場合エラー強化ツールをオンにし、第２モードの場合エラー強化ツールをオフにするように符号化条件を決定する判定手段と、このように決定された符号化条件にしたがい符号化を行い、第１モードの場合には圧縮データを送出手段に伝送し、第２モードの場合には圧縮データを蓄積手段に格納する。
【選択図】 図３

Description

本発明は、動画像符号化方法、動画像符号化装置及び動画像符号化プログラム関するもので、特に使用形態に応じた効率的符号化方法に関するものである。

近年、カメラ付き携帯電話やテレビ電話などの映像インタフェースを備えた映像通信端末の普及が急速に拡大している。これらの映像通信端末は、ビデオカメラなどとして用いる場合にはカメラで撮影した動画像データを蓄積し、後に再生して閲覧したりメールに添付して伝送したりすることができる。また、テレビ電話などとして用いる場合には通信路を経由して動画像データを送受信する。また、動画像データのブラウジングができる映像通信端末においてはインターネットなどからの動画像データをストリーミングやダウンロードによって受信し閲覧することも可能である。

動画像データの伝送や蓄積を高画質で効率よく行うために、動画像信号の圧縮符号化技術が用いられる。そのような技術としてＩＴＵ−ＴとＩＳＯ／ＩＥＣとの合同国際標準化が予定されている動画像符号化方式ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４あるいはＩＳＯ／ＩＥＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ １４４９６−１０（以下、Ｈ．２６４と呼ぶ）が知られている。

図１に示すようにＨ．２６４では１フレーム分の画像データをマクロブロックと呼ぶ領域に分割し、マクロブロック単位に符号化処理を行う（図１において、フレーム画像１０１は、複数のマクロブロック１０２に分割される）。フレーム内符号化ではマクロブロックを、符号化対象フレーム内の周囲マクロブロックの符号化情報を利用して予測符号化する。また、フレーム間符号化ではマクロブロックを、符号化済の他のフレームを参照画像とした動き予測を行うことによって生成される動き予測画像と原画像との差分値とした上で、符号化対象フレーム内の周囲マクロブロックの符号化情報を利用して予測符号化する。さらに、フレーム間符号化の際に用いる参照画像に対してブロック歪みなどの雑音除去を目的としたデブロッキングフィルタを施す機能が備えられており（ループ内フィルタ）、上記デブロッキングフィルタを適用すれば画質および圧縮率が向上する。

圧縮符号化データが通信路を経由して伝送される際には、通信路においてエラーが混入する場合がある。特に無線回線においては有線回線に比べてエラーが混入する可能性が高い。圧縮符号化データにエラーが混入した場合、それ以降の符号の同期が取れなくなり、正常な復号の継続が不可能な状態になる。

図２に示すようにＨ．２６４では１つまたは複数のマクロブロックから構成されるスライス単位に独立して符号化する機能が備えられている（図２において、フレーム画像２０１には、４つのスライス２０２〜２０５が含まれる）。各スライスはスライスヘッダおよび１つまたは複数のマクロブロックから構成されており、スライス内のマクロブロックは他のスライスに属するマクロブロックの情報を用いた予測を行わずに符号化される。したがって、あるフレームの圧縮符号化データにエラーが混入した場合でも、当該フレームにおいて次に検出されるスライスヘッダから始まるスライス以降のマクロブロックはエラーの影響を受けずに正常に復号することができる。

また、図５に示すように、エラーを分散化させるために、マクロブロックを１つおきにまとめて１つのスライスとして符号化・伝送する方法がある（図５においては、フレーム画像５０１に含まれるマクロブロックが１つおきにまとめてスライス５０２とスライス５０３とを構成する）。この場合マクロブロック間の相関を利用できないため符号化効率が低下するが、エラーを分散させることができる。同様に、スライスのデータを走査線順で送るのではなく任意の順番で送ってエラーに強い仕組みが作れる。図６では、通常は、フレーム画像６０１を構成するスライス６０２，６０３，６０４，６０５の順に符号化データを送るが、スライス６０４のデータを先に送ってからスライス６０２を送ってもよい（ここで、パケット６０６，６０７，６０８，６０９には、それぞれ、スライス６０４，６０２，６０５，６０３に対応するデータが含まれる）。また、同じスライスのデータを繰り返して伝送する手法もある。例えば、図７ではスライス７０２の符号化されたデータを複製してパケット７０６ａとパケット７０６ｂに格納して伝送することにより、パケット７０６ａのデータにエラーが生じたり、またはパケット７０６ａそのものが紛失したりしても、パケット７０６ｂのデータがあれば、同じスライスの画像を再生することができる。このように、フレーム画像内の各領域を画像の走査順とは異なる順番で符号化したり、符号化手段によって符号化された圧縮データを二重化したりすることによって、符号化に際して符号化画像のエラー耐性を高める機能を「エラー強化ツール」と呼ぶ。

以上のように、従来のＨ．２６４符号化方式ではスライス構造を用いることによるエラー耐性能力の向上、およびループ内フィルタを用いることによる画質および圧縮率の向上がなされている。

しかし、上記スライス構造を用いるとエラー耐性能力は向上するが、スライスをまたがる部分で予測が途切れるため、符号化効率は低下する。また、図７に示すように同じデータを繰り返し送ることにより、エラー耐性はよくなるものの、データ量が増えてしまう問題がある。

さて、映像通信端末を使用する際に、無線回線を介したテレビ電話などといった圧縮符号化データにエラーが混入しやすい使用形態においては多少の画質や符号化効率を犠牲にしても、よりエラー耐性能力が向上するような符号化手段を選択し、ビデオカメラなどといったエラーが混入しにくい使用形態においてはエラー耐性能力を犠牲にして画質や符号化効率が向上するような符号化手段を選択して符号化することが望ましい。

しかしながら、従来、映像通信端末の使用環境や使用目的に応じて符号化手段の組み合わせを適切に設定する手段がなかったため、不必要にエラー耐性能力を強化することにより、画質や符号化効率が低下させるという問題があった。

また、ループ内フィルタについては、エラーが混入したことによって正しく復号できなかった第一のスライスとそれに隣接するエラーのない第二スライスにおいて、スライス間のループ内フィルタの処理により、正常に復号されるべき第二のスライスの画像もフィルタリングの結果に歪が生じてしまう。したがって、ループ内フィルタを用いると、エラー耐性能力は低下してしまうため、ループフィルタとスライス構造を同時に用いる場合には、スライス構造を用いることによるエラー耐性能力向上というメリットが低下してしまう。このように、複数の符号化手段が存在する場合、それらを組み合わせて使用する場合には、適切な組み合わせでなければエラー耐性能力や画質、符号化効率などが不必要に低下してしまう。

しかしながら、従来、符号化手段の使用・不使用はそれぞれの符号化手段で独立に決定されていたため、不必要にエラー耐性能力が低下したり、不必要に画質や符号化効率が低下したりするという問題があった。

そこで、本発明は、上記問題点を解決し、エラー耐性が必要な環境下ではエラー耐性能力を向上させ、エラー耐性が必要でない環境下では画質や符号化効率を向上させることができる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを課題とする。

上記課題を解決するために、本発明の動画像符号化装置は、画像を入力する入力手段と、上記画像入力手段によって入力された上記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、上記画像符号化手段によって符号化された圧縮データを蓄積する蓄積手段と、上記画像符号化手段によって符号化された圧縮データを外部に送出する送出手段と、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化手段によって符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する判定手段とを備え、上記画像符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することを特徴としている。

上記判定手段は、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化手段によって符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定し、上記画像符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することが望ましい。

また、上記課題を解決するために、本発明の動画像符号化方法は、画像入力手段を用いて画像を入力する入力ステップと、上記画像入力ステップにおいて入力された上記画像を複数の領域に分割し、符号化に際して符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフしながら上記画像を符号化する画像符号化ステップと、上記画像符号化ステップにおいて符号化された圧縮データを蓄積手段に蓄積する蓄積ステップと、上記画像符号化ステップにおいて符号化された圧縮データを送出手段から外部に送出する送出ステップと、ユーザによる指示入力に基づいて、上記画像符号化ステップにおいて符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化ステップにおいて符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する判定ステップとを備え、上記画像符号化ステップは、上記判定ステップにおいて決定された上記符号化条件に従って上記画像の符号化を行い、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することを特徴としている。

上記判定ステップは、ユーザによる指示入力に基づいて、上記画像符号化ステップにおいて符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化ステップにおいて符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定し、上記画像符号化ステップは、上記判定ステップにおいて決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することが望ましい。

また、上記課題を解決するために、本発明の動画像符号化プログラムは、コンピュータを、画像を入力する入力手段と、上記画像入力手段によって入力された上記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、上記画像符号化手段によって符号化された圧縮データを蓄積する蓄積手段と、上記画像符号化手段によって符号化された圧縮データを外部に送出する送出手段と、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化手段によって符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する判定手段として機能させる動画像符号化プログラムであって、上記画像符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することを特徴としている。

上記判定手段は、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された上記圧縮データを上記送出手段に出力する第１モードと上記画像符号化手段によって符号化された上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定し、上記画像符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した圧縮データを上記蓄積手段に格納することが望ましい。

このような構成とすることで、エラー耐性が必要な環境下（外部送出時）ではエラー耐性能力を向上させ、エラー耐性が必要でない環境下（内部蓄積時）では画質や符号化効率を向上させることができる。

上記判定手段は、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された圧縮データを上記送出手段に出力する第１モードと上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするとともに上記領域の境界をまたがったフィルタリング処理をオンにするように符号化条件を決定し、上記符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した上記圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した上記圧縮データを上記蓄積手段に格納することが望ましい。

上記判定ステップは、ユーザによる指示入力に基づいて、上記画像符号化ステップにおいて符号化された圧縮データを上記送出手段に出力する第１モードと上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするとともに上記領域の境界をまたがったフィルタリング処理をオンにするように符号化条件を決定し、上記符号化ステップは、上記判定ステップにおいて決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した上記圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した上記圧縮データを上記蓄積手段に格納することが望ましい。

上記判定手段は、ユーザによる指示入力に基づいて、上記画像符号化手段によって符号化された圧縮データを上記送出手段に出力する第１モードと上記圧縮データを上記蓄積手段に出力する第２モードとのいずれかを判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするとともに上記領域の境界をまたがったフィルタリング処理をオンにするように符号化条件を決定し、上記画像符号化手段は、上記判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記第１モードと判定された場合は符号化した上記圧縮データを上記送出手段に出力し、上記第２モードと判定された場合は、符号化した上記圧縮データを上記蓄積手段に格納することが望ましい。
このような構成とすることで、エラー耐性が必要な環境下（外部送出時）ではエラー耐性能力を向上させ、エラー耐性が必要でない環境下（内部蓄積時）では画質や符号化効率を向上させることができる。また、特に、エラーが生じやすい環境下（外部送出時）では上記領域の境界をまたがったフィルタリング処理をオフにすることで、エラーの生じていないパケットのデータを正しく再生することができる。

また、上記課題を解決するために、本発明の動画像符号化装置は、画像を入力する入力手段と、上記画像入力手段によって入力された上記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、上記画像符号化手段によって符号化された圧縮データを外部に送出するとともに外部回線の伝送エラー率を取得する送出手段と、上記送出手段よって取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する回線判定手段とを備え、上記画像符号化手段は、上記回線判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記符号化した圧縮データを上記送出手段に出力することを特徴としている。

上記回線判定手段は、上記送出手段よって取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記領域の境界をまたがったフィルタリング処理をオンにするとともに上記エラー強化ツールをオフにするような符号化条件を決定することが望ましい。

また、上記課題を解決するために、本発明の動画像符号化方法は、画像入力手段を用いて画像を入力する入力ステップと、上記画像入力ステップにおいて入力された上記画像を複数の領域に分割し、符号化に際して符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフしながら上記画像を符号化する画像符号化ステップと、上記画像符号化ステップにおいて符号化された圧縮データを送出手段から外部に送出するとともに、上記送出手段によって外部回線の伝送エラー率を取得する送出ステップと、上記送出ステップにおいて取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する回線判定ステップとを備え、上記画像符号化ステップは、上記回線判定ステップにおいて決定された上記符号化条件に従って上記画像の符号化を行い、上記符号化した圧縮データを上記送出手段に出力することを特徴としている。

上記回線判定ステップは、上記送出ステップにおいて取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするとともに上記領域の境界をまたがったフィルタリング処理をオンにするような符号化条件を決定することが望ましい。

また、上記課題を解決するために、本発明の動画像符号化プログラムは、コンピュータを、画像を入力する入力手段と、上記画像入力手段によって入力された上記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、上記画像符号化手段によって符号化された圧縮データを外部に送出するとともに外部回線の伝送エラー率を取得する送出手段と、上記送出手段よって取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするような符号化条件を決定する回線判定手段として機能させるプログラムであって、上記画像符号化手段は、上記回線判定手段によって決定された上記符号化条件に従って上記画像の符号化を行い、上記符号化した圧縮データを上記送出手段に出力することを特徴としている。

上記回線判定手段は、上記送出手段よって取得された外部回線の上記伝送エラー率に基づいて、上記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに上記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、上記第１モードと判定された場合は上記エラー強化ツールをオンにするとともに上記領域の境界をまたがったフィルタリング処理をオフにし、上記第２モードと判定された場合は上記エラー強化ツールをオフにするとともに上記領域の境界をまたがったフィルタリング処理をオンにするような符号化条件を決定することが望ましい。

このような構成とすることで、エラー耐性が必要な環境下（伝送エラー率が高いとき）ではエラー耐性能力を向上させ、エラー耐性が必要でない環境下（伝送エラー率が低いとき）では画質や符号化効率を向上させることができる

また、本発明の動画像符号化装置においては、上記エラー強化ツールとして、上記各領域を画像の走査順とは異なる順番で符号化するツールを用いることもでき、また、符号化手段によって符号化された圧縮データを二重化するツールを用いることもできる。

本発明によれば、映像通信端末の使用形態や使用目的に応じてエラー耐性のための符号化手段の使用・不使用が適切に判断されて符号化が行われるため、エラー耐性が必要な環境下ではエラー耐性能力が向上し、エラー耐性能力が必要でない環境下では画質や符号化効率が向上するという効果が得られる。

また、本発明によれば、映像符号化においてそれぞれの符号化手段が最適な組み合わせで使用されるよう制御して符号化するため、ループフィルタによるエラー耐性能力の低下及び、不要なエラー耐性能力による画質や符号化効率の低下を避けることができるという効果が得られる。

以下、本発明の実施の形態について、図３から図１２を用いて説明する。

（実施の形態１）
図３は本発明の第１実施の形態による動画像符号化装置のブロック図を示し、図３において、３０１は入力端子、３０２は画像入力器、３０３は判定器、３０４は符号化器、３０５は切り替えスイッチ、３０８は送出器、３０９は蓄積器、３１１は出力端子である。

以上のように構成された動画像符号化装置について、以下その動作を述べる。画像入力器３０２により動画像が取り込まれる。本実施の形態では、画像入力器としてビデオカメラが用いられるが、ビデオデッキやテレビに接続し、ビデオ信号を取り込める手段であってもよい。動画像が取り込まれると同時に、その画像信号が符号化器３０４にて圧縮符号化される。本実施の形態では、Ｈ．２６４を用いるが、Ｈ．２６３やＭＰＥＧ−４などそのほかの符号化器を用いてもよい。このように符号化された圧縮データは、切り替えスイッチ３０５を経由して送出器３０８や蓄積器３０９に送られる。本実施の形態では、ＩＭＴ−２０００に基づいた無線伝送方法を用いるが、それ以外の無線・有線の伝送方法を用いてもよい。蓄積器３０９として、端末の内部メモリや外部のメモリカードを用いるが、データを記録できる記録媒体であればなんでもよい。

スイッチ３０５は、符号化器３０４によって符号化された圧縮データを送出器３０８に送るか、もしくは蓄積器３０９に送るかによって切り替わる。スイッチ３０５の切り替えを制御するのは判定器３０３である。判定器３０３は、入力端子３０１からの入力に応じて図４に示す処理を行う。本実施の形態では、装置に備えるディスプレイ（図示されていない）に表示されるメニューの選択により入力端子３０１への入力信号が決定される。メニューとして、テレビ電話、ビデオ撮影、ビデオメールの選択があり、どれかが選択されることになる。このように選択されたメニューは使用モードの信号として判定器３０３に送られる。

図４は本実施の形態における第１判定方法の流れ図を示す。まずステップ４０１では、使用モードがユーザによって入力される。次にステップ４０２では、入力された使用モードに基づいて、蓄積型かもしくは伝送型かが決定される。ここでは、ビデオ撮影やビデオメールのように、符号化器３０４にて符号化された映像のデータを全部（当該映像の始まりから終わりまで）蓄積器３０９に蓄える場合を蓄積型という。一方、符号化器３０４にて符号化された映像を逐次に送出器３０８を経由して外部（無線網など）に伝送される場合を伝送型という。一般的には伝送型の場合でも符号化されたデータを部分的に、多重化・変調のためにバッファに一時的に蓄えた上で外部に伝送されるが、画像データを全部蓄積する蓄積型とは異なる。さて、ステップ４０２にて蓄積型となる場合ステップ４０３に進み、ステップ４０５にてエラー強化ツールを「オフ」とする符号化条件を判定器３０３から出力する。一方伝送型の場合、ステップ４０４に進み、ステップ４０５にてエラー強化ツールを「オン」とする符号化条件を判定器３０３から出力する。本実施の形態では、エラー強化ツールが「オン」のとき、下記に述べるいずれかの方法、またはそれぞれの組み合わせで符号化器３０４が符号化処理を行う。

図５は本実施の形態に用いられる第１のエラー強化ツールの模式図を示す。画像５０１を複数の１６×１６画素からなるマクロブロックに分割して、０、２、４、６、…の偶数番号のマクロブロックを１つのスライス５０２に並べ替えて符号化を行う。一方、１，３，５，…の奇数番号のマクロブロックもう１つのスライス５０３に並べ替えて符号化を行う。そのほかに、横１行のマクロブロックについて、１行目、３行目、５行目の奇数行のマクロブロックを１つのスライスグループとし、０行目、２行目、４行目の偶数行のマクロブロックをもう１つのスライスグループとして、マクロブロックを二つのスライスグループに並べ替えて符号化する方法もある。それ以外のルールに従いマクロブロックを並べ替えてもよい。

図６は本実施の形態に用いられる第２のエラー強化ツールの模式図を示す。画像６０１は６０２〜６０５の各領域（スライス）に分割され、それぞれのスライスを符号化する。このように符号化されたデータは、従来のように上から順番に送る代わりに、スライス６０４に対応するパケット６０６のデータを先に送り、次にスライス６０２に対応するパケット６０７のデータを送る、いわゆる任意スライス順番で伝送する。

図７は本実施の形態に用いられる第３のエラー強化ツールの模式図を示す。画像７０１は７０２〜７０５の各領域（スライス）に分割され、それぞれのスライスを符号化するが、伝送するときに、スライス７０２に対応するデータをパケット７０６ａとパケット７０６ｂの両方で同じデータを伝送する。すなわち、７０６ａにあるデータと７０６ｂにある画像の符号化データは同じである（パケットを区別するためのヘッダ情報は異なる）。同様にスライス７０３のデータをパケット７０７ａと７０７ｂで二重化し送る。

また、上記以外にエラー耐性を強化するための手法を用いることもできる。例えば、動きのデータと画像の変換係数のデータを分けて符号化するデータパーティションや適用的にリフレッシュを行う方法を用いてもよい。

一方、本実施の形態ではエラー強化ツールを「オフ」にするときは、図５から図７の処理を行わず、次のように符号化される。すなわち、マクロブロックを並べ替えずに走査順に符号化し、符号化されたスライスのデータを上から下に順番に並べる。またデータを二重化しない。

判定器３０３は上述の方法で判定を行い、その結果に応じた符号化条件をライン３１４ａ経由して符号化器３０４に送ると同時に、制御信号をライン３１４ｂ経由としてスイッチ３０５を制御する。蓄積型の場合スイッチ３０５を端子３０７に倒し、伝送型の場合、端子３０６に倒す。符号化器３０４は、蓄積型の場合にエラー強化ツールを「オフ」にして符号化し、伝送型の場合にエラー強化ツールを「オン」にして符号化を行う。このようにして、無線網など、エラーが生じやすい環境ではエラー耐性を強化してデータを伝送し、ビデオ撮影やビデオメールの場合エラー耐性を弱め画質重視し符号化を行うことができる。

図８は本実施の形態による第２判定方法の流れ図を示す。まずステップ８０１では、使用モードが入力される。次にステップ８０２では、入力された使用モードに基づいて、蓄積型かもしくは伝送型かが決定される。ステップ８０２にて蓄積型となる場合ステップ８０３に進み、ステップ８０５にて、エラー強化ツールを「オフ」かつスライスの境界をまたがるフィルタリングを「オン」とする符号化条件を判定器３０３から出力する。一方、伝送型の場合、ステップ８０４に進み、ステップ８０５にて、エラー強化ツールを「オン」かつスライス境界をまたがるフィルタリングを「オフ」とする符号化条件を判定器３０３から出力する。本実施の形態では、スライス境界をまたがるフィルタリングが「オン」のとき、下記に述べる方法で符号化器３０４が符号化処理を行う。

図９は本実施の形態におけるループ内フィルタの模式図を示す。ループ内フィルタは、後続する画像を符号化するための参照画像としてフレームメモリに格納する前に再生された現時刻の画像にフィルタをかけることをいう。ループ内フィルタはブロックの境界にかけてブロック歪を軽減する。画質向上するには、スライスの境界をまたがってフィルタをかけることが望ましい。図９の画像９０１は４つのスライス９０２〜９０５に分割されている。円形領域９２０を拡大したものが拡大円形領域９０６である。マクロブロック９０９にある画素９０７に垂直方向にフィルタをかけるにはマクロブロック９０９内にある画素９１３に加えて隣のスライスにある画素９１２をも用いる。同様に画素９０８に水平方向にフィルタをかけるには画素９１４に加えて隣のスライスにある画素９１５をも用いる。このような処理はスライス境界をまたがるフィルタという。一方、スライス境界をまたがらないフィルタは、スライス内にある画素だけでフィルタを行うことをいう。ここでは、処理の対象となる画素を含めて７つのタップのフィルタを用いるが、これに限ることではない。また一次元の分離フィルタを用いているが、２次元のフィルタを用いてもよい。

このようにして符号化された画像データは、次の特徴を有する。すなわち、エラー強化ツールを示すシンタクスが「オン」（本実施の形態では、ＩＴＵ−Ｔ勧告Ｈ．２６４のシンタクスであるｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１は０以外の値をとる）のときは、スライスをまたがるフィルタリングを示すシンタクスが「オフ」（本実施の形態では、ＩＴＵ−Ｔ勧告Ｈ．２６４のシンタクスであるｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃは０以外の値をとる）となる。また、スライスをまたがるフィルタリングを示すシンタクスが「オン」（本実施の形態では、ＩＴＵ−Ｔ勧告Ｈ．２６４のシンタクスであるｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃは０の値をとる）となるときは、エラー強化ツールを示すシンタクスが「オフ」（本実施の形態では、ＩＴＵ−Ｔ勧告Ｈ．２６４のシンタクスであるｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１は０の値をとる）となる。なお、本実施の形態では、エラー強化ツールを示すシンタクスが「オフ」のときに、スライスをまたがるフィルタリングを示すシンタクスが「オフ」または「オン」であってもよい。同様に、スライスをまたがるフィルタリングを示すシンタクスが「オフ」のときに、エラー強化ツールを示すシンタクスが「オフ」または「オン」であってもよい。

エラー強化ツールを「オン」にするのは、エラーが多く発生する環境にあり、パケットが紛失したり、エラーが生じたりすることになる。そのため、スライスをまたがるフィルタをかけることによりエラーが生じないパケットのデータも正しく再生できなくなるが、フィルタをかけないことによりエラーの生じないパケットのデータを正しく再生することができる効果がある。

（実施の形態２）
図１０は本発明の第２実施の形態による動画像符号化装置のブロック図を示す。図１０において、１００２は画像入力器、１００３は回線判定器、１００４は符号化器、１００８は送出器、１０１１は出力端子である。

以上のように構成された動画像符号化装置について、以下その動作を述べる。画像入力器３０２により動画像が取り込まれる。動画像が取り込まれると同時に、その画像信号が符号化器１００４にて圧縮符号化される。このように符号化された圧縮データは送出器１００８に送られ、出力端子１０１１を経由して外部の伝送網に伝送される。回線判定器１００３は、送出器１００８とのやり取りにより、外部網の伝送状況を把握する。具体的には回線を確立させる際に、送り先からの受信状況に関する返事を送ってもらい、回線状況を確認する。回線の状況に応じた符号化条件を決定し、その符号化条件に従い符号化器１００４にて画像の符号化を行う。本実施の形態における回線判定器１００３の処理は図１２に示す。基本的な処理は図８と同じである。ここでは判定条件としてステップ１２０２にて、回線のエラーレートを閾値と比較する。閾値を超える場合、エラーが多発としてステップ１２０４にてエラー強化ツールをオン、スライス境界をまたがるフィルタをオフにする。そうでない場合、ステップ１２０３に進み、エラー強化ツールをオフ、スライス境界をまたがるフィルタをオンにする。ここでは閾値として０．０００１を用いるが、それ以外の値を用いてもよい。また回線のエラーを測定する代わりに、ネットワークがベストエフォートかまたはレート保証型かによって符号化条件を決定してもよい。

このように、伝送網の状況に応じて符号化条件を決定し、符号化手段が最適な組み合わせで使用されるよう制御して符号化するため、ループフィルタによるエラー耐性能力の低下及び、不要なエラー耐性能力による画質や符号化効率の低下を避けることができるという効果が得られる。

図１１は、上記実施の形態１ないし２の符号化処理を、上記符号化プログラムを格納したフロッピー（登録商標）ディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。

図１１（ｂ）は、フロッピー（登録商標）ディスクの正面からみた外観、断面構造、及びフロッピー（登録商標）ディスクを示し、図１１（ａ）は、記録媒体本体であるフロッピー（登録商標）ディスクの物理フォーマットの例を示している。フロッピー（登録商標）ディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピー（登録商標）ディスクでは、上記フロッピー（登録商標）ディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。

また、図１１（ｃ）は、フロッピー（登録商標）ディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピー（登録商標）ディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフロッピー（登録商標）ディスクドライブを介して書き込む。また、フロッピー（登録商標）ディスク内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築する場合は、フロッピー（登録商標）ディスクドライブによりプログラムをフロッピー（登録商標）ディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、データ記録媒体としてフロッピー（登録商標）ディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

従来の技術に用いられる画像符号化のマクロブロック構造を示す模式図である。 従来の技術に用いられる画像符号化のスライス構造を示す模式図である。 本発明の第１実施の形態による動画像符号化装置を示すブロック図である。 本発明の第１実施の形態による動画像符号化装置における第１判定方法を示す流れ図である。 本発明の第１実施の形態に用いられる第１のエラー強化符号化方法を示す模式図である。 本発明の第１実施の形態に用いられる第２のエラー強化符号化方法を示す模式図である。 本発明の第１実施の形態に用いられる第３のエラー強化符号化方法を示す模式図である。 本発明の第１実施の形態による動画像符号化装置における第２判定方法を示す流れ図である。 本発明の第１実施の形態による動画像符号化装置におけるループ内フィルタを示す模式図である。 本発明の第２実施の形態による動画像符号化装置を示すブロック図である。 図１１（ａ），（ｂ），（ｃ）は、上記各実施の形態の動画像符号化及び復号化方法をコンピュータシステムにより実現するためのプログラムを格納するためのデータ記憶媒体について説明するための図である。 本発明の第２実施の形態による動画像符号化装置における判定方法を示す流れ図である。

符号の説明

３０１…入力端子、３０２…画像入力器、３０３…判定器、３０４…符号化器、３０５…切り替えスイッチ、３０８…送出器、３０９…蓄積器、３１１…出力端子。

Claims (8)

1. 画像を入力する入力手段と、
   前記画像入力手段によって入力された前記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、
   前記画像符号化手段によって符号化された圧縮データを外部に送出するとともに外部回線の伝送エラー率を取得する送出手段と、
   前記送出手段よって取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするような符号化条件を決定する回線判定手段とを備え、
   前記画像符号化手段は、前記回線判定手段によって決定された前記符号化条件に従って前記画像の符号化を行い、前記符号化した圧縮データを前記送出手段に出力する
   ことを特徴とする動画像符号化装置。
2. 前記回線判定手段は、
   前記送出手段よって取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにするとともに前記領域の境界をまたがったフィルタリング処理をオフにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするとともに前記領域の境界をまたがったフィルタリング処理をオンにするような符号化条件を決定する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記エラー強化ツールは、前記各領域を画像の走査順とは異なる順番で符号化するツールである
   ことを特徴とする請求項１又は２のいずれか１項に記載の動画像符号化装置。
4. 前記エラー強化ツールは、前記符号化手段によって符号化された圧縮データを二重化するツールである
   ことを特徴とする請求項１又は２のいずれか１項に記載の動画像符号化装置。
5. 画像入力手段を用いて画像を入力する入力ステップと、
   前記画像入力ステップにおいて入力された前記画像を複数の領域に分割し、符号化に際して符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフしながら前記画像を符号化する画像符号化ステップと、
   前記画像符号化ステップにおいて符号化された圧縮データを送出手段から外部に送出するとともに、前記送出手段によって外部回線の伝送エラー率を取得する送出ステップと、
   前記送出ステップにおいて取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするような符号化条件を決定する回線判定ステップとを備え、
   前記画像符号化ステップは、前記回線判定ステップにおいて決定された前記符号化条件に従って前記画像の符号化を行い、前記符号化した圧縮データを前記送出手段に出力する
   ことを特徴とする動画像符号化方法。
6. 前記回線判定ステップは、
   前記送出ステップにおいて取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにするとともに前記領域の境界をまたがったフィルタリング処理をオフにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするとともに前記領域の境界をまたがったフィルタリング処理をオンにするような符号化条件を決定する
   ことを特徴とする請求項５に記載の動画像符号化方法。
7. コンピュータを、
   画像を入力する入力手段と、
   前記画像入力手段によって入力された前記画像を複数の領域に分割して符号化するとともに、符号化に際して、符号化画像のエラー耐性を高めるエラー強化ツールを選択的にオン／オフする機能を有する画像符号化手段と、
   前記画像符号化手段によって符号化された圧縮データを外部に送出するとともに外部回線の伝送エラー率を取得する送出手段と、
   前記送出手段よって取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするような符号化条件を決定する回線判定手段として機能させるプログラムであって、
   前記画像符号化手段は、前記回線判定手段によって決定された前記符号化条件に従って前記画像の符号化を行い、前記符号化した圧縮データを前記送出手段に出力する
   ことを特徴とする動画像符号化プログラム。
8. 前記回線判定手段は、
   前記送出手段よって取得された外部回線の前記伝送エラー率に基づいて、前記伝送エラー率が所定の閾値を超えた場合は第１モードと判定するとともに前記伝送エラー率が所定の閾値以下となった場合は第２モードと判定し、前記第１モードと判定された場合は前記エラー強化ツールをオンにするとともに前記領域の境界をまたがったフィルタリング処理をオフにし、前記第２モードと判定された場合は前記エラー強化ツールをオフにするとともに前記領域の境界をまたがったフィルタリング処理をオンにするような符号化条件を決定する
   ことを特徴とする請求項7に記載の動画像符号化プログラム。

Images