JP2001103479A - 動画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 表示解像度の切替点で不自然な画面のフリー
ズやブラックアウトの発生を抑制する。 【解決手段】 高解像度と低解像度を同時に復号してお
き、エラーが発生しない領域は高解像度の復号結果を用
い、エラーが発生した領域は低解像度の復号結果を高解
像度に変換して表示を行う。エラーレートが高くなった
ときは、低解像度の復号結果だけを用いて表示を行い、
表示部の走査周波数を変更できる場合は、解像度変化は
行わずに走査周波数を下げて表示を行う。高解像度と低
解像度の再生には、同一の回路および共通のメモリを時
分割で用いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された動画
像を復号する際、復号エラーが表示画像に与える影響を
低減させる動画像復号装置に関する。

【０００２】

【従来の技術】従来、動画像の伝送には、ＮＴＳＣ方式
やＰＡＬ方式のように、動画像信号にアナログ変調をか
けるアナログ方式が用いられてきた。一方、近年にな
り、動画像をデジタルで扱いたいという要求が大きくな
ってきたが、動画像をデジタル化したときのデータ量は
膨大となるため、アナログ方式と同じ伝送帯域ではデジ
タル化した動画像を伝送できないことや、記録メディア
に要求される容量が膨大になるという問題が生じる。そ
こで、ＭＰＥＧ方式に代表されるデジタル動画像の符号
化技術を用いて伝送するデータ量を削減することが行わ
れている。

【０００３】ところで、動画像の伝送に無線を用いる場
合、ノイズの影響の大きさが伝送特性が時々刻々と変化
する。これは、送信側や受信側が移動していることが原
因であることもあるし、降雨によって電波の減衰量が変
化することが原因であることもある。また、蓄積メディ
アにおいても、メディアの経年変化や保存状態により、
読み出したときのノイズの影響の大きさが変化する。

【０００４】図７は、伝送路でノイズの影響を受ける場
合のアナログ方式とデジタル方式の復号画像の品質を示
した概念図である。アナログ方式は、ノイズレベルが低
い場合でも復号画像にノイズの影響が出るが、ノイズレ
ベルが高くなっても復号画像の内容がある程度判別でき
る。これに対し、デジタル方式は、ノイズレベルが低い
場合は誤り訂正符号によって誤りが訂正されてノイズの
影響を受けないが、ノイズレベルが高くなると誤りを訂
正しきれなくなり、復号画像の品質が低下する。誤り訂
正能力を上げた符号を用いることで、ノイズ耐性を強く
することができるが、このような符号は冗長度が大きい
ため、圧縮効率が低下することになる。

【０００５】そこで、デジタル方式で伝送を行う場合、
誤り訂正能力が異なる複数の誤り訂正符号を用いて同じ
コンテンツを伝送することや、エラーレートを低くした
いコンテンツには電力分布の集中している部分を用いて
伝送することが、特に放送の分野で行われている。前述
したように、誤り訂正能力が高い符号を用いると圧縮効
率が低下するため、誤り訂正能力が高い符号を用いる場
合は低解像度で表現したコンテンツを動画像符号化し、
誤り訂正能力が低い符号を用いる場合は高解像度で表現
したコンテンツを動画像符号化している。一般に、高解
像度の信号形式は、水平１９２０画素ｘ垂直１０８０画
素ｘフレームレート３０Ｈｚや水平７２０画素ｘ垂直４
８０画素ｘフレームレート３０Ｈｚで伝送し、低解像度
の信号形式は、水平３５２画素ｘ垂直２４０画素ｘフレ
ームレート３０Ｈｚや水平１７６画素ｘ垂直１２０画素
ｘフレームレート３０Ｈｚを用いる。

【０００６】受信側では高解像度および低解像度の伝送
エラーの頻度を常に監視し、伝送エラーの頻度が低い場
合は高解像度の符号化データを用いて復号・表示を行
い、伝送エラーの頻度が高い場合は低解像度の符号化デ
ータを用いて復号・表示を行う。誤り訂正部で検出した
エラーレートや動画像復号部で検出したエラーレート等
を用い、復号・表示を行う解像度の切替動作を行うこと
により、図７中の破線で示したようにアナログ方式に対
してノイズの影響が小さい復号画像を得ることができ
る。低解像度の再生画像は、表示部の走査周波数に合わ
せるために、サンプリングレート変換を行った後に表示
される。

【０００７】

【発明が解決しようとする課題】しかしながら、切替動
作を行う際のエラーレートの閾値の設定が低ければ、本
来、大部分の領域が高解像度データで復号・表示できる
にもかかわらず、低解像度で復号・再生を行うことにな
り、閾値の設定が高ければ、復号画像の大半がエラーに
より壊れているにもかかわらず、高解像度で復号・表示
を行うことになる。また、動き補償を用いた動画像符号
化方式を用いている場合、図８に示すように、高解像度
から低解像度への切替点で動き補償の参照画像が作成さ
れていないため、正常な復号を行うことができず、一時
的に画面のフリーズやブラックアウトが発生する。

【０００８】これを防ぐためには、常に高解像度と低解
像度の復号を行っている必要があるが、既存のシングル
ストリーム用の動画像復号化装置では、復号部を二重に
持つ必要があり、回路規模の増加が懸念される。また、
マルチストリーム用の動画像復号化装置は、同程度の解
像度の別々のコンテンツの動画像を復号することを目的
としており、一方の解像度が低い場合処理能力が余るこ
とと、高解像度側でエラーが発生した時に同時に復号し
ている低解像度側の復号結果からエラー補正を行うこと
ができなかった。

【０００９】更に、低解像度の動画像を高解像度に解像
度変換すると、動画像符号化によって発生した歪が、解
像度変換フィルタによって空間方向に広げられるため
に、不自然な再生画像が得られる。

【００１０】本発明は、上記の問題を解決するため、第
一に、エラーレートの変化による表示の切替が段階的に
行われることを目的とし、第二に、低解像度データの表
示に切り替わったときの表示画像の不自然さを低減する
ことを目的とし、第三に、本方式を用いた時の回路規模
の増加を抑えることを目的とする。

【００１１】

【課題を解決するための手段】本発明の第一の発明で
は、低い解像度と高い解像度で符号化し、同時に送られ
てくる符号化データに対し、低い解像度の符号化データ
と高い解像度の符号化データの両方を同時に復号し、高
い解像度の符号化データの復号中に復号エラーが発生
し、画面上の同一の位置において、低い解像度の復号に
エラーが発生しない場合、エラーの影響がある高い解像
度の復号画像を低い解像度の復号画像を補正して置き換
え、表示を行う。

【００１２】本発明の第二の発明では、高い解像度の復
号エラーの頻度が高い場合、低い解像度の復号画像だけ
を用いて表示を行い、高い解像度の復号エラーの頻度が
低い場合、高い解像度の復号画像に低い解像度の復号画
像を補正して置き換えて表示を行う。

【００１３】動画像符号化に動き補償を用いている場合
に対し、本発明の第三の発明では、高い解像度の符号化
データの復号中に復号エラーが発生した画面が次以降の
復号の参照画像として用いられる場合、エラーの影響が
ある高い解像度の復号画像を低い解像度の復号画像を補
正して置き換え、次以降の復号の参照画像として用い
る。

【００１４】本発明の第四の発明では、低い解像度の復
号画像だけを用いて表示を行う場合、表示部の走査周波
数を低い解像度用に切り替えて表示を行う。

【００１５】本発明の第五の発明では、高い解像度の符
号化データの復号部と低い解像度の符号化データの復号
部を同一の回路および共通のメモリを用いて時分割処理
することにより、エラー耐性を高めるために常に二重化
して復号を行う際の回路規模の増加を抑える。

【００１６】

【発明の実施の形態】本発明の第一の実施形態を図１に
示す。符号化データ１０１は符号化データ分離部１０２
に入力され、高い解像度の符号化データ１０３が高解像
度符号化データ復号部１０５に、低い解像度の符号化デ
ータ１０４が低解像度符号化データ復号部１０６に分離
して出力する。高解像度符号化データ復号部１０５では
高い解像度の符号化データ１０３を復号し、高解像度復
号結果１０７と高解像度復号エラー情報１０８をエラー
補正部１１１に出力する。低解像度符号化データ復号部
１０６では低い解像度の符号化データ１０４を復号し、
低解像度復号結果１０９と低解像度復号エラー情報１１
０をエラー補正部１１１に出力する。エラー補正部１１
１では、高解像度復号エラー情報１０８が有効である場
合、該当領域およびその周辺の低解像度復号エラー情報
１１０を参照し、復号エラー情報が無効である場合、低
解像度復号結果１０９を補正して高解像度の復号画像１
１２を出力する。

【００１７】エラー補正部１１１での再構成の例を図２
示す。高解像度復号結果２０１中には、エラーなしで復
号された画素２０２とエラーで復号できなかった領域２
０３が存在する。また、低解像度復号結果２０４は全て
エラーなしで復号が行われ、高解像度のエラー補正に用
いない画素２０５とエラー補正に用いる画素２０６が存
在する。エラー補正部１１１では、エラー補正に用いる
画素２０６に対し解像度変換を行い、高解像度の補正画
素２０７を作成する。高解像度の補正画素２０７は、高
解像度復号結果２０１中のエラーで復号できなかった領
域２０３に貼り付けられる。

【００１８】解像度変換処理には線形フィルタを用いて
も良いし、画像のエッジ等を検出して非線型処理を行う
非線型フィルタを用いても良い。また、高解像度のエラ
ーなしで復号された画素２０２と低解像度復号結果より
作成した補正画素２０７の境界の不自然さを低減するた
め、境界だけにフィルタをかけても良い。

【００１９】本発明の第二の実施形態を図３に示す。符
号化データ３０１は符号化データ分離部３０２に入力さ
れ、高い解像度の符号化データ３０３が高解像度符号化
データ復号部３０５に、低い解像度の符号化データ３０
４が低解像度符号化データ復号部３０６に分離して出力
する。高解像度符号化データ復号部３０５では高い解像
度の符号化データ３０３を復号し、高解像度復号結果３
０７をエラー補正部３１１に、高解像度復号エラー情報
３０８をエラー補正部３１１およびエラーレート判定部
３１３に出力する。低解像度符号化データ復号部３０６
では低い解像度の符号化データ３０４を復号し、低解像
度復号結果３０９ををエラー補正部３１１に、低解像度
復号エラー情報３１０をエラー補正部３１１およびエラ
ーレート判定部３１３に出力する。エラーレート判定部
３１３では、高解像度復号エラー情報３０８と低解像度
復号エラー情報３１０から各々のエラーレートを求め、
高解像度のエラーレートが閾値を超えた時点で、低解像
度使用信号３１４をエラー補正部３１１に出力する。エ
ラー補正部３１１では、低解像度使用信号３１４が無効
の場合、高解像度復号エラー情報３０８が有効であれ
ば、該当領域およびその周辺の低解像度復号エラー情報
３１０を参照し、低解像度の復号エラー情報が無効であ
れば、低解像度復号結果３０９を補正して高解像度の復
号画像３１２を出力する。低解像度使用信号３１４が有
効の場合、全ての低解像度復号結果３０９に補正して高
解像度の復号画像３１２を出力する。

【００２０】本発明の第三の実施形態を図４に示す。符
号化データ４０１は符号化データ分離部４０２に入力さ
れ、高い解像度の符号化データ４０３が高解像度符号化
データ復号部４０５に、低い解像度の符号化データ４０
４が低解像度符号化データ復号部４０６に分離して出力
する。高解像度符号化データ復号部４０５では、高解像
度復号用参照画像メモリ４１５から出力される高解像度
参照画像データ４１３を用いて高い解像度の符号化デー
タ４０３を復号し、高解像度復号結果４０７と高解像度
復号エラー情報４０８をエラー補正部４１１に出力す
る。低解像度符号化データ復号部４０６では、低解像度
復号用参照画像メモリ４１６から出力される低解像度参
照画像データ４１４を用いて低い解像度の符号化データ
４０４を復号し、低解像度復号結果４０９と低解像度復
号エラー情報４１０をエラー補正部４１１に出力する。
次の参照画像として用いられる低解像度復号結果４０９
は、低解像度復号用参照画像メモリ４１６に保存され
る。エラー補正部４１１では、高解像度復号エラー情報
４０８が有効の場合、該当領域およびその周辺の低解像
度復号エラー情報４１０を参照し、復号エラー情報が無
効であれば、低解像度復号結果４０９を補正して高解像
度の復号画像４１２を出力する。次の参照画像として用
いられる高解像度の復号画像４１２は、高解像度復号用
参照画像メモリ４１５に保存される。

【００２１】本実施形態の別の動作としては、エラー発
生時に、高解像度符号化データ復号部４０５が高解像度
復号用参照画像メモリ４１５よりエラー発生領域と同じ
位置の高解像度参照画像データ４１３を読み出して置き
換えることによりあらかじめエラーコンシールメントを
行って高解像度復号結果４０７をエラー補正部４１１に
出力する場合と、エラーコンシールメントを行わずに高
解像度復号結果４０７と高解像度復号エラー情報４０８
をエラー補正部４１１に出力する場合を、エラーの頻
度、領域の大きさやエラーのない周辺領域の動き量に応
じて切り替えることも可能である。

【００２２】本発明の第四の実施形態を図５に示す。符
号化データ５０１は符号化データ分離部５０２に入力さ
れ、高い解像度の符号化データ５０３が高解像度符号化
データ復号部５０５に、低い解像度の符号化データ５０
４が低解像度符号化データ復号部５０６に分離して出力
する。高解像度符号化データ復号部５０５では高い解像
度の符号化データ５０３を復号し、高解像度復号結果５
０７をエラー補正部５１１に、高解像度復号エラー情報
５０８をエラー補正部５１１およびエラーレート判定部
５１３に出力する。低解像度符号化データ復号部５０６
では低い解像度の符号化データ５０４を復号し、低解像
度復号結果５０９ををエラー補正部５１１に、低解像度
復号エラー情報５１０をエラー補正部５１１およびエラ
ーレート判定部５１３に出力する。エラーレート判定部
５１３では、高解像度復号エラー情報５０８と低解像度
復号エラー情報５１０から各々のエラーレートを求め、
高解像度のエラーレートが閾値を超えた時点で、低解像
度使用信号５１４をエラー補正部５１１および表示部５
１５に出力する。エラー補正部５１１では、低解像度使
用信号５１４が無効の場合、高解像度復号エラー情報５
０８が有効であれば、該当領域およびその周辺の低解像
度復号エラー情報５１０を参照し、低解像度の復号エラ
ー情報が無効であれば、低解像度復号結果５０９を補正
して高解像度の復号画像５１２を表示部５１５に出力す
る。低解像度使用信号５１４が有効の場合、全ての低解
像度復号結果５０９をそのまま復号画像５１２として表
示部５１５に出力する。表示部５１５では、低解像度使
用信号５１４に従って走査周波数を変更して表示を行
う。

【００２３】本発明の第五の実施形態を図６に示す。符
号化データ分離部６０２、符号化データ復号部６１１、
エラー補正部６１４およびメモリ部６０４で構成され
る。メモリ部６０４は論理的に、高解像度符号化データ
メモリ６２０、低解像度符号化データメモリ６２１、高
解像度参照画像メモリ６２２、低解像度参照画像メモリ
６２３、高解像度エラー補正用メモリ６２４および低解
像度エラー補正用メモリ６２５に分割されて使用され
る。また、符号化データ復号部６１１は、高解像度デー
タの復号と低解像度データの復号を交互に繰り返す。以
下、具体的な動作を説明する。

【００２４】符号化データ６０１は符号化データ分離部
６０２に入力され、高い解像度の符号化データと低い解
像度の符号化データに分離され、高い解像度の符号化デ
ータ６０６がメモリバス６０５を通して高解像度符号化
データメモリ６２０に書きこまれ、低い解像度の符号化
データ６０７がメモリバス６０５を通して低解像度符号
化データメモリ６２１に書きこまれる。符号化データ復
号部６１１では、高解像度データの復号と低解像度デー
タの復号を交互に行っている。高解像度データの復号時
は、高解像度符号化データメモリ６２０から高解像度符
号化データ６０８を読み出し、必要に応じて高解像度参
照画像メモリ６２２から高解像度参照画像６０９を読み
出して復号を行い、復号結果６１３、エラー情報６１２
および復号解像度情報６０３をエラー補正部に出力す
る。低解像度データの復号時は、低解像度符号化データ
メモリ６２１から低解像度符号化データ６１０を読み出
し、必要に応じて低解像度参照画像メモリ６２３から低
解像度参照画像６２６を読み出して復号を行い、復号結
果６１３、エラー情報６１２および復号解像度情報６０
３をエラー補正部に出力し、必要に応じ復号結果６１３
を低解像度参照画像メモリ６２３に書きこむ。エラー補
正部６１４では、復号解像度情報６０３を参照し、高解
像度の復号中の場合は復号結果６１３を高解像度補正前
データ６１５を高解像度エラー補正用メモリ６２４に出
力し、低解像度の復号中の場合は復号結果６１３を低解
像度補正前データ６１７を低解像度エラー補正用メモリ
６２５に出力すると共に、エラー情報６１２を内部に蓄
積する。両者の復号結果が揃った後、高解像度の復号結
果の一部にエラーが発生している場合、エラーが発生し
ていない部分は高解像度エラー補正用メモリ６２４から
高解像度補正用データ６１６を読み出して再生画像６１
９を出力し、エラーが発生している部分は低解像度エラ
ー補正用メモリ６２５から低解像度補正用データ６１８
を読み出し、解像度変換を行った後に再生画像６１９を
出力する。また、後で参照画像として用いられる場合、
再生画像６１９は高解像度参照画像メモリ６２２に書き
こまれる。

【００２５】

【発明の効果】以上説明したように本発明によれば、同
一内容の動画像を、低い解像度と高い解像度で符号化
し、あらかじめ記録したものを同時に再生、または同時
に伝送される符号化データを復号する動画像復号装置お
よび方法で、高解像度データの復号時に一部の領域にエ
ラーを検出したときに、エラー領域に対して同時に復号
していた低解像度データを用いてエラー補正を行うこと
が可能になる。エラーレートが時間とともに変化してエ
ラーの頻度が急激に悪化した場合でも、同時に再生を行
っている低解像度データを用いて連続的に表示を切り替
えることが可能になり、画面のフリーズやブラックアウ
トを防ぐことができる。

【００２６】更に、低解像度データのみを表示する場合
に表示部の走査周波数を下げることにより、解像度変換
のための補間フィルタによる符号化ノイズの拡大を防ぐ
ことが可能になる。

【００２７】また、復号部の性能を多少上げることによ
り、高解像度データの復号部と低解像度データの復号部
の共用が可能になり、エラー耐性を強めた動画像復号装
置の回路規模の増加を抑えることができる。

【図面の簡単な説明】

【図１】本発明の第一実施形態の構成を示すブロック
図。

【図２】本発明の第一の実施形態におけるエラー補正部
の動作概要を説明する図。

【図３】本発明の第二の実施形態の構成を示すブロック
図。

【図４】本発明の第三の実施形態の構成を示すブロック
図。

【図５】本発明の第四の実施形態の構成を示すブロック
図。

【図６】本発明の第五の実施形態の構成を示すブロック
図。

【図７】従来のアナログ方式とデジタル方式のエラーに
対する耐性を説明する概念図。

【図８】従来例において解像度切替点での表示が行われ
ない期間を説明する図。

【符号の説明】

１０１，３０１，４０１，５０１，６０１ 符号化デー
タ １０２，３０２，４０２，５０２，６０２ 符号化デー
タ分離部 １０３，３０３，４０３，５０３ 高い解像度の符号化
データ １０４，３０４，４０４，５０４ 低い解像度の符号化
データ １０５，３０５，４０５，５０５ 高解像度符号化デー
タ復号部 １０６，３０６，４０６，５０６ 低解像度符号化デー
タ復号部 １０７，３０７，４０７，５０７ 高解像度復号結果 １０８，３０８，４０８，５０８ 高解像度復号エラー
情報 １０９，３０９，４０９，５０９ 低解像度復号結果 １１０，３１０，４１０，５１０ 低解像度復号エラー
情報 １１１，３１１，４１１，５１１，６１４ エラー補正
部 １１２，３１２，４１２，５１２ 復号画像 ３１３，５１３ エラーレート判定部 ３１４，５１４ 低解像度使用信号 ４１３ 高解像度参照画像データ ４１４ 低解像度参照画像データ ４１５ 高解像度復号用参照画像メモリ ４１６ 低解像度復号用参照画像メモリ ５１５ 表示部 ６０３ 復号解像度情報 ６０４ メモリ部 ６０５ メモリバス ６０６ 高い解像度の符号化データ ６０７ 低い解像度の符号化データ ６０８ 高解像度符号化データ ６０９ 高解像度参照画像 ６１０ 低解像度符号化データ ６１１ 符号化データ復号部 ６１２ エラー情報 ６１３ 復号結果 ６１５ 高解像度補正前データ ６１６ 高解像度補正用データ ６１７ 低解像度補正前データ ６１８ 低解像度補正用データ ６１９ 再生画像 ６２０ 高解像度符号化データメモリ ６２１ 低解像度符号化データメモリ ６２２ 高解像度参照画像メモリ ６２３ 低解像度参照画像メモリ ６２４ 高解像度エラー補正用メモリ ６２５ 低解像度エラー補正用メモリ ６２６ 低解像度参照画像

Claims (5)

【特許請求の範囲】
1. 【請求項１】 同一内容の動画像を、低い解像度と高い
   解像度で符号化し、あらかじめ記録したものを同時に再
   生、または同時に伝送される符号化データを復号する動
   画像復号装置および方法において、多重された低い解像
   度の符号化データと高い解像度の符号化データを分離す
   る分離部を持ち、低い解像度の符号化データと高い解像
   度の符号化データの両方を同時に復号し、高い解像度の
   符号化データの復号中に復号エラーが発生し、画面上の
   同一の位置において、低い解像度の復号にエラーが発生
   しない場合、エラーの影響がある高い解像度の復号画像
   を低い解像度の復号画像を補正して置き換え、表示を行
   うことを特徴とする動画像復号装置。
2. 【請求項２】 請求項１記載の動画像復号装置および方
   法において、高い解像度の復号エラーの頻度が高い場
   合、低い解像度の復号画像だけを用いて表示を行い、高
   い解像度の復号エラーの頻度が低い場合、高い解像度の
   復号画像に低い解像度の復号画像を補正して置き換えて
   表示を行うことを特徴とする動画像復号装置。
3. 【請求項３】 動き補償を用いた動画像符号化方式を用
   いた請求項１および請求項２記載の動画像復号装置およ
   び方法において、高い解像度の符号化データの復号中に
   復号エラーが発生した画面が次以降の復号の参照画像と
   して用いられる場合、エラーの影響がある高い解像度の
   復号画像を低い解像度の復号画像を補正して置き換え、
   次以降の復号の参照画像として用いることを特徴とする
   動画像復号装置。
4. 【請求項４】 請求項２および請求項３記載の動画像復
   号装置で低い解像度の復号画像だけを用いて表示を行う
   場合、表示部の走査周波数を低い解像度用に切り替えて
   表示を行うことを特徴とする動画像復号装置。
5. 【請求項５】 請求項１、請求項２、請求項３および請
   求項４のいずれかに記載の動画像復号装置において、高
   い解像度の符号化データの復号部と低い解像度の符号化
   データの復号部を同一の回路および共通のメモリを用い
   て時分割処理することを特徴とする動画像復号装置。