JP2010074705A - トランスコーディング装置 - Google Patents

Abstract

【課題】メモリアクセスの負荷を軽減する。
【解決手段】トランスコーディング装置１は、デコーダ部１０、エンコーダ部２０、外部メモリアクセスユニット３０、４０を含む。デコーダ部１０はデコーダ１１、逆量子化器・逆変換器１２、動き補償ユニット１３を含み、エンコーダ部２０は動き補償ユニット２２、変換器・量子化器２３、逆量子化器・逆変換器２４、エンコーダ２６を含み、ユニット３０、４０は減算器３４と加算器３３を含む。減算器３４にデコーダ部１０の第１復号画像信号９０１とエンコーダ部２０の第２復号画像信号９１１とが供給され、減算器３４の出力の差分値９１２が外部メモリ５に格納される。加算器３３にデコーダ部１０の第１参照画像信号９０３と外部メモリ５からの差分情報９２１とが供給され、加算器３３の出力の加算値が第２参照画像信号９２３としてエンコーダ部２０の動き補償ユニット２２に供給される。
【選択図】図１

Description

本発明は、動画符号化入力ビットストリームのフォーマットを異なるフォーマットに変換して動画符号化出力ビットストリームを生成するトランスコーディング装置に関するもので、特にメモリアクセスの負荷を軽減するのに好適な技術に関する。

動画像符号化方式としては、現在ＭＰＥＧによるＭＰＥＧ−２やＭＰＥＧ−４による動画像符号化方式が世界的に普及している。ＩＴＵ−Ｔの勧告Ｈ．２６４として承認されるとともにＩＳＯ／ＩＥＣによって国際基準１４４９６―１０(ＭＰＥＧ ｐａｒｔ １０) Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ(ＡＶＣ)として承認されたＨ．２６４／ＡＶＣが最新の国際標準のビデオ符号化である。尚、ＭＰＥＧは、Moving Picture Expert Groupの略である。また、ＩＴＵ−Ｔは、International Telecommunication Union、 Telecommunication Standardization Sectorの略である。尚ＩＳＯ／ＩＥＣは、International Organization for Standardization/ International Electrotechnical Commissionの略である。

勧告Ｈ．２６４／ＡＶＣによるビデオコーディングは、ビデオコーディング層(Video Coding Layer)と、ネットワーク抽象層(Network Abstraction Layer)とから構成されている。尚、ビデオコーディング層はビデオコンテキストを有効に表現するように設計されたものであり、ネットワーク抽象層はビデオのＶＣＬ表現をフォーマットするとともに種々の転送層や記憶媒体による転送のために適切な方法でのヘッダ情報を与えるものである。

また、Ｈ．２６４／ＡＶＣによるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っている。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは輝度成分で１６×１６サンプルの四角形ピクチャー領域とそれに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。

また、下記非特許文献１には、ＭＰＥＧ２動画信号のビットストリームを異なるビットレート、レベルもしくはプロファイルにトランスコーディングすることが記載されている。更に、下記非特許文献１には、トランスコーディングのためのトランスコーダーは、２種類存在することも記載されている。１種類目は、デコーダとエンコーダとのカスケード接続により構成されたフル(完全)トランスコーダーである。前段のデコーダは、可変長デコーダ(ＶＬＤ)、逆量子化器(ＩＱ)、逆離散コサイン変換器(ＩＤＣＴ)、デコーダ予測ループで構成されている。後段のエンコーダは、エンコーダ予測ループ、離散コサイン変換器(ＤＣＴ)、量子化器(Ｑ)、逆量子化器(ＩＱ)、逆離散コサイン変換器(ＩＤＣＴ)、可変長エンコーダ(ＶＬＣ)から構成されている。２種類目は、１種類目のフル(完全)トランスコーダーから逆離散コサイン変換器(ＩＤＣＴ)と離散コサイン変換器(ＤＣＴ)とエンコーダ予測ループとデコーダ予測ループとが省略されたドリフティー(漂流性)トランスコーダーである。

更に、下記非特許文献２には、ディジタルＴＶ、ＤＶＤ、ＨＤＴＶで広く使用されているＭＰＥＧ−２による圧縮映像をより良好なＨ．２６４標準のフォーマットにトランスコードすることが記載されている。Ｈ．２６４はＭＰＥＧ−２には含まれていなかったイントラ予測を可能とし、イントラ予測は遅い動きで高い空間的相関によりマクロブロックの大きなビット節約が可能となる。ＭＰＥＧ−２のビットストリームからＨ．２６４のビットストリームへのトランスコーディングは、カスケーディッドクローズドループトランスコーディングアーキテクチャーにより可能である。このアーキテクチャーの前段は、可変長デコーダ(ＶＬＤ)、逆量子化器(Ｑ^−１)、逆離散コサイン変換器(ＤＣＴ^−１)、ＭＰＥＧ−２動き補償ループで構成されている。アーキテクチャーの後段は、Ｈ．２６４整数変換器(ＨＴ)、量子化器(Ｑ)、逆量子化器(Ｑ^−１)、Ｈ．２６４整数逆変換器(ＨＴ^−１)、Ｈ．２６４動き補償ループで構成されている。

また、下記非特許文献３には、下記非特許文献２に記載されたトランスコーディングアーキテクチャーと同一のアーキテクチャーがインター・フレームに使用されることが記載されている。また、この下記非特許文献３には、イントラ・フレームに使用されるトランスコーディングアーキテクチャーも記載されている。イントラ・フレームに使用されるアーキテクチャーの可変長デコーダ(ＶＬＤ)、逆量子化器(Ｑ^−１)、逆離散コサイン変換器(ＤＣＴ^−１)で構成されている。アーキテクチャーの後段は、Ｈ．２６４整数変換器(ＨＴ)、量子化器(Ｑ)、逆量子化器(Ｑ^−１)、Ｈ．２６４整数逆変換器(ＨＴ^−１)、ピクセルバッファ、イントラ予測部で構成されている。

Ｍｉｋｅ Ｋｎｅｅ ｅｔ ａｌ、 "ＳＥＡＭＬＥＳＳ ＣＯＮＣＡＴＥＮＡＴＩＯＮ−Ａ ２１ｓｔ ＣＥＮＴＵＲＹ ＤＲＥＡＭ"，ｈｔｔｐ：／／ｗｗｗ．ｂｂｃ．ｃｏ．ｕｋ／ａｔｌａｎｔｉｃ／ｐｄｆ−ｆｉｌｅｓ／ｍｏｎｔｐａｐ．ｐｄｆ[平成１９年２月１５日検索] Ｔｕａｎｊｉｅ Ｑｉａｎ ｅｔ ａｌ， "Ｔｒａｓｆｏｒｍ Ｄｏｍａｉｎ Ｔｒａｎｓｃｏｒｄｉｎｇ Ｆｒｏｍ ＭＰＥＧ−２ ｔｏ Ｈ．２６４ Ｗｉｔｈ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｄｒｉｆｔ−Ｅｒｒｏｒ Ｃｏｍｐｅｎｓａｔｉｏｎ"， ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ、 ＶＯＬ．１６， ＮＯ．４， ＡＰＲＩＬ ２００６， ＰＰ．５２３−５３４． Ｔｕａｎｊｉｅ Ｑｉａｎ ｅｔ ａｌ， "Ｔｒａｓｆｏｒｍ Ｄｏｍａｉｎ Ｔｒａｎｓｃｏｒｄｉｎｇ Ｆｒｏｍ ＭＰＥＧ−２ ｔｏ Ｈ．２６４ Ｗｉｔｈ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｄｒｉｆｔ Ｅｒｒｏｒ Ｃｏｍｐｅｎｓａｔｉｏｎ"， Ｐｒｏｃ． ＩＥＥＥ Ｗｏｒｋｓｈｏｐ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ． Ｓｙｓｔ． (ＳＩＰＳ)、 Ｎｏｖ． ２００５， ＰＰ．６３５−６４０．

本発明者等は本発明に先立って、ディジタル放送のハードディスク記録装置への長時間を可能とするためディジタル放送によって受信したＨＤＴＶ(高精細テレビジョン)のＭＰＥＧ２動画符号化入力ビットストリームをＨ．２６４標準のフォーマットに変換するためのトランスコードＬＳＩの研究・開発に従事した。

ＮＴＳＣ方式の標準アナログテレビジョン放送と比較してＨＤＴＶのＭＰＥＧ２動画符号化入力ビットストリーム方式のディジタルテレビジョン放送をＨ．２６４標準のフォーマットに変換するためのトランスコードＬＳＩは、上記非特許文献１に記載の前段のデコーダと後段のエンコーダとのカスケード接続によって構成されることができる。

しかし、実際のトランスコードＬＳＩでは、前段のデコーダによる外部メモリのメモリアクセスと後段のエンコーダによる外部メモリのメモリアクセスとが必要であり、メモリアクセスの負荷が大きいことが明らかとされた。前段のデコーダと後段のエンコーダとで、それぞれ動き補償が必要であるので、動き補償用の復号画像信号の外部メモリの格納と動き補償用の参照画像信号の外部メモリからの読み出しとが必要となる。このように、トランスコードＬＳＩでは、前段のデコーダと後段のエンコーダの２個所で外部メモリの格納・読み出しが実行されると伴にＨＤＴＶ方式のＭＰＥＧ２動画符号化信号であるため、メモリアクセスの負荷が極めて大きいことが明らかとされた。

本発明は、以上のような本発明に先立った本発明者等の検討の結果、なされたものである。

従って、本発明の目的とするところは、トランスコーディングに際して、メモリアクセスの負荷を軽減することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。

すなわち、本発明の代表的なトランスコーディング装置(１)は、動画符号化入力ビットストリーム(９００)が供給されるデコーダ部(１０)と、前記デコーダ部の出力信号が供給され動画符号化出力ビットストリーム(９９０)を生成するエンコーダ部(２０)と、外部メモリ(５)と接続可能な外部メモリアクセスユニット(３０、４０)とを含む。

前記デコーダ部(１０)は、デコーダ(１１)、第１逆量子化器・逆変換器(１２)、第１動き補償ユニット(１３)を含む。前記エンコーダ部(２０)は、第２動き補償ユニット(２２)、変換器・量子化器(２３)、第２逆量子化器・逆変換器(２４)、エンコーダ(２６)を含む。前記外部メモリアクセスユニット(３０、４０)は、減算器(３４)と加算器(３３)とを含む。

前記減算器(３４)に前記デコーダ部(１０)の第１復号画像信号(９０１)と前記エンコーダ部(２０)の第２復号画像信号(９１１)とがそれぞれ供給され、前記減算器(３４)の出力から差分値(９１２)が生成され前記外部メモリ(５)には格納可能とされる。前記加算器(３３)に前記デコーダ部(１０)の第１参照画像信号(９０３)と前記外部メモリ(５)から読み出される差分復号画像情報(９１３、９２０、９２１)とが供給され、前記加算器(３３)の出力からの加算値が第２参照画像信号(９２３)として、前記エンコーダ部(２０)の前記第２動き補償ユニット(２２)に供給されることを特徴とする(図１、図２参照)。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。すなわち、トランスコーディングに際して、メモリアクセスの負荷を軽減することができる。

《代表的な実施の形態》
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態による動画符号化入力ビットストリームのフォーマットを異なるフォーマットに変換して動画符号化出力ビットストリームを生成することが可能なトランスコーディング装置(１)は、前記動画符号化入力ビットストリーム(９００)が供給されるデコーダ部(１０)と、前記デコーダ部の出力信号が供給されることにより前記動画符号化出力ビットストリーム(９９０)を生成するエンコーダ部(２０)とを含む。

前記デコーダ部(１０)は、デコーダ(１１)と、第１逆量子化器・逆変換器(１２)と、第１動き補償ユニット(１３)とを含むものである。前記デコーダ(１１)の入力に前記動画符号化入力ビットストリーム(９００)が供給され、前記デコーダ(１１)の出力は前記第１逆量子化器・逆変換器(１２)の入力に供給される。前記第１逆量子化器・逆変換器(１２)の出力は前記第１動き補償ユニット(１３)の入力に供給され、前記第１動き補償ユニット(１３)は第１参照画像信号(９０３)と前記第１逆量子化器・逆変換器(１２)の前記出力から第１復号画像信号(９０１)を生成する。

前記エンコーダ部(２０)は、第２動き補償ユニット(２２)と、変換器・量子化器(２３)と、第２逆量子化器・逆変換器(２４)と、エンコーダ(２６)とを含むものである。前記第２動き補償ユニット(２２)は第２参照画像信号(９２３)と前記デコーダ部(１０)の出力から生成される前記第１復号画像信号(９０１)とから出力を生成して、前記変換器・量子化器(２３)の入力に前記第２動き補償ユニット(２２)の前記出力が供給される。前記エンコーダ(２６)の入力に前記変換器・量子化器(２３)の出力が供給され、前記エンコーダ(２６)の出力から前記動画符号化出力ビットストリーム(９９０)が生成される。前記第２逆量子化器・逆変換器(２４)の入力に前記変換器・量子化器(２３)の出力が供給され、前記第２逆量子化器・逆変換器(２４)の出力から第２復号画像信号(９１１)が生成される。

前記トランスコーディング装置(１)は、外部メモリ(５)と接続可能に構成された外部メモリアクセスユニット(３０、４０)を更に具備する。前記外部メモリアクセスユニット(３０、４０)は、減算器(３４)と加算器(３３)とを含む。

前記外部メモリアクセスユニット(３０、４０)の前記減算器(３４)の第１入力端子と第２入力端子とに前記デコーダ部(１０)からの前記第１復号画像信号(９０１)と前記エンコーダ部(２０)からの前記第２復号画像信号(９１１)とがそれぞれ供給されて、前記減算器(３４)の出力端子から前記第１復号画像信号(９０１)と前記第２復号画像信号(９１１)との差分値(９１２)が生成される。前記外部メモリ(５)には前記差分値(９１２)に関係した差分復号画像情報(９１３)が格納可能とされ、前記外部メモリ(５)から前記差分復号画像情報(９１３、９２０、９２１)が読み出し可能とされている。

前記外部メモリアクセスユニット(３０、４０)の前記加算器(３３)の第１入力端子と第２入力端子とに前記デコーダ部(１０)のための前記第１参照画像信号(９０３)と前記外部メモリ(５)から読み出される前記差分復号画像情報(９１３、９２０、９２１)とがそれぞれ供給されて、前記加算器(３３)の出力端子から前記第１参照画像信号(９０３)と前記差分復号画像情報(９１３、９２０、９２１)との加算値が生成される。前記加算器(３３)の前記出力端子から生成される前記加算値は、前記第２参照画像信号(９２３)として、前記エンコーダ部(２０)の前記第２動き補償ユニット(２２)に供給されることを特徴とする(図１、図２参照)。

前記実施の形態によれば、前記外部メモリアクセスユニット(３０、４０)を介して前記外部メモリ(５)に格納され読み出される情報は前記減算器(３４)の出力から生成される前記第１復号画像信号(９０１)と前記第２復号画像信号(９１１)との差分値(９１２)となる。前記トランスコーディング装置(１)では前段の前記デコーダ部(１０)からの前記第１復号画像信号(９０１)と後段の前記エンコーダ部(２０)からの前記第２復号画像信号(９１１)とは同一フレームの同一座標の画素に関するものであるので、この両復号画像信号(９０１、９０２)の類似性は極めて高くなるものである。従って、両復号画像信号(９０１、９０２)の各データ量と比較すると、類似性の極めて高い両復号画像信号(９０１、９０２)が供給される前記減算器(３４)の出力からの差分値(９１２)のデータ量は極めて小さな値となる。このデータ量の極めて小さな差分値(９１２)に関係した差分復号画像情報(９１３)が前記外部メモリ(５)に格納されるので、前記トランスコーディング装置(１)のメモリアクセスの負荷を軽減することができる。

また、前記トランスコーディング装置(１)では前段の前記デコーダ部(１０)の第１参照画像信号(９０３)と後段の前記エンコーダ部(２０)の前記第２参照画像信号(９２３)とは同一フレームの同一座標の画素に関するものであるので、この両参照画像信号(９０３、９２３)の類似性は極めて高くなるものである。データ量の極めて小さな差分値(９１３、９２０、９２１)が前記外部メモリ(５)から読み出されて前記加算器(３３)で前記第１参照画像信号(９０３)と加算されて、前記加算器(３３)の出力から前記第２参照画像信号(９２３)が生成されて前記エンコーダ部(２０)の前記第２動き補償ユニット(２２)に供給されることができる。従って、前記外部メモリ(５)の読み出しデータ量が低減されるので、前記トランスコーディング装置(１)のメモリアクセスの負荷を軽減することができる。

好適な実施の形態では、前記外部メモリアクセスユニット(３０、４０)は、第１バッファメモリ(３１)と第２バッファメモリ(３２)とを更に含む。

前記第１バッファメモリ(３１)の入力と出力とが前記デコーダ部(１０)の前記第１動き補償ユニット(１３)の出力と前記減算器(３４)の前記第１入力端子とにそれぞれ接続され、前記第１バッファメモリ(３１)は前記第１復号画像信号(９０１)を前記第１動き補償ユニット(１３)の前記出力から前記減算器(３４)の前記第１入力端子へ転送可能とされる。

前記第２バッファメモリ(３２)の入力と出力とが前記デコーダ部(１０)の前記第１動き補償ユニット(１３)の前記入力と前記加算器(３３)の前記第１入力端子とにそれぞれ接続され、前記第２バッファメモリ(３２)は前記第１参照画像信号(９０３)を前記第１動き補償ユニット(１３)の前記入力から前記加算器(３３)の前記第１入力端子へ転送可能とされることを特徴とする。

他の好適な実施の形態では、前記外部メモリアクセスユニット(３０、４０)は、データ圧縮ユニット(３６)とデータ伸張ユニット(３５)とを更に含む。

前記データ圧縮ユニット(３６)の入力が前記減算器(３４)の前記出力に接続され、前記データ圧縮ユニット(３６)の出力から前記差分値(９１２)を圧縮した前記差分復号画像情報(９１３)が前記外部メモリ(５)に格納可能とされる。

前記データ伸張ユニット(３５)の入力に前記外部メモリ(５)から読み出される前記差分復号画像情報(９２０)が供給され、前記データ伸張ユニット(３５)の出力から前記差分復号画像情報(９２０)を伸張した伸張差分復号画像情報(９２１)が前記加算器(３３)の前記第２入力端子に供給可能とされることを特徴とする。

更に他の好適な実施の形態では、前記データ圧縮ユニット(３６)はデータ圧縮テーブルメモリ(３６１)を含み(図５参照)、前記データ伸張ユニット(３５)はデータ伸張テーブルメモリ(３５１)を含む(図７参照)。

前記データ圧縮ユニット(３６)の前記データ圧縮テーブルメモリ(３６１)は前記データ圧縮ユニット(３６)の前記入力に供給される第１入力データに応答して当該第１入力データのビット数よりも小さなビット数の第１出力データを前記データ圧縮ユニット(３６)の前記出力に生成可能である(図５参照)。

前記データ伸張ユニット(３５)の前記データ伸張テーブルメモリ(３５１)は前記データ伸張ユニット(３５)の前記入力に供給される第２入力データに応答して当該第２入力データのビット数よりも大きなビット数の第２出力データを前記デデータ伸張ユニット(３５)の前記出力に生成可能であることを特徴とする(図７参照)。

より好適な実施の形態では、前記外部メモリアクセスユニット(３０、４０)は、第１セレクタ(７１)と第２セレクタ(７０)とを更に含む。

前記第１セレクタ(７１)の第１入力端子と第２入力端子とは前記減算器(３４)の前記出力端子と前記減算器(３４)の前記第２入力端子とにそれぞれ接続され、前記第１セレクタ(７１)の出力端子は前記外部メモリ(５)と接続可能とされている。

前記第２セレクタ(７０)の第１入力端子と第２入力端子とは前記加算器(３３)の前記出力端子と前記加算器(３３)の前記第２入力端子とにそれぞれ接続され、前記第２セレクタ(７０)の出力端子は前記エンコーダ部(２０)の前記第２動き補償ユニット(２２)の入力に接続されている。

前記第１セレクタ(７１)の制御入力端子と前記第２セレクタ(７０)の制御入力端子とに、制御信号(９５０)が供給可能とされている。

前記制御信号(９５０)が第１の状態(ローレベル“０”)の場合には、前記第１セレクタ(７１)の前記出力端子には前記第１セレクタ(７１)の前記第１入力端子に供給される前記減算器(３４)の出力信号が伝達され、前記第２セレクタ(７０)の前記出力端子には前記第２セレクタ(７０)の前記第１入力端子に供給される前記加算器(３３)の出力信号が伝達される(図９参照)。

前記制御信号(９５０)が前記第１の状態と異なる第２の状態(ハイレベル“１”)の場合には、前記第１セレクタ(７１)の前記出力端子には前記第１セレクタ(７１)の前記第２入力端子に供給される前記減算器(３４)の前記第２入力端子に供給される入力信号が伝達され、前記第２セレクタ(７０)の前記出力端子には前記第２セレクタ(７０)の前記第２入力端子に供給される前記加算器(３３)の前記第２入力端子に供給される入力信号が伝達されることを特徴とする(図１０参照)。

更により好適な実施の形態では、前記第１セレクタ(７１)の前記第１入力端子には前記データ圧縮ユニット(３６)を介して前記減算器(３４)の前記出力信号が供給可能とされ(図９参照)、前記第２セレクタ(７０)の前記第２入力端子には前記加算器(３３)の前記第２入力端子に前記出力が接続された前記データ伸張ユニット(３５)の入力信号が供給可能とされることを特徴とする(図１０参照)。

更に他のより好適な実施の形態では、前記トランスコーディング装置(１)は半導体集積回路によって構成され、前記外部メモリ(５)は前記半導体集積回路と異なる半導体記憶装置によって構成されたことを特徴とする(図１、図２参照)。

具体的な一つの実施の形態では、前記第１セレクタ(７１)の前記制御入力端子と前記第２セレクタ(７０)の前記制御入力端子とに供給可能な前記制御信号(９５０)は前記半導体集積回路(１)の外部から供給される信号(ＧＮＤ、Ｖdd)であることを特徴とする(図９、図１０参照)。

他の具体的な一つの実施の形態では、前記半導体集積回路(１)はプロセッサ(１００)とレジスタ(１０１)とを含み、前記プロセッサ(１００)による前記レジスタ(１０１)へのレジスタ設定によって前記制御信号(９５０)が上記第１の状態と上記第２の状態とのいずれにも任意に設定可能であることを特徴とする(図１１参照)。

更にその他の具体的な一つの実施の形態では、前記トランスコーディング装置(１)はバッテリー(１２０)からの電源電圧によって動作可能であって、前記制御信号(９５０)の上記第１の状態と上記第２の状態とは前記バッテリー(１２０)の前記電源電圧の低レベルと高レベルとによってそれぞれ設定可能であることを特徴とする(図１２参照)。

より具体的な一つの実施の形態では、前記デコーダ部(１０)にはＭＰＥＧ２のフォーマットを有する前記動画符号化入力ビットストリーム(９００)が供給され、前記エンコーダ部(２０)からＨ．２６４のフォーマットを有する前記動画符号化出力ビットストリーム(９９０)が生成されることを特徴とする(図１参照)。

最も具体的な一つの実施の形態では、前記データ圧縮ユニット(３６)によるデータ圧縮と前記データ伸張ユニット(３５)によるデータ伸張とによって非可逆圧縮・伸張が実行されることを特徴とする(図１参照)。

《実施の形態の説明》
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

《トランスコーダー》
図１は本発明の１つの実施の形態のトランスコーダーのデータフローを主に示す図であり、図２は本発明の１つの実施の形態のトランスコーダーの構成を示す図である。

図１および図２に示すトランスコーダーでは、一例としてＭＰＥＧ２動画信号のビットストリームが供給されることによって、Ｈ．２６４標準のフォーマットにトランスコードする場合を説明するものである。

図１および図２に示すトランスコーダーは、トランスコーダー大規模半導体集積回路(ＬＳＩ：Large Scale Integrated circuit)１の形態に構成されている。

図１に示すトランスコーダーＬＳＩ１はＭＰＥＧ−２デコーダ１０とＨ．２６４エンコーダ２０とバンド幅低減ユニット３０とを含む一方、外部メモリ５に接続されている。外部メモリ５は、例えば同期ＤＲＡＭ(ＳＤＲＡＭ)によって構成され、トランスコーダーＬＳＩ１がトランスコーディング動作を実行する際のデータの一時的な格納等に使用されるものである。すなわち、外部メモリ５には、ＭＰＥＧ２動画信号の入力ビットストリーム９００を一時的に保存するためのストリームバッファ５１としての領域、前段のＭＰＥＧ−２デコーダ１０が使用するフレームバッファ５２としての領域、後段のＨ．２６４エンコーダ２０が使用するフレームバッファ５３としての領域、出力ビットストリーム９９０を一時的に保存するためのストリームバッファ５４としての領域等が確保されている。尚、図１では、ＬＳＩ内の各構成要素から外部メモリ５中の各領域に直接アクセスしているように見えるが、実際には図２に示すようにバンド幅低減ユニット３０の内部バスインターフェースユニット６１〜６６と内部バス２００と外部メモリインターフェースユニット４０等を経由して外部メモリ５がアクセスされるものである。また図１および図２に示す実施の形態では、ＭＰＥＧ−２デコーダ１０、Ｈ．２６４エンコーダ２０、バンド幅低減ユニット３０、外部メモリインターフェースユニット４０がＳＩ１の単一のチップに内蔵されている場合が示されているが、ＬＳＩへの集積化の形態は必ずしもこの形態に限定されるものではない。

まず、図１を参照して、トランスコーダーＬＳＩ１がトランスコード処理を行う際のデータフローを説明する。外部から供給されるＭＰＥＧ−２ストリーム９００は、トランスコーダーＬＳＩ１に供給された後、一時的に外部メモリ５の中の入力ビットストリーム用バッファ５１の領域に格納される。尚、この入力ビットストリーム用バッファ５１はＬＳＩ１の内部に搭載することも可能である。

≪ＭＰＥＧ−２デコーダ≫
次に、ＭＰＥＧ−２デコーダ１０は入力ビットストリーム用バッファ５１からストリームデータを読み出して、可変長符号デコーダ１１、逆量子化・逆ＤＣＴユニット１２、動き補償ユニット１３によってデコード処理を行う。ＭＰＥＧ−２デコーダ１０によるデコード結果の画像９０１は、外部メモリ５のＭＰＥＧ−２デコーダ用フレームバッファ領域５２とトランスコーダーＬＳＩ１に内蔵されたバッファメモリ３１とに書き込まれるものである。トランスコーダーＬＳＩ１に内蔵されたバッファメモリ３１は前段のＭＰＥＧ−２デコーダ１０と後段のＨ．２６４エンコーダ２０との間で必要な情報を転送するためのものであり、デコード結果の画像９０１だけでなく復号処理中の画像の大きさ、ピクチャーの種類、動きベクトル情報等のビットストリームの種々の属性情報も書き込まれるものである。

ＭＰＥＧ−２デコーダ１０によるＭＰＥＧ−２デコード時には、動き補償ユニット１３はＭＰＥＧ２動画信号の入力ビットストリーム９００中に含まれている動きベクトル情報を用いてフレーム間の動き補償処理を行うものである。この動き補償処理時にはその時点までに復号された過去の復号フレームの画像データを必要とするので、デコード済みの画像データが動き補償の参照画像９０３としてＭＰＥＧ−２デコーダ用フレームバッファ領域５２に格納される。ただし、ＭＰＥＧ−２では全てのデコード済みフレームが動き補償の参照画像９０３として使用されるわけではないため、参照されないフレームはフレームバッファ領域５２に格納されない。

≪Ｈ．２６４エンコーダ≫
外部メモリ５のＭＰＥＧ−２デコーダ用フレームバッファ領域５２とトランスコーダーＬＳＩ１の内蔵バッファメモリ３１とにＭＰＥＧ−２デコーダ１０によって格納されたデコード済み画像データ９０１は、後段のＨ．２６４エンコーダ２０による下記のような動作によってＨ．２６４標準のフォーマットに符号化される。

ＭＰＥＧ−２デコーダ１０から供給されたデコード済みの画像９０１は、Ｈ．２６４エンコーダ２０の動き予測ユニット２１および動き補償ユニット２２に供給される。この動き予測ユニット２１は、入力画像フレームの処理対象の領域に類似する領域を以前のフレーム中から探し出す処理(動きベクトル探索処理)を行うものである。一般的な動画像符号化処理では動きベクトル探索処理は、元来は処理対象の領域の周辺を広く検索する必要があるので、大きな処理量を必要とするものである。しかしトランスコード処理での動きベクトル探索処理は、前段のＭＰＥＧ−２デコーダ１０で復号された動きベクトルと後段のＨ．２６４エンコーダ２０の動きベクトルとの間に存在する類似性を使用することによって大幅に処理量を削減することが可能である。

すなわち、図１および図２に示すトランスコーダーＬＳＩ１の実施の形態においては、この類似性を利用するためにトランスコーダーＬＳＩ１の内蔵バッファメモリ３１に格納されたＭＰＥＧ−２の動きベクトルで指定される領域のごく近傍のみを動きベクトル探索の対象とすることで処理量の削減を行うものである。例えば、Ｈ．２６４の標準では動きベクトルは水平方向と垂直方向の各成分とも１／４画素精度で指定可能であるが、動きベクトルの成分の整数部についてはＭＰＥＧ−２の動きベクトルの値を再利用して小数部のみ再検索すると言う方法を採用することもできる。すなわち、この場合にはＭＰＥＧ−２デコーダ１０の動き補償ユニット１３が参照した参照画像領域９０３と略同じ座標の参照画像領域９２３が、しばらくの間でＨ．２６４エンコーダ２０の動き予測ユニット２１と動き補償ユニット２２とで参照されることになる。このようにして検出された動きベクトルとそれによって指定される参照画像９０３、９２３中の領域とを用いて、動き補償ユニット２２にて動き補償の逆変換に相当する処理(入力画像と参照画像の差分を算出する処理)を行う。次にその結果を整数変換・量子化ユニット２３において整数変換・量子化処理を実行して、可変長符号エンコーダ２６においてＨ．２６４のフォーマットの動画信号のビットストリーム９９０にエンコードする。この際にレート制御ユニット２５は、整数変換・量子化ユニット２３の量子化係数を調整することによってビットレートの調整を行う。また、整数変換・量子化ユニット２３の出力は、逆量子化・逆整数変換・デブロッキングフィルタ処理ユニット２４を介して、外部メモリ５のＨ．２６４エンコーダ用フレームバッファ領域５３に書き込まれる。

尚、整数変換・量子化ユニット２３における整数変換は、離散コサイン変換(ＤＣＴ)の係数が簡単な整数とされた直交変換となっている。また、逆量子化・逆整数変換・デブロッキングフィルタ処理ユニット２４のデブロッキングフィルタはループフィルタとも呼ばれるものであり、マクロブロック境界付近で隣接するマクロブロックと画素値が大きく異なるために見える歪を抑制する機能を持っている。

≪マクロブロック単位のパイプライン処理≫
図１に示すトランスコーダーＬＳＩ１のＭＰＥＧ−２デコーダ１０とＨ．２６４エンコーダ２０では、例えば、図３に示すようにマクロブロック単位のパイプライン処理ステージで実行される。

図３は、図１に示すトランスコーダーＬＳＩ１のＭＰＥＧ−２デコーダ１０とＨ．２６４エンコーダ２０とで実行されるマクロブロック単位のパイプライン処理を説明する図である。

最初のステージでは、外部から供給されるＭＰＥＧ−２ストリーム９００がＭＰＥＧ−２デコーダの１０に供給されて、ＭＰＥＧ−２デコーダの可変長デコーダ１１は可変長デコード処理８０を実行する。次のステージではデコード結果の逆量子化・逆ＤＣＴユニット１２による逆量子化・逆ＤＣＴ処理８１が実行され、次のステージでは動き補償ユニット１３による動き補償処理８２が実行される。

その後に、ＭＰＥＧ−２デコーダ１０からのデコード済みの画像信号はＨ．２６４エンコーダ２０へ供給されて、ステージ毎の処理が実行される。まず、動き予測ユニット２１による動き予測処理８３が実行され、次に動き補償ユニット２２による動き補償処理８４が実行される。また次に整数変換・量子化ユニット２３による整数変換・量子化処理８５が実行され、次に可変長エンコードユニット２５にて可変長エンコード処理８６が実行される。更にこの可変長エンコード処理８６と平行して、逆量子化・逆整数変換・デブロッキングフィルタ処理ユニット２４において逆量子化・逆整数変換・デブロッキングフィルタ処理８７が実行されている。

図４は、図１に示すトランスコーダーＬＳＩ１のＭＰＥＧ−２デコーダ１０とＨ．２６４エンコーダ２０とで実行されるマクロブロック単位のパイプライン処理を更に詳細に説明する図である。

例えば、図４に示すようにマクロブロックＮの動き予測処理８３の実施中には、その次のマクロブロックＮ＋１の動き補償処理８２と更にその次のマクロブロックＮ＋２の逆量子化・逆ＤＣＴ処理８１とまた更にその次のマクロブロックＮ＋３の可変長デコード処理８０とが並列に実行される。

このように、図１に示すトランスコーダーＬＳＩ１においてＨ．２６４／ＡＶＣに準拠した複数のマクロブロックに対してのＭＰＥＧ−２デコーダ１０の複数の処理とＨ．２６４エンコーダ２０の複数の処理とを並列化したパイプライン処理を実行するものである。従って、パイプライン処理が１ステージ進行することによって、１個のマクロブロックのエンコードデータが可変長エンコードユニット２５から生成されることができる。このように、Ｈ．２６４／ＡＶＣに準拠するマクロブロック単位のパイプライン処理を実行するために、デコード処理対象の画像データだけでなく、それに付随する画面サイズ、ピクチャーの種類、動きベクトル等の属性情報もパイプライン処理のステージ信号に同期して転送される必要がある。

≪バンド幅低減ユニット≫
次に、図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩの大きな特徴のバンド幅低減ユニット３０の構成とバンド幅低減ユニット３０におけるバンド幅削低減処理の動作とについて詳細に説明する。

すなわち、図１および図２に示すトランスコーダーＬＳＩのバンド幅低減ユニット３０は、第１バッファメモリ３１と、第２バッファメモリ３２と、加算器３３と、減算器３４と、簡易データ伸張ユニット３５、簡易データ圧縮ユニット３６とを含んでいる。従って、トランスコーダーＬＳＩのＨ．２６４エンコーダ２０の逆量子化・逆整数変換・デブロッキングフィルタ処理ユニット２４の出力処理データは、簡易データ圧縮ユニット３６によってデータ圧縮されて外部メモリ５のＨ．２６４エンコーダ用フレームバッファ領域５３に書き込まれる。また、逆に外部メモリ５のＨ．２６４エンコーダ用フレームバッファ領域５３から読み出される処理データは、簡易データ伸張ユニット３５によってデータ伸張されてＨ．２６４エンコーダ２０の動き予測ユニット２１と動き補償ユニット２２とに供給される。

この際に、Ｈ．２６４エンコーダ用フレームバッファ領域５３にＨ．２６４参照画像９１１、９２３の各画素値そのものが格納されるのではなく、Ｈ．２６４参照画像の画素値９１１、９２３とＭＰＥＧ−２参照画像９０１、９０３の同一フレームで同一座標の画素値との差分を表す差分データ９１２、９２１がフレームバッファ領域５３に格納される。このようにトランスコード処理では、前段のＭＰＥＧ−２デコーダ１０と後段のＨ．２６４エンコーダ２０は略同じ内容の画像を処理することになるため、同一フレームの同一座標に着目した場合に、ＭＰＥＧ−２参照画像像９０１、９０３の画素値とＨ．２６４参照画像９１１、９２３の画素値は類似した値となり、それらの差分値９１２、９２１はＤＣ成分付近に集中した分布となる。本発明の図１および図２に示すトランスコーダーＬＳＩでは、この特性を利用してデータ圧縮を行うものである。

すなわち、Ｈ．２６４エンコーダ用フレームバッファ領域５３に動き補償用復号画像９１１を書き込む際には、格納対象であるＨ．２６４の動き補償用復号画像の画素値９１１と同一フレームで同一座標のＭＰＥＧ−２復号画像の画素値９１０がバンド幅低減ユニット３０のバッファメモリ３１から高速で読み出される。その理由は、ＭＰＥＧ−２復号画像の画素値はバンド幅低減ユニット３０のバッファメモリ３１に格納されているので、低速の外部メモリ５から読み出す必要はないためである。次に、減算器３４において、Ｈ．２６４の動き補償用復号画像の画素値９１１と同一フレームで同一座標のＭＰＥＧ−２復号画像の画素値９１０との差分値９１２が生成される。この差分値９１２は簡易データ圧縮ユニット３６でデータ圧縮され、データ圧縮後の差分値９１３がＨ．２６４エンコーダ用フレームバッファ領域５３に書き込まれる。

次にＨ．２６４エンコーダ用フレームバッファ領域５３から参照画像を読み出す際にはＨ．２６４エンコーダ用フレームバッファ領域５３から読み出されたデータ圧縮後の差分値９２０が簡易データ伸張ユニット３５にてデータ伸張され、データ伸張後の差分値９２１が生成される。その後に、同一フレームで同一座標のＭＰＥＧ−２参照画像の画素値９０３、９２２が動き補償用バッファメモリ３２から読み出されて、加算器３３によってデータ伸張差分値９２１とＭＰＥＧ−２参照画素値９０３、９２２とが加算されることでＨ．２６４参照画像の画素値９２３が生成されＨ．２６４エンコーダ２の動き予測ユニット２１と動き補償ユニット２２に供給される。尚、Ｈ．２６４エンコーダ２の動き予測ユニット２１は前段のＭＰＥＧ−２デコーダ１０の動きベクトルのごく近傍のみしか参照しないため、ＭＰＥＧ−２デコーダ２０の動き補償ユニット１３が参照画像９０３を読み出す際に縦方向と横方向とに数画素分多く読み出して、その読み出し結果をバッファメモリ３２に格納すれば良い。従って、加算器３３に供給されるＭＰＥＧ−２参照画像の画素値９２２は常に高速のバッファメモリ３２に格納されているので、低速の外部メモリ５から読み出す必要はない。またＭＰＥＧ−２デコーダ２０の動き補償ユニット１３による参照画像９０３の読み出しには局在性があるので、高速のバッファメモリ３２を参照画像９２２の読み出し用のキャッシュメモリとしても使用することもできる。尚、例えば簡易データ圧縮ユニット３６においてデータ量が半分に削減されると、Ｈ．２６４エンコーダ用フレームバッファ領域５３の容量を半分に削減されるだけでなく、メモリアクセスのためのバス幅も半分に削減されることになる。

≪データ圧縮ユニット≫
図５は、図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩ１のバンド幅低減ユニット３０に含まれる簡易データ圧縮ユニット３６の構成を示す図である。

図５に示すように、簡易データ圧縮ユニット３６はテーブルメモリ３６１とクリップ回路３６２とを含み、クリップ回路３６２には減算器３４から生成される９ビットの差分値９１２が供給される。減算器３４では、Ｈ．２６４の動き補償用復号画像の画素値９１１と同一フレームで同一座標のＭＰＥＧ−２復号画像の画素値９１０とから、両者の差分値９１２が生成されるものであった。画像の画素値の精度が８ビット幅であるとすると、ＭＰＥＧ−２復号画像の画素値９１０とＨ．２６４の動き補償用復号画像の画素値９１１の値は０から２５５までの範囲となる。従って、両者の差分値９１２は−２５５〜２５５までの範囲となり、減算器３４から生成される差分値９１２は９ビット幅となる。

９ビット幅の差分値９１２は、簡易データ圧縮ユニット３６のクリップ回路３６２によって−１２８〜１２７の範囲の８ビット幅の値にクリッピングされる。このクリッピング処理によって、−１２８よりも小さな値は−１２８に変更されて、１２７より大きな値は１２７に変更される。このような非線形量子化処理によってクリップ回路３６２から生成された８ビットのデータ値は、出力データ幅が４ビットでエントリー数が２５６個のテーブルメモリ３６１のアドレス入力端子にリードアドレスとして供給される。このテーブルメモリ３６１はリードオンリメモリ(ＲＯＭ：Read Only Memory)によって構成され、テーブルメモリ３６１には図６に示したデータが格納されている。

図６は、図５に示した簡易データ圧縮ユニット３６に格納されるデータの構成を示す図である。

図６の左側にはリード入力アドレス信号が示されおり、図６の右側にはリード出力データが示されている。

例えば、９ビットの差分値９１２が−１０(１０進数)であった場合に、これを８ビットの１６進数で表現すると“０ｘＦ６”となって、この値をテーブルメモリ３６１のアドレスとしてリード動作を行うと、簡易データ圧縮ユニット３６の出力９１３としてのリードデータ“０ｘＢ”(１０進数の−５)が生成される。

以上のように、簡易データ圧縮ユニット３６のクリップ回路３６２の入力に９ビット幅の差分値９１２が供給されて、クリップ回路３６２の出力からテーブルメモリ３６１のリードアドレス入力端子に８ビットのリードアドレス信号が供給され、テーブルメモリ３６１からは簡易データ圧縮ユニット３６の出力９１３として１０進数で−８から＋７までの数値範囲の４ビット幅(符号１ビットで数値３ビット)のリードデータが生成される。結果としては、８ビット幅のＨ．２６４の動き補償用復号画像の画素値９１１が９ビットの差分値９１２に変換された後に４ビット幅の出力９１３に変換されるので、データ量が略１／２に圧縮されるこができる。

尚、簡易データ圧縮ユニット３６でのデータ圧縮方式は、クリップ回路３６２を使用した非線形量子化に限定されるものではなく、それ以外に線形量子化、可変長符号化、ベクトル量子化等いろいろな方式を適用することが可能である。また、データ圧縮率についても、１／２に限定されるものではない。

≪データ伸張ユニット≫
図７は、図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩ１のバンド幅低減ユニット３０に含まれる簡易データ伸張ユニット３５の構成を示す図である。

図７に示すように、簡易データ伸張ユニット３５はテーブルメモリ３５１を含み、テーブルメモリ３５１のリードアドレス入力端子には外部メモリ５のＨ．２６４エンコーダ用フレームバッファ領域５３から読み出されたデータ圧縮後の４ビット幅の差分値９２０が供給される。簡易データ伸張ユニット３５のテーブルメモリ３５１の出力からは８ビットのデータ伸張後の差分値９２１が生成され、加算器３３に供給される。

図８は、図７に示した簡易データ伸張ユニット３５に格納されるデータの構成を示す図である。

図８の左側にはリード入力アドレス信号が示されおり、図８の右側にはリード出力データが示されている。

すなわち、外部メモリ５のＨ．２６４エンコーダ用フレームバッファ領域５３には、画素当り４ビット幅の差分データの圧縮値が格納されている。外部メモリ５から４ビット幅で読み出された圧縮後の差分値９２０は、簡易データ伸張ユニット３５のテーブルメモリ３５１のアドレス端子へ供給される。図８に示すように、テーブルメモリ３５１はリード入力アドレス信号が１０進数で−８から＋７までの数値範囲の４ビット幅(符号１ビットで数値３ビット)であり、リードデータが１０進数で−１２８から＋６４までの数値範囲の８ビット幅(符号１ビットで数値７ビット)であり、エントリー数１６の構成となっている。このテーブルメモリ３５１も、リードオンリメモリ(ＲＯＭ：Read Only Memory)によって構成される。

例えば、圧縮後の差分値９２０“０ｘＢ”(１０進数で−５)をテーブルメモリ３５１のアドレス入力信号としてリード動作を実行すると、テーブルメモリ３５１の出力から簡易データ伸張ユニット３５の出力９２１としてのリードデータ“０ｘＦ０”(１０進数で−１６)が読み出され、加算器３３に供給される。加算器３３では、簡易データ伸張ユニット３５の出力からの伸張後の差分値９２１とバッファメモリ３２から読み出したＭＰＥＧ−２参照画像の画素値９２２とが加算されることによって、Ｈ．２６４の参照画像の画素値９２３が生成される。

≪非圧縮モードと圧縮モードとの切り換え≫
図５に示した簡易データ圧縮ユニット３６と図７に示した簡易データ伸張ユニット３５とを使用する図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩ１にて実行されるデータ圧縮とデータ伸張とでは非可逆圧縮となり、圧縮データを伸張(展開、解凍)しても元のデータとバイナリデータは完全には一致しなくなるものである。このように圧縮伸張の方式が非可逆となるので、図１と図２に示すトランスコーダーＬＳＩ１では、圧縮前のデータであるＨ．２６４の動き補償用復号画像の画素値９１１と伸張後のデータであるＨ．２６４の参照画像の画素値９２３との間には誤差成分が存在することになる。例えば、図５に示した簡易データ圧縮ユニット３６のクリップ回路３６２によってクリッピング処理される９ビット幅の差分値９１２に関してクリッピング処理前の大きな値とクリッピング処理後の小さな値との差が大きな値である場合には、この誤差成分が大きくなる。その結果、トランスコード出力であるＨ．２６４の動画信号のビットストリーム９９０の画質が劣化する場合もある。

以下に説明する実施の形態は、非可逆圧縮の誤差によるトランスコード出力の画質劣化の問題を解消するためのものである。

図９は非可逆圧縮の誤差によるトランスコード出力の画質劣化の問題を解消するための本発明の他の１つの実施の形態のトランスコーダーのデータフローを主に示す図であり、図１０は本発明のこの他の１つの実施の形態のトランスコーダーの構成を示す図である。

図９および図１０に示す本発明の他の１つの実施の形態によるトランスコーダーＬＳＩ１が図１および図２に示す本発明の１つの実施の形態によるトランスコーダーＬＳＩ１と相違するのは、セレクタ７０、７１と外部端子１１０とが追加されたことである。また、図９および図１０に示す本発明の他の１つの実施の形態によるトランスコーダーＬＳＩ１では、図２に示す本発明の１つの実施の形態によるトランスコーダーＬＳＩ１のバスインターフェースユニット６４、６５がモード切換信号９５０によって制御されるバスインターフェースユニット６７、６８によって置換されており、その他の構成は同一である。

≪圧縮モード≫
図９に示すように外部端子１１０は接地電圧ＧＮＤに接続されることにより外部端子１１０にローレベル“０”が供給されることができ、図１０に示すように外部端子１１０は電源電圧Ｖddに接続されることにより外部端子１１０にハイレベル“１”が供給されることができる。外部端子１１０のローレベル“０”の電位とハイレベル“１”の電位とに応答して、セレクタ７０、７１における信号伝達経路が切り換えられるものである。

また、セレクタ７０の第１入力端子は加算器３３を介して簡易データ伸張ユニット３５の出力端子に接続され、セレクタ７０の第２入力端子は簡易データ伸張ユニット３５の入力端子に接続され、セレクタ７０の出力端子はＨ．２６４エンコーダ２０の動き予測ユニット２１と動き補償ユニット２２との入力端子に接続されている。また更に、セレクタ７１の第１入力端子は簡易データ圧縮ユニット３６の出力端子に接続され、セレクタ７１の第２入力端子は減算器３４を介して簡易データ圧縮ユニット３６の入力端子に接続されて、セレクタ７１の出力端子はバスインターフェースユニット６８と内部バス２００とを介して外部メモリインターフェース４０に接続されている。

外部端子１１０を接地電圧ＧＮＤのローレベル“０”に接続すると、モード切換信号９５０もローレベル“０”に設定され、セレクタ７０の出力端子からは第１入力端子に加算器３３を介して供給される簡易データ伸張ユニット３５の出力信号が出力される。またセレクタ７１の出力端子からは、第１入力端子に供給される簡易データ圧縮ユニット３６の出力信号が出力される。この時には、図９に示すトランスコーダーＬＳＩ１のバスインターフェースユニット６７、６８の動作は、図２に示すトランスコーダーＬＳＩ１のバスインターフェースユニット６４、６５と同一となる。その結果として、図９に示すトランスコーダーＬＳＩ１の動作は、図２に示すトランスコーダーＬＳＩ１と同様に、減算器３４と図５の簡易データ圧縮ユニット３６と図７の簡易データ伸張ユニット３５と加算器３３とを使用することによってデータ圧縮とデータ伸張との非可逆圧縮を実行するものとなる。

≪非圧縮モード≫
次に、図１０に示すように、外部端子１１０を電源電圧Ｖddのハイレベル“１”に接続すると、モード切換信号９５０もハイレベル“１”に設定されて、セレクタ７０の出力端子からは第２入力端子に供給される簡易データ伸張ユニット３５の入力信号９２０が出力される。またセレクタ７１の出力端子からは、第２入力端子に供給される減算器３４の入力のＨ．２６４の動き補償用復号画像の画素値９１１の入力信号が出力される。すなわち、この場合には、セレクタ７０の信号伝達経路は簡易データ伸張ユニット３５と加算器３３とをバイパスしてセレクタ７１の信号伝達経路は簡易データ圧縮ユニット３６と減算器３４とをバイパスするようになる。その結果として、図１０に示すトランスコーダーＬＳＩ１の動作は、図２に示すトランスコーダーＬＳＩ１と異なり、図５の簡易データ圧縮ユニット３６および減算器３４と図７の簡易データ伸張ユニット３５および加算器３３とを非使用することによってデータ圧縮とデータ伸張との非可逆圧縮が実行されないものとなる。

従って、図１０に示すトランスコーダーＬＳＩ１の動作によって、バスインターフェースユニット６７、６８と内部バス２００と外部メモリインターフェース４０とを介して外部メモリ５に格納された参照画像をアクセスして読み出すデータ転送量が増加するものとなる。しかし、図１０に示す非圧縮動作モードにおいては、図９に示す圧縮動作モードと比較して、バスインターフェースユニット６７、６８と外部メモリインターフェース４０との少なくともいずれかによる外部メモリ５のアクセス能力を増大させるものである。例えば、バスインターフェースユニット６７、６８と外部メモリインターフェース４０のバスサイクルを高速化することもできる。その他の方法としては、バスインターフェースユニット６７、６８と外部メモリインターフェース４０のバス幅を増大させることもできる。すなわち、図１０に示すように、２個の外部メモリチップ５ａ、５ｂをトランスコーダーＬＳＩ１のバスインターフェースユニット６７、６８に接続することによって、外部メモリをアクセスするバス幅を２倍に増大させている。これらの２個の外部メモリチップ５ａ、５ｂをトランスコーダーＬＳＩ１と接続する際に、アドレス線や制御線４５は共通化されて接続されているが、２個の外部メモリチップ５ａ、５ｂは２組のデータ線４７、４８を介してトランスコーダーＬＳＩ１と接続されている。それぞれ１６ビットのバス幅を持つ２組のデータ線４７、４８を使用することにより、１６ビットのバス幅のデータ線４７のみを使った場合と比較すると、２倍の３２ビットのデータを転送することが可能となる。

高画質が要求される用途では、図１０に示すように外部端子１１０をハイレベル“１”に接続することによって参照画像のデータ圧縮・データ伸張を行わず、２個の外部メモリチップ５ａ、５ｂの両方を使用するものである。

しかし、高画質は要求されないが低価格化が要求される用途において、図９に示すように外部端子１１０をローレベル“０”に接続することにより参照画像のデータ圧縮・データ伸張を行って、１個の外部メモリチップ５のみを使用するものである。外部メモリに対するアクセスデータ量を削減できるので、消費電力を削減することができる。

尚、トランスコーダーＬＳＩ１の外部端子１１０をハイレベル“１”の接続もしくはローレベル“０”の接続はＬＳＩのボンディングオプションによって選択されることができる。ＬＳＩのワイヤボンディングの工程でトランスコーダーＬＳＩ１の外部端子１１０をワイヤによって電源電圧Ｖddが供給される電源端子に接続すればハイレベル“１”の接続が可能となり、接地電圧ＧＮＤが供給される接地端子に接続することによりローレベル“０”の接続が可能となるものである。

その他の方法としては、トランスコーダーＬＳＩ１の外部端子１１０をトランスコーダーＬＳＩ１が搭載される電子機器のシステムボードの電源電圧配線に接続することによって外部端子１１０にハイレベル“１”を供給するか接地電圧配線に接続することによって外部端子１１０にローレベル“０”を供給するかを選択することも可能である。

≪レジスタ設定によるモード設定≫
以下に説明する実施の形態は、非圧縮モードと圧縮モードのモード設定をプロセッサによるレジスタ設定によって可能とするものである。

図１１は圧縮モードと圧縮モードのモード設定をレジスタ設定によって可能とする本発明の更に他の１つの実施の形態のトランスコーダーの構成を示す図である。

図１１に示す本発明の更に他の１つの実施の形態によるトランスコーダーＬＳＩ１が図９および図１０に示す本発明の実施の形態によるトランスコーダーＬＳＩ１と相違するのは、図９および図１０における外部端子１１０の電位切り換えによるモード設定が図１１ではプロセッサ１００によるレジスタ１０１のモード設定に置換されていることであり、その他の構成は同一である。

すなわち、図１１に示すトランスコーダーＬＳＩ１にはプロセッサ１００とレジスタ１０１とが追加されている。

図１１に示すトランスコーダーＬＳＩ１を図９のような圧縮モードで動作させる場合には、トランスコーダーＬＳＩ１の電源投入時のような初期化シーケンスにて、プロセッサ１００がモード選択レジスタ１０１にローレベル“０”を書き込むものである。それによってモード切換信号９５０がローレベル“０”に設定され、減算器３４と図５の簡易データ圧縮ユニット３６と加算器３３と図７の簡易データ伸張ユニット３５とを使用することによってデータ圧縮とデータ伸張との非可逆圧縮を実行するものとなる。

図１１に示すトランスコーダーＬＳＩ１を図１０のような非圧縮モードで動作させる場合には、トランスコーダーＬＳＩ１の電源投入時のような初期化シーケンスにて、プロセッサ１００がモード選択レジスタ１０１にハイレベル“１”を書き込むものである。それによってモード切換信号９５０がハイレベル“１”に設定され、減算器３４と図５の簡易データ圧縮ユニット３６と加算器３３と図７の簡易データ伸張ユニット３５とを非使用することによってデータ圧縮とデータ伸張との非可逆圧縮が実行されないものとなる。

尚、電源投入時の初期化シーケンスにてプロセッサ１００からモード選択レジスタ１０１に書き込まれるモード設定データは、トランスコーダーＬＳＩ１が搭載される電子機器の電源投入時のブートプログラムに書き込まれることができる。

≪バッテリー残量によるモード選択≫
以下に説明する実施の形態は、非圧縮モードと圧縮モードのモード選択をバッテリー残量によって可能とするものである。

図１２は、圧縮モードと圧縮モードのモード選択をバッテリー残量によって可能とする本発明の更に他の１つの実施の形態のトランスコーダーの構成を示す図である。

図１２に示す本発明の更に他の１つの実施の形態によるトランスコーダーＬＳＩ１が図１１に示す本発明の実施の形態によるトランスコーダーＬＳＩ１と相違するのは、図１２においては電源ライン１２１に接続されるバッテリー１２０の残量に応答してプロセッサ１００がモード選択レジスタ１０１にモード選択信号を書き込むことであり、その他の構成は同一である。

すなわち、巣１２に示す実施の形態では、トランスコーダーＬＳＩ１と外部メモリ５とはバッテリー１２０から電源ライン１２１を介して供給される電源電圧によって動作する。

バッテリー１２０の残量が十分な場合には、ハイレベルのバッテリー残量信号に応答してプロセッサ１００はハイレベル“１”のモード選択信号をモード選択レジスタ１０１に書き込むものである。従って、この時には図１２に示すトランスコーダーＬＳＩ１は図１０のような高画質・高消費電力の非圧縮モードで動作するものとなる。しかし、バッテリー１２０の残量が少なくなった場合には、ローレベルのバッテリー残量信号に応答してプロセッサ１００はローレベル“０”のモード選択信号をモード選択レジスタ１０１に書き込むものである。従って、この時には図１２に示すトランスコーダーＬＳＩ１は、図９のような低画質・低消費電力の非圧縮モードで動作するものとなる。このように、バッテリー１２０の残量に応答して非圧縮モードと圧縮モードの動作モードが自動的に切り換えるので、バッテリー使用時の長時間動作を可能とすると伴にバッテリー残量に対応する画像品質を自動的に選択することが可能となる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、トランスコーダーＬＳＩの前段のデコーダと後段のエンコーダとが、それぞれＨ．２６４のデコーダとＭＰＥＧ−４のエンコーダとすることも可能である。

また、図５の簡易データ圧縮ユニット３６と図７の簡易データ伸張ユニット３５とだけではなく、データ圧縮とデータ伸張との可逆圧縮が実行可能な他の高精度データ圧縮ユニットと高精度データ伸張ユニットとを使用することも可能である。

また、図１１の実施の形態において、プロセッサ１００がＭＰＥＧ−２デコーダ１０から入力ビットストリーム９００の画像解像度を読み出して、解像度が低い場合にはモード選択レジスタ１０１にハイレベル“１”を書き込み、参照画像のデータ圧縮とデータ伸張との非可逆圧縮を実行しないものとする。しかし、解像度が高い場合にはモード選択レジスタ１０１にローレベル“０”を書き込んで、参照画像のデータ圧縮とデータ伸張との非可逆圧縮を実行するものとする。後者の場合の処理は、入力ビットストリームの画像解像度が高く外部メモリアクセスバンド幅が不足して通常のトランスコード処理ができないような場合でも、参照画像データ圧縮によるアクセスデータ量の削減によってトランスコードを行うことが可能となる。

図１は本発明の１つの実施の形態のトランスコーダーのデータフローを主に示す図である。 図２は本発明の１つの実施の形態のトランスコーダーの構成を示す図である。 図３は、図１に示すトランスコーダーＬＳＩのＭＰＥＧ−２デコーダとＨ．２６４エンコーダとで実行されるマクロブロック単位のパイプライン処理を説明する図である。 図４は、図１に示すトランスコーダーＬＳＩのＭＰＥＧ−２デコーダとＨ．２６４エンコーダとで実行されるマクロブロック単位のパイプライン処理を更に詳細に説明する図である。 図５は、図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩのバンド幅低減ユニットに含まれる簡易データ圧縮ユニットの構成を示す図である。 図６は、図５に示した簡易データ圧縮ユニットに格納されるデータの構成を示す図である。 図７は、図１および図２に示す本発明の実施の形態によるトランスコーダーＬＳＩのバンド幅低減ユニットに含まれる簡易データ伸張ユニットの構成を示す図である。 図８は、図７に示した簡易データ伸張ユニットに格納されるデータの構成を示す図である。 図９は、非可逆圧縮の誤差によるトランスコード出力の画質劣化の問題を解消するための本発明の他の１つの実施の形態のトランスコーダーのデータフローを主に示す図である。 図１０は、本発明の他の１つの実施の形態のトランスコーダーの構成を示す図である。 図１１は、圧縮モードと圧縮モードのモード設定をレジスタ設定によって可能とする本発明の更に他の１つの実施の形態のトランスコーダーの構成を示す図である。 図１２は、圧縮モードと圧縮モードのモード選択をバッテリー残量によって可能とする本発明の更に他の１つの実施の形態のトランスコーダーの構成を示す図である。

符号の説明

１：トランスコーダーＬＳＩ、
５：外部メモリ、
１０：ＭＰＥＧ−２デコーダ、
１１：可変長符号デコーダ、
１２：逆量子化・逆ＤＣＴユニット、
１３：動き補償ユニット、
２０：Ｈ．２６４エンコーダ、
２１：動き予測ユニット、
２２：動き補償ユニット、
２３：整数変換・量子化ユニット、
２４：逆量子化・逆整数変換・デブロッキングフィルタ処理ユニット、
２５：レート制御ユニット、
２６：可変長符号エンコーダ、
３０：バンド幅低減ユニット、
３１、３２：バッファメモリ、
３３：加算器、
３４：減算器、
３５：簡易データ伸張ユニット、
３６：簡易データ圧縮ユニット、
４０：外部メモリインターフェースユニット、
４５：アドレス・制御線、
４６、４７、４８：データ線、
５１：ストリーム格納領域、
５２：ＭＰＥＧ−２デコーダ用フレームバッファ領域、
５３：Ｈ．２６４エンコーダ用フレームバッファ領域、
５４：ストリーム格納領域、
６１…６８：バスインターフェースユニット、
７０、７１：セレクタ、
８０：可変長デコード処理、
８１：逆量子化・逆ＤＣＴ処理、
８２：動き補償処理、
８３：動き予測処理、
８４：動き補償処理、
８５：整数変換・量子化処理、
８６：可変長エンコード処理、
８７：逆量子化・逆整数変換・デブロッキングフィルタ処理、
１００：プロセッサ、
１０１：レジスタ、
１１０：方式選択端子、
１１１〜１１２：データ端子、
１２０：バッテリー、
１２１：電源供給ライン、
１２２：バッテリー状態モニタライン、
２００：内部バス、
３５１：簡易伸張用テーブルメモリ、
３６１：簡易圧縮用テーブルメモリ、
３６２：クリップ回路、
９００：入力ビットストリーム、
９０１、９１０：ＭＰＥＧ−２復号画像の画素値、
９０３：ＭＰＥＧ−２参照画像の画素値、
９１１：Ｈ．２６４復号画像の画素値、
９１２：復号画像の画素差分値、
９１３：簡易データ圧縮ユニットの出力、
９２０：圧縮後の画素差分値、
９２１：伸張後の画素差分値、
９２２：ＭＰＥＧ−２参照画像の画素値、
９２３：Ｈ．２６４参照画像の画素値、
９５０：モード切換信号、
９９０：出力ビットストリーム、

Claims (12)

1. 動画符号化入力ビットストリームのフォーマットを異なるフォーマットに変換して動画符号化出力ビットストリームを生成することが可能なトランスコーディング装置は、前記動画符号化入力ビットストリームが供給されるデコーダ部と、前記デコーダ部の出力信号が供給されることにより前記動画符号化出力ビットストリームを生成するエンコーダ部とを含み、
   前記デコーダ部は、デコーダと、第１逆量子化器・逆変換器と、第１動き補償ユニットとを含むものであり、前記デコーダの入力に前記動画符号化入力ビットストリームが供給され、前記デコーダの出力は前記第１逆量子化器・逆変換器の入力に供給され、前記第１逆量子化器・逆変換器の出力は前記第１動き補償ユニットの入力に供給され、前記第１動き補償ユニットは第１参照画像信号と前記第１逆量子化器・逆変換器の前記出力から第１復号画像信号を生成して、
   前記エンコーダ部は、第２動き補償ユニットと、変換器・量子化器と、第２逆量子化器・逆変換器と、エンコーダとを含むものであり、前記第２動き補償ユニットは第２参照画像信号と前記デコーダ部の出力から生成される前記第１復号画像信号とから出力を生成して、前記変換器・量子化器の入力に前記第２動き補償ユニットの前記出力が供給され、前記エンコーダの入力に前記変換器・量子化器の出力が供給され、前記エンコーダの出力から前記動画符号化出力ビットストリームが生成され、前記第２逆量子化器・逆変換器の入力に前記変換器・量子化器の出力が供給され、前記第２逆量子化器・逆変換器の出力から第２復号画像信号が生成され、
   前記トランスコーディング装置は、外部メモリと接続可能に構成された外部メモリアクセスユニットを更に具備して、前記外部メモリアクセスユニットは減算器と加算器とを含み、
   前記外部メモリアクセスユニットの前記減算器の第１入力端子と第２入力端子とに前記デコーダ部からの前記第１復号画像信号と前記エンコーダ部からの前記第２復号画像信号とがそれぞれ供給されて、前記減算器の出力端子から前記第１復号画像信号と前記第２復号画像信号との差分値が生成され、前記外部メモリには前記差分値に関係した差分復号画像情報が格納可能とされ、前記外部メモリから前記差分復号画像情報が読み出し可能とされ、
   前記外部メモリアクセスユニットの前記加算器の第１入力端子と第２入力端子とに前記デコーダ部のための前記第１参照画像信号と前記外部メモリから読み出される前記差分復号画像情報とがそれぞれ供給されて、前記加算器の出力端子から前記第１参照画像信号と前記差分復号画像情報との加算値が生成され、前記加算器の前記出力端子から生成される前記加算値は、前記第２参照画像信号として、前記エンコーダ部の前記第２動き補償ユニットに供給されることを特徴とするトランスコーディング装置。
2. 前記外部メモリアクセスユニットは、第１バッファメモリと第２バッファメモリとを更に含み、
   前記第１バッファメモリの入力と出力とが前記デコーダ部の前記第１動き補償ユニットの出力と前記減算器の前記第１入力端子とにそれぞれ接続され、前記第１バッファメモリは前記第１復号画像信号を前記第１動き補償ユニットの前記出力から前記減算器の前記第１入力端子へ転送可能とされ、
   前記第２バッファメモリの入力と出力とが前記デコーダ部の前記第１動き補償ユニットの前記入力と前記加算器の前記第１入力端子とにそれぞれ接続され、前記第２バッファメモリは前記第１参照画像信号を前記第１動き補償ユニットの前記入力から前記加算器の前記第１入力端子へ転送可能とされることを特徴とする請求項１に記載のトランスコーディング装置。
3. 前記外部メモリアクセスユニットは、データ圧縮ユニットとデータ伸張ユニットとを更に含み、
   前記データ圧縮ユニットの入力が前記減算器の前記出力に接続され、前記データ圧縮ユニットの出力から前記差分値を圧縮した前記差分復号画像情報が前記外部メモリに格納可能とされ、
   前記データ伸張ユニットの入力に前記外部メモリから読み出される前記差分復号画像情報が供給され、前記データ伸張ユニットの出力から前記差分復号画像情報を伸張した伸張差分復号画像情報が前記加算器の前記第２入力端子に供給可能とされることを特徴とする請求項２に記載のトランスコーディング装置。
4. 前記データ圧縮ユニットはデータ圧縮テーブルメモリを含み、前記データ伸張ユニットはデータ伸張テーブルメモリを含み、
   前記データ圧縮ユニットの前記データ圧縮テーブルメモリは前記データ圧縮ユニットの前記入力に供給される第１入力データに応答して当該第１入力データのビット数よりも小さなビット数の第１出力データを前記データ圧縮ユニットの前記出力に生成可能であり、
   前記データ伸張ユニットの前記データ伸張テーブルメモリは前記データ伸張ユニットの前記入力に供給される第２入力データに応答して当該第２入力データのビット数よりも大きなビット数の第２出力データを前記デデータ伸張ユニットの前記出力に生成可能であることを特徴とする請求項３に記載のトランスコーディング装置。
5. 前記外部メモリアクセスユニットは、第１セレクタと第２セレクタとを更に含み、
   前記第１セレクタの第１入力端子と第２入力端子とは前記減算器の前記出力端子と前記減算器の前記第２入力端子とにそれぞれ接続され、前記第１セレクタの出力端子は前記外部メモリと接続可能とされており、
   前記第２セレクタの第１入力端子と第２入力端子とは前記加算器の前記出力端子と前記加算器の前記第２入力端子とにそれぞれ接続され、前記第２セレクタの出力端子は前記エンコーダ部の前記第２動き補償ユニットの入力に接続されており、
   前記第１セレクタの制御入力端子と前記第２セレクタの制御入力端子とに、制御信号が供給可能とされており、
   前記制御信号が第１の状態の場合には、前記第１セレクタの前記出力端子には前記第１セレクタの前記第１入力端子に供給される前記減算器の出力信号が伝達され、前記第２セレクタの前記出力端子には前記第２セレクタの前記第１入力端子に供給される前記加算器の出力信号が伝達され、
   前記制御信号が前記第１の状態と異なる第２の状態の場合には、前記第１セレクタの前記出力端子には前記第１セレクタの前記第２入力端子に供給される前記減算器の前記第２入力端子に供給される入力信号が伝達され、前記第２セレクタの前記出力端子には前記第２セレクタの前記第２入力端子に供給される前記加算器の前記第２入力端子に供給される入力信号が伝達されることを特徴とする請求項４に記載のトランスコーディング装置。
6. 前記第１セレクタの前記第１入力端子には前記データ圧縮ユニットを介して前記減算器の前記出力信号が供給可能とされ、前記第２セレクタの前記第２入力端子には前記加算器の前記第２入力端子に前記出力が接続された前記データ伸張ユニットの入力信号が供給可能とされることを特徴とする請求項５に記載のトランスコーディング装置。
7. 前記トランスコーディング装置は半導体集積回路によって構成され、前記外部メモリは前記半導体集積回路と異なる半導体記憶装置によって構成されたことを特徴とする請求項６に記載のトランスコーディング装置。
8. 前記第１セレクタの前記制御入力端子と前記第２セレクタの前記制御入力端子とに供給可能な前記制御信号は前記半導体集積回路の外部から供給される信号であることを特徴とする請求項７に記載のトランスコーディング装置。
9. 前記半導体集積回路はプロセッサとレジスタとを含み、前記プロセッサによる前記レジスタへのレジスタ設定によって前記制御信号が上記第１の状態と上記第２の状態とのいずれにも任意に設定可能であることを特徴とする請求項７に記載のトランスコーディング装置。
10. 前記トランスコーディング装置はバッテリーからの電源電圧によって動作可能であって、前記制御信号の上記第１の状態と上記第２の状態とは前記バッテリーの前記電源電圧の低レベルと高レベルとによってそれぞれ設定可能であることを特徴とする請求項７に記載のトランスコーディング装置。
11. 前記デコーダ部にはＭＰＥＧ２のフォーマットを有する前記動画符号化入力ビットストリームが供給され、前記エンコーダ部らＨ．２６４のフォーマットを有する前記動画符号化出力ビットストリームが生成されることを特徴とする請求項８から請求項１０までのいずれかに記載のトランスコーディング装置。
12. 前記データ圧縮ユニットによるデータ圧縮と前記データ伸張ユニットによるデータ伸張とによって非可逆圧縮・伸張が実行されることを特徴とする請求項１１に記載のトランスコーディング装置。

Images