JP2004349812A - Image decoding apparatus and image decoding method - Google Patents
Image decoding apparatus and image decoding method Download PDFInfo
- Publication number
- JP2004349812A JP2004349812A JP2003142002A JP2003142002A JP2004349812A JP 2004349812 A JP2004349812 A JP 2004349812A JP 2003142002 A JP2003142002 A JP 2003142002A JP 2003142002 A JP2003142002 A JP 2003142002A JP 2004349812 A JP2004349812 A JP 2004349812A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- image
- unit
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばJVT(Joint Model of Enhanced−Compression Video Coding)符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【0002】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するMPEG(Moving Picture Experts Groupe )などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【0003】
特にMPEG2(ISO/IEC 13818−2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【0004】
かかるMPEG2圧縮方式を用いることにより、例えば720×480画素をもつ標準解像度の飛び越し走査画像であれば4〜8〔Mbps〕、1920×1088画素をもつ高解像度の飛び越し走査画像であれば18〜22〔Mbps〕の符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【0005】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、すなわちより高い圧縮率の符号化方式には対応していなかった。
【0006】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496−2としてその規格が国際標準に承認された。
【0007】
さらに近年、当初テレビ会議用の画像符号化を目的として、H.26L(ITU−T Q6/16 VCEG)という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【0008】
また現在、MPEG4の活動の一環として、このH.26Lをベースに、当該H.26Lではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がJVT符号化方式として行われている。標準化のスケジュールとしては、2003年3月にはH.264及びMPEG−4 Part10(Advanced Video Coding)という名の元に国際標準となる予定である。
【0009】
ここでJVT符号化方式について説明する。入力される画像信号は、まずA/D変換されてディジタル化された後、出力となる画像圧縮情報のGOP(Group of Pictures)構造に応じて、フレーム画像の並べ替えを行う。
【0010】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【0011】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【0012】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【0013】
このイントラ予測処理において、ブロック/マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【0014】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【0015】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【0016】
図2に従来のJVT符号化方式に準拠した画像復号化装置(以下、これをJVT復号化装置と呼ぶ)1を示す。このJVT復号化装置1において、外部入力されるビットストリームでなる画像圧縮情報S1を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0017】
まず外部入力される画像圧縮情報S1は、蓄積バッファ2に格納された後、所定タイミングで読み出されて可逆復号化部3に送出される。可逆復号化部3では、予め定められた画像圧縮情報のフォーマット(以下、これをJVTフォーマットと呼ぶ)に基づき、可変長復号化及び算術復号化等の処理が行われる。
【0018】
その際、可逆復号化部3は、画像圧縮情報S1に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部3は、イントラ符号化であると判断した場合には、画像圧縮情報S1のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部4に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報S1のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部5に送出する。
【0019】
この可逆復号化部3の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部6において逆量子化された後、逆直交変換部7に送出される。この逆直交変換部7では、与えられた変換係数は、所定方式に基づく4次の逆直交変換が施された後、加算器8の一入力端に与えられる。
【0020】
ここで可逆復号部3においてイントラ符号化であると判断された場合、加算器8の他入力端には、イントラ予測部4において生成された予測画像が入力される。この加算器8において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ9に与えられてブロック歪が除去される。
【0021】
このデブロックフィルタ9を介して得られた加算器8の出力は、フレームメモリ10を介して画面並べ替えバッファ11に一時的に保持されながら元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えを行われた後、D/A変換部12においてアナログ変換される一方、当該フレームメモリ10に一時的に格納された後、イントラ予測部4において上述した予測画像が生成される。
【0022】
これに対して可逆復号部3においてインタ符号化であると判断された場合、加算器8の他入力端には、動き予測・補償部5において生成された参照画像が入力される。この加算器8において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ9に与えられてブロック歪が除去される。
【0023】
このデブロックフィルタ9を介して得られた加算器8の出力は、フレームメモリ10を介して画面並べ替えバッファ11に一時的に保持されながら元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えを行われた後、D/A変換部12においてアナログ変換される一方、当該フレームメモリ10に一時的に格納された後、動き予測・補償部5において、当該フレームメモリ10に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0024】
図3に従来のMPEG1/2規格に準拠した画像復号化装置(以下、これをMPEG1/2復号化装置と呼ぶ)を示す。このMPEG1/2復号化装置20では、外部入力されるビットストリームでなる画像圧縮情報を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0025】
まず外部入力される画像圧縮情報S2は、蓄積バッファ21に格納された後、所定タイミングで読み出されて可逆復号化部22に送出される。可逆復号化部22では、予め定められた画像圧縮情報S2のフォーマット(以下、これをMPEG1/2フォーマットと呼ぶ)に基づき、可変長復号化処理が行われる。その際、可逆復号化部22は、画像圧縮情報S2のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部23に送出する。
【0026】
この可逆復号化部22の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部24において逆量子化された後、逆直交変換部25に送出される。この逆直交変換部25では、与えられた変換係数は、所定方式に基づく8次の逆直交変換が施された後、加算器26の一入力端に与えられる。
【0027】
加算器26の他入力端には、動き予測・補償部23において生成された参照画像が入力される。この加算器26において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ27を介して画面並べ替えバッファ28に一時的に保持される。
【0028】
その後、画面並べ替えバッファ28から元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えが行われて読み出された加算器26の合成結果は、D/A変換部29においてアナログ変換される一方、当該フレームメモリ27に一時的に格納された後、動き予測・補償部23において、当該フレームメモリ27に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0029】
【発明が解決しようとする課題】
ところで、上述したJVT復号化装置1(図2)及びMPEG1/2復号化装置20(図3)においては、各機能ブロックにおける処理は異なるものの、基本的な回路構成は同一であるため、双方の機能を持った画像復号化装置を構築することが可能である。すなわちMPEG1/2フォーマットの画像圧縮情報とJVTフォーマットの画像圧縮情報との双方を復号化する機能を持つ画像復号化装置を構築することが可能である。
【0030】
具体的にはJVT復号化装置1(図2)及びMPEG1/2復号化装置20(図3)においては、以下に述べる第1〜第5の違いを有する。
【0031】
まず第1の違いは、JVT復号化装置1においては、可逆復号化部3は所定方式に基づく可変長復号化及び算術復号化の処理を施すのに対して、MPEG1/2復号化装置20においては、可逆復号化部22は所定方式に基づく可逆復号化処理を施す点である。
【0032】
第2の違いは、JVT復号化装置1においては、逆直交変換部7は4次の逆離散コサイン変換処理を施すのに対し、MPEG1/2復号化装置20においては、逆直交変換部25は8次の逆離散コサイン変換処理を施す点である。
【0033】
第3の違いは、復号画像をフレームメモリ27に格納するに先立ち、JVT復号化装置1においては、デブロックフィルタ9がブロック歪の除去を行うのに対し、MPEG1/2復号化装置20においては、ブロック歪の除去を行わない点である。
【0034】
第4の違いは、マクロブロックがイントラマクロブロックである場合、JVT復号化装置1においては、イントラ予測部4は画面内符号化により予測画像の生成を行うのに対し、MPEG1/2復号化装置20においては、画面内符号化による予測画像の生成を行わない点である。
【0035】
第5の違いは、JVT復号化装置1においては、動き予測・補償部5はマルチプルリファレンスフレーム(Multiple Reference Frame)及び可変ブロックサイズ動き補償に対応した1/4画素精度の動き補償処理を施すのに対し、MPEG1/2復号化装置20においては、動き予測・補償部23は線形内挿に基づく1/2画素精度の動き補償処理を施す点である。
【0036】
実際にJVT符号化方式では、動き量の大きな飛越し走査(インタレース)フォーマットの画像に対してはフレーム構造の符号化処理よりもフィールド構造の符号化処理のほうが効率良く符号化できる場合があることを考慮して、符号化対象の画像が飛越し走査フォーマットである場合には、これらフレーム構造の符号化とフィールド構造の符号化とをピクチャ単位で適応的に切り替えることが認められている。
【0037】
さらにJVT符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合において符号化単位としてフィールド構造を適用したときには、Iピクチャの第1フィールドをフィールド内で完結するように符号化(以下、これをフィールド内符号化と呼ぶ)(Iフィールド)し、第2フィールドを時間的に前方向のフィールド画像を参照して符号化(Pフィールド)することも認められている。
【0038】
従って、このように第1及び第2フィールドがそれぞれIフィールド又はPフィールドとして符号化されたIピクチャを復号化するに際しては、第2フィールド(Pフィールド)の復号化処理のために予め対応する参照画像を復号化する必要がある。
【0039】
この場合において、JVT符号化方式では、図4に示すように、符号化時における動き補償処理時の参照画像として対象フレーム画像の前後の2以上のフレーム画像を用いることができるマルチプルリファレンスフレーム(Multiple Reference Frame)機能がサポートされている。
【0040】
このため、図5に示すように、第2フィールドがPフィールドであるIピクチャを復号化するに際して、当該Pフィールドが当該Iピクチャ以外の他のPピクチャやBピクチャのフィールド画像を参照画像としている場合には、当該PピクチャやBピクチャの復号化処理をも必要となる。
【0041】
このようにJVT符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合、直前のIピクチャだけでなく、過去に遡って複数のPピクチャやBピクチャを参照することが可能であるため、上述したJVT復号化装置1(図2)内のフレームメモリの動作容量を従来よりも多く必要とする。
【0042】
さらに近年、ネットワークの限られたバンド幅又はネットワークの記憶メディアの容量を効率的に利用するため、上述のような飛び越し走査フォーマットが広く用いられているが、飛び越し走査フォーマットの画像は、画面にちらつきを有することが知られている。このため図6に示すように、飛び越し走査フォーマットの画像を、順次走査(ノンインタレース)フォーマットに変換して、ちらつきを抑えた高画質な画像として出力する技術が現在広く用いられている。
【0043】
例えば、図6における周辺の画素値A、B、C、Dを用いて、補間画素値Xを生成する方法を説明する。まず空間方向相関をCorrV、時間方向相関をCorrTとして、画素値Xに関する相関を、次式
【0044】
【数1】
【0045】
【数2】
【0046】
により算出する。その際、次式
【0047】
【数3】
【0048】
が成立するとき、画素値Xの周辺では、空間方向の相関が高いと判定し、成立しない場合には、時間方向の相関が高いと判定する。前者の場合、次式
【0049】
【数4】
【0050】
とし、後者の場合、次式
【0051】
【数5】
【0052】
として、補間画素値Xを生成する。
【0053】
図6においては、原画素の画素値、及び補間により生成された画素値を格納するため、原画像のみを格納する場合の2倍のメモリ容量を必要とする。
【0054】
また、欧州においては、PAL(Phase Alternation by Line)フォーマット(720×576×25〔Hz〕、飛び越し走査)がテレビジョン信号処理に採用されているが、25〔Hz〕では、画像によっては動きが不自然に見えるため、図7に示すような、倍速変換処理を行い、50〔Hz〕にすることによって動画像における円滑な動きを表現する技術が用いられている。
【0055】
図7においても、原画像の画素値、及び、補間により生成された画素値を格納するため、原画像のみを格納する場合の2倍のメモリ容量を必要とする。
【0056】
従ってJVT符号化方式において上述したようなマルチプルリファレンスフレーム機能の処理を行う場合や、飛越し走査フォーマットから順次走査フォーマットへの変換処理を行う場合には、装置内部のフレームメモリの動作容量をより一層多く必要とすることから、その分の動作容量をMPEG1/2復号化装置において復号化処理に用いられないメモリ容量を利用することができれば望ましい。
【0057】
本発明は以上の点を考慮してなされたもので、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【0058】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第1及び第2の符号化方式でそれぞれ符号化された画像データでなる第1及び第2の符号化画像データを復号化処理する画像復号化装置において、第1の符号化画像データに対して第1の復号化処理を施す第1の復号化手段と、第2の符号化画像データに対して第2の復号化処理を施す第2の復号化手段と、第1の復号化手段による第1の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第2の復号化手段による第2の復号化処理に使用されるようにした。
【0059】
この結果この画像復号化装置では、第1の復号化処理を施す第1の復号化手段と第2の復号化処理を施す第2の復号化手段とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【0060】
また本発明においては、入力される第1又は第2の符号化画像データの種類を判別する判別手段と、第2の復号化手段による第2の復号化処理の結果に対して、所定の画像処理を行う画像処理手段とを設け、制御手段は、判別手段の判別結果が第2の符号化画像データである場合、メモリ手段のメモリ領域のうち第2の復号化手段による第2の復号化処理に使用されない領域を、画像処理手段による画像処理に使用させるようにした。
【0061】
この結果この画像復号化装置では、第2の復号化手段による第2の復号化処理を行う際に、第1の復号化処理に使用されるメモリ手段のメモリ領域のうち第2の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【0062】
さらに本発明においては、第1及び第2の符号化方式でそれぞれ符号化された画像データでなる第1及び第2の符号化画像データを復号化処理する画像復号化方法において、入力される第1又は第2の符号化画像データの種類を判別する第1のステップと、判別結果に応じて第1又は第2の符号化画像データに対して第1又は第2の復号化処理を施す第2のステップとを設け、第1の復号化処理に使用されるメモリ手段を、第2の復号化処理に使用するようにした。
【0063】
この結果この画像復号化方法では、第1の復号化処理と第2の復号化処理とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【0064】
さらに本発明においては、第2の復号化処理の結果に対して所定の画像処理を行う第3のステップを設け、第2のステップでは、第1の復号化処理に使用されるメモリ手段のメモリ領域のうち第2の復号化処理に使用されない領域を、画像処理に使用するようにした。
【0065】
この結果この画像復号化方法では、第2の復号化処理を行う際に、第1の復号化処理に使用されるメモリ手段のメモリ領域のうち第2の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【0066】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【0067】
(1)本実施の形態による画像復号化装置の構成
図2及び図3との対応部分に同一符号を付して示す図1において、30は本実施の形態におけるJVT符号化方式及びMPEG1/2の双方に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報S10(S1又はS2)を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【0068】
画像復号化装置30では、JVT符号化方式に準拠した画像復号化部(以下、これをJVT復号化部と呼ぶ)31と、MPEG1/2規格に準拠した画像復号化部(以下、これをMPEG1/2復号化部と呼ぶ)32とを有し、双方の前段に設けられた蓄積バッファ33と、双方の後段に設けられたフレームメモリ34、画面並べ替えバッファ35及びD/A変換部36を共有するようになされている。
【0069】
この画面復号化装置30では、外部入力される画像圧縮情報S10は、圧縮情報判別部37を介してJVTフォーマット又はMPEG1/2フォーマットのいずれの圧縮方式に基づくものであるかの判別が行われた後、蓄積バッファ33に格納される。この圧縮情報判別部37は、後段の蓄積バッファ33から画像圧縮情報S10を読み出した後、当該画像圧縮情報S10から画像フォーマットに関する情報を抽出することにより、上述のような判別を行う。
【0070】
例えば画像圧縮情報S10がMPEG2システムに基づいた画像圧縮情報により多重化されて伝送される場合には、システムレイヤに含まれるストリームIDを参照することにより判別することが可能である。
【0071】
この圧縮情報判別部37による判別結果により、蓄積バッファ33に蓄積された画像圧縮情報S10が、JVTフォーマットに基づくものと判別された場合には、所定タイミングで読み出されてJVT復号化部31に送出される一方、MPEG1/2フォーマットに基づくものと判別された場合には、所定タイミングで読み出されてMPEG1/2復号化部32に送出される。
【0072】
まずJVT復号化部31において、可逆復号化部3では、JVTフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。その際、可逆復号化部3は、画像圧縮情報S10に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。
【0073】
可逆復号化部3は、イントラ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部4に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報S10のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部5に送出する。
【0074】
この可逆復号化部3の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部6において逆量子化された後、逆直交変換部7に送出される。この逆直交変換部7では、与えられた変換係数は、所定方式に基づく4次の逆直交変換が施された後、加算器8の一入力端に与えられる。
【0075】
ここで可逆復号部3においてイントラ符号化であると判断された場合、加算器8の他入力端には、イントラ予測部4において生成された予測画像が入力される。この加算器8において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ9に与えられてブロック歪が除去される。
【0076】
このデブロックフィルタ9を介して得られた加算器8の出力は、フレームメモリ34を介して画面並べ替えバッファ35に一時的に保持されながら元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えを行われた後、D/A変換部36においてアナログ変換される一方、当該フレームメモリ34に一時的に格納された後、イントラ予測部4において上述した予測画像が生成される。
【0077】
これに対して可逆復号部3においてインタ符号化であると判断された場合、加算器8の他入力端には、動き予測・補償部5において生成された参照画像が入力される。この加算器8において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ9に与えられてブロック歪が除去される。
【0078】
このデブロックフィルタ9を介して得られた加算器8の出力は、フレームメモリ34を介して画面並べ替えバッファ35に一時的に保持されながら元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えを行われた後、D/A変換部36においてアナログ変換される一方、当該フレームメモリ34に一時的に格納された後、動き予測・補償部5において、当該フレームメモリ34に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0079】
一方、MPEG1/2復号化部32において、可逆復号化部22では、MPEG1/2フォーマットに基づき、可変長復号化処理が行われる。その際、可逆復号化部22は、画像圧縮情報S10のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部23に送出する。
【0080】
この可逆復号化部22の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部24において逆量子化された後、逆直交変換部25に送出される。この逆直交変換部25では、与えられた変換係数は、所定方式に基づく8次の逆直交変換が施された後、加算器26の一入力端に与えられる。
【0081】
加算器26の他入力端には、動き予測・補償部23において生成された参照画像が入力される。この加算器26において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ34を介して画面並べ替えバッファ35に一時的に保持される。
【0082】
その後、画面並べ替えバッファ35から元の画像圧縮情報のGOP構造に応じてフレーム画像の並べ替えが行われて読み出された加算器26の合成結果は、D/A変換部36においてアナログ変換される一方、当該フレームメモリ34に一時的に格納された後、動き予測・補償部23において、当該フレームメモリ34に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【0083】
かかる構成に加えて画像復号化装置30においては、フレームメモリ34に接続するように画像情報変換部38が設けられ、圧縮情報判別部37の判別結果でなる制御信号S11が供給されるようになされている。
【0084】
本実施の形態の場合、JVT復号化部31及びMPEG1/2復号化部32の双方でフレームメモリ34を共有しているが、JVT復号化部31ではマルチプルリファレンスフレーム機能が規定されているため、フレームメモリ34のうち、JVT符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってMPEG1/2復号化部32によっては用いられない領域(以下、これをJVT機能領域と呼ぶ)が存在する。
【0085】
このためMPEG1/2フォーマットに基づく画像圧縮情報の復号化処理を行う際には、フレームメモリ34内のかかるJVT機能領域を、以下に述べるように、出力画像の高画質化を図るべく有効利用する。
【0086】
まず圧縮情報判別部37は、入力される画像圧縮情報S10がMPEG1/2フォーマットに基づくと判別した場合、画像情報変換部38に制御信号S11を送出する。画像情報変換部38は、フレームメモリ34からMPEG1/2フォーマットに基づく画像圧縮情報を抽出した後、飛び越し走査フォーマットから順次走査フォーマットへの変換を実行することによりちらつきを抑えた高画質化処理を行う。
【0087】
この結果、画像情報変換部38は、補間により生成した画像を、フレームメモリ34におけるJVT機能領域に格納する。このようにフレームメモリ34のJVT機能領域を高画質化処理に利用することにより、MPEG1/2フォーマット及びJVTフォーマットの双方に基づく画像圧縮情報の復号化処理を行う際に、当該双方で効率良く共有させることができる。
【0088】
(2)本実施の形態による動作及び効果
以上の構成において、この画像復号化装置30では、JVT符号化方式に準拠した復号化処理を行うJVT復号化部31と、MPEG1/2規格に準拠した復号化処理を行うMPEG1/2復号化部32とを設け、入力される画像圧縮情報S10の種類に応じて双方の復号化処理を行うことができる。
【0089】
またこの画像復号化装置30では、JVT復号化部31及びMPEG1/2復号化部32において、蓄積バッファ33、フレームメモリ34、画面並べ替えバッファ35及びD/A変換部36を共有して使用することにより、装置全体として構成を簡易にすることができる。
【0090】
その際、フレームメモリ34は、JVT復号化部31で実行するマルチプルリファレンスフレーム機能に十分に使用可能なメモリ容量に設定されているため、JVT符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってMPEG1/2復号化部32によっては用いられないJVT機能領域が存在する。
【0091】
このためMPEG1/2復号化部32における復号化処理を行う場合であって、かつ、画像情報変換部38によって飛び越し走査フォーマットから順次走査フォーマットへの変換処理を実行する際には、当該画像情報変換部38において補間により生成した画像をフレームメモリ34内のJVT機能領域に格納することにより、当該フレームメモリ34を有効に利用することができ、この結果、新たにRAM(Random Access Memory)等のメモリを設ける必要がなくて済む。
【0092】
以上の構成によれば、画像復号化装置30において、JVT復号化部31及びMPEG1/2復号化部32を併合させる場合に、双方の復号化処理に必要な蓄積バッファ33、フレームメモリ34及び画面並べ替えバッファ35等の機能ブロックを共用させるようにしたことにより、装置全体の構成を簡易にすることができると共に、フレームメモリ34のうちJVT符号化によるマルチプルリファレンスフレーム機能に対応した動き補償に用いるJVT機能領域を、MPEG1/2復号化部32における復号化処理の際にさらに飛び越し走査フォーマットから順次走査フォーマットへの変換処理にも使用することができ、かくして構成を簡易にし得る画像復号化装置30を実現できる。
【0093】
(3)他の実施の形態
なお上述のように本実施の形態においては、JVT符号化方式(第1の符号化方式)及びMPEG1/2方式(第2の符号化方式)でそれぞれ符号化された画像データでなる第1及び第2の符号化画像データS10を復号化処理する画像復号化装置として、図1に示すようなJVT復号化部(第1の復号化手段)31及びMPEG1/2復号化部(第2の復号化手段)32を有する構成の画像復号化装置30を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【0094】
また本実施の形態においては、JVT復号化部(第1の復号化手段)31とMPEG1/2復号化部(第2の復号化手段)32とでフレームメモリ(メモリ手段)34を共用するようにした場合について述べたが、本発明はこれに限らず、メモリ手段としては、本実施の形態のように蓄積バッファ33及び画面並べ替えバッファ35を含めるようにしても良く、さらにはこれ以外にもメモリ手段の後段に接続されたD/A変換部36等の各種の機能ブロックを共用するようにしても良い。
【0095】
さらに本実施の形態においては、入力される第1又は第2の符号化画像データS10(S1又はS2)の種類を判別する判別手段として、図1の画像復号化装置30における圧縮情報判別部37を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる判別手段を広く適用するようにしても良い。
【0096】
さらに本実施の形態においては、MPEG1/2復号化部(第2の復号化手段)32による第2の復号化処理の結果に対して、所定の画像処理を施す画像処理手段として、飛び越し走査フォーマットから順次走査フォーマットへの変換処理を施す画像情報変換部38(図1)を適用するようにした場合について述べたが、本発明はこれに限らず、この他の画像処理としてフレームレート変換等の画像の変換や、画像の特徴の抽出、画像の認識など、この他種々の画像処理に広く適用することができる。この場合も、フレームメモリ(メモリ手段)のメモリ領域のうちMPEG1/2復号化部(第2の復号化手段)32による第2の復号化処理に使用されないJVT機能領域を使用させるようにすれば良い。
【0097】
【発明の効果】
上述のように本発明によれば、第1及び第2の符号化方式でそれぞれ符号化された画像データでなる第1及び第2の符号化画像データを復号化処理する画像復号化装置において、第1の符号化画像データに対して第1の復号化処理を施す第1の復号化手段と、第2の符号化画像データに対して第2の復号化処理を施す第2の復号化手段と、第1の復号化手段による第1の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第2の復号化手段による第2の復号化処理に使用されるようにしたことにより、第1の復号化手段と第2の復号化手段とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にし得る画像復号化装置を実現できる。
【0098】
また本発明によれば、第1及び第2の符号化方式でそれぞれ符号化された画像データでなる第1及び第2の符号化画像データを復号化処理する画像復号化方法において、入力される第1又は第2の符号化画像データの種類を判別する第1のステップと、判別結果に応じて第1又は第2の符号化画像データに対して第1又は第2の復号化処理を施す第2のステップとを設け、第1の復号化処理に使用されるメモリ手段を、第2の復号化処理に使用するようにしたことにより、第1の復号化処理と第2の復号化処理とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にすることができる。
【図面の簡単な説明】
【図1】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図2】従来のJVT復号化装置の構成を示すブロック図である。
【図3】従来のMPEG1/2復号化装置の構成を示すブロック図である。
【図4】マルチプルリファレンスフレーム機能の説明に供する略線図である。
【図5】マルチプルリファレンスフレーム機能における参照画像の説明に供する略線的な平面図である。
【図6】飛び越し走査フォーマットから順次走査フォーマットへの変換処理の説明に供する略線的な平面図である。
【図7】倍速変換処理の説明に供する略線的な平面図である。
【符号の説明】
30……画像復号化装置、31……JVT復号化部、32……MPEG1/2復号化部、33……蓄積バッファ、34……フレームメモリ、35……画面並べ替えバッファ、36……D/A変換部、37……圧縮情報判別部、38……画像情報変換部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image decoding device and an image decoding method, and is suitably applied to, for example, an image decoding device and an image decoding method based on a JVT (Joint Model of Enhanced-Compression Video Coding) coding system. .
[0002]
[Prior art]
In recent years, image information has been digitized and handled. At that time, compression is performed by orthogonal transform such as discrete cosine transform and motion compensation by utilizing the redundancy inherent in image information for the purpose of efficiently transmitting and storing information. 2. Description of the Related Art Devices conforming to a method such as MPEG (Moving Picture Experts Group) are becoming widespread in both information distribution at broadcasting stations and information reception in ordinary households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding method, and is a standard covering both interlaced scan images and progressive scan images, as well as standard resolution images and high-definition images, and is used for professional use and Currently widely used in a wide range of consumer applications.
[0004]
By using the MPEG2 compression method, for example, 4 to 8 [Mbps] for a standard resolution interlaced scan image having 720 × 480 pixels, and 18 to 22 for a high resolution interlace scan image having 1920 × 1088 pixels. By assigning a code amount (bit rate) of [Mbps], a high compression rate and good image quality can be realized.
[0005]
MPEG2 mainly targets high-quality coding suitable for broadcasting, but does not support a coding amount (bit rate) lower than that of MPEG1, that is, a coding method with a higher compression rate.
[0006]
With the spread of mobile terminals, it is expected that the need for such an encoding system will increase in the future, and in response to this, the MPEG4 encoding system has been standardized. Regarding the image coding system, the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
[0007]
Furthermore, in recent years, H.264 was initially used for image coding for video conferences. The standardization of 26L (ITU-T Q6 / 16 VCEG) is in progress. H. It is known that 26L requires a larger amount of calculation for encoding and decoding than conventional encoding methods such as MPEG2 and MPEG4, but realizes higher encoding efficiency.
[0008]
Currently, as part of MPEG4 activities, 26L based on the H.26L. In the 26L, JVT encoding is standardized to incorporate functions that are not supported and to achieve higher encoding efficiency. As a standardization schedule, H.M. It will be an international standard under the name of H.264 and MPEG-4 Part 10 (Advanced Video Coding).
[0009]
Here, the JVT encoding method will be described. The input image signal is first A / D converted and digitized, and then the frame images are rearranged in accordance with the GOP (Group of Pictures) structure of the output image compression information.
[0010]
For an image on which intra coding is performed, the input image and the difference information between the pixel values generated by the intra prediction are subjected to orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform, and the resulting transform coefficients are obtained. Are subjected to quantization processing.
[0011]
The quantized transform coefficients are subjected to lossless encoding such as variable-length encoding and arithmetic encoding, and then accumulated and output as image compression information. Such quantization processing is rate-controlled in a feedback manner according to the accumulation state.
[0012]
On the other hand, the quantized transform coefficients are subjected to inverse quantization and inverse orthogonal transform to become decoded image information. After the block distortion is removed by deblocking filter processing, the information is stored in the frame memory. While being accumulated, it is used for intra prediction processing.
[0013]
In this intra prediction process, information on the intra prediction mode applied to the block / macroblock is subjected to a lossless encoding process, and is encoded as a part of header information in the image compression information.
[0014]
In addition, for an image to be inter-coded, first, image information is subjected to motion prediction and compensation processing, and at the same time, reference image information is read from a frame memory and subjected to motion prediction and compensation processing. Reference image information is generated. The reference image information is converted into a difference signal from the image information.
[0015]
In the motion compensation / prediction process, the motion vector information is simultaneously subjected to a lossless encoding process to form information to be inserted into the header portion of the image compression information. Other processes are the same as those of the image compression information to be subjected to intra coding.
[0016]
FIG. 2 shows an image decoding apparatus 1 (hereinafter, referred to as a JVT decoding apparatus) based on the conventional JVT encoding method. In the
[0017]
First, the externally input image compression information S1 is stored in the
[0018]
At this time, the lossless decoding unit 3 determines whether the frame image based on the image compression information S1 has been performed by the intra-coding or the inter-coding. When the lossless decoding unit 3 determines that the encoding is the intra coding, the lossless decoding unit 3 also decodes the intra prediction mode information written in the header part of the image compression information S1 and sends the information to the intra prediction unit 4, while If it is determined that the encoding is the encoding, the motion vector information written in the header portion of the image compression information S1 is also decoded and transmitted to the motion prediction / compensation unit 5.
[0019]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 3 are inversely quantized by the
[0020]
If the lossless decoding unit 3 determines that the encoding is intra coding, the prediction image generated by the intra prediction unit 4 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transform and the predicted image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0021]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 11 via the
[0022]
On the other hand, when the lossless decoding unit 3 determines that the encoding is inter-coding, the reference image generated by the motion prediction / compensation unit 5 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transformation and the reference image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0023]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 11 via the
[0024]
FIG. 3 shows a conventional image decoding apparatus conforming to the MPEG1 / 2 standard (hereinafter referred to as an MPEG1 / 2 decoding apparatus). In the MPEG1 / 2
[0025]
First, the externally input image compression information S2 is stored in the
[0026]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the
[0027]
The reference image generated by the motion prediction /
[0028]
After that, the frame image is rearranged from the
[0029]
[Problems to be solved by the invention]
Incidentally, in the above-described JVT decoding device 1 (FIG. 2) and the MPEG1 / 2 decoding device 20 (FIG. 3), although the processing in each functional block is different, since the basic circuit configuration is the same, both of them are identical. It is possible to construct an image decoding device having functions. That is, it is possible to construct an image decoding device having a function of decoding both the image compression information in the MPEG1 / 2 format and the image compression information in the JVT format.
[0030]
Specifically, the JVT decoding apparatus 1 (FIG. 2) and the MPEG1 / 2 decoding apparatus 20 (FIG. 3) have the following first to fifth differences.
[0031]
The first difference is that in the
[0032]
The second difference is that, in the
[0033]
The third difference is that before the decoded image is stored in the
[0034]
The fourth difference is that when the macroblock is an intra macroblock, in the
[0035]
The fifth difference is that, in the
[0036]
In fact, in the JVT encoding method, an interlaced format image having a large amount of motion may be encoded more efficiently with the field structure than with the frame structure. In consideration of this, when the image to be encoded is in the interlaced scanning format, it is recognized that the encoding of the frame structure and the encoding of the field structure can be adaptively switched on a picture basis.
[0037]
Further, in the JVT coding method, when a field structure is applied as a coding unit in a case where an image to be coded is an interlaced scan format, coding is performed so that the first field of an I-picture is completed within the field (hereinafter, referred to as the I-picture) , This is referred to as intra-field coding) (I field), and it is also recognized that the second field is coded (P field) with reference to a temporally forward field image.
[0038]
Therefore, when decoding an I picture in which the first and second fields are coded as an I field or a P field, respectively, the corresponding reference is used in advance for decoding the second field (P field). The image needs to be decoded.
[0039]
In this case, in the JVT encoding method, as shown in FIG. 4, two or more frame images before and after the target frame image can be used as reference images at the time of motion compensation processing at the time of encoding. Reference Frame) function is supported.
[0040]
Therefore, as shown in FIG. 5, when decoding an I picture whose second field is a P field, the P field uses a field image of a P picture or a B picture other than the I picture as a reference image. In such a case, decoding of the P picture or the B picture is also required.
[0041]
As described above, in the JVT encoding method, when an image to be encoded has an interlaced scanning format, not only the immediately preceding I picture but also a plurality of P pictures and B pictures can be referred to in the past. Therefore, the operation capacity of the frame memory in the above-described JVT decoding device 1 (FIG. 2) needs to be larger than before.
[0042]
In recent years, in order to efficiently use the limited bandwidth of the network or the capacity of the storage medium of the network, the above-described interlaced scanning format has been widely used. However, an image in the interlaced scanning format flickers on the screen. It is known to have For this reason, as shown in FIG. 6, a technique of converting an image in the interlaced scanning format into a progressive scanning (non-interlaced) format and outputting it as a high-quality image with reduced flicker is widely used.
[0043]
For example, a method of generating an interpolated pixel value X using peripheral pixel values A, B, C, and D in FIG. 6 will be described. First, assuming that the spatial direction correlation is CorrV and the time direction correlation is CorrT, the correlation with respect to the pixel value X is expressed by the following equation.
[0044]
(Equation 1)
[0045]
(Equation 2)
[0046]
It is calculated by: Then,
[0047]
[Equation 3]
[0048]
Is satisfied, it is determined that the correlation in the spatial direction is high around the pixel value X, and otherwise, it is determined that the correlation in the time direction is high. In the former case,
[0049]
(Equation 4)
[0050]
And in the latter case,
[0051]
(Equation 5)
[0052]
To generate an interpolation pixel value X.
[0053]
In FIG. 6, since the pixel value of the original pixel and the pixel value generated by the interpolation are stored, twice as much memory capacity as when only the original image is stored is required.
[0054]
In Europe, a PAL (Phase Alternation by Line) format (720 × 576 × 25 [Hz], interlaced scanning) is used for television signal processing. Since the image looks unnatural, a technique of performing a double speed conversion process as shown in FIG. 7 and expressing smooth motion in a moving image by setting the frequency to 50 [Hz] is used.
[0055]
Also in FIG. 7, since the pixel values of the original image and the pixel values generated by the interpolation are stored, twice as much memory capacity as when only the original image is stored is required.
[0056]
Therefore, in the case of performing the processing of the multiple reference frame function as described above in the JVT encoding system or performing the conversion processing from the interlaced scanning format to the sequential scanning format, the operation capacity of the frame memory inside the apparatus is further increased. Since a large amount of memory is required, it is desirable that the operation capacity can be used by a memory capacity that is not used in the decoding process in the MPEG1 / 2 decoding device.
[0057]
The present invention has been made in view of the above points, and it is an object of the present invention to propose an image decoding device and an image decoding method that can simplify the configuration of the entire device.
[0058]
[Means for Solving the Problems]
In order to solve this problem, the present invention provides an image decoding apparatus that performs decoding processing on first and second encoded image data, which are image data respectively encoded by the first and second encoding methods. A first decoding unit for performing a first decoding process on the first encoded image data, and a second decoding unit for performing a second decoding process on the second encoded image data Means and memory means used for a first decoding process by the first decoding means, wherein the memory means is used for a second decoding process by the second decoding means. .
[0059]
As a result, in this image decoding apparatus, the memory means can be shared by the first decoding means for performing the first decoding processing and the second decoding means for performing the second decoding processing. The configuration can be simplified as a whole.
[0060]
Further, in the present invention, a determination means for determining the type of the first or second encoded image data to be input, and a predetermined image corresponding to a result of the second decoding processing by the second decoding means. Image processing means for performing processing; and when the determination result of the determination means is the second encoded image data, the control means controls the second decoding by the second decoding means in the memory area of the memory means. An area not used for processing is used for image processing by the image processing means.
[0061]
As a result, in the image decoding apparatus, when performing the second decoding process by the second decoding unit, the second decoding process in the memory area of the memory unit used for the first decoding process is performed. Since the area not used for the image processing is used for the image processing, it is not necessary to provide a new memory means.
[0062]
Further, in the present invention, in the image decoding method for decoding the first and second encoded image data composed of the image data respectively encoded by the first and second encoding methods, A first step of determining the type of the first or second encoded image data, and a first step of performing the first or second decoding processing on the first or second encoded image data according to the determination result.
[0063]
As a result, in this image decoding method, the memory means can be shared between the first decoding processing and the second decoding processing, and the configuration of the entire apparatus can be simplified.
[0064]
Further, in the present invention, a third step of performing a predetermined image processing on a result of the second decoding processing is provided, and in the second step, a memory of a memory means used for the first decoding processing is provided. An area that is not used for the second decoding process among the areas is used for image processing.
[0065]
As a result, in this image decoding method, when performing the second decoding process, an area not used for the second decoding process in the memory area of the memory means used for the first decoding process is subjected to image processing. In this case, it is not necessary to newly provide a memory means.
[0066]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings.
[0067]
(1) Configuration of image decoding device according to the present embodiment
In FIG. 1 in which parts corresponding to those in FIGS. 2 and 3 are assigned the same reference numerals,
[0068]
The
[0069]
In the
[0070]
For example, when the image compression information S10 is multiplexed and transmitted by the image compression information based on the MPEG2 system, it is possible to determine by referring to the stream ID included in the system layer.
[0071]
When the image compression information S10 stored in the
[0072]
First, in the JVT decoding unit 31, in the lossless decoding unit 3, processing such as variable length decoding and arithmetic decoding is performed based on the JVT format. At that time, the lossless decoding unit 3 determines whether the frame image based on the image compression information S10 has been performed by the intra-coding or the inter-coding.
[0073]
When the lossless decoding unit 3 determines that the encoding is the intra coding, the lossless decoding unit 3 also decodes the intra prediction mode information written in the header part of the image compression information S10 and sends it to the intra prediction unit 4, while If it is determined that the encoding is the encoding, the motion vector information written in the header portion of the image compression information S10 is also decoded and transmitted to the motion prediction / compensation unit 5.
[0074]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 3 are inversely quantized by the
[0075]
If the lossless decoding unit 3 determines that the encoding is intra coding, the prediction image generated by the intra prediction unit 4 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transform and the predicted image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0076]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the
[0077]
On the other hand, when the lossless decoding unit 3 determines that the encoding is inter-coding, the reference image generated by the motion prediction / compensation unit 5 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transformation and the reference image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0078]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the
[0079]
On the other hand, in the MPEG1 / 2 decoding section 32, the
[0080]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the
[0081]
The reference image generated by the motion prediction /
[0082]
After that, the combined result of the
[0083]
In addition to the above configuration, in the
[0084]
In the case of the present embodiment, the
[0085]
For this reason, when decoding the image compression information based on the MPEG1 / 2 format, the JVT functional area in the
[0086]
First, when it is determined that the input image compression information S10 is based on the MPEG1 / 2 format, the compression
[0087]
As a result, the image
[0088]
(2) Operation and effect according to the present embodiment
In the above configuration, in the
[0089]
Further, in the
[0090]
At this time, the
[0091]
Therefore, when the decoding process is performed in the MPEG1 / 2 decoding unit 32 and the conversion process from the interlaced scanning format to the progressive scanning format is performed by the image
[0092]
According to the above configuration, when the JVT decoding unit 31 and the MPEG1 / 2 decoding unit 32 are combined in the
[0093]
(3) Other embodiments
Note that, as described above, in the present embodiment, the first and second image data which are respectively encoded by the JVT encoding method (first encoding method) and the MPEG1 / 2 method (second encoding method). As an image decoding device for decoding the second encoded image data S10, a JVT decoding unit (first decoding unit) 31 and an MPEG1 / 2 decoding unit (second decoding unit) as shown in FIG. Although the description has been given of the case where the
[0094]
In the present embodiment, the JVT decoding unit (first decoding unit) 31 and the MPEG1 / 2 decoding unit (second decoding unit) 32 share a frame memory (memory unit) 34. However, the present invention is not limited to this, and the memory means may include the
[0095]
Further, in the present embodiment, the compression
[0096]
Further, in the present embodiment, an interlaced scan format is used as image processing means for performing predetermined image processing on the result of the second decoding processing by the MPEG1 / 2 decoding unit (second decoding means) 32. However, the present invention is not limited to this, and other image processing such as frame rate conversion is performed. The present invention can be widely applied to various other image processing such as image conversion, image feature extraction, and image recognition. Also in this case, if the JVT function area not used for the second decoding process by the MPEG1 / 2 decoding unit (second decoding means) 32 in the memory area of the frame memory (memory means) is used. good.
[0097]
【The invention's effect】
As described above, according to the present invention, in an image decoding device that performs decoding processing on first and second encoded image data that are image data respectively encoded by the first and second encoding methods, A first decoding unit that performs a first decoding process on the first encoded image data, and a second decoding unit that performs a second decoding process on the second encoded image data And a memory means used for a first decoding process by the first decoding means, wherein the memory means is used for a second decoding process by the second decoding means. Accordingly, the memory means can be shared by the first decoding means and the second decoding means, and thus an image decoding apparatus which can simplify the configuration as a whole apparatus can be realized.
[0098]
Further, according to the present invention, in an image decoding method for decoding first and second encoded image data composed of image data respectively encoded by the first and second encoding schemes, A first step of determining the type of the first or second encoded image data, and performing the first or second decoding processing on the first or second encoded image data according to the determination result A second step, wherein the memory means used for the first decoding process is used for the second decoding process, whereby the first decoding process and the second decoding process are performed. And the memory means can be shared, and thus the configuration of the entire apparatus can be simplified.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image decoding device according to the present embodiment.
FIG. 2 is a block diagram illustrating a configuration of a conventional JVT decoding device.
FIG. 3 is a block diagram showing a configuration of a conventional MPEG1 / 2 decoding device.
FIG. 4 is a schematic diagram used to explain a multiple reference frame function.
FIG. 5 is a schematic plan view for describing a reference image in a multiple reference frame function.
FIG. 6 is a schematic plan view for explaining a conversion process from an interlaced scanning format to a progressive scanning format.
FIG. 7 is a schematic plan view for explaining a double speed conversion process.
[Explanation of symbols]
30 image decoding device, 31 JVT decoding unit, 32 MPEG1 / 2 decoding unit, 33 storage buffer, 34 frame memory, 35 screen reordering buffer, 36 D / A conversion unit, 37 ... compression information determination unit, 38 ... image information conversion unit.
Claims (4)
上記第1の符号化画像データに対して第1の復号化処理を施す第1の復号化手段と、
上記第2の符号化画像データに対して第2の復号化処理を施す第2の復号化手段と、
上記第1の復号化手段による上記第1の復号化処理に使用されるメモリ手段とを具え、上記メモリ手段は、上記第2の復号化手段による上記第2の復号化処理に使用される
ことを特徴とする画像復号化装置。An image decoding apparatus that performs decoding processing on first and second encoded image data including image data encoded by the first and second encoding systems, respectively.
First decoding means for performing a first decoding process on the first encoded image data;
Second decoding means for performing a second decoding process on the second encoded image data,
Memory means used for the first decoding processing by the first decoding means, wherein the memory means is used for the second decoding processing by the second decoding means. An image decoding device characterized by the above-mentioned.
上記第2の復号化手段による上記第2の復号化処理の結果に対して、所定の画像処理を施す画像処理手段と
を具え、上記判別手段の判別結果が上記第2の符号化画像データである場合、上記画像処理手段は、上記メモリ手段のメモリ領域のうち上記第2の復号化手段による上記第2の復号化処理に使用されない領域を、上記画像処理に使用する
ことを特徴とする請求項1に記載の画像復号化装置。Determining means for determining the type of the input first or second encoded image data;
Image processing means for performing predetermined image processing on the result of the second decoding processing by the second decoding means, wherein the determination result of the determination means is the second encoded image data. In some cases, the image processing means uses an area of the memory area of the memory means that is not used for the second decoding processing by the second decoding means for the image processing. Item 2. The image decoding device according to Item 1.
入力される上記第1又は第2の符号化画像データの種類を判別する第1のステップと、
上記判別結果に応じて上記第1又は第2の符号化画像データに対して第1又は第2の復号化処理を施す第2のステップと
を具え、上記第1の復号化処理に使用されるメモリ手段を、上記第2の復号化処理に使用するようにした
ことを特徴とする画像復号化方法。In an image decoding method for decoding first and second encoded image data composed of image data respectively encoded by the first and second encoding methods,
A first step of determining the type of the input first or second encoded image data;
A second step of performing a first or second decoding process on the first or second encoded image data in accordance with the determination result, and is used for the first decoding process. An image decoding method, wherein the memory means is used for the second decoding process.
を具え、上記第2のステップでは、上記第1の復号化処理に使用されるメモリ手段のメモリ領域のうち上記第2の復号化処理に使用されない領域を、上記画像処理に使用する
ことを特徴とする請求項3に記載の画像復号化方法。A third step of performing predetermined image processing on a result of the second decoding process; and in the second step, a memory area of a memory unit used in the first decoding process is used. The image decoding method according to claim 3, wherein an area not used for the second decoding processing is used for the image processing.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142002A JP4264811B2 (en) | 2003-05-20 | 2003-05-20 | Image decoding apparatus and image decoding method |
CNB2004100453351A CN1332564C (en) | 2003-05-20 | 2004-05-20 | Image decoding device and image decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142002A JP4264811B2 (en) | 2003-05-20 | 2003-05-20 | Image decoding apparatus and image decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004349812A true JP2004349812A (en) | 2004-12-09 |
JP4264811B2 JP4264811B2 (en) | 2009-05-20 |
Family
ID=33530208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003142002A Expired - Fee Related JP4264811B2 (en) | 2003-05-20 | 2003-05-20 | Image decoding apparatus and image decoding method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4264811B2 (en) |
CN (1) | CN1332564C (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219628A (en) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | Motion compensation apparatus |
CN102724382A (en) * | 2011-03-30 | 2012-10-10 | 比亚迪股份有限公司 | Circuit for processing picture signal |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140241380A1 (en) * | 2011-02-11 | 2014-08-28 | Joseph A. Bennett | Media stream over pass through mechanism |
US10003823B2 (en) * | 2015-01-30 | 2018-06-19 | Mediatek Inc. | Video decoder and video encoder using storage sharing technique for performing decoding and encoding functions complying with different video coding standards and associated shared storage device |
CN113847939A (en) * | 2021-09-30 | 2021-12-28 | 东风越野车有限公司 | Offline fault diagnosis system and method applied to vehicle instrument |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3659366B2 (en) * | 1995-12-19 | 2005-06-15 | Kddi株式会社 | Hierarchical encoder |
US6535530B1 (en) * | 1997-07-23 | 2003-03-18 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for demultiplexing multiplexed data |
JP2000209580A (en) * | 1999-01-13 | 2000-07-28 | Canon Inc | Picture processor and its method |
JP2002034046A (en) * | 2000-07-14 | 2002-01-31 | Sony Corp | Method and device for converting image information |
JP2002112269A (en) * | 2000-09-26 | 2002-04-12 | Yamaha Corp | Image synthesis method and image synthesis device |
-
2003
- 2003-05-20 JP JP2003142002A patent/JP4264811B2/en not_active Expired - Fee Related
-
2004
- 2004-05-20 CN CNB2004100453351A patent/CN1332564C/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219628A (en) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | Motion compensation apparatus |
CN102724382A (en) * | 2011-03-30 | 2012-10-10 | 比亚迪股份有限公司 | Circuit for processing picture signal |
Also Published As
Publication number | Publication date |
---|---|
CN1332564C (en) | 2007-08-15 |
CN1551633A (en) | 2004-12-01 |
JP4264811B2 (en) | 2009-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0618731B1 (en) | High efficiency encoding of picture signals | |
JP4014263B2 (en) | Video signal conversion apparatus and video signal conversion method | |
US9338457B2 (en) | Method and apparatus for encoding image information, and method and apparatus for decoding image information | |
US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
JP2004328511A (en) | Image decoding apparatus and image decoding method | |
JP2004140473A (en) | Image information coding apparatus, decoding apparatus and method for coding image information, method for decoding | |
KR100824161B1 (en) | Image processing apparatus | |
JP4360093B2 (en) | Image processing apparatus and encoding apparatus and methods thereof | |
JP4264811B2 (en) | Image decoding apparatus and image decoding method | |
JP3568392B2 (en) | Video decoding device | |
JP3166835B2 (en) | Method and apparatus for highly efficient coding of moving images | |
JP3416505B2 (en) | Video decoding method | |
JP3481112B2 (en) | Video decoding device | |
JP4556286B2 (en) | Motion vector conversion apparatus and method | |
JP2956726B2 (en) | Method and apparatus for highly efficient coding of moving images | |
JP3481111B2 (en) | Video decoding device | |
JP2003087797A (en) | Apparatus and method for picture information conversion, picture information conversion program, and recording medium | |
JPH11252561A (en) | Moving image decoding method | |
JP3384740B2 (en) | Video decoding method | |
JP2004040494A (en) | Method and equipment for picture information transformation | |
JP2000299867A (en) | Moving picture decoder | |
JPH11262016A (en) | Method for decoding animation | |
JP2001309389A (en) | Device and method for motion vector conversion | |
JPH11262011A (en) | Device for decoding animation | |
JPH06292028A (en) | High efficient encoding and decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070309 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |