JP4505992B2 - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法 Download PDFInfo
- Publication number
- JP4505992B2 JP4505992B2 JP2001001805A JP2001001805A JP4505992B2 JP 4505992 B2 JP4505992 B2 JP 4505992B2 JP 2001001805 A JP2001001805 A JP 2001001805A JP 2001001805 A JP2001001805 A JP 2001001805A JP 4505992 B2 JP4505992 B2 JP 4505992B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- macroblock
- inter
- coding mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture image coding Experts Group）などのように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、例えば衛星放送、ケーブルテレビジョン、インターネットなどのネットワークを介して受信する際、若しくは光、磁気ディスクのような記憶メディア上で処理する際に好適な画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタル情報として取り扱い、その際に、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により当該画像情報を圧縮するＭＰＥＧ方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準として、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４Ｍ〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ここで、上述のＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量、つまりより高い圧縮率の符号化方式には対応していなかった。一方、近年の携帯端末の普及により、今後そのような高い圧縮率の符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準に承認されている。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報を、携帯端末上などで処理するのにより適した、より低い符号量のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００６】
かかる目的を達成する画像情報変換装置（トランスコーダ）として、「“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”,Susie J. Wee, John G. Apostolopoulos, and Nick Feamster, ICIP '99」（以下、文献１という。）では、図５に示すような装置が提案されている。
【０００７】
この図５において、入力端子１１０に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報における各フレームのデータは、先ず、ピクチャタイプ判別部１１１に入力される。
【０００８】
当該ピクチャタイプ判別部１１１は、各フレームの入力データが画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関するものか、両方向予測符号化画像（以下、Ｂピクチャという。）に関するものであるかを判別し、前者のときのみ、そのＩピクチャ及びＰピクチャに関する情報を後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２に出力する。
【０００９】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における処理は、通常のＭＰＥＧ２画像情報復号化装置と同様である。但し、Ｂピクチャに関するデータは、ピクチャタイプ判別部１１１において廃棄されるため、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における機能としてはＩ ／ Ｐ ピクチャのみを復号化できればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２の出力となる画素値は、間引き部１１３に入力される。
【００１０】
当該間引き部１１３は、水平方向については１／２の間引き処理を施し、垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。間引き部１１３によって生成された順次走査画像は、一旦、ビデオメモリ１１４に蓄積される。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、蓄積された上記順次走査画像をビデオメモリ１１４から読み出す。
【００１１】
ここで、例えば、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになるが、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、このための画素の補填と廃棄とを上記間引き部１１３において同時に行う。すなわちこのときの間引き部１１３は、上記画素の補填若しくは廃棄として、例えば水平方向の右端若しくは左端の８画素分を廃棄して３５２×２４０画素とする。
【００１２】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、読み出した上記順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する。上記ＭＰＥＧ４画像圧縮情報は、出力端子１１８から後段へ出力される。その際、動きベクトル合成部１１６は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報を間引き後の画像情報に対する動きベクトルにマッピングする。また、動きベクトル検出部１１７は、動きベクトル合成部１１６において合成された動きベクトル値を基に高精度の動きベクトルを検出する。なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、およびＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（イントラ符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。
【００１３】
上述のように、文献１には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する装置に関する技術が述べられている。
【００１４】
すなわち、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）が例えばＮＴＳＣの規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦ（Source Input Format）サイズ（３５２×２４０画素）ということになるが、上記図５の構成によれば、上記間引き部１１３における動作の変更を行うことにより、それ以外の画枠、例えば上記の例では約１／４×１／４の画枠であるＱＳＩＦ（Quarter Source Input Format）サイズ（１７６×１１２画素）の画像に変換することも可能となっている。
【００１５】
また、文献１には、ＭＰＥＧ２画像情報復号化（Ｉ／Ｐピクチャ）１１２における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う装置について述べられているが、図５に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００１６】
ところで、図５に示した画像情報変換装置では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５においてＰ−ＶＯＰの符号化を行う際に、各マクロブロックを、ＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは、８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行う必要がある。
【００１７】
ここで、モード判定の一般的な手法としては、ＭＰＥＧ−４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ（ISO/IEC JTC1/SC29/WG11 N2932、以下これを文献２とする）において定められた手法を用いることが考えられる。
【００１８】
以下、図６を参照しながら、文献２において述べられているモード判定（図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５で行われるモード判定）の手法について述べる。
【００１９】
先ず、ステップＳ１０１では、動きベクトル検出により、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００２０】
次に、ステップＳ１０２において、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆＩＮＴＥＲ， ＲｅｆＩＮ ＴＥＲ４Ｖで表し、原画をＯｒｇで表すとし、さらに、ステップＳ１０３において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖをそれぞれ式（１）及び式（２）によって算出し、また、当該マクロブロックに含まれる画素の平均値をＭｅａｎ＿ＭＢとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＲＡを、式（3）のように定義する。なお、式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００２１】
【数１】
【００２２】
次に、ステップＳ１０４では、上記式（１）及び式（２）で求められた予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖから、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、式（４）が成立すれば、インターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定する。
【００２３】
【数２】
【００２４】
なお、この式（４）において、Ｏｆｆｓｅｔはインターマクロブロックを選ばれ易くするためのパラメータで、文献２においては１２９と定められている。
【００２５】
次に、式（４）によってインターマクロブロックが選ばれた場合、パラメータＥＲＲを式（５）のように定義し、一方、インター４Ｖマクロブロックが選ばれた場合、パラメータＥＲＲを式（６）のように定義する。
【００２６】
【数３】
【００２７】
次に、上記パラメータＥＲＲ及び前記式（３）により定義される予測誤差ＥＲＲＩＮＴＲＡから、当該マクロブロックをイントラマクロブロックとして符号化するのと、式（４）によって選択されたマクロブロックモードで符号化するのとではどちらが符号化効率が高いかの判定を行う。すなわち、式（７）が成立すれば、イントラマクロブロックとして符号化する方が効率が良いとし、成立しなければ式（３）によって選択されたマクロブロックモードで符号化する方が効率が良いとする。
【００２８】
【数４】
【００２９】
つまり、図６のステップＳ１０５において、ＥＲＲＩＮＴＥＲ＜ＥＲＲＩＮＴＲＡが成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、ＥＲＲＩＮＴＥＲ＜ＥＲＲＩＮＴＲＡが成立したときには、ステップＳ１０７においてインターマクロブロックモードで符号化する方が効率がよいとする。また、ステップＳ１０６において、ＥＲＲＩＮＴＥＲ４Ｖ＜ＥＲＲＩＮＴＲＡが成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときには、ステップＳ１０９においてインター４Ｖマクロブロックモードで符号化する方が効率がよいとする。
【００３０】
上述のように、図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５では、図６に示したようなモード判定手法を用いて、最も符号化効率が高いマクロブロックモードのタイプを選択し、その選択したタイプのマクロブロックモードを使用して画像情報の符号化処理を行うようになされている。
【００３１】
【発明が解決しようとする課題】
しかしながら、図６に示したマクロブロックモードの判定手法では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において動き補償及び絶対値誤差和（ＳＡＤ）の算出を行うため、多くの演算量を必要とする。
【００３２】
そこで、本発明は、このような従来の実情に鑑みて提案されたものであり、マクロブロックモード判別を少ない演算量で実現可能とする画像情報変換装置及び方法を提供することを目的とする。
【００３３】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備える。
【００３４】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３５】
このような画像情報変換装置は、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかを判定する。
【００３６】
また、上述した課題を解決するために、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備える。
【００３７】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３８】
このような画像情報変換方法により、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかが判定される。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４０】
本発明の実施の携帯に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含むＭＰＥＧ２画像圧縮情報を、離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する画像情報変換装置において、符号化時に上記ＭＰＥＧ２画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表されるアクティビティと呼ばれる変数を用いて、上記ＭＰＥＧ４画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００４１】
本発明の実施の形態の画像情報変換装置の概略構成を図１に示す。画像情報変換装置は、ピクチャタイプ判別部８と、圧縮情報解析部９と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０と、間引き部１１と、ビデオメモリ１２と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３と、情報バッファ１４と、動きベクトル合成部１５と、動きベクトル検出部１６とを備える。
【００４２】
この図１において、入力端子１に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）は、先ずピクチャタイプ判別部８に入力される。
【００４３】
当該ピクチャタイプ判別部８は、画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関する情報については出力して圧縮情報解析部９へ送るが、双方向予測符号化画像（以下、Ｂピクチャという。）に関する情報については破棄する。これによりフレームレートの変換が行われる。
【００４４】
圧縮情報解析部９は、ピクチャタイプ判別部８から送られてきた画像圧縮情報の構文解析を行うことにより、当該ＭＰＥＧ２画像圧縮情報の符号化に関連する情報の解析として、ＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報を求めて情報バッファ１４へ送る。また、圧縮情報解析部９は、当該ＭＰＥＧ２動きベクトル情報を動きベクトル合成部１５へ送る。さらに、圧縮情報解析部９は、画像圧縮情報をＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０へ送る。ここで、上記ＭＰＥＧ２マクロブロックモード情報とは、入力ＭＰＥＧ２画像圧縮情報のＰピクチャに含まれる個々のマクロブロックの符号化モードが画像内符号化モード、すなわちイントラマクロブロックであるか、画像間符号化モード、すなわちインターマクロブロックであるかを表す情報である。
【００４５】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０は、入力された画像圧縮情報を復号化する。但し、Ｂピクチャに関する情報は、前段のピクチャタイプ判別部８において既に破棄されているため、当該ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の機能としては、Ｉ／Ｐピクチャに関する情報のみの復号化処理を行えるものであればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の出力となる画素値は、間引き部１１に入力される。
【００４６】
間引き部１１は、水平方向については１／２の間引き処理を施す。垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力される画像圧縮情報の１／４の大きさを持つ順次走査画像を生成する。ここで例えば、入力端子１へ供給されたＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになる。但し、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、当該間引き部１１は、上記間引きと同時に、上記画素数を１６の倍数にするための画素の補填若しくは廃棄を同時に行う。すなわち、この例の場合の間引き部１１は、例えば上記３６０×２４０画素に対して、例えば水平方向の右端若しくは左端の８画素分を廃棄することで、上記１６の倍数である３５２×２４０画素の画枠を構成する。
【００４７】
ビデオメモリ１２は、当該間引き部１１によって生成された順次走査画像を一旦蓄積する。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、上記順次走査画像を読み出す。
【００４８】
動きベクトル合成部１５は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）から取り出されたＭＰＥＧ２動きベクトル情報を、上記間引き後の画像情報に対する動きベクトルにマッピングする。動きベクトル検出部１６は、動きベクトル合成部１５において合成された動きベクトル値と、ビデオメモリ１２に記憶された画像情報とを基に、高精度の動きベクトルを検出する。
【００４９】
なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（画像内符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。この検出された動きベクトルは、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に送られる。
【００５０】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、情報バッファ１４に保持された前記ＭＰＥＧ２マクロブロックモード情報及びＭＰＥＧ２マクロブロックアクティビティ情報と、上記動きベクトル検出部１６からの動きベクトル情報とを用い、上記ビデオメモリ１２から供給された順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報を生成する。当該ＭＰＥＧ４画像圧縮情報は、出力端子２から後段へ出力される。
【００５１】
続いて、本実施の形態の画像情報変換装置における情報バッファ１４及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の構成を説明する。
【００５２】
図２には、図１に示した本実施の形態の画像情報変換装置の情報バッファ１４とＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の符号化モード判定に関わる部分との詳細な内部構成要素を示す。なお、図２には、図１の動きベクトル合成部１５、動きベクトル検出部１６、ビデオメモリ１２も同時に示している。
【００５３】
情報バッファ１４は、その構成要素として、量子化スケールバッファ２２と、符号量バッファ２３と、ＭＰＥＧ２マクロブロックモード情報バッファ２４と、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５とを備えている。量子化スケールバッファ２２は、端子３２を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックの量子化スケール情報を格納している。符号量バッファ２３は、端子３１を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックに割り当てられた符号量情報を格納している。
【００５４】
また、ＭＰＥＧ２マクロブロックモード情報バッファ２４は、端子３３を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックモード情報を保持している。ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、量子化スケールバッファ及び符号量バッファからそれぞれ供給された量子化スケール情報及び符号量情報を基にＭＰＥＧ２マクロブロックに対するアクティビティと呼ばれる変数を算出し、保持する。
【００５５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、モード判定を行うための構成要素として、画像内／画像間符化モード判定手段であるＭＰＥＧ４イントラ／インター判定部２６と、動き補償予測部２７と、画像間符号化モード判定手段であるＭＰＥＧ４インター／インター４Ｖ判定部２８とを有する。ＭＰＥＧ４イントラ／インター判定部２６は、情報バッファ１４から読み出されたＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報とを入力する。動き補償予測部２７は、動きベクトル検出部１６が検出した動きベクトル情報を入力し、さらにビデオメモリ１２から順次走査画像情報を読み出す。ＭＰＥＧ４インター／インター４Ｖ判定部２８は、ＭＰＥＧ４イントラ／インター判定部２６の出力情報と上記動き補償予測部２７の動き補償情報とビデオメモリ１２からの順次走査画像情報とを入力する。
【００５６】
本発明の実施の形態に係る画像情報変換装置は、上述したような構成によりＩピクチャ、Ｐピクチャ、及びＢピクチャからなるＭＰＥＧ２画像圧縮情報を離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する。
【００５７】
次に、図１に示す画像情報変換装置を用いて、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報を出力する場合を考える。このとき、例えば図３に示すように、入力端子１に供給されたＭＰＥＧ２画像圧縮情報を構成する画像ＳＴＲ２に含まれる４つのマクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３から出力されるＭＰＥＧ４画像圧縮情報を構成する画像ＳＴＲ４におけるマクロブロックＭＢＭＰＥＧ４，１に対応するとする。
【００５８】
図１に示した画像情報変換装置において、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、Ｐ−ＶＯＰの符号化を行う際に、各マクロブロックをＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行っている。
【００５９】
本発明に係る画像情報変換装置において符号化モードのタイプ判定を行う処理のフローチャートは、図４に示すようになる。先ず、ステップＳ１において、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、入力されるＭＰＥＧ２画像圧縮情報の各マクロブロックに対するアクティビティを算出する。ここで、マクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）に対する量子化スケールをＱＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）と表し、マクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）に割り当てられた符号量をＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）と表すと、上記アクティビティＸＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）は、式（８）のように算出される。
【００６０】
【数５】
【００６１】
なお、上式のＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）は、当該マクロブロックの輝度成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの輝度成分及び色差成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの離散コサイン係数及びヘッダに関する情報に割り当てられた符号量であってもよい。
【００６２】
続いてステップＳ２において、式（９）を満たすＸＭＰＥＧ２，Ｉ、すなわちアクティビティＸＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）中で最小のものを与えるマクロブロックＭＢＭＰＥＧ２，Ｉに対するマクロブロックモードをＭＰＥＧ２マクロブロックモード情報バッファ２４より抽出する。
【００６３】
【数６】
【００６４】
ステップＳ３でＭＢＭＰＥＧ２，Ｉがイントラマクロブロックである場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ステップＳ８でＭＢＭＰＥＧ４，Ｉのマクロブロックをイントラマクロブロックであると判定し、モード判定を終了する。ステップＳ３でＭＢＭＰＥＧ２，Ｉがイントラマクロブロックでない場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ＭＢＭＰＥＧ４，Ｉのマクロブロックをインターマクロブロック若しくはインター４Ｖマクロブロックであると判定し、ステップＳ４に進む。
【００６５】
ステップＳ４において、動きベクトル検出部１６は、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００６６】
次に、ステップＳ５において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆＩＮＴＥＲ， ＲｅｆＩＮＴＥＲ４Ｖで表し、原画をＯｒｇで表し、さらに、ステップＳ６において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖをそれぞれ式（１０）及び式（１１）によって算出する。なお上式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００６７】
【数７】
【００６８】
次に、ステップＳ７において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、上記式（１０）及び式（１１）で求められた予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖから、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、式（１２）が成立すれば、ステップＳ９でインターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければステップＳ１０でインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定し、モード判定を終了する。
【００６９】
【数８】
【００７０】
以上の一連のモード判定処理により求められたマクロブロックのモード判定結果は、図２の端子３７から、また、ビデオメモリ１２から供給された画像情報は、端子３６から、それぞれ図示しない後段のＭＰＥＧ４画像圧縮処理のための構成に送られる。
【００７１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００７２】
例えば、図３では、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する場合の例を示したが、本発明はこれに限らず、例えば入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／４×１／４の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力してもよい。
【００７３】
また、本発明の実施の形態では、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などのように、直交変換と動き補償によって符号化された画像圧縮情報であればよい。
【００７４】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００７５】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７６】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【００７７】
また、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備えるものである。
【００７８】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７９】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像情報変換装置の概略構成を説明するブロック図である。
【図２】同画像情報変換装置のＭＰＥＧ４画像情報符号化部の詳細な構成とその周辺の構成を説明するブロック図である。
【図３】同画像情報変換装置のＭＰＥＧ４画像情報符号化部でのモード判定処理の説明に用いる図である。
【図４】同画像情報変換装置のＭＰＥＧ４画像情報符号化部におけるモード判定処理を説明するフローチャートである。
【図５】従来の画像情報変換装置の概略構成を説明するブロック図である。
【図６】従来の画像情報変換装置におけるモード判定処理を説明するフローチャートである。
【符号の説明】
８ ピクチャタイプ判別部、９ 圧縮情報解析部、１０ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、１１ 間引き部、１２ ビデオメモリ、１３ ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、１４ 情報バッファ、１５ 動きベクトル合成部、１６ 動きベクトル検出部、２２ 量子化スケールバッファ、２３ 符号量バッファ、２４ ＭＰＥＧ２マクロブロックモード情報バッファ、２５ ＭＰＥＧ２マクロブロックアクティビティ情報バッファ、２６ ＭＰＥＧ４イントラ／インター判定部、２７ 動き補償予測部、２８ ＭＰＥＧ４インター／インター４Ｖ判定部
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture image coding Experts Group）などのように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、例えば衛星放送、ケーブルテレビジョン、インターネットなどのネットワークを介して受信する際、若しくは光、磁気ディスクのような記憶メディア上で処理する際に好適な画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタル情報として取り扱い、その際に、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により当該画像情報を圧縮するＭＰＥＧ方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準として、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４Ｍ〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ここで、上述のＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量、つまりより高い圧縮率の符号化方式には対応していなかった。一方、近年の携帯端末の普及により、今後そのような高い圧縮率の符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２としてその規格が国際標準に承認されている。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報を、携帯端末上などで処理するのにより適した、より低い符号量のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００６】
かかる目的を達成する画像情報変換装置（トランスコーダ）として、「“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”,Susie J. Wee, John G. Apostolopoulos, and Nick Feamster, ICIP '99」（以下、文献１という。）では、図５に示すような装置が提案されている。
【０００７】
この図５において、入力端子１１０に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報における各フレームのデータは、先ず、ピクチャタイプ判別部１１１に入力される。
【０００８】
当該ピクチャタイプ判別部１１１は、各フレームの入力データが画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関するものか、両方向予測符号化画像（以下、Ｂピクチャという。）に関するものであるかを判別し、前者のときのみ、そのＩピクチャ及びＰピクチャに関する情報を後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２に出力する。
【０００９】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における処理は、通常のＭＰＥＧ２画像情報復号化装置と同様である。但し、Ｂピクチャに関するデータは、ピクチャタイプ判別部１１１において廃棄されるため、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における機能としてはＩ ／ Ｐ ピクチャのみを復号化できればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２の出力となる画素値は、間引き部１１３に入力される。
【００１０】
当該間引き部１１３は、水平方向については１／２の間引き処理を施し、垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。間引き部１１３によって生成された順次走査画像は、一旦、ビデオメモリ１１４に蓄積される。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、蓄積された上記順次走査画像をビデオメモリ１１４から読み出す。
【００１１】
ここで、例えば、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになるが、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、このための画素の補填と廃棄とを上記間引き部１１３において同時に行う。すなわちこのときの間引き部１１３は、上記画素の補填若しくは廃棄として、例えば水平方向の右端若しくは左端の８画素分を廃棄して３５２×２４０画素とする。
【００１２】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、読み出した上記順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する。上記ＭＰＥＧ４画像圧縮情報は、出力端子１１８から後段へ出力される。その際、動きベクトル合成部１１６は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報を間引き後の画像情報に対する動きベクトルにマッピングする。また、動きベクトル検出部１１７は、動きベクトル合成部１１６において合成された動きベクトル値を基に高精度の動きベクトルを検出する。なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、およびＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（イントラ符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。
【００１３】
上述のように、文献１には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する装置に関する技術が述べられている。
【００１４】
すなわち、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）が例えばＮＴＳＣの規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦ（Source Input Format）サイズ（３５２×２４０画素）ということになるが、上記図５の構成によれば、上記間引き部１１３における動作の変更を行うことにより、それ以外の画枠、例えば上記の例では約１／４×１／４の画枠であるＱＳＩＦ（Quarter Source Input Format）サイズ（１７６×１１２画素）の画像に変換することも可能となっている。
【００１５】
また、文献１には、ＭＰＥＧ２画像情報復号化（Ｉ／Ｐピクチャ）１１２における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う装置について述べられているが、図５に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００１６】
ところで、図５に示した画像情報変換装置では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５においてＰ−ＶＯＰの符号化を行う際に、各マクロブロックを、ＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは、８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行う必要がある。
【００１７】
ここで、モード判定の一般的な手法としては、ＭＰＥＧ−４ Ｖｉｄｅｏ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ（ISO/IEC JTC1/SC29/WG11 N2932、以下これを文献２とする）において定められた手法を用いることが考えられる。
【００１８】
以下、図６を参照しながら、文献２において述べられているモード判定（図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５で行われるモード判定）の手法について述べる。
【００１９】
先ず、ステップＳ１０１では、動きベクトル検出により、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００２０】
次に、ステップＳ１０２において、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆＩＮＴＥＲ， ＲｅｆＩＮ ＴＥＲ４Ｖで表し、原画をＯｒｇで表すとし、さらに、ステップＳ１０３において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖをそれぞれ式（１）及び式（２）によって算出し、また、当該マクロブロックに含まれる画素の平均値をＭｅａｎ＿ＭＢとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＲＡを、式（3）のように定義する。なお、式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００２１】
【数１】
次に、ステップＳ１０４では、上記式（１）及び式（２）で求められた予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖから、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、式（４）が成立すれば、インターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定する。
【００２３】
【数２】
なお、この式（４）において、Ｏｆｆｓｅｔはインターマクロブロックを選ばれ易くするためのパラメータで、文献２においては１２９と定められている。
【００２５】
次に、式（４）によってインターマクロブロックが選ばれた場合、パラメータＥＲＲを式（５）のように定義し、一方、インター４Ｖマクロブロックが選ばれた場合、パラメータＥＲＲを式（６）のように定義する。
【００２６】
【数３】
次に、上記パラメータＥＲＲ及び前記式（３）により定義される予測誤差ＥＲＲＩＮＴＲＡから、当該マクロブロックをイントラマクロブロックとして符号化するのと、式（４）によって選択されたマクロブロックモードで符号化するのとではどちらが符号化効率が高いかの判定を行う。すなわち、式（７）が成立すれば、イントラマクロブロックとして符号化する方が効率が良いとし、成立しなければ式（３）によって選択されたマクロブロックモードで符号化する方が効率が良いとする。
【００２８】
【数４】
つまり、図６のステップＳ１０５において、ＥＲＲＩＮＴＥＲ＜ＥＲＲＩＮＴＲＡが成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、ＥＲＲＩＮＴＥＲ＜ＥＲＲＩＮＴＲＡが成立したときには、ステップＳ１０７においてインターマクロブロックモードで符号化する方が効率がよいとする。また、ステップＳ１０６において、ＥＲＲＩＮＴＥＲ４Ｖ＜ＥＲＲＩＮＴＲＡが成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときには、ステップＳ１０９においてインター４Ｖマクロブロックモードで符号化する方が効率がよいとする。
【００３０】
上述のように、図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５では、図６に示したようなモード判定手法を用いて、最も符号化効率が高いマクロブロックモードのタイプを選択し、その選択したタイプのマクロブロックモードを使用して画像情報の符号化処理を行うようになされている。
【００３１】
【発明が解決しようとする課題】
しかしながら、図６に示したマクロブロックモードの判定手法では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において動き補償及び絶対値誤差和（ＳＡＤ）の算出を行うため、多くの演算量を必要とする。
【００３２】
そこで、本発明は、このような従来の実情に鑑みて提案されたものであり、マクロブロックモード判別を少ない演算量で実現可能とする画像情報変換装置及び方法を提供することを目的とする。
【００３３】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備える。
【００３４】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３５】
このような画像情報変換装置は、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかを判定する。
【００３６】
また、上述した課題を解決するために、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備える。
【００３７】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３８】
このような画像情報変換方法により、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかが判定される。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４０】
本発明の実施の携帯に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含むＭＰＥＧ２画像圧縮情報を、離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する画像情報変換装置において、符号化時に上記ＭＰＥＧ２画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表されるアクティビティと呼ばれる変数を用いて、上記ＭＰＥＧ４画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００４１】
本発明の実施の形態の画像情報変換装置の概略構成を図１に示す。画像情報変換装置は、ピクチャタイプ判別部８と、圧縮情報解析部９と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０と、間引き部１１と、ビデオメモリ１２と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３と、情報バッファ１４と、動きベクトル合成部１５と、動きベクトル検出部１６とを備える。
【００４２】
この図１において、入力端子１に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）は、先ずピクチャタイプ判別部８に入力される。
【００４３】
当該ピクチャタイプ判別部８は、画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関する情報については出力して圧縮情報解析部９へ送るが、双方向予測符号化画像（以下、Ｂピクチャという。）に関する情報については破棄する。これによりフレームレートの変換が行われる。
【００４４】
圧縮情報解析部９は、ピクチャタイプ判別部８から送られてきた画像圧縮情報の構文解析を行うことにより、当該ＭＰＥＧ２画像圧縮情報の符号化に関連する情報の解析として、ＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報を求めて情報バッファ１４へ送る。また、圧縮情報解析部９は、当該ＭＰＥＧ２動きベクトル情報を動きベクトル合成部１５へ送る。さらに、圧縮情報解析部９は、画像圧縮情報をＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０へ送る。ここで、上記ＭＰＥＧ２マクロブロックモード情報とは、入力ＭＰＥＧ２画像圧縮情報のＰピクチャに含まれる個々のマクロブロックの符号化モードが画像内符号化モード、すなわちイントラマクロブロックであるか、画像間符号化モード、すなわちインターマクロブロックであるかを表す情報である。
【００４５】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０は、入力された画像圧縮情報を復号化する。但し、Ｂピクチャに関する情報は、前段のピクチャタイプ判別部８において既に破棄されているため、当該ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の機能としては、Ｉ／Ｐピクチャに関する情報のみの復号化処理を行えるものであればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の出力となる画素値は、間引き部１１に入力される。
【００４６】
間引き部１１は、水平方向については１／２の間引き処理を施す。垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力される画像圧縮情報の１／４の大きさを持つ順次走査画像を生成する。ここで例えば、入力端子１へ供給されたＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになる。但し、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、当該間引き部１１は、上記間引きと同時に、上記画素数を１６の倍数にするための画素の補填若しくは廃棄を同時に行う。すなわち、この例の場合の間引き部１１は、例えば上記３６０×２４０画素に対して、例えば水平方向の右端若しくは左端の８画素分を廃棄することで、上記１６の倍数である３５２×２４０画素の画枠を構成する。
【００４７】
ビデオメモリ１２は、当該間引き部１１によって生成された順次走査画像を一旦蓄積する。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、上記順次走査画像を読み出す。
【００４８】
動きベクトル合成部１５は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）から取り出されたＭＰＥＧ２動きベクトル情報を、上記間引き後の画像情報に対する動きベクトルにマッピングする。動きベクトル検出部１６は、動きベクトル合成部１５において合成された動きベクトル値と、ビデオメモリ１２に記憶された画像情報とを基に、高精度の動きベクトルを検出する。
【００４９】
なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（画像内符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。この検出された動きベクトルは、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に送られる。
【００５０】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、情報バッファ１４に保持された前記ＭＰＥＧ２マクロブロックモード情報及びＭＰＥＧ２マクロブロックアクティビティ情報と、上記動きベクトル検出部１６からの動きベクトル情報とを用い、上記ビデオメモリ１２から供給された順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報を生成する。当該ＭＰＥＧ４画像圧縮情報は、出力端子２から後段へ出力される。
【００５１】
続いて、本実施の形態の画像情報変換装置における情報バッファ１４及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の構成を説明する。
【００５２】
図２には、図１に示した本実施の形態の画像情報変換装置の情報バッファ１４とＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の符号化モード判定に関わる部分との詳細な内部構成要素を示す。なお、図２には、図１の動きベクトル合成部１５、動きベクトル検出部１６、ビデオメモリ１２も同時に示している。
【００５３】
情報バッファ１４は、その構成要素として、量子化スケールバッファ２２と、符号量バッファ２３と、ＭＰＥＧ２マクロブロックモード情報バッファ２４と、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５とを備えている。量子化スケールバッファ２２は、端子３２を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックの量子化スケール情報を格納している。符号量バッファ２３は、端子３１を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックに割り当てられた符号量情報を格納している。
【００５４】
また、ＭＰＥＧ２マクロブロックモード情報バッファ２４は、端子３３を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックモード情報を保持している。ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、量子化スケールバッファ及び符号量バッファからそれぞれ供給された量子化スケール情報及び符号量情報を基にＭＰＥＧ２マクロブロックに対するアクティビティと呼ばれる変数を算出し、保持する。
【００５５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、モード判定を行うための構成要素として、画像内／画像間符化モード判定手段であるＭＰＥＧ４イントラ／インター判定部２６と、動き補償予測部２７と、画像間符号化モード判定手段であるＭＰＥＧ４インター／インター４Ｖ判定部２８とを有する。ＭＰＥＧ４イントラ／インター判定部２６は、情報バッファ１４から読み出されたＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報とを入力する。動き補償予測部２７は、動きベクトル検出部１６が検出した動きベクトル情報を入力し、さらにビデオメモリ１２から順次走査画像情報を読み出す。ＭＰＥＧ４インター／インター４Ｖ判定部２８は、ＭＰＥＧ４イントラ／インター判定部２６の出力情報と上記動き補償予測部２７の動き補償情報とビデオメモリ１２からの順次走査画像情報とを入力する。
【００５６】
本発明の実施の形態に係る画像情報変換装置は、上述したような構成によりＩピクチャ、Ｐピクチャ、及びＢピクチャからなるＭＰＥＧ２画像圧縮情報を離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する。
【００５７】
次に、図１に示す画像情報変換装置を用いて、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報を出力する場合を考える。このとき、例えば図３に示すように、入力端子１に供給されたＭＰＥＧ２画像圧縮情報を構成する画像ＳＴＲ２に含まれる４つのマクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３から出力されるＭＰＥＧ４画像圧縮情報を構成する画像ＳＴＲ４におけるマクロブロックＭＢＭＰＥＧ４，１に対応するとする。
【００５８】
図１に示した画像情報変換装置において、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、Ｐ−ＶＯＰの符号化を行う際に、各マクロブロックをＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行っている。
【００５９】
本発明に係る画像情報変換装置において符号化モードのタイプ判定を行う処理のフローチャートは、図４に示すようになる。先ず、ステップＳ１において、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、入力されるＭＰＥＧ２画像圧縮情報の各マクロブロックに対するアクティビティを算出する。ここで、マクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）に対する量子化スケールをＱＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）と表し、マクロブロックＭＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）に割り当てられた符号量をＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）と表すと、上記アクティビティＸＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）は、式（８）のように算出される。
【００６０】
【数５】
なお、上式のＢＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）は、当該マクロブロックの輝度成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの輝度成分及び色差成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの離散コサイン係数及びヘッダに関する情報に割り当てられた符号量であってもよい。
【００６２】
続いてステップＳ２において、式（９）を満たすＸＭＰＥＧ２，Ｉ、すなわちアクティビティＸＭＰＥＧ２，ｉ（ｉ＝１，２，３，４）中で最小のものを与えるマクロブロックＭＢＭＰＥＧ２，Ｉに対するマクロブロックモードをＭＰＥＧ２マクロブロックモード情報バッファ２４より抽出する。
【００６３】
【数６】
ステップＳ３でＭＢＭＰＥＧ２，Ｉがイントラマクロブロックである場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ステップＳ８でＭＢＭＰＥＧ４，Ｉのマクロブロックをイントラマクロブロックであると判定し、モード判定を終了する。ステップＳ３でＭＢＭＰＥＧ２，Ｉがイントラマクロブロックでない場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ＭＢＭＰＥＧ４，Ｉのマクロブロックをインターマクロブロック若しくはインター４Ｖマクロブロックであると判定し、ステップＳ４に進む。
【００６５】
ステップＳ４において、動きベクトル検出部１６は、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００６６】
次に、ステップＳ５において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆＩＮＴＥＲ， ＲｅｆＩＮＴＥＲ４Ｖで表し、原画をＯｒｇで表し、さらに、ステップＳ６において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖをそれぞれ式（１０）及び式（１１）によって算出する。なお上式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００６７】
【数７】
次に、ステップＳ７において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、上記式（１０）及び式（１１）で求められた予測誤差ＥＲＲＩＮＴＥＲ，ＥＲＲＩＮＴＥＲ４Ｖから、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、式（１２）が成立すれば、ステップＳ９でインターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければステップＳ１０でインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定し、モード判定を終了する。
【００６９】
【数８】
以上の一連のモード判定処理により求められたマクロブロックのモード判定結果は、図２の端子３７から、また、ビデオメモリ１２から供給された画像情報は、端子３６から、それぞれ図示しない後段のＭＰＥＧ４画像圧縮処理のための構成に送られる。
【００７１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００７２】
例えば、図３では、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する場合の例を示したが、本発明はこれに限らず、例えば入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／４×１／４の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力してもよい。
【００７３】
また、本発明の実施の形態では、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などのように、直交変換と動き補償によって符号化された画像圧縮情報であればよい。
【００７４】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００７５】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７６】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【００７７】
また、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備えるものである。
【００７８】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７９】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像情報変換装置の概略構成を説明するブロック図である。
【図２】同画像情報変換装置のＭＰＥＧ４画像情報符号化部の詳細な構成とその周辺の構成を説明するブロック図である。
【図３】同画像情報変換装置のＭＰＥＧ４画像情報符号化部でのモード判定処理の説明に用いる図である。
【図４】同画像情報変換装置のＭＰＥＧ４画像情報符号化部におけるモード判定処理を説明するフローチャートである。
【図５】従来の画像情報変換装置の概略構成を説明するブロック図である。
【図６】従来の画像情報変換装置におけるモード判定処理を説明するフローチャートである。
【符号の説明】
８ ピクチャタイプ判別部、９ 圧縮情報解析部、１０ ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、１１ 間引き部、１２ ビデオメモリ、１３ ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、１４ 情報バッファ、１５ 動きベクトル合成部、１６ 動きベクトル検出部、２２ 量子化スケールバッファ、２３ 符号量バッファ、２４ ＭＰＥＧ２マクロブロックモード情報バッファ、２５ ＭＰＥＧ２マクロブロックアクティビティ情報バッファ、２６ ＭＰＥＧ４イントラ／インター判定部、２７ 動き補償予測部、２８ ＭＰＥＧ４インター／インター４Ｖ判定部
Claims (14)
- 画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、
符号化時に上記第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、上記第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備える
画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分に割り当てられた符号量である
請求項１記載の画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分及び色差成分に割り当てられた符号量である
請求項１記載の画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数及びヘッダ情報に割り当てられた符号量である
請求項１記載の画像情報変換装置 - 上記画像内／画像間符号化モード判定手段は、上記第２の画像圧縮情報を構成するマクロブロックに対する上記第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する上記変数のうち最小の変数を与えるマクロブロックを選択する
請求項１記載の画像情報変換装置。 - 上記第１の画像圧縮情報を構成する各マクロブロックの符号化モードを保持する記憶手段を備え、
上記画像内／画像間符号化モード判定手段は、上記選択された最小の変数を与えるマクロブロックの符号化モードを上記記憶手段から読み出す
請求項１記載の画像情報変換装置。 - 上記画像内／画像間符号化モード判定手段で読み出された最小の変数を与えるマクロブロックの符号化モードが画像内符号化モードである場合には、上記第２の画像圧縮情報を構成するマクロブロックの符号化モードを上記画像内符号化モードとし、画像内符号化モードでない場合には、上記第２の画像圧縮情報を構成するマクロブロックの符号化モードを画像間符号化モードとする
請求項６記載の画像情報変換装置。 - 画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、
符号化時に上記第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、上記第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備える
画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分に割り当てられた符号量である
請求項８記載の画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分及び色差成分に割り当てられた符号量である
請求項８記載の画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数及びヘッダ情報に割り当てられた符号量である
請求項８記載の画像情報変換方法。 - 上記画像内／画像間符号化モード判定工程は、上記第２の画像圧縮情報を構成するマクロブロックに対する上記第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する上記変数のうち最小の変数を与えるマクロブロックを選択する
請求項８記載の画像情報変換方法。 - 上記画像情報変換方法は、上記第１の画像圧縮情報を構成する各マクロブロックの符号化モードを記憶手段に保持する記憶工程を備えており、
上記画像内／画像間符号化モード判定工程では、上記選択された最小の変数を与えるマクロブロックの符号化モードが上記記憶手段から読み出される
請求項１２記載の画像情報変換方法。 - 上記画像内／画像間符号化モード判定工程で読み出された最小の変数を与えるマクロブロックの符号化モードが画像内符号化モードである場合には、上記第２の画像圧縮情報を構成するマクロブロックの符号化モードを上記画像内符号化モードとし、画像内符号化モードでない場合には、上記第２の画像圧縮情報を構成するマクロブロックの符号化モードを画像間符号化モードとする
請求項１３記載の画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001001805A JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001001805A JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002209217A JP2002209217A (ja) | 2002-07-26 |
| JP4505992B2 true JP4505992B2 (ja) | 2010-07-21 |
Family
ID=18870397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001001805A Expired - Fee Related JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4505992B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08102938A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
| JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
| JPH09512417A (ja) * | 1995-02-22 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
| JPH11313317A (ja) * | 1998-04-28 | 1999-11-09 | Asahi Chem Ind Co Ltd | 画像圧縮データの加工方法および装置、動画像圧縮形式変換方法および装置、動画像データ圧縮装置、画像圧縮データ加工プログラムを記憶した記憶媒体、および画像圧縮データの加工データを記憶した記憶媒体 |
| JP2000312362A (ja) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Ind Co Ltd | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
| JP2001016580A (ja) * | 1999-06-25 | 2001-01-19 | Victor Co Of Japan Ltd | 符号化装置 |
-
2001
- 2001-01-09 JP JP2001001805A patent/JP4505992B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08102938A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
| JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
| JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
| JPH09512417A (ja) * | 1995-02-22 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
| JPH11313317A (ja) * | 1998-04-28 | 1999-11-09 | Asahi Chem Ind Co Ltd | 画像圧縮データの加工方法および装置、動画像圧縮形式変換方法および装置、動画像データ圧縮装置、画像圧縮データ加工プログラムを記憶した記憶媒体、および画像圧縮データの加工データを記憶した記憶媒体 |
| JP2000312362A (ja) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Ind Co Ltd | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
| JP2001016580A (ja) * | 1999-06-25 | 2001-01-19 | Victor Co Of Japan Ltd | 符号化装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002209217A (ja) | 2002-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4517495B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 | |
| US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
| EP1618744B1 (en) | Video transcoding | |
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH07322269A (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
| JP3855522B2 (ja) | 動画変換装置 | |
| JP2005260912A (ja) | 映像通信装置および映像通信方法 | |
| JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2002152752A (ja) | 画像情報変換装置及び方法 | |
| JP2933561B2 (ja) | 動画符号変換装置 | |
| JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
| JP2002125227A (ja) | 画像情報変換装置及び方法 | |
| JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
| JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4507418B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4517468B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| JP2001346214A (ja) | 画像情報変換装置及び方法 | |
| JP2002152728A (ja) | 画像情報変換装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |