JP4505992B2 - 画像情報変換装置及び方法 - Google Patents
画像情報変換装置及び方法 Download PDFInfo
- Publication number
- JP4505992B2 JP4505992B2 JP2001001805A JP2001001805A JP4505992B2 JP 4505992 B2 JP4505992 B2 JP 4505992B2 JP 2001001805 A JP2001001805 A JP 2001001805A JP 2001001805 A JP2001001805 A JP 2001001805A JP 4505992 B2 JP4505992 B2 JP 4505992B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- macroblock
- inter
- coding mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、MPEG(Moving Picture image coding Experts Group)などのように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、例えば衛星放送、ケーブルテレビジョン、インターネットなどのネットワークを介して受信する際、若しくは光、磁気ディスクのような記憶メディア上で処理する際に好適な画像情報変換装置及び方法に関する。
【0002】
【従来の技術】
近年、画像情報をディジタル情報として取り扱い、その際に、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により当該画像情報を圧縮するMPEG方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【0003】
特に、MPEG2(ISO/IEC 13818−2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準として、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。このMPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4M〜8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18〜22Mbpsの符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【0004】
ここで、上述のMPEG2は、主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量、つまりより高い圧縮率の符号化方式には対応していなかった。一方、近年の携帯端末の普及により、今後そのような高い圧縮率の符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496−2としてその規格が国際標準に承認されている。
【0005】
ところで、ディジタル放送用に一度符号化されたMPEG2画像圧縮情報を、携帯端末上などで処理するのにより適した、より低い符号量のMPEG4画像圧縮情報(ビットストリーム)に変換したいというニーズがある。
【0006】
かかる目的を達成する画像情報変換装置(トランスコーダ)として、「“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”,Susie J. Wee, John G. Apostolopoulos, and Nick Feamster, ICIP '99」(以下、文献1という。)では、図5に示すような装置が提案されている。
【0007】
この図5において、入力端子110に供給された飛び越し走査のMPEG2画像圧縮情報における各フレームのデータは、先ず、ピクチャタイプ判別部111に入力される。
【0008】
当該ピクチャタイプ判別部111は、各フレームの入力データが画像内符号化画像(以下、Iピクチャという。)及び画像間順方向予測符号化画像(以下、Pピクチャという。)に関するものか、両方向予測符号化画像(以下、Bピクチャという。)に関するものであるかを判別し、前者のときのみ、そのIピクチャ及びPピクチャに関する情報を後続のMPEG2画像情報復号化部(I/Pピクチャ)112に出力する。
【0009】
MPEG2画像情報復号化部(I/Pピクチャ)112における処理は、通常のMPEG2画像情報復号化装置と同様である。但し、Bピクチャに関するデータは、ピクチャタイプ判別部111において廃棄されるため、MPEG2画像情報復号化部(I/Pピクチャ)112における機能としてはI / P ピクチャのみを復号化できればよい。MPEG2画像情報復号化部(I/Pピクチャ)112の出力となる画素値は、間引き部113に入力される。
【0010】
当該間引き部113は、水平方向については1/2の間引き処理を施し、垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の1/4の大きさを持つ順次走査画像を生成する。間引き部113によって生成された順次走査画像は、一旦、ビデオメモリ114に蓄積される。MPEG4画像情報符号化部(I/P−VOP)115は、蓄積された上記順次走査画像をビデオメモリ114から読み出す。
【0011】
ここで、例えば、入力となるMPEG2画圧縮情報(ビットストリーム)がNTSC(National Television System Committee)の規格に準拠したもの、つまり720×480画素、30Hzの飛び越し走査画像であった場合、上記間引き後の画枠は360×240画素ということになるが、後続のMPEG4画像情報符号化部(I/P−VOP)115において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が16の倍数である必要がある。したがって、このための画素の補填と廃棄とを上記間引き部113において同時に行う。すなわちこのときの間引き部113は、上記画素の補填若しくは廃棄として、例えば水平方向の右端若しくは左端の8画素分を廃棄して352×240画素とする。
【0012】
上記MPEG4画像情報符号化部(I/P−VOP)115は、読み出した上記順次走査画像の信号を符号化してMPEG4画像圧縮情報(ビットストリーム)を生成する。上記MPEG4画像圧縮情報は、出力端子118から後段へ出力される。その際、動きベクトル合成部116は、入力となるMPEG2画像圧縮情報(ビットストリーム)中の動きベクトル情報を間引き後の画像情報に対する動きベクトルにマッピングする。また、動きベクトル検出部117は、動きベクトル合成部116において合成された動きベクトル値を基に高精度の動きベクトルを検出する。なお、MPEG4において、VOP(Video Object Plane)とは、MPEG2におけるフレームに相当するものである。このVOPの領域は、符号化される方式にしたがって、Iピクチャ、Pピクチャ、およびBピクチャのうちのいずれかに分類される。I−VOP(IピクチャのVOP)は、動き補償を行うことなく、画像(領域)そのものが符号化(イントラ符号化)されるものである。P−VOP(PピクチャのVOP)は、基本的には、自身より時間的に前に位置する画像(IまたはP−VOP)に基づいて、順方向予測符号化される。B−VOP(BピクチャのVOP)は、基本的には、自身より時間的に前と後ろに位置する2つの画像(IまたはP−VOP)に基づいて双方向予測符号化される。
【0013】
上述のように、文献1には、入力となるMPEG2画像圧縮情報(ビットストリーム)の1/2×1/2の大きさを持つ順次走査画像のMPEG4画像圧縮情報(ビットストリーム)を生成する装置に関する技術が述べられている。
【0014】
すなわち、入力となるMPEG2画圧縮情報(ビットストリーム)が例えばNTSCの規格に準拠したものであった場合、出力となるMPEG4画像圧縮情報はSIF(Source Input Format)サイズ(352×240画素)ということになるが、上記図5の構成によれば、上記間引き部113における動作の変更を行うことにより、それ以外の画枠、例えば上記の例では約1/4×1/4の画枠であるQSIF(Quarter Source Input Format)サイズ(176×112画素)の画像に変換することも可能となっている。
【0015】
また、文献1には、MPEG2画像情報復号化(I/Pピクチャ)112における処理として、水平方向、垂直方向それぞれについて、入力となるMPEG2画像圧縮情報(ビットストリーム)内の、8次の離散コサイン変換係数すべてを用いた復号処理を行う装置について述べられているが、図5に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、8次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【0016】
ところで、図5に示した画像情報変換装置では、MPEG4画像情報符号化部(I/P−VOP)115においてP−VOPの符号化を行う際に、各マクロブロックを、MPEG4に規定されるイントラ(INTRA)マクロブロックとして符号化するか、16×16画素のインター(INTER)マクロブロックとして符号化するか、或いは、8×8画素のインター4V(INTER4V)マクロブロックとして符号化するかの符号化モードのタイプ判定を行う必要がある。
【0017】
ここで、モード判定の一般的な手法としては、MPEG−4 Video Verification Model(ISO/IEC JTC1/SC29/WG11 N2932、以下これを文献2とする)において定められた手法を用いることが考えられる。
【0018】
以下、図6を参照しながら、文献2において述べられているモード判定(図5のMPEG4画像情報符号化部(I/P−VOP)115で行われるモード判定)の手法について述べる。
【0019】
先ず、ステップS101では、動きベクトル検出により、インター動きベクトル及びインター4V動きベクトルを求める。
【0020】
次に、ステップS102において、インター動きベクトル及びインター4V動きベクトルにより生成される予測画をそれぞれRefINTER, RefIN TER4Vで表し、原画をOrgで表すとし、さらに、ステップS103において、当該マクロブロックをインターマクロブロック、及びインター4Vマクロブロックとして符号化した場合の予測誤差ERRINTER,ERRINTER4Vをそれぞれ式(1)及び式(2)によって算出し、また、当該マクロブロックに含まれる画素の平均値をMean_MBとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ERRINTRAを、式(3)のように定義する。なお、式中のSADは絶対値誤差和(Sum of Absolute Difference)を表す。
【0021】
【数1】
【0022】
次に、ステップS104では、上記式(1)及び式(2)で求められた予測誤差ERRINTER,ERRINTER4Vから、インターマクロブロックとして符号化するのと、インター4Vマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、式(4)が成立すれば、インターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければインター4Vマクロブロックとして符号化した方が符号化効率がよいと判定する。
【0023】
【数2】
【0024】
なお、この式(4)において、Offsetはインターマクロブロックを選ばれ易くするためのパラメータで、文献2においては129と定められている。
【0025】
次に、式(4)によってインターマクロブロックが選ばれた場合、パラメータERRを式(5)のように定義し、一方、インター4Vマクロブロックが選ばれた場合、パラメータERRを式(6)のように定義する。
【0026】
【数3】
【0027】
次に、上記パラメータERR及び前記式(3)により定義される予測誤差ERRINTRAから、当該マクロブロックをイントラマクロブロックとして符号化するのと、式(4)によって選択されたマクロブロックモードで符号化するのとではどちらが符号化効率が高いかの判定を行う。すなわち、式(7)が成立すれば、イントラマクロブロックとして符号化する方が効率が良いとし、成立しなければ式(3)によって選択されたマクロブロックモードで符号化する方が効率が良いとする。
【0028】
【数4】
【0029】
つまり、図6のステップS105において、ERRINTER<ERRINTRAが成立しないときには、ステップS108においてイントラマクロブロックモードで符号化する方が効率がよいとし、ERRINTER<ERRINTRAが成立したときには、ステップS107においてインターマクロブロックモードで符号化する方が効率がよいとする。また、ステップS106において、ERRINTER4V<ERRINTRAが成立しないときには、ステップS108においてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときには、ステップS109においてインター4Vマクロブロックモードで符号化する方が効率がよいとする。
【0030】
上述のように、図5のMPEG4画像情報符号化部(I/P−VOP)115では、図6に示したようなモード判定手法を用いて、最も符号化効率が高いマクロブロックモードのタイプを選択し、その選択したタイプのマクロブロックモードを使用して画像情報の符号化処理を行うようになされている。
【0031】
【発明が解決しようとする課題】
しかしながら、図6に示したマクロブロックモードの判定手法では、MPEG4画像情報符号化部(I/P−VOP)115において動き補償及び絶対値誤差和(SAD)の算出を行うため、多くの演算量を必要とする。
【0032】
そこで、本発明は、このような従来の実情に鑑みて提案されたものであり、マクロブロックモード判別を少ない演算量で実現可能とする画像情報変換装置及び方法を提供することを目的とする。
【0033】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定手段を備える。
【0034】
ここで、画像内/画像間符号化モード判定手段は、第2の画像圧縮情報を構成するマクロブロックに対する第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【0035】
このような画像情報変換装置は、第2の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかを判定する。
【0036】
また、上述した課題を解決するために、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定工程を備える。
【0037】
ここで、画像内/画像間符号化モード判定工程では、第2の画像圧縮情報を構成するマクロブロックに対する第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【0038】
このような画像情報変換方法により、第2の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかが判定される。
【0039】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0040】
本発明の実施の携帯に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含むMPEG2画像圧縮情報を、離散コサイン変換と動き補償とを用いてMPEG4画像圧縮情報へ変換する画像情報変換装置において、符号化時に上記MPEG2画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表されるアクティビティと呼ばれる変数を用いて、上記MPEG4画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定手段を備えるものである。
【0041】
本発明の実施の形態の画像情報変換装置の概略構成を図1に示す。画像情報変換装置は、ピクチャタイプ判別部8と、圧縮情報解析部9と、MPEG2画像情報復号化部(I/Pピクチャ)10と、間引き部11と、ビデオメモリ12と、MPEG4画像情報符号化部(I/P−VOP)13と、情報バッファ14と、動きベクトル合成部15と、動きベクトル検出部16とを備える。
【0042】
この図1において、入力端子1に供給された飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)は、先ずピクチャタイプ判別部8に入力される。
【0043】
当該ピクチャタイプ判別部8は、画像内符号化画像(以下、Iピクチャという。)及び画像間順方向予測符号化画像(以下、Pピクチャという。)に関する情報については出力して圧縮情報解析部9へ送るが、双方向予測符号化画像(以下、Bピクチャという。)に関する情報については破棄する。これによりフレームレートの変換が行われる。
【0044】
圧縮情報解析部9は、ピクチャタイプ判別部8から送られてきた画像圧縮情報の構文解析を行うことにより、当該MPEG2画像圧縮情報の符号化に関連する情報の解析として、MPEG2マクロブロックモード情報とMPEG2マクロブロックアクティビティ情報を求めて情報バッファ14へ送る。また、圧縮情報解析部9は、当該MPEG2動きベクトル情報を動きベクトル合成部15へ送る。さらに、圧縮情報解析部9は、画像圧縮情報をMPEG2画像情報復号化部(I/Pピクチャ)10へ送る。ここで、上記MPEG2マクロブロックモード情報とは、入力MPEG2画像圧縮情報のPピクチャに含まれる個々のマクロブロックの符号化モードが画像内符号化モード、すなわちイントラマクロブロックであるか、画像間符号化モード、すなわちインターマクロブロックであるかを表す情報である。
【0045】
MPEG2画像情報復号化部(I/Pピクチャ)10は、入力された画像圧縮情報を復号化する。但し、Bピクチャに関する情報は、前段のピクチャタイプ判別部8において既に破棄されているため、当該MPEG2画像情報復号化部(I/Pピクチャ)10の機能としては、I/Pピクチャに関する情報のみの復号化処理を行えるものであればよい。MPEG2画像情報復号化部(I/Pピクチャ)10の出力となる画素値は、間引き部11に入力される。
【0046】
間引き部11は、水平方向については1/2の間引き処理を施す。垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力される画像圧縮情報の1/4の大きさを持つ順次走査画像を生成する。ここで例えば、入力端子1へ供給されたMPEG2画像圧縮情報(ビットストリーム)がNTSC(National Television System Committee)の規格に準拠したもの、つまり720×480画素、30Hzの飛び越し走査画像であった場合、上記間引き後の画枠は360×240画素ということになる。但し、後続のMPEG4画像情報符号化部(I/P−VOP)13において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が16の倍数である必要がある。したがって、当該間引き部11は、上記間引きと同時に、上記画素数を16の倍数にするための画素の補填若しくは廃棄を同時に行う。すなわち、この例の場合の間引き部11は、例えば上記360×240画素に対して、例えば水平方向の右端若しくは左端の8画素分を廃棄することで、上記16の倍数である352×240画素の画枠を構成する。
【0047】
ビデオメモリ12は、当該間引き部11によって生成された順次走査画像を一旦蓄積する。MPEG4画像情報符号化部(I/P−VOP)13は、上記順次走査画像を読み出す。
【0048】
動きベクトル合成部15は、MPEG2画像圧縮情報(ビットストリーム)から取り出されたMPEG2動きベクトル情報を、上記間引き後の画像情報に対する動きベクトルにマッピングする。動きベクトル検出部16は、動きベクトル合成部15において合成された動きベクトル値と、ビデオメモリ12に記憶された画像情報とを基に、高精度の動きベクトルを検出する。
【0049】
なお、MPEG4において、VOP(Video Object Plane)とは、MPEG2におけるフレームに相当するものである。このVOPの領域は、符号化される方式にしたがって、Iピクチャ、Pピクチャ、及びBピクチャのうちのいずれかに分類される。I−VOP(IピクチャのVOP)は、動き補償を行うことなく、画像(領域)そのものが符号化(画像内符号化)されるものである。P−VOP(PピクチャのVOP)は、基本的には、自身より時間的に前に位置する画像(IまたはP−VOP)に基づいて、順方向予測符号化される。B−VOP(BピクチャのVOP)は、基本的には、自身より時間的に前と後ろに位置する2つの画像(IまたはP−VOP)に基づいて双方向予測符号化される。この検出された動きベクトルは、MPEG4画像情報符号化部(I/P−VOP)13に送られる。
【0050】
上記MPEG4画像情報符号化部(I/P−VOP)13は、情報バッファ14に保持された前記MPEG2マクロブロックモード情報及びMPEG2マクロブロックアクティビティ情報と、上記動きベクトル検出部16からの動きベクトル情報とを用い、上記ビデオメモリ12から供給された順次走査画像の信号を符号化してMPEG4画像圧縮情報を生成する。当該MPEG4画像圧縮情報は、出力端子2から後段へ出力される。
【0051】
続いて、本実施の形態の画像情報変換装置における情報バッファ14及びMPEG4画像情報符号化部(I/P−VOP)13の構成を説明する。
【0052】
図2には、図1に示した本実施の形態の画像情報変換装置の情報バッファ14とMPEG4画像情報符号化部(I/P−VOP)13の符号化モード判定に関わる部分との詳細な内部構成要素を示す。なお、図2には、図1の動きベクトル合成部15、動きベクトル検出部16、ビデオメモリ12も同時に示している。
【0053】
情報バッファ14は、その構成要素として、量子化スケールバッファ22と、符号量バッファ23と、MPEG2マクロブロックモード情報バッファ24と、MPEG2マクロブロックアクティビティ情報バッファ25とを備えている。量子化スケールバッファ22は、端子32を介して圧縮情報解析部9から供給されたMPEG2マクロブロックの量子化スケール情報を格納している。符号量バッファ23は、端子31を介して圧縮情報解析部9から供給されたMPEG2マクロブロックに割り当てられた符号量情報を格納している。
【0054】
また、MPEG2マクロブロックモード情報バッファ24は、端子33を介して圧縮情報解析部9から供給されたMPEG2マクロブロックモード情報を保持している。MPEG2マクロブロックアクティビティ情報バッファ25は、量子化スケールバッファ及び符号量バッファからそれぞれ供給された量子化スケール情報及び符号量情報を基にMPEG2マクロブロックに対するアクティビティと呼ばれる変数を算出し、保持する。
【0055】
MPEG4画像情報符号化部(I/P−VOP)13は、モード判定を行うための構成要素として、画像内/画像間符化モード判定手段であるMPEG4イントラ/インター判定部26と、動き補償予測部27と、画像間符号化モード判定手段であるMPEG4インター/インター4V判定部28とを有する。MPEG4イントラ/インター判定部26は、情報バッファ14から読み出されたMPEG2マクロブロックモード情報とMPEG2マクロブロックアクティビティ情報とを入力する。動き補償予測部27は、動きベクトル検出部16が検出した動きベクトル情報を入力し、さらにビデオメモリ12から順次走査画像情報を読み出す。MPEG4インター/インター4V判定部28は、MPEG4イントラ/インター判定部26の出力情報と上記動き補償予測部27の動き補償情報とビデオメモリ12からの順次走査画像情報とを入力する。
【0056】
本発明の実施の形態に係る画像情報変換装置は、上述したような構成によりIピクチャ、Pピクチャ、及びBピクチャからなるMPEG2画像圧縮情報を離散コサイン変換と動き補償とを用いてMPEG4画像圧縮情報へ変換する。
【0057】
次に、図1に示す画像情報変換装置を用いて、入力される飛び越し走査のMPEG2画像圧縮情報の約1/2×1/2の画枠を持つ順次走査のMPEG4画像圧縮情報を出力する場合を考える。このとき、例えば図3に示すように、入力端子1に供給されたMPEG2画像圧縮情報を構成する画像STR2に含まれる4つのマクロブロックMBMPEG2,i(i=1,2,3,4)が、MPEG4画像情報符号化部(I/P−VOP)13から出力されるMPEG4画像圧縮情報を構成する画像STR4におけるマクロブロックMBMPEG4,1に対応するとする。
【0058】
図1に示した画像情報変換装置において、MPEG4画像情報符号化部(I/P−VOP)13は、P−VOPの符号化を行う際に、各マクロブロックをMPEG4に規定されるイントラ(INTRA)マクロブロックとして符号化するか、16×16画素のインター(INTER)マクロブロックとして符号化するか、或いは8×8画素のインター4V(INTER4V)マクロブロックとして符号化するかの符号化モードのタイプ判定を行っている。
【0059】
本発明に係る画像情報変換装置において符号化モードのタイプ判定を行う処理のフローチャートは、図4に示すようになる。先ず、ステップS1において、MPEG2マクロブロックアクティビティ情報バッファ25は、入力されるMPEG2画像圧縮情報の各マクロブロックに対するアクティビティを算出する。ここで、マクロブロックMBMPEG2,i(i=1,2,3,4)に対する量子化スケールをQMPEG2,i(i=1,2,3,4)と表し、マクロブロックMBMPEG2,i(i=1,2,3,4)に割り当てられた符号量をBMPEG2,i(i=1,2,3,4)と表すと、上記アクティビティXMPEG2,i(i=1,2,3,4)は、式(8)のように算出される。
【0060】
【数5】
【0061】
なお、上式のBMPEG2,i(i=1,2,3,4)は、当該マクロブロックの輝度成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの輝度成分及び色差成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの離散コサイン係数及びヘッダに関する情報に割り当てられた符号量であってもよい。
【0062】
続いてステップS2において、式(9)を満たすXMPEG2,I、すなわちアクティビティXMPEG2,i(i=1,2,3,4)中で最小のものを与えるマクロブロックMBMPEG2,Iに対するマクロブロックモードをMPEG2マクロブロックモード情報バッファ24より抽出する。
【0063】
【数6】
【0064】
ステップS3でMBMPEG2,Iがイントラマクロブロックである場合は、MPEG4イントラ/インター判定部26は、ステップS8でMBMPEG4,Iのマクロブロックをイントラマクロブロックであると判定し、モード判定を終了する。ステップS3でMBMPEG2,Iがイントラマクロブロックでない場合は、MPEG4イントラ/インター判定部26は、MBMPEG4,Iのマクロブロックをインターマクロブロック若しくはインター4Vマクロブロックであると判定し、ステップS4に進む。
【0065】
ステップS4において、動きベクトル検出部16は、インター動きベクトル及びインター4V動きベクトルを求める。
【0066】
次に、ステップS5において、MPEG4インター/インター4V判定部28は、インター動きベクトル及びインター4V動きベクトルにより生成される予測画をそれぞれRefINTER, RefINTER4Vで表し、原画をOrgで表し、さらに、ステップS6において、当該マクロブロックをインターマクロブロック、及びインター4Vマクロブロックとして符号化した場合の予測誤差ERRINTER,ERRINTER4Vをそれぞれ式(10)及び式(11)によって算出する。なお上式中のSADは絶対値誤差和(Sum of Absolute Difference)を表す。
【0067】
【数7】
【0068】
次に、ステップS7において、MPEG4インター/インター4V判定部28は、上記式(10)及び式(11)で求められた予測誤差ERRINTER,ERRINTER4Vから、インターマクロブロックとして符号化するのと、インター4Vマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、MPEG4インター/インター4V判定部28は、式(12)が成立すれば、ステップS9でインターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければステップS10でインター4Vマクロブロックとして符号化した方が符号化効率がよいと判定し、モード判定を終了する。
【0069】
【数8】
【0070】
以上の一連のモード判定処理により求められたマクロブロックのモード判定結果は、図2の端子37から、また、ビデオメモリ12から供給された画像情報は、端子36から、それぞれ図示しない後段のMPEG4画像圧縮処理のための構成に送られる。
【0071】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【0072】
例えば、図3では、入力される飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)の約1/2×1/2の画枠を持つ順次走査のMPEG4画像圧縮情報(ビットストリーム)を出力する場合の例を示したが、本発明はこれに限らず、例えば入力される飛び越し走査のMPEG2画像圧縮情報(ビットストリーム)の約1/4×1/4の画枠を持つ順次走査のMPEG4画像圧縮情報(ビットストリーム)を出力してもよい。
【0073】
また、本発明の実施の形態では、入力としてMPEG2画像圧縮情報(ビットストリーム)を、出力としてMPEG4画像圧縮情報(ビットストリーム)を対象としてきたが、入力出力ともこれに限らず、例えばMPEG−1やH.263などのように、直交変換と動き補償によって符号化された画像圧縮情報であればよい。
【0074】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定手段を備えるものである。
【0075】
ここで、画像内/画像間符号化モード判定手段は、第2の画像圧縮情報を構成するマクロブロックに対する第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【0076】
これにより、符号化モード判定に伴う演算量を削減しながら、第2の画像符号化情報を出力することが可能となる。
【0077】
また、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定工程を備えるものである。
【0078】
ここで、画像内/画像間符号化モード判定工程では、第2の画像圧縮情報を構成するマクロブロックに対する第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【0079】
これにより、符号化モード判定に伴う演算量を削減しながら、第2の画像符号化情報を出力することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像情報変換装置の概略構成を説明するブロック図である。
【図2】同画像情報変換装置のMPEG4画像情報符号化部の詳細な構成とその周辺の構成を説明するブロック図である。
【図3】同画像情報変換装置のMPEG4画像情報符号化部でのモード判定処理の説明に用いる図である。
【図4】同画像情報変換装置のMPEG4画像情報符号化部におけるモード判定処理を説明するフローチャートである。
【図5】従来の画像情報変換装置の概略構成を説明するブロック図である。
【図6】従来の画像情報変換装置におけるモード判定処理を説明するフローチャートである。
【符号の説明】
8 ピクチャタイプ判別部、9 圧縮情報解析部、10 MPEG2画像情報復号化部(I/Pピクチャ)、11 間引き部、12 ビデオメモリ、13 MPEG4画像情報符号化部(I/P−VOP)、14 情報バッファ、15 動きベクトル合成部、16 動きベクトル検出部、22 量子化スケールバッファ、23 符号量バッファ、24 MPEG2マクロブロックモード情報バッファ、25 MPEG2マクロブロックアクティビティ情報バッファ、26 MPEG4イントラ/インター判定部、27 動き補償予測部、28 MPEG4インター/インター4V判定部
Claims (14)
- 画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換装置において、
符号化時に上記第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、上記第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定手段を備える
画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分に割り当てられた符号量である
請求項1記載の画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分及び色差成分に割り当てられた符号量である
請求項1記載の画像情報変換装置。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数及びヘッダ情報に割り当てられた符号量である
請求項1記載の画像情報変換装置 - 上記画像内/画像間符号化モード判定手段は、上記第2の画像圧縮情報を構成するマクロブロックに対する上記第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する上記変数のうち最小の変数を与えるマクロブロックを選択する
請求項1記載の画像情報変換装置。 - 上記第1の画像圧縮情報を構成する各マクロブロックの符号化モードを保持する記憶手段を備え、
上記画像内/画像間符号化モード判定手段は、上記選択された最小の変数を与えるマクロブロックの符号化モードを上記記憶手段から読み出す
請求項1記載の画像情報変換装置。 - 上記画像内/画像間符号化モード判定手段で読み出された最小の変数を与えるマクロブロックの符号化モードが画像内符号化モードである場合には、上記第2の画像圧縮情報を構成するマクロブロックの符号化モードを上記画像内符号化モードとし、画像内符号化モードでない場合には、上記第2の画像圧縮情報を構成するマクロブロックの符号化モードを画像間符号化モードとする
請求項6記載の画像情報変換装置。 - 画像内符号化画像と画像間予測符号化画像とを含む第1の画像圧縮情報を、直交変換と動き補償とを用いて第2の画像圧縮情報へ変換する画像情報変換方法において、
符号化時に上記第1の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、上記第2の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内/画像間符号化モード判定工程を備える
画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分に割り当てられた符号量である
請求項8記載の画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数の輝度成分及び色差成分に割り当てられた符号量である
請求項8記載の画像情報変換方法。 - 上記直交変換は、離散コサイン変換であり、
上記割当符号量は、当該マクロブロックの離散コサイン変換係数及びヘッダ情報に割り当てられた符号量である
請求項8記載の画像情報変換方法。 - 上記画像内/画像間符号化モード判定工程は、上記第2の画像圧縮情報を構成するマクロブロックに対する上記第1の画像圧縮情報を構成する各マクロブロックのそれぞれに対する上記変数のうち最小の変数を与えるマクロブロックを選択する
請求項8記載の画像情報変換方法。 - 上記画像情報変換方法は、上記第1の画像圧縮情報を構成する各マクロブロックの符号化モードを記憶手段に保持する記憶工程を備えており、
上記画像内/画像間符号化モード判定工程では、上記選択された最小の変数を与えるマクロブロックの符号化モードが上記記憶手段から読み出される
請求項12記載の画像情報変換方法。 - 上記画像内/画像間符号化モード判定工程で読み出された最小の変数を与えるマクロブロックの符号化モードが画像内符号化モードである場合には、上記第2の画像圧縮情報を構成するマクロブロックの符号化モードを上記画像内符号化モードとし、画像内符号化モードでない場合には、上記第2の画像圧縮情報を構成するマクロブロックの符号化モードを画像間符号化モードとする
請求項13記載の画像情報変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001001805A JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001001805A JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002209217A JP2002209217A (ja) | 2002-07-26 |
JP4505992B2 true JP4505992B2 (ja) | 2010-07-21 |
Family
ID=18870397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001001805A Expired - Fee Related JP4505992B2 (ja) | 2001-01-09 | 2001-01-09 | 画像情報変換装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4505992B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08102938A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
JPH09512417A (ja) * | 1995-02-22 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
JPH11313317A (ja) * | 1998-04-28 | 1999-11-09 | Asahi Chem Ind Co Ltd | 画像圧縮データの加工方法および装置、動画像圧縮形式変換方法および装置、動画像データ圧縮装置、画像圧縮データ加工プログラムを記憶した記憶媒体、および画像圧縮データの加工データを記憶した記憶媒体 |
JP2000312362A (ja) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Ind Co Ltd | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
JP2001016580A (ja) * | 1999-06-25 | 2001-01-19 | Victor Co Of Japan Ltd | 符号化装置 |
-
2001
- 2001-01-09 JP JP2001001805A patent/JP4505992B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08102938A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
JPH08111870A (ja) * | 1994-10-12 | 1996-04-30 | Kokusai Denshin Denwa Co Ltd <Kdd> | 画像情報の再符号化方法及び装置 |
JPH09512410A (ja) * | 1995-02-15 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | ビデオ信号の符号変換方法および装置 |
JPH09512417A (ja) * | 1995-02-22 | 1997-12-09 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 伝送チャネルを介して複数のビデオプログラムを同時に送信するシステム |
JPH11313317A (ja) * | 1998-04-28 | 1999-11-09 | Asahi Chem Ind Co Ltd | 画像圧縮データの加工方法および装置、動画像圧縮形式変換方法および装置、動画像データ圧縮装置、画像圧縮データ加工プログラムを記憶した記憶媒体、および画像圧縮データの加工データを記憶した記憶媒体 |
JP2000312362A (ja) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Ind Co Ltd | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
JP2001016580A (ja) * | 1999-06-25 | 2001-01-19 | Victor Co Of Japan Ltd | 符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2002209217A (ja) | 2002-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4517495B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに符号化装置及び符号化方法 | |
US9197903B2 (en) | Method and system for determining a macroblock partition for data transcoding | |
EP1618744B1 (en) | Video transcoding | |
JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH07322269A (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
JP3855522B2 (ja) | 動画変換装置 | |
JP2005260912A (ja) | 映像通信装置および映像通信方法 | |
JP2002152759A (ja) | 画像情報変換装置および画像情報変換方法 | |
JP2002152752A (ja) | 画像情報変換装置及び方法 | |
JP2933561B2 (ja) | 動画符号変換装置 | |
JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
JP2002125227A (ja) | 画像情報変換装置及び方法 | |
JP4517453B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JP4517475B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
JP4608801B2 (ja) | 画像情報変換装置及び方法 | |
JP4517465B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP4507418B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP4517468B2 (ja) | 画像情報変換装置及び方法並びに符号化装置及び方法 | |
JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
JP2001346214A (ja) | 画像情報変換装置及び方法 | |
JP2002152728A (ja) | 画像情報変換装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |