JP4470431B2 - データ処理装置およびその方法 - Google Patents

データ処理装置およびその方法 Download PDF

Info

Publication number
JP4470431B2
JP4470431B2 JP2003342888A JP2003342888A JP4470431B2 JP 4470431 B2 JP4470431 B2 JP 4470431B2 JP 2003342888 A JP2003342888 A JP 2003342888A JP 2003342888 A JP2003342888 A JP 2003342888A JP 4470431 B2 JP4470431 B2 JP 4470431B2
Authority
JP
Japan
Prior art keywords
motion vector
field
macroblock
frame
vector information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003342888A
Other languages
English (en)
Other versions
JP2005110083A (ja
Inventor
数史 佐藤
陽一 矢ケ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003342888A priority Critical patent/JP4470431B2/ja
Priority to US10/948,986 priority patent/US20050089098A1/en
Publication of JP2005110083A publication Critical patent/JP2005110083A/ja
Application granted granted Critical
Publication of JP4470431B2 publication Critical patent/JP4470431B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像データの動きベクトルを決定するデータ処理装置およびその方法と符号化装置に関する。
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
MPEG方式に続いて、さらなる高圧縮率を実現するJVT(Joint Video Team)と呼ばれる符号化方式が提案されている。
JVT方式では、MPEGと同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、JVT方式の符号化装置では、MPEGで符号化された画像データを復号した後に、JVT方式で符号化する場合がある。
このような場合に、JVTの符号化装置の動き予測・補償では、例えば、上記復号によって得られた復号データの所定の参照画像データを間引いて1/4解像度の参照画像データを生成し、この1/4解像度の参照画像データ全体を探索範囲として第1の動きベクトルを生成する。そして、その第1の動きベクトルを基に、上記所定の参照画像データ内の探索範囲を決定し、当該決定した探索範囲内で再び動きベクトルの生成を行う。
しかしながら、上述した従来のJVT方式の符号化装置では、動きベクトルの生成に伴う処理量が多く、処理時間の短縮、並びに装置の小規模化の要請がある。
同様な問題は、JVT以外の符号化装置についても同様に存在する。
本発明は上述した従来技術に鑑みて成され、動画像データを第1の符号化方法で符号化し、この符号化データを復号して得られた復号データを、第2の符号化方法で符号化する場合に、符号化効率を劣化させずに、動きベクトルの決定に伴う処理量を削減できるデータ処理装置、その方法および符号化装置を提供することを目的とする。
本発明によれば、符号化ストリームを変換するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の二次元方向の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、符号化ストリームを変換するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトルとをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換手段と、
を備えた、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いた演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定する、フレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定する、フレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフィールドモードで変換することにより、フィールドモードで符号化された上記フィールド符号化ストリームを生成する、符号化手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、符号化ストリームを復号するデータ処理装置において、
フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記フィールド符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フレーム単位の動きベクトルとを伝送する、伝送手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、符号化ストリームを復号するデータ処理装置において、
フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号手段と、
上記受け取り手段により受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フィールド単位の動きベクトル情報を伝送する、伝送手段と、
を備える、データ処理装置が提供される。
また本発明によれば、上記処理を行う、データ処理方法が提供される。
本発明によれば、動画像データを第1の符号化方法で符号化された符号化データを復号して得られた復号データを、第2の符号化方法で符号化する場合に、符号化効率を劣化させずに、動きベクトルの決定に伴う処理量を削減できるデータ処理装置、その方法および符号化装置を提供できる。
以下、本発明の実施形態に係わるJVT方式の符号化装置について説明する。
<本発明の実施形態>
以下、図1〜図12を参照して本発明の実施形態を説明する。
先ず、本発明の構成要素と本実施形態の構成要素との対応関係を説明する。
図2に示すMPEG2復号回路51が第1および第3の発明の復号手段に対応している。
また、図2に示すMV変換回路53および動き予測・補償回路58が、第1の発明の動きベクトル生成手段、並びに第3の発明の動き予測手段に対応する。
また、図2に示す画面並べ替えバッファ23および可逆符号化回路27が、第3の発明の符号化手段に対応する。
また、画像データS11が本発明の符号化データに対応し、画像データS51が本発明の復号データに対応する。
また、動きベクトルMV51が本発明の第1の動きベクトルに対応し、動きベクトルMVが本発明の第2の動きベクトルに対応している。
図1は、本実施形態の通信システム1の概念図である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
通信システム1では、送信側の符号化装置2において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ(ビットストリーム)を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルTV網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図1に示す復号装置3は符号化装置2の符号化に対応した復号を行う。
以下、図1に示す符号化装置2について説明する。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、A/D変換回路22、画面並べ替えバッファ23、演算回路24、直交変換回路25、量子化回路26、可逆符号化回路27、バッファ28、逆量子化回路29、逆直交変換回路30、メモリ31、レート制御回路32、メモリ45、デブロックフィルタ37、イントラ予測回路41、選択回路44、MPEG2復号回路51、ピクチャタイプバッファメモリ52、MV変換回路53および動き予測・補償回路58を有する。
符号化装置2は、MPEG2復号回路51において、MEPG2で符号化された画像データS11を復号して画像データS51を生成し、画像データS51をJVTで符号化する。
この場合に、MPEG2復号回路51が、MEPG2の符号化において決定された各マクロブロックMBの動きベクトルMV51をMV変換回路53に出力する。
そして、MV変換回路53において、動きベクトルMV51を変換して動きベクトルの探索範囲を規定する動きベクトルMV53を生成する。
動き予測・補償回路58は、図3に示すように、画像データS23内の処理対象のマクロブロックMBの動きベクトルMVを生成する場合に、参照画像データREF内の動きベクトルMV53で規定される探索範囲SRを探索して動きベクトルMVを生成する。
符号化装置2では、図4(A),(B)に示すように、MPEG2復号回路51から出力された画像データS51の各ピクチャのMPEG2符号化で用いられたピクチャタイプP,B,Iをそのまま用いて、JVT符号化、すなわち動き予測・補償回路58における動きベクトルMVの生成を行う。
なお、本実施形態において、Iは、Iピクチャ、すなわち、当該Iピクチャの情報だけから符号化され、フレーム間予測(インター予測符号化)を行わない画像データを示す。 また、Pは、Pピクチャ、すなわち、表示順が前(過去)のIピクチャまたはPピクチャを基に予測を行って符号化される画像データを示す。
Bは、表示順が前および後のIピクチャおよびPピクチャを基に双方向予測によって符号化される画像データを示す。
次に、MPEG2とJVTとの符号化方式について説明する。
MPEG2およびJVTの何れの場合でも、符号化装置に入力される画像データには、順次走査画像データと、飛び越し走査画像データとがあり、フィールドデータを単位とした符号化(フィールド符号化)と、フレームデータを単位とした符号化(フレーム符号化)とが選択できる。
MPEG2では、例えば、図5(A)に示すように、16画素×16画素のデータで構成されるマクロブロックMBをフレーム符号化してもよいし、図5(B)に示すように、トップフィールドデータおよびボトムフィールドデータ毎に、16画素×8画素のデータに分割してフィールド符号化してもよい。
また、JVTでは、図6(A),(B)に示すようにピクチャ単位での符号化と、図7に示すようにマクロブロック単位での符号化とを選択できる。
ピクチャ単位での符号化としては、図6(A)に示すフレーム符号化と、図6(B)に示すフィールド符号化とを選択できる。
また、マクロブロック単位での符号化としては、単数のマクロブロックを単位としてフレーム符号化またはフィールド符号化を行う場合と、図7に示すように2つのマクロブロックMB(MBペア)、すなわち16画素×32画素のデータを単位としてフレーム符号化またはフィールド符号化を行う場合とを選択できる。
また、MPEG2のマクロブロックMBの動きベクトルMVとしては、図8(A)に示すように、フレーム符号化で得られた動きベクトル(mvx_fr,mvy_fr)と、図8(B)に示すように、フィールド符号化で得られたトップフィールドデータの動きベクトル(mvx_t,mvy_t)およびボトムフィールドの動きベクトル(mvx_b,mvy_b)の何れか一方が存在する。
また、MPEG2のマクロブロックMBの動きベクトルMVとしては、フィールド符号化された場合には、図9(A)に示すように、垂直方向で隣接するマクロブロックMB1とMB2とのそれぞれについて、トップフィールドおよびボトムフィールドの動きベクトルが含まれる。
一方、JVTにおいて、図7に示すマクロブロックペアを単位として符号化を行う場合に、図9(B)に示すように、一方のマクロブロックMBtにはトップフィールドの動きベクトルのみが含まれ、他方のマクロブロックMBbにはボトムフィールドの動きベクトルのみが含まれる。
以下、符号化装置2の構成要素について説明する。
A/D変換回路22は、入力されたアナログの輝度信号Y、色差信号Pb,Prから構成される原画像信号をデジタルの画像データに変換し、これを画面並べ替えバッファ23に出力する。
画面並べ替えバッファ23は、A/D変換回路22から入力した原画像の画像データS22あるいはMPEG2復号回路51から入力した画像データS51を、そのピクチャタイプI,P,BからなるGOP(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた画像データS23を演算回路24、イントラ予測回路41および動き予測・補償回路58に出力する。
演算回路24は、画像データS23と、選択回路44から入力した予測画像データPIとの差分を示す画像データS24を生成し、これを直交変換回路25に出力する。
直交変換回路25は、画像データS24に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ(例えばDCT係数)S25を生成し、これを量子化回路26に出力する。
量子化回路26は、レート制御回路32から入力した量子化スケールで、画像データS25を量子化して画像データS26を生成し、これを可逆符号化回路27および逆量子化回路29に出力する。
可逆符号化回路27は、画像データS26を可変長符号化あるいは算術符号化した画像データをバッファ28に格納する。
このとき、可逆符号化回路27は、選択データS44がインター予測符号化を選択したことを示す場合に、動き予測・補償回路58から入力した動きベクトルMVを符号化してヘッダデータに格納する。
また、可逆符号化回路27は、選択データS44がイントラ予測符号化を選択したことを示す場合に、イントラ予測回路41から入力したイントラ予測モードIPMをヘッダデータなどに格納する。
バッファ28に格納された画像データは、変調等された後に送信される。
逆量子化回路29は、画像データS26を逆量子化した信号を生成し、これをデブロックフィルタ37に出力する。
デブロックフィルタ37は、画像データS26のブロック歪みを除去した画像データを、逆直交変換回路30に出力すると共に、メモリ45に書き込む。
逆直交変換回路30は、デブロックフィルタ37から入力した画像データに、直交変換回路25における直交変換の逆変換を施して生成した画像データをメモリ31に書き込む。
レート制御回路32は、バッファ23から読み出した画像データを基に量子化スケールを生成し、これを量子化回路26に出力する。
イントラ予測回路41は、例えばJVTにより予め規定されたイントラ予測モードのそれぞれを基に、メモリ45から読み出した画像データを構成する各マクロブロックMBにイントラ予測符号を施して予測画像を生成し、当該予測画像データと画像データS23との差分DIFを検出する。
そして、イントラ予測回路41は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードIPMを可逆符号化回路27に出力する。
また、イントラ予測回路41は、上記特定したイントラ予測モードによる予測画像データPIと、上記差分DIFとを選択回路44に出力する。
選択回路44は、イントラ予測回路41から入力した差分DIFと、動き予測・補償回路58から入力した差分DIFとを比較する。
選択回路44は、上記比較によりイントラ予測回路41から入力した差分DIFの方が小さいと判断すると、イントラ予測回路41から入力した予測画像データPIを選択して演算回路24に出力する。
選択回路44は、上記比較により動き予測・補償回路58から入力した差分DIFの方が小さいと判断すると、動き予測・補償回路58から入力した予測画像データPIを選択して演算回路24に出力する。
また、選択回路44は、イントラ予測回路41からの予測画像データPIを選択した場合にはインター予測符号化を選択したことを示す選択データS44を可逆符号化回路27に出力し、動き予測・補償回路58からの予測画像データPIを選択した場合にはイントラ予測符号化を選択したことを示す選択データS44を可逆符号化回路27に出力する。
MPEG2復号回路51は、例えば、MPEG2で符号化された画像データS11を入力し、画像データS11をMPEG2で復号して画像データS51を生成し、これを画面並べ替えバッファ23に出力する。
また、MPEG2復号回路51は、画像データS11のヘッダに含まれ各マクロブロックMBの動きベクトルMV51をMV変換回路53に出力する。
また、MPEG2復号回路51は、画像データS11のヘッダに含まれ各マクロブロックMBのピクチャの種類を示すピクチャタイプデータPIC_Tを、MV変換回路53に出力すると共に、ピクチャタイプバッファメモリ52に書き込む。
また、MPEG2復号回路51は、上記マクロブロックMBのMEPG2による符号化が、イントラ符号化、インター符号化、インター符号化の場合にはその予測モード、フィール符号化、フレーム符号化の何れであるかを示す符号化タイプデータEN_TをMV変換回路53に出力する。
ピクチャタイプバッファメモリ52に記憶されたピクチャタイプデータPIC_Tは、選択回路44および動き予測・補償回路58によって読み出される。
MV変換回路53は、MPEG2復号回路51から入力した動きベクトルMV51を基に、動きベクトルMV53を生成し、これを動き予測・補償回路58に出力する。
動きベクトルMV53は、図3を用いて説明したように、動き予測・補償回路58においてJVT方式により動きベクトルMVを探索する場合に、参照画像データREF内の探索範囲SRを規定するために用いられる。
以下、MV変換回路53における動きベクトルMV53の生成動作を説明する。
図10および図11は、MV変換回路53における動きベクトルMV53の生成動作を説明するための図である。
ステップST1:
MV変換回路53は、MPEG2復号回路51から入力したピクチャタイプデータPIC_Tを基に、MPEG2復号回路51から入力した動きベクトルMV51に対応するマクロブロックMBのピクチャタイプを判断し、当該ピクチャタイプがBまたはPの場合には、ステップST2に進み、そうでない場合にはステップST1の処理を繰り返す。
ステップST2:
MV変換回路53は、MPEG2復号回路51から入力したピクチャタイプデータPIC_Tおよび符号化タイプデータEN_Tを基に、「上記マクロブロックMBのピクチャタイプがPで、且つ、イントラ符号化されたものである」という条件と、「上記マクロブロックMBのピクチャタイプがBで、且つ、前方予測あるいは後方予測の片方のみの予測モードである」という条件の何れか一方の条件を満たすか否かを判断し、満たさないと判断するとステップST3に進み、満たすと判断するとステップST4に進む。
ステップST3:
MV変換回路53は、動きベクトルMV53として零ベクトルを選択する。
ステップST4:
MV変換回路53は、符号化タイプデータEN_Tを基に、動きベクトルMV51がフィールド符号化されて得られたものであるか否かを判断し、フィールド符号化されたものであると判断するとステップST5に進み、そうでない場合(フレーム符号化されたものである場合)にはステップST6に進む。
なお、動きベクトルMV51がマクロブロックMBをフィールド符号化して得られたものである場合には、動きベクトルMV51として、図8(B)に示すように、トップフィールドの動きベクトル(mvx_t,mvy_t)と、ボトムフィールドの動きベクトル(mvx_b,mvy_b)とが存在する。
一方、動きベクトルMV51がマクロブロックMBをフレーム符号化して得られたものである場合には、動きベクトルMV51として、図8(A)に示すように、フレームデータの動きベクトル(mvx_fr,mvy_fr)が存在する。
ステップST5:
MV変換回路53は、上記マクロブロックMBの動きベクトルMV51が規定するトップフィールドの動きベクトル(mvx_t,mvy_t)と、ボトムフィールドの動きベクトル(mvx_b,mvy_b)とを用いて、下記式(3)を基に、フレームの動きベクトル(mvx_fr,mvy_fr)を生成する。
[数3]
mvx_fr=(mvx_t+mvx_b)/2
mvy_fr=mvy_t+mvy_b
…(3)
ステップST6:
MV変換回路53は、上記マクロブロックMBの動きベクトルMV51が規定するフレームの動きベクトル(mvx_fr,mvy_fr)を用いて、下記式(4)を基に、トップフィールドの動きベクトル(mvx_t,mvy_t)と、ボトムフィールドの動きベクトル(mvx_b,mvy_b)とを生成する。
[数4]
mvx_t=mvy_b=mvx_fr
mvy_t=mvy_b=(mvy_fr)/2
…(4)
ステップST7:
MV変換回路53は、JVTで規定されるマクロブロックペアに対応するMPEG2の2つのマクロブロックMBのフィールドの動きベクトル(mvx1_t,mvy1_t),(mvx1_b,mvy1_b),(mvx2_t,mvy2_t),(mvx2_b,mvy2_b)を用いて、図7および図9を用いて説明したマクロブロックペアのフィールドデータを単位とした動き補償で探索範囲を規定するために用いられる動きベクトル(mvx_t,mvy_t),(mvx_b,mvy_b)を下記式(5)を基に生成する。
[数5]
mvx_t=(mvx1_t+mvx2_t)/2
mvy_t=(mvy1_t+mvy2_t)/2
mvx_b=(mvx1_b+mvx2_b)/2
mvy_b=(mvy1_b+mvy2_b)/2
…(5)
ステップST8:
MV変換回路53は、ステップST3,ST5,ST6,ST7で生成した動きベクトルを、動きベクトルMV53として動き予測・補償回路58に出力する。
動き予測・補償回路58は、画像データS23を、フレームデータおよびフィールドデータを単位として、メモリ31から読み出した参照画像データREFを基に動きベクトルMVを決定する。
すなわち、動き予測・補償回路58は、動きベクトルMVと参照画像データREFとによって規定される予測画像データPIと、画像データS23との差分DIFを最小にする動きベクトルMVを決定する。このとき、動き予測・補償回路58は、参照画像データREF内の動きベクトルMV53によって規定される探索範囲内で上記動きベクトルMVを探索して決定する。
動き予測・補償回路58は、フレームデータを単位として動きベクトルMVを生成する場合に、画像データS23のフィールドデータを単位として、メモリ31から読み出した参照画像データREF(フレームデータ)を基に動きベクトルMVを生成する。
すなわち、動き予測・補償回路58は、図6(A)に示すフレームデータを単位として、動きベクトルMVの決定、予測画像データPIおよび差分DIFを生成する。
動き予測・補償回路58は、フィールドデータを単位として動きベクトルMVを生成する場合に、画像データS23のフィールドデータを単位として、メモリ31から読み出した参照画像データREF(フィールドデータ)を基に動きベクトルMVを決定する。
すなわち、動き予測・補償回路58は、図6(B)に示すトップフィールドデータおよびボトムフィールドデータの各々を単位として、動きベクトルMVの決定、予測画像データPIおよび差分DIFを生成する。
動き予測・補償回路58は、予測画像データPIおよび差分DIFを選択回路44に出力し、動きベクトルMVを可逆符号化回路27に出力する。
なお、本実施形態において、動き予測・補償回路58は、JVTで規定されたマルチプルリファレンスを使用せずに、Pピクチャについては1枚の参照画像データREFを用い、Bピクチャについて2枚の参照画像データREFを用いる。
以下、動き予測・補償回路58の処理について詳細に説明する。
図12は、動き予測・補償回路58の処理を説明するためのフローチャートである。
ステップST21:
動き予測・補償回路58は、ピクチャタイプバッファメモリ52から入力したピクチャタイプデータPIC_Tを基に、画像データS23内の処理対象のマクロブロックMBがBまたはPピクチャであるか否かを判断し、BまたはPピクチャであると判断するとステップST22に進み、そうでない場合にはステップST21の処理を繰り返す。
ステップST22:
動き予測・補償回路58は、動きベクトルMV53として入力した動きベクトルのうち、フィールド符号化に対応する動きベクトルを選択する。
そして、動き予測・補償回路58は、処理対象のマクロブロックMBのピクチャタイプに応じて選択した単数または複数の参照画像データREF(フィールドデータ)内の探索範囲SRを、上記選択した動きベクトルによって規定する。
そして、動き予測・補償回路58は、処理対象のマクロブロックMBの動きベクトルMVを、フィールドデータ単位で、上記規定した参照画像データREF内の探索範囲SRを探索して生成する。
このとき、動き予測・補償回路58は、動きベクトルMVと参照画像データREFとを基に予測画像データPI、並びに参照画像データREFと予測画像データPIとの差分DIFとを生成する。
ステップST23:
動き予測・補償回路58は、動きベクトルMV53として入力した動きベクトルのうち、フレーム符号化に対応する動きベクトルを選択する。
そして、動き予測・補償回路58は、処理対象のマクロブロックMBのピクチャタイプに応じて選択した単数または複数の参照画像データREF(フレームデータ)内の探索範囲SRを、上記選択した動きベクトルによって規定する。
そして、動き予測・補償回路58は、処理対象のマクロブロックMBの動きベクトルMVを、フレームデータ単位で、上記規定した参照画像データREF内の探索範囲SRを探索して生成する。
動き予測・補償回路58は、単数のマクロブロックMBを単位、並びに図7に示すMBペアを単位とする場合の各々について、動きベクトルMVを生成する。
このとき、動き予測・補償回路58は、動きベクトルMVと参照画像データREFとを基に予測画像データPI、並びに参照画像データREFと予測画像データPIとの差分DIFとを生成する。
動き予測・補償回路58は、ステップST22,ST23の処理を、処理対象のピクチャ内の全てのマクロブロックMBについて行う。
ステップST24:
動き予測・補償回路58は、各ステップST22およびST23で生成された差分DIFを基に、フレーム符号化およいフィールド符号化のうち、処理対象のピクチャ内の全てのマクロブロックMBについての差分DIFの総和が最も少ない方を選択する。
また、動き予測・補償回路58は、フレーム符号化を選択する場合に、マクロブロックMBとMBペアとの何れを単位とするかも選択する。
ステップST25:
動き予測・補償回路58は、ステップST58で選択したフレーム符号化またはフィールド符号化に対応する動きベクトルMVを可逆符号化回路27に出力し、それに対応する予測画像データPIおよび差分DIFを選択回路44に出力する。
以下、図2に示す符号化装置2の全体動作を説明する。
〔第1の動作例〕
当該第1の動作例では、符号化されていない画像データS10が符号化装置2に入力される場合を説明する。
符号化されていない画像データS10が入力されると、画像データS10がA/D変換回路22において画像データS22に変換される。
次に、出力となる画像圧縮情報のGOP構造に応じ、画面並べ替えバッファ23において画像データS10内のピクチャの並べ替えが行われ、それによって得られた画像データS23が演算回路24、イントラ予測回路41、および動き予測・補償回路58に出力される。
次に、演算回路24が、画面並べ替えバッファ23からの画像データS23と選択回路44からの予測画像データPIとの差分を検出し、その差分を示す画像データS24を直交変換回路25に出力する。
次に、直交変換回路25が、画像データS24に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データS25を生成し、これを量子化回路26に出力する。
次に、量子化回路26が、画像データS25を量子化し、量子化された画像データS26を可逆符号化回路27および逆量子化回路29に出力する。
次に、可逆符号化回路27が、画像データS26に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データS28を生成し、これをバッファ28に蓄積する。
また、レート制御回路32が、バッファ28から読み出した画像データS28を基に、量子化回路26における量子化レートを制御する。
また、逆量子化回路29が、量子化回路26から入力した画像データS26を逆量子化し、逆量子化した変換係数をデブロックフィルタ37に出力する。
デブロックフィルタ37は、逆量子化回路29から入力した画像データのブロック歪みを除去した画像データを、逆直交変換回路30に出力すると共に、メモリ45に書き込む。
逆直交変換回路30は、デブロックフィルタ37から入力した画像データに、直交変換回路25における直交変換の逆変換を施して生成した画像データをメモリ31に書き込む。
そして、イントラ予測回路41において、前述したように、イントラ予測符号化が行われ、その予測画像データPIと、差分DIFとが選択回路44に出力される。
また、動き予測・補償回路58において、動きベクトルMVの決定が行われる。
また、動き予測・補償回路58において、予測画像データPIおよび差分DIFの生成が行われ、これらが選択回路44に出力される。
そして、選択回路44において、イントラ予測回路41から入力した差分DIFと、動き予測・補償回路58から入力した差分DIFとのうち小さい方の差分DIFに対応する予測画像データPIが演算回路24に出力される。
〔第2の動作例〕
当該第2の動作例では、例えば、MPEG2で符号化された画像データS11が符号化装置2に入力された場合を説明する。
MPEG2で符号化された画像データS11が、MPEG2復号回路51に入力される。
そして、MPEG2復号回路51が、例えば、MPEG2で符号化された画像データS11をMPEG2で復号して画像データS51を生成し、これを画面並べ替えバッファ23に出力する。
また、MPEG2復号回路51が、画像データS11のヘッダに含まれ各マクロブロックMBの動きベクトルMV51をMV変換回路53に出力する。
また、MPEG2復号回路51が、画像データS11のヘッダに含まれ各マクロブロックMBのピクチャの種類を示すピクチャタイプデータPIC_Tを、MV変換回路53に出力すると共に、ピクチャタイプバッファメモリ52に書き込む。
また、MPEG2復号回路51が、上記マクロブロックMBのMEPG2による符号化が、イントラ符号化、インター符号化、インター符号化の場合にはその予測モード、フィール符号化、フレーム符号化の何れであるかを示す符号化タイプデータEN_TをMV変換回路53に出力する。
そして、MV変換回路53が、図10および図11を用いて説明した処理を行って動きベクトルMV51を変換して動きベクトルMV53を生成する。
そして、動き予測・補償回路58が、動きベクトルMV53を基に図12に示す処理を行う。
すなち、動き予測・補償回路58は、画像データS23内の処理対象のマクロブロックMBの動きベクトルMVを生成する場合に、参照画像データREF内の動きベクトルMV53で規定される探索範囲SRを探索して動きベクトルMVを生成する。
このとき、動き予測・補償回路58は、図4(A),(B)に示すように、MPEG2復号回路51から出力された画像データS11の各ピクチャのMPEG2符号化で用いられたピクチャタイプP,B,Iをそのまま用いて、動きベクトルMVの生成を行う。
以上説明したように、符号化装置2では、MPEG2復号回路51で得られた画像データS11の動きベクトルMV51を基に動きベクトルMV53を生成し、動き予測・補償回路58において、参照画像データREF内の動きベクトルMV53で規定される探索範囲SRを探索して動きベクトルMVを生成する。
そのため、符号化装置2によれば、従来のように、参照画像データREFを間引いて1/4解像度の参照画像データを生成し、その参照画像データ全体を探索範囲として動きベクトルMVを生成する場合に比べて、動き予測・補償回路58の処理量を大幅に少なくでき、動きベクトルMVの生成時間の短縮、並びに回路の小規模化を図れる。
また、符号化装置2によれば、各ピクチャのピクチャタイプを、画像データS11と画像データS2とで同じにし、図10および図11に示す処理を行って動きベクトルMV53を生成することで、適切な上記探索範囲を決定でき、高品質な動きベクトルMVを生成できる。その結果、従来通り、高い符号化効率を実現できる。
<本発明の実施形態の変形例>
上述した実施形態では、本発明の第1の符号化としてMPEG2を例示し、本発明の第2の符号化としてJVTを例示したが、本発明の第1の符号化および第2の符号化としてそれ以外の符号化を用いてもよい。
例えば、本発明の第2の符号化として、例えば、MPEG−4や、AVC/H.264などの符号化を用いてもよい。
また、上述した実施形態では、MV変換回路53が、図10に示すステップST3で動きベクトルMV53として、零ベクトルを出力する場合を例示したが、例えば、画像データS11内の対象となるマクロブロックMBの周辺のマクロブロックMBの動きベクトルMV51を、動きベクトルMV53として用いてもよい。
また、それ以外に、MV変換回路53が、図13に示すように、画像データS11内の対象となるマクロブロックMBに対して、ラスタースキャンオーダで直前に位置するマクロブロックMBの動きベクトルMV51(mvz,mvy)を、動きベクトルMV53として用いてもよい。
また、MV変換回路53が、処理対象のマクロブロックMBがBピクチャであり、前方向予測モードおよび後方向予測モードの何れか一方のみを用いている場合に、他方の予測モードの動きベクトルMV53として零ベクトルを用いてもよい。それ以外に、この場合に、動き予測・補償回路58が双方向予測を禁止してもよい。また、MV変換回路53が、図14に示すように、前方向予測モードの動きベクトルMV51、並びに画像データS11に含まれるTemporal_Referenceの情報を用いて、後方予測モードの動きベクトルMV53を「MV(bwd)=−(T1 /T2 )×MV(fwd)」を基に生成してもよい。
また、MV変換回路53が、図11に示すステップST7の処理の代わりに、例えば、図9に示すマクロブロックMB1,MB2のうち発生符号量の低い方を選択し、これをマクロブロックMBzとすると、そのフィールドデータ単位の動きベクトルMVを(mvxz_t,mvyz_t)および(mvxz_b,mvyz_b)とすると、下記式(6)を基に、図7および図9を用いて説明したマクロブロックペアのフィールドデータを単位とした動き補償で探索範囲を規定するために用いられる動きベクトル(mvx_t,mvy_t),(mvx_b,mvy_b)を生成してもよい。
ここで、上記発生符号量は、画像データS11内に含まれるDCT変換係数の情報量でもよいし、当該DCT変換係数の情報量と動きベクトルMV51のヘッダ部の情報量との総和であってもよい。
[数6]
mvx_t=mvxz_t
mvy_t=mvyz_t
mvx_b=mvxz_b
mvy_b=mvyz_b
…(6)
また、上述した実施形態では、動き予測・補償回路58において、JVTで規定されたマルチプルリファレンスを使用しない場合を例示したが、マルチプルリファレンスを用いてもよい。
この場合に、図15に示すように、処理中のPピクチャをP(CUR)とし、第1の参照フレームをP(REF0)とし、第2の参照フレームをP(REF1)とする。また、P(REF0)の動きベクトルをMV(REF0)とし、P(REF1)の動きベクトルをMV(REF1)とする。
ところで、画像データS11は、マルチプルリファレンスされていないので、例えば、動きベクトルMV51として、MV(REF0)は存在するが、P(REF1)が存在しない場合がある。
従って、MV変換回路53は、例えば、動きベクトルMV51としてMPEG2復号回路51から入力した動きベクトルMV(REF0)を用いて、下記式(7)を基に動きベクトルMV(REF1)を生成する。
[数7]
MV(REF1)=(T1 /T0 )×MV(REF0)
…(7)
本発明は、画像データを符号化する符号化システムに適用可能である。
図1は、本発明は、本発明の第1実施形態の通信システムの構成図である。 図2は、図1に示す符号化装置の機能ブロック図である。 図3は、図1に示す動き予測・補償回路における動きベクトルの探索方法を説明するための図である。 図4は、図1に示す符号化装置におけるピクチャタイプの決定方法を説明するための図である。 図5は、MPEG2の符号化方法を説明するための図である。 図6は、JVTの符号化方法を説明するための図である。 図7は、JVTのマクロブロックペアによる符号化方法を説明するための図である。 図8は、フレーム符号化およびフィールド符号化の動きベクトルを説明するための図である。 図9は、MPEG2とJVTの場合の動きベクトルを比較するための図である。 図10は、図2に示すMV変換回路における動きベクトルの生成動作を説明するための図である。 図11は、図2に示すMV変換回路における動きベクトルの生成動作を説明するための図10の続きの図である。 図12は、図2に示す動き予測・補償回路の処理を説明するためのフローチャートである。 図13は、図2に示す符号化装置のMV変換回路におけるその他の処理を説明するための図である。 図14は、図2に示す符号化装置のMV変換回路におけるその他の処理を説明するための図である。 図15は、図2に示す符号化装置のMV変換回路におけるその他の処理を説明するための図である。
符号の説明
1…通信システム、2…符号化装置、3…復号装置、22…A/D変換回路、23…画面並べ替え回路、24…演算回路、25…直交変換回路、26…量子化回路、27…可逆符号化回路、28…バッファ、29…逆量子化回路、30…逆直交変換回路、31…メモリ、32…レート制御回路、41…イントラ予測回路、44…選択回路、51…MPEG2復号回路、52…ピクチャタイプバッファメモリ、53…MV変換回路

Claims (16)

  1. 符号化ストリームを変換するデータ処理装置において、
    フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
    上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換手段と、
    を備える、
    データ処理装置。
  2. 上記動きベクトル変換手段は、上記マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報をそれぞれ、(mvx_t,mvy_t)及び(mvx_b,mvy_b)とし、フレーム変換して得られるフレーム単位の動きベクトル情報を(mvx_fr,mvy_fr)とした場合に、下記式に従って、上記フレーム単位の動きベクトル情報を生成する、
    mvx_fr=(mvx_t+mvx_b)/2
    mvy_fr=mvy_t+mvy_b
    請求項1に記載のデータ処理装置。
  3. 上記受け取り手段は、上記マクロブロック毎のフィールド単位の動きベクトル情報を、上記フィールド符号化ストリームから抽出する、
    請求項1に記載のデータ処理装置。
  4. 符号化ストリームを変換するデータ処理方法において、
    フィールドモードで符号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報当該マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
    上記動きベクトル変換工程において上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記マクロブロック毎のフィールド符号化ストリームをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、変換工程と、
    を備える、
    データ処理方法。
  5. 符号化ストリームを変換するデータ処理装置において、
    フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトルとをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
    上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換手段と、
    を備えた、
    データ処理装置。
  6. 上記動きベクトル変換手段は、マクロブロックに対するフレーム単位の動きベクトル情報を(mvx_fr,mvy_fr)とし、上記フィールド変換して得られる上記マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報をそれぞれ、(mvx_t,mvy_t)及び(mvx_b,mvy_b)とした場合に、下記式に従って、上記フィールド単位の動きベクトル情報を生成する、
    mvx_t=mvy_b=mvx_fr
    mvy_t=mvy_b=(mvy_fr)/2
    請求項5に記載のデータ処理装置。
  7. 上記受け取り手段は、上記マクロブロック毎のフレーム単位の動きベクトル情報を、上記フレーム符号化ストリームから抽出する、
    請求項6に記載のデータ処理装置。
  8. 符号化ストリームを変換するデータ処理方法において、
    フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎に生成された上記マクロブロックの動きベクトルが規定するフレーム単位の動きベクトルを、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
    上記動きベクトル変換工程において上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記マクロブロック毎のフレーム符号化ストリームをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、変換工程と、
    を備える、
    データ処理方法。
  9. 符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
    フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
    上記動きベクトル変換手段により上記マクロブロック毎に生成されたフレーム単位の二次元方向の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化手段と、
    を備える、
    データ処理装置。
  10. 符号化ストリームを復号して得られる画像データを符号化するデータ処理方法において、
    フィールドモードで符号化されたフィールド符号化ストリーム復号して得られる画像データと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り工程において受け取られた上記フィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
    上記動きベクトル変換工程において上記マクロブロック毎に生成されたフレーム単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記画像データをフレームモードで変換することにより、フレームモードで符号化されたフレーム符号化ストリームを生成する、符号化工程と、
    を備える、
    データ処理方法。
  11. 符号化ストリームを復号して得られる画像データを符号化するデータ処理装置において、
    フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定する、フレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎の上記マクロブロックの動きベクトルが規定する、フレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、上記フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
    上記動きベクトル変換手段により上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り手段により受け取られた上記画像データをフィールドモードで変換することにより、フィールドモードで符号化された上記フィールド符号化ストリームを生成する、符号化手段と、
    を備える、
    データ処理装置。
  12. 符号化ストリームを復号して得られる画像データを符号化するデータ処理方法において、
    フレームモードで符号化されたフレーム符号化ストリーム復号して得られる画像データと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎のフレーム単位のマクロブロックの動きベクトルが規定するフレームの動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
    上記動きベクトル変換工程において上記マクロブロック毎に生成された上記フィールド単位の動きベクトル情報を利用して、上記受け取り工程において受け取られた上記画像データをフィールドモードで変換することにより、上記フィールドモードで符号化されたフィールド符号化ストリームを生成する、符号化工程と、
    を備える、データ処理方法。
  13. 符号化ストリームを復号するデータ処理装置において、
    フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に得られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記フィールド符号化ストリームを復号して画像データを生成する復号手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換手段と、
    上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フレーム単位の動きベクトルとを伝送する、伝送手段と、
    を備える、
    データ処理装置。
  14. 符号化ストリームを復号するデータ処理方法において、
    フィールドモードで復号化されたフィールド符号化ストリームと、上記フィールド符号化ストリームを生成する際に駆られるフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの二次元方向の動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフィールド符号化ストリームを復号して画像データを生成する復号工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎のフィールド単位のマクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を、当該トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報を用いて演算することによりフレーム変換して、フレーム単位の動きベクトル情報をマクロブロック毎に生成する、動きベクトル変換工程と、
    上記復号工程において生成された画像データと、上記動きベクトル変換工程において生成された上記フレーム単位の動きベクトルとを伝送する、伝送工程と、
    を備える、
    データ処理方法。
  15. 符号化ストリームを復号するデータ処理装置において、
    フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号手段と、
    上記受け取り手段により受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換手段と、
    上記復号手段により生成された画像データと、上記動きベクトル変換手段により生成された上記フィールド単位の動きベクトル情報を伝送する、伝送手段と、
    を備える、
    データ処理装置。
  16. 符号化ストリームを復号するデータ処理方法において、
    フレームモードで符号化されたフレーム符号化ストリームと、上記フレーム符号化ストリームを生成する際に得られるフレーム単位の動きベクトル情報とをマクロブロック毎に受け取る、受け取り工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎のフレーム符号化ストリームを復号して画像データを生成する復号工程と、
    上記受け取り工程において受け取られた上記マクロブロック毎のフレーム単位の動きベクトル情報を、マクロブロックの動きベクトルが規定する、トップフィールドの動きベクトル情報およびボトムフィールドの動きベクトル情報にフィールド変換して、フィールド単位の動きベクトルをマクロブロック毎に生成する、動きベクトル変換工程と、
    上記復号工程において生成された画像データと、上記動きベクトル変換工程において生成された上記フィールド単位の動きベクトル情報を伝送する、伝送工程と、
    を備える、
    データ処理方法。
JP2003342888A 2003-10-01 2003-10-01 データ処理装置およびその方法 Expired - Fee Related JP4470431B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003342888A JP4470431B2 (ja) 2003-10-01 2003-10-01 データ処理装置およびその方法
US10/948,986 US20050089098A1 (en) 2003-10-01 2004-09-22 Data processing apparatus and method and encoding device of same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003342888A JP4470431B2 (ja) 2003-10-01 2003-10-01 データ処理装置およびその方法

Publications (2)

Publication Number Publication Date
JP2005110083A JP2005110083A (ja) 2005-04-21
JP4470431B2 true JP4470431B2 (ja) 2010-06-02

Family

ID=34509687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003342888A Expired - Fee Related JP4470431B2 (ja) 2003-10-01 2003-10-01 データ処理装置およびその方法

Country Status (2)

Country Link
US (1) US20050089098A1 (ja)
JP (1) JP4470431B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
JP4600997B2 (ja) * 2005-11-08 2010-12-22 Kddi株式会社 符号化方式変換装置
FR2894422A1 (fr) * 2005-12-01 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
FR2894423A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
US8437396B2 (en) * 2006-08-10 2013-05-07 Vixs Systems, Inc. Motion search module with field and frame processing and methods for use therewith
JP4942610B2 (ja) * 2006-10-26 2012-05-30 パナソニック株式会社 トランスコード装置及びトランスコード方法
US20080101473A1 (en) * 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
JP4856008B2 (ja) * 2007-05-29 2012-01-18 シャープ株式会社 画像再符号化装置および画像再符号化方法
JP4523625B2 (ja) * 2007-08-07 2010-08-11 パナソニック株式会社 画像符号化装置および方法
JP4523023B2 (ja) * 2007-08-07 2010-08-11 パナソニック株式会社 画像符号化装置および方法
JP4523626B2 (ja) * 2007-08-24 2010-08-11 日本電信電話株式会社 動き補償付きテンポラルフィルタ処理装置,処理方法,処理プログラムおよびコンピュータ読み取り可能な記録媒体
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
JP5003534B2 (ja) * 2008-02-29 2012-08-15 富士通株式会社 トランスコード装置、トランスコード方法およびトランスコードプログラム
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
JP5531881B2 (ja) * 2010-09-22 2014-06-25 富士通株式会社 動画像復号装置、動画像復号方法、及び集積回路
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
US11343525B2 (en) 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
US6870886B2 (en) * 1993-12-15 2005-03-22 Koninklijke Philips Electronics N.V. Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
JP3468856B2 (ja) * 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
US5731850A (en) * 1995-06-07 1998-03-24 Maturi; Gregory V. Hybrid hierarchial/full-search MPEG encoder motion estimation
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
US6859495B1 (en) * 1996-10-31 2005-02-22 Mitsubishi Electric Research Laboratories, Inc. Digital video format converter and method therefor
US6144698A (en) * 1996-10-31 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Digital video decoder and method of decoding a digital video signal
JPH10262258A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
KR100251548B1 (ko) * 1997-11-01 2000-04-15 구자홍 디지털영상을위한움직임추정장치및방법
JP4132664B2 (ja) * 1997-11-27 2008-08-13 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー トランスコーディング
EP0982726A4 (en) * 1998-01-19 2003-06-04 Sony Corp CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
US6400763B1 (en) * 1999-02-18 2002-06-04 Hewlett-Packard Company Compression system which re-uses prior motion vectors
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
JP2000350212A (ja) * 1999-06-04 2000-12-15 Matsushita Electric Ind Co Ltd 映像信号復号装置並びに映像信号表示システム
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6671319B1 (en) * 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6483876B1 (en) * 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
EP1172009A1 (en) * 2000-01-14 2002-01-16 Koninklijke Philips Electronics N.V. Simplified logo insertion in encoded signal
JP2001204026A (ja) * 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
JP2002112267A (ja) * 2000-09-28 2002-04-12 Nec Corp 可変解像度復号処理装置
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
US6748020B1 (en) * 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture
JP2002152759A (ja) * 2000-11-10 2002-05-24 Sony Corp 画像情報変換装置および画像情報変換方法
JP3632591B2 (ja) * 2000-11-13 2005-03-23 日本電気株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
US6671322B2 (en) * 2001-05-11 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
US7403564B2 (en) * 2001-11-21 2008-07-22 Vixs Systems, Inc. System and method for multiple channel video transcoding
KR100460950B1 (ko) * 2001-12-18 2004-12-09 삼성전자주식회사 트랜스코더 및 트랜스코딩 방법
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
JP3874179B2 (ja) * 2002-03-14 2007-01-31 Kddi株式会社 符号化動画像変換装置
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
US7469012B2 (en) * 2002-05-14 2008-12-23 Broadcom Corporation System and method for transcoding entropy-coded bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
US7092442B2 (en) * 2002-12-19 2006-08-15 Mitsubishi Electric Research Laboratories, Inc. System and method for adaptive field and frame video encoding using motion activity
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
US7203237B2 (en) * 2003-09-17 2007-04-10 Texas Instruments Incorporated Transcoders and methods

Also Published As

Publication number Publication date
US20050089098A1 (en) 2005-04-28
JP2005110083A (ja) 2005-04-21

Similar Documents

Publication Publication Date Title
JP4470431B2 (ja) データ処理装置およびその方法
KR100393123B1 (ko) 동화상의부호화방법및복호화방법
US8811484B2 (en) Video encoding by filter selection
US7277587B2 (en) System and method for lossless video coding
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
JP4799547B2 (ja) それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用した、ピクチャシーケンスのエンコーディング方法およびエンコーディング装置
JP2009089332A (ja) 動き予測方法及び動き予測装置
JP4289126B2 (ja) データ処理装置およびその方法と符号化装置
JP2005348093A (ja) 画像処理装置、そのプログラムおよびその方法
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP3797209B2 (ja) 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
JP4747494B2 (ja) データ処理装置およびその方法と符号化装置
JP2007019995A (ja) 画像処理装置、画像処理方法およびそのプログラム
KR100364748B1 (ko) 영상 변환 부호화 장치
KR20040079084A (ko) 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
KR100366382B1 (ko) 동영상 부호화 장치 및 방법
JP4349109B2 (ja) 画像データ処理装置、その方法、および、符号化装置
JP2006025033A (ja) 画像処理装置および画像処理方法
JP4277793B2 (ja) 画像処理装置、符号化装置およびそれらの方法
KR100586103B1 (ko) 동영상 부호화 방법
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치
JP4655791B2 (ja) 符号化装置、符号化方法およびそのプログラム
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置
JP4423968B2 (ja) 符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees