JP4193252B2 - 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 - Google Patents
信号処理装置及び方法、信号復号装置、並びに信号符号化装置 Download PDFInfo
- Publication number
- JP4193252B2 JP4193252B2 JP33396298A JP33396298A JP4193252B2 JP 4193252 B2 JP4193252 B2 JP 4193252B2 JP 33396298 A JP33396298 A JP 33396298A JP 33396298 A JP33396298 A JP 33396298A JP 4193252 B2 JP4193252 B2 JP 4193252B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- encoding
- switching
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、入力されたビットストリームを復号して画像信号とし、この画像信号を再びビットストリームとして出力する信号処理装置及び方法、信号復号装置、並びに信号符号化装置に関する。
【0002】
【従来の技術】
近年、画像信号の圧縮符号化に、動き補償処理(MC;motion compensation)及び離散余弦変換(DCT;descrete cosine transform) 等の直交変換による冗長度低減処理とを組み合わせたMPEG(moving picture experts group)や、MPEG2が広く用いられるようになった。
【0003】
非圧縮の映像データを上記MPEG等の手法により、画像内符号化画像(Iピクチャ)、順方向予測符号化画像(Pピクチャ)、双方向予測符号化画像(Bピクチャ)のような符号化画像に圧縮して光磁気ディスク等の蓄積媒体に記録したり、あるいは通信回線を使用して伝送したりする。
【0004】
ここで、ビットストリームが画像信号となされ、その画像信号が再びビットストリームに変換されることがある。例えば、映画フィルムからビデオに変換するには、映画の1秒24コマをテレビ/ビデオの1秒30フレームに変換するため、4コマから5フレームを作るいわゆる2:3プルダウンの処理が行われる。
【0005】
ビットストリームを復号して、その復号動画像を再びMPEG符号化して、ビットストリームを出力する場合の従来の信号処理装置の概略的な構成を図7に示す。
【0006】
この図7に示す従来の信号処理装置は、外部から入力されるビットストリームS26を復号する復号器であるデコーダ101と、上記デコーダ101にて復号された画像信号に後処理であるポスト処理を施すポスト処理回路102と、ポスト処理回路102からの画像信号に符号化の前処理を施すプリ処理回路103と、上記プリ処理回路103からの画像信号を符号化する符号化器であるエンコーダ104とから構成される。
【0007】
デコーダ101は、入力されるビットストリームS26を復号して、復号画像S20を出力する。また、デコーダ101は、入力されるビットストリームS26から復号画像S20に対する表示コントロールパラメータS23を復号して、この表示コントロールパラメータS23をポスト処理回路102に出力する。次に示す表示コントロールパラメータS23は、MPEG2video規格で規定されているものである:
horizontal_size,vertical_size,frame_rate,display_horizontal_size,display_vertical_size,aspect_ratio_information,progressive_frame,repeat_first_field,top_field_first,frame_centre_horizontal_offset,frame_centre_vertical_offset。
【0008】
ポスト処理回路102は、表示コントロールパラメータS23に基づいて、復号画像S20を処理して、処理画像S21を出力する。具体的には、top_field_first,repeat_first_fieldに基づいて、2:3プルダウン処理を行い、また、progressive_frameに基づいて、クロマ信号を4:2:0フォーマットから4:2:2フォーマットへアップサンプリングを行い、また、horizontal_size,vertical_size,display_horizontal_size,display_vertical_size,aspect_ratio_information,frame_centre_horizontal_offset,frame_centre_vertical_offsetに基づいて、画像からの矩形型ウインドウの切り出し処理、及び表示画枠サイズへのサンプリング処理変換、すなわちアップサンプリング又はダウンサンプリングを行う。
【0009】
ここで、4:2:0フォーマットとは、MPEG2のMP@ML(メインプロファイル/メインレベル)で採用されるビデオ信号の符号化のコンポーネント形式である。この4,2,0と言う数字は、ビデオ画像の横方向のライン(走査線)に含まれる輝度(Y)信号と二つの色差(CbとCr)信号の標本化周波数の比、すなわち解像度の比を示している。4:2:2フォーマットについても同様である。
【0010】
処理画像S21は、プリ処理回路103に入力される。プリ処理回路103は、入力画像S21に対して、逆3:2プルダウン処理、クロマ信号の4:2:2フォーマットから4:2:0フォーマットへのダウンサンプリング処理などを行って、処理画像S22を出力する。また、プリ処理回路103は、処理画像S22から処理画像S21への逆処理の内容を表すパラメータとして、表示コントロールパラメータS24を出力する。
【0011】
エンコーダ104は、処理画像S22を符号化し、また、処理画像S22の表示コントロールパラメータS24を符号化された処理画像S22のビットストリームのヘッダ情報として符号化して、ビットストリームS27を出力する。
【0012】
ところで、MPEGビデオビットストリームを復号して、その復号画像を再びMPEG符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化する時の符号化パラメータS25であるピクチャコーディングタイプ(picture_coding_type) を元のビットストリームの時と同じにすると有効なことが広く知られている。そのため、デコーダ101からエンコーダ104へ符号化パラメータS25が入力されている。この符号化パラメータS25の情報は、復号画像S20と処理画像S22のピクチャが1:1に対応している場合に有効となる。
【0013】
【発明が解決しようとする課題】
しかし、復号画像S20と処理画像S22のピクチャが1:1に対応している保証がないため、符号化パラメータS25を有効に使えない場合がある。
【0014】
復号画像S20と処理画像S22が1:1に対応しない原因としては、プリ処理回路103のポスト処理回路102に対する逆2:3プルダウン処理が、完全な逆処理にならない可能性があること、ポスト処理回路102で表示画枠サイズの変換処理を行っていること、が挙げられる。
【0015】
また、ポスト処理回路102で行われるクロマ信号のアップサンプリング処理とプリ処理回路103で行われるクロマ信号のダウンサンプリング処理を繰り返して行うことによるクロマ信号の劣化も問題になる。
【0016】
さらに、外部から入力されるビットストリームS26としては、種々の信号規格のものがあり、これをデコーダ101でデコードして得られた復号画像S20についても、1画面の画素数や単位時間当たりの画面数等が種々あるため、これを伝送する際には、それぞれの規格に応じたインターフェースを介して伝送することが必要とされ、それぞれの規格に応じたハードウェアやソフトウェアを用意しなければならず問題である。
【0017】
本発明は、上述の問題点に鑑みてなされたものであって、画像信号を符号化したビットストリームを復号した画像を伝送する際に、元の画像の規格が種々異なっていても既存のインターフェースを利用することができ、また、符号化パラメータの情報を有効に利用して、画像信号を符号化したビットストリームを復号した画像を高画質に符号化することができるような信号処理装置及び方法、信号復号装置、並びに信号符号化装置を提供することを目的とする。
【0018】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る信号処理装置は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、上記復号手段からの画像信号の出力先を切り換える第1の切り換え手段と、上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第2の切り換え手段と、上記復号手段からの表示コントロールパラメータの出力先を切り換える第3の切り換え手段と、上記第3の切り換え手段からの表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第4の切り換え手段と、上記第2の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段とを有し、上記復号手段にて復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段及び上記ダミー信号除去手段を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化手段に送ることを特徴としている。
また、本発明に係る信号処理方法は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号工程と、上記復号工程により得られた画像信号の出力先を第1の切り換え手段により切り換える工程と、上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理工程と、上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入工程と、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理工程と、上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去工程と、上記前処理工程により得られた画像信号又は上記ダミー信号除去工程により得られた画像信号のいずれか一方に第2の切り換え手段により切り換える工程と、上記復号工程により得られた表示コントロールパラメータの出力先を第3の切り換え手段により切り換える工程と、上記第3の切り換え手段からの表示コントロールパラメータ又は上記前処理工程により得られた表示コントロールパラメータのいずれか一方に第4の切り換え手段により切り換える工程と、上記第2の切り換え手段からの画像信号、上記復号工程により得られた符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化工程とを有し、上記復号工程にて復号された画像信号を上記符号化工程にて符号化する再符号化の際には、上記第1の切り換え手段は上記復号工程により得られた画像信号を上記ダミー信号挿入工程及び上記ダミー信号除去工程を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去工程により得られた画像信号を上記符号化工程に送り、上記第3の切り換え手段は上記復号工程により得られた表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化工程に送ることを特徴としている。
【0019】
また、本発明に係る信号復号装置は、画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、上記復号手段からの画像信号の出力先を切り換える第1の切り換え手段と、上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、上記復号手段からの表示コントロールパラメータの出力先を切り換える第3の切り換え手段とを有し、上記復号手段にて復号された画像信号を符号化装置に送って符号化する再符号化の際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記符号化装置に送ることを特徴としている。
【0020】
また、本発明に係る信号符号化装置は、画像信号が符号化されたビットストリームを復号して得られた画像信号を所定のフォーマットに変換するためにダミー信号が挿入されて得られた画像信号と、上記復号の際に得られた符号化パラメータ及び表示コントロールパラメータとが供給され、画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第2の切り換え手段と、上記復号の際に得られた表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第4の切り換え手段と、上記第2の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段とを有し、上記復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記ダミー信号が挿入された画像信号を上記ダミー信号除去手段を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記復号の際に得られた表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化手段に送ることを特徴としている。
【0021】
【発明の実施の形態】
以下、本発明に係る信号処理装置及び方法、信号復号装置、並びに信号符号化装置の実施の形態について、図面を参照しながら説明する。
【0022】
本発明の実施の形態となる信号処理装置は、図1に示すように、信号復号装置11と、信号符号化装置12とを具備し、信号復号装置11は、外部から供給されるビットストリームS10を復号して画像信号S1及び表示コントロールパラメータS6を出力する復号手段であるデコーダ1と、デコーダ1から出力される画像信号S1を与えられ、ダミー信号挿入回路7又はポスト処理回路2に接続される被選択端子Bのいずれか一方に切り換える第1の切り換え手段である第1のスイッチSW1とを有している。
【0023】
デコーダ1は、入力されるビットストリームS10をデコードして、処理画像の画像信号S1を出力する。また、デコーダ1は、ビットストリームS10から画像信号S1に対応する表示コントロールパラメータS6及び符号化パラメータS8を復号する。次に示す表示コントロールパラメータS6は、MPEGvideo 規格で規定されているものである:
horizontal_size,vertical_size,frame_rate,display_horizontal_size,display_vertical_size,aspect_ratio_information,progressive_frame,repeat_first_field,top_field_first,frame_centre_horizontal_offset,frame_centre_vertical_offset。
【0024】
符号化パラメータS8は、次に示す通りである:
表示コントロールパラメータを除くシーケンスレイヤのヘッダ情報、表示コントロールパラメータを除くピクチャレイヤヘッダのパラメータ、動きベクトル情報(mb_type,frame_motion_type or field_motion_type,動きベクトル)、dct_type、量子スケール。
【0025】
また、図1の信号処理装置の信号復号装置11は、デコーダ1から出力される表示コントロールパラメータS6を与えられ、この表示コントロールパラメータS6を、ダミー信号挿入回路7に接続される被選択端子A(第4のスイッチSW4に接続される被選択端子Aへも供給される)又はポスト処理回路2に接続される被選択端子Bのいずれか一方に切り換える第3のスイッチSW3と、ダミー信号挿入回路7と、デコーダ1から第1のスイッチSW1を介して画像信号S1を、第3のスイッチSW3を介して表示コントロールパラメータS6を与えられ、この画像信号S1及び表示コントロールパラメータS6に復号後の後処理であるポスト処理を施した画像信号S2として外部に出力する後処理手段であるポスト処理回路2を有している。
【0026】
ポスト処理回路2は、デコーダ1からスイッチSW3を介して与えられる表示コントロールパラメータS6に基づいて、画像信号S1を処理した画像信号S2を外部に出力する。具体的には、top_field_first,repeat_first_fieldに基づいて、2:3プルダウン処理を行い、また、progressive_frame に基づいて、クロマ信号を4:2:0フォーマットから4:2:2フォーマットへアップサンプリングを行い、また、horizontal_size,vertical_size,display_horizontal_size,display_vertical_size,aspect_ratio_information,frame_centre_horizontal_offset,frame_centre_vertical_offsetに基づいて、画像からの矩形型ウインドウの切り出し処理、及び表示画枠サイズへのサンプリング処理変換、すなわちアップサンプリング又はダウンサンプリングを行う。
【0027】
ダミー信号挿入回路7は、復号画像信号を所定のフォーマットに変換するためにダミー信号を挿入して、所定のフォーマットの画像を出力する。例えば、符号化されたビットストリームが、MPEG2のMP@MLの場合、上記の所定のフォーマットの画像とは、CCIR(ITU−R)Rec.601 フォーマット(4:2:2 component digital)である。
【0028】
次に、図1の信号処理装置の信号符号化装置12は、ダミー信号が挿入された画像信号からダミー信号を除去するダミー信号除去回路8と、外部から供給される画像信号S4に前処理であるプリ処理を施してビットストリーム及び表示コントロールパラメータを出力する前処理手段であるプリ処理回路3と、ダミー信号除去回路8の出力画像S14が供給される被選択端子A及びプリ処理回路3に接続される被選択端子Bのいずれか一方を切り換えてエンコーダ4に画像信号S5を与える第2の切り換え手段である第2のスイッチSW2とを有している。
【0029】
プリ処理回路2は、外部からの画像信号S4に対して、逆3:2プルダウン処理、クロマ信号の4:2:2フォーマットから4:2:0フォーマットへのダウンサンプリングなどを行って、画像信号をスイッチSW2に与える。また、プリ処理回路3は、画像信号S4への逆処理の内容を表すパラメータとして、表示コントロールパラメータをスイッチSW4に出力する。
【0030】
ダミー信号除去回路8は、ダミー信号挿入回路7から供給されるダミー信号を含む所定のフォーマットの画像S13からダミー信号を除去して、画像信号S14を出力する。画像信号S3と画像信号S14は、同じ信号である。
【0031】
また、信号処理装置の信号符号化装置12は、第3のスイッチSW3の被選択端子Aに接続される被選択端子A及びプリ処理回路2からの表示コントロールパラメータが与えられる被選択端子Bのいずれか一方を切り換えてエンコーダ4に表示コントロールパラメータS7を与える第4のスイッチSW4と、プリ処理回路3から第2のスイッチSW2を介して与えられる画像信号S5及び第4のスイッチSW4を介して与えられる表示コントロールパラメータS7を符号化する符号化手段であるエンコーダ4とを有している。
【0032】
エンコーダ4は、ダミー信号除去回路8又はプリ処理回路3のいずれか一方からそれぞれスイッチSW2を介して与えられる画像信号S5を符号化し、また、表示コントロールパラメータS7を画像信号S5のヘッダ情報として符号化して、ビットストリームS11を出力する。
【0033】
また、図1の信号処理装置の信号符号化装置12は、デコーダ1から被選択端子Aに与えられる符号化パラメータS8又は外部から供給される符号化パラメータS9のいずれか一方に切り換えてエンコーダ4に与える第5のスイッチSW5を有している。
【0034】
ここで、MPEGビットストリームを復号して、その復号画像を再びMPEG符号化して、ビットストリームを出力する場合に、画像を高画質に符号化するためには、その画像を符号化するときのピクチャコーディングタイプ(picture_coding_type) を元のビットストリームと同じにすると有効であることが広く知られている。そのため、デコーダ1からエンコーダ4は、スイッチSW5を介して符号化パラメータS8が入力されている。また、外部からの符号化パラメータS9が上記スイッチSW5を介して入力される場合もある。
【0035】
ビットストリームS10を復号して、その復号動画像を再び符号化して、ビットストリームS11を出力する場合、スイッチSW1,SW2,SW3,SW4,SW5は、A側にスイッチされる。
【0036】
すなわち、ビットストリームを復号して、その復号動画像を再びMPEG化する場合、図1に示す符号化パラメータS8は、デコーダ1からエンコーダ4へ指示される。エンコーダ4は、入力された符号化パラメータに基づいて、画像信号S5符号化してビットストリームを出力する。
【0037】
通常に、ビットストリームS10をデコードして、復号された画像信号S2を出力する場合には、スイッチSW1,SW3はB側にスイッチされる。
【0038】
通常に、画像信号S4をエンコードして、ビットストリームS11を出力する場合、スイッチSW2,SW4,SW5は、B側にスイッチされる。
【0039】
このように、信号処理装置は、ビットストリームをデコードして、このデコード画像を再びエンコードしたビットストリームを出力する場合、デコーダ1のポスト処理とエンコーダ4のプリ処理をスルーにしてMPEGビデオビットストリームから取り出した符号化パラメータを、エンコーダへ入力して、エンコーダは、入力された符号化パラメータに基づいて、画像を符号化する。
【0040】
ダミー信号挿入回路7は、デコード画像S3に対して、所定の方法でダミー信号を挿入して、CCIR(ITU−R)Rec.601 フォーマットの画像S13を出力する。そして、ダミー信号除去回路8は、所定の約束に従って、入力された画像からダミー信号を除去することにより、ダミー信号挿入回路7がダミー信号を挿入する前の画像を復元する。
【0041】
図2〜図4に、ダミー信号挿入回路7とダミー信号除去回路の具体例を示す。図2は、デコード画像S3が720画素×480ラインよりも小さいときの例である。図3は、デコード画像S3を2:3プルダウンするときの例である。図4は、4:2:0フォーマットのデコード画像S3を4:2:2フォーマットにアップサンプリングするときの例である。ダミー信号を挿入して、画像信号S13を、所定のフォーマットに固定することにより、画像信号S13の伝送のコントロールが容易になる。
【0042】
すなわち、図2において、(A)に示すように、入力データとして352画素×480ラインの画像がダミー信号挿入回路7に供給され、368画素×480ラインのダミーデータが付加されることによって、図2の(B)に示すように、720画素×480ラインの画像となる。これは、上記CCIR(ITU−R)Rec.601 フォーマットの規格に合った画像データであるから、既存の例えばいわゆるSDI(Serial Digital Interface)等のインターフェースを介して伝送することができる。これによって、例えば352画素×480ラインの画像のフォーマットに対応したインターフェースのハードウェアやソフトウェアを用意しなくとも、デコードされた画像を伝送することができる。信号符号化装置12側では、伝送された720画素×480ラインの画像をダミー信号除去回路8に送ることで、368画素×480ラインのダミーデータを除去し、図2の(C)に示すように、オリジナルの352画素×480ラインの画像データを得ることができる。
【0043】
また、図3は、デコード画像S3を2:3プルダウンするときの例を示している。すなわち、図3の(A)は、元の24コマ/秒で構成される映画フィルム等の画像信号を示し、各画面をFA,FB,FC,FD,... で示している。この24コマ/秒の画像を30フレーム/秒(60フィールド/秒)のNTSC方式の画像に変換する2−3プルダウン処理の際には、この画像信号の各画面(フレーム)に対して、それぞれ図3の(B)に示すtop_fieid_first フラグと、図3の(C)に示すrepeat_first_fieldフラグとが対応付けされる。top_fieid_first フラグは、元の24コマ/秒の画像の当該フレームを30フレーム/秒(60フィールド/秒)の画像のトップフィールドから割り当てることを意味し、また、repeat_first_fieldフラグは、最初のフィールドを繰り返して元の1フレームを3フィールドに割り当てることを意味している。この場合、図1の信号復号装置11のダミー信号挿入回路7において、図3の(D)に示すように、繰り返されるフィールドの位置に、図中「×」印で示すダミーデータを挿入することで、NTSCの画像データに変換することができ、既存の例えば上記いわゆるSDI等のインターフェースを介して伝送することができる。ここで、図3の(D)のフィールドa1,a2等は、図3の(A)の元のフレームFA 等を2フィールドに割り当てて得られたものを示している。図1の信号符号化装置12側では、ダミー信号除去回路8でダミーデータを除去することにより、図3の(E)に示すように、元の24コマ/秒の画像(に相当する2フィールド単位の画像)が得られる。
【0044】
次に、図4は、ダミー信号挿入回路7において、4:2:0フォーマットのデコード画像S3を4:2:2フォーマットにアップサンプリングするときの例を示している。この図4の(A)は、4:2:0フォーマットにおける輝度サンプル「×」及び色差サンプル「○」の2次元画素配列を示し、色差サンプル「○」の位置で2つの色差Cr,Cb がとられている。ダミー信号挿入回路7は、このようなデコード画像S3にダミーデータを挿入することで、図3の(B)に示すような4:2:2フォーマットの画像信号に変換している。この図3の(B)中の「□」印がダミーデータを示している。
【0045】
ここで、4:2:2フォーマットの画像信号の輝度成分の画素をY,色差成分の画素をCr,Cb とするとき、伝送フォーマット上での各画素データは、1ライン当たり720個の輝度Yと、360個ずつの色差Cr,Cb とが、
Cb Y Cr Y Cb Y Cr Y Cb Y Cr Y ・・・
のように配列される。これに対して、上記ダミーデータ「□」が挿入された4:2:2フォーマットの画像信号は、
Cb Y Cr Y □ Y □ Y Cb Y Cr Y □ Y □ Y ・・・
のような配列となる。このダミーデータが挿入された4:2:2フォーマットの画像信号は、既存のいわゆるSDI等のインターフェースを用いて伝送することができる。
【0046】
図1の信号符号化装置12側では、ダミーデータが挿入された4:2:2フォーマットの画像信号からダミーデータを除去し、図3の(C)に示すような元の4:2:0フォーマットの画像信号を得ている。
【0047】
次に、図1の信号復号装置11内のデコーダ1及び信号符号化装置12内のエンコーダ4の具体的な回路構成の一例について説明する。
【0048】
デコーダ1においては、図5に示すように、入力されるMPEG2規格のビットストリームがバッファ41に蓄えられ、バッファ41からのビットストリームは可変長復号回路42にて可変長復号され、この可変長復号回路42にては、表示コントロールパラメータ及び符号化パラメータが得られる。逆DCT回路43は可変長復号回路42からの出力に逆離散コサイン変換(DCT)を施し、逆量子化回路44にては逆DCT回路43からの出力が逆量子化される。
【0049】
逆量子化回路44からの出力は、加算回路45にて、この加算回路45から1フレームの画像を記憶するフレームメモリ46及び動き補償を行う動き補償回路47を介して得られた信号と加算され、上記フレームメモリ46及びピクチャの順序を並べ替えるピクチャ順序並べ替え回路48に入力され、このピクチャ順序並べ替え回路48の出力は、デコーダ1からの出力画像となる。
【0050】
エンコーダ4においては、図6に示すように、1フレームの画像を記憶するフレームメモリ21に入力画像が入力され、フレームメモリ21からの出力は動き予測回路22に入力されて動き予測が行われる。この動き予測回路からの出力はピクチャ順序並べ替え回路23に与えられ、また、動きベクトルが動き補償回路33に入力される。
【0051】
ピクチャ順序並べ替え回路23からの出力は加算回路24に与えられる。加算回路24において、ピクチャ順序並べ替え回路23の出力から動き補償回路33の出力の減算がなされ、その結果がDCT変換を行うDCT回路25に与えられる。
【0052】
DCT回路25に続いて量子化を施す量子化回路26から得られる出力は、一方は可変長符号化を施す可変長符号化回路27及びデータを蓄えるバッファを経てこのエンコーダ4からの出力となり、他方は逆量子化を施す逆量子化回路29及び逆DCT変換を施す逆DCT回路30を経て、加算回路31に達する。加算回路31においては、逆DCT回路30及び動き補償回路33からの出力が加算され、その結果がフレームメモリ32に与えられる。
【0053】
以上説明した本発明の実施の形態によれば、デコーダのポスト処理とエンコーダのプリ処理をスルーにして画質劣化を抑え、ダミーデータを挿入することで既存の所定フォーマットの画像信号形態での伝送を可能にすると共に、伝送された画像信号からダミーデータを除去し、元の符号化パラメータに基づいて画像を符号化するので、既存のインターフェースを介して容易に伝送でき、画像を高画質のままで再符号化することができる。
【0054】
【発明の効果】
本発明によれば、ビットストリームを復号して得られた画像信号にダミー信号を挿入することで所定のフォーマットに変換して伝送することにより、既存の所定フォーマットのインターフェースを介しての伝送が可能となり、複数種類の画像フォーマット毎にインターフェースのハードウェアやソフトウェアを用意する必要がなくなり、既存の設備をそのまま用いて、ビットストリームを復号した画像信号をポスト処理等を介さずに高画質のままで伝送することができる。
【0055】
符号化側では、伝送された画像信号中のダミー信号を除去して得られた画像を符号化することにより、プリ処理等による画質劣化なく再符号化が行える。
【0056】
また、デコーダのポスト処理とエンコーダのプリ処理をスルーにし、入力された符号化パラメータに基づいて画像を符号化するので、画像を高画質に符号化することができる。
【図面の簡単な説明】
【図1】信号処理装置の概略的な構成を示すブロック図である。
【図2】デコード画像が720画素×480ラインよりも小さいときの例を説明するための図である。
【図3】デコード画像を2:3プルダウンするときの例を説明するための図である
【図4】4:2:0フォーマットのデコード画像を4:2:2フォーマットにアップサンプリングするときの例を説明するための図である。
【図5】信号処理装置のデコーダの構成を示すブロック図である。
【図6】信号処理装置のエンコーダの構成を示すブロック図である。
【図7】従来の信号処理装置の構成を示すブロック図である。
【符号の説明】
1 デコーダ、 2 ポスト処理回路、 3 プリ処理回路、 4 エンコーダ、 7 ダミー信号挿入回路、 8 ダミー信号除去回路、 11 信号復号装置、 12 信号符号化装置
Claims (9)
- 画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、
上記復号手段からの画像信号の出力先を切り換える第1の切り換え手段と、
上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、
上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、
上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、
上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第2の切り換え手段と、
上記復号手段からの表示コントロールパラメータの出力先を切り換える第3の切り換え手段と、
上記第3の切り換え手段からの表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第4の切り換え手段と、
上記第2の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段と
を有し、
上記復号手段にて復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段及び上記ダミー信号除去手段を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化手段に送る
ことを特徴とする信号処理装置。 - 上記復号手段にて復号された画像信号を上記後処理手段にて後処理して出力する際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記後処理手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記後処理手段に送ることを特徴とする請求項1記載の信号処理装置。
- 上記復号手段からの符号化パラメータ又は外部からの符号化パラメータのいずれか一方に切り換える第5の切り換え手段をさらに有し、
上記前処理手段にて前処理された画像信号を上記符号化手段にて符号化して出力する際には、上記第2の切り換え手段は上記前処理手段からの画像信号を上記符号化手段に送り、上記第4の切り換え手段は上記前処理手段からの表示コントロールパラメータを上記符号化手段に送り、上記第5の切り換え手段は上記外部からの符号化パラメータを上記符号化手段に送ることを特徴とする請求項1記載の信号処理装置。 - 上記後処理手段における処理は、画像信号及び表示コントロールパラメータに基づいて行う、プルダウン処理、クロマ信号のアップサンプリング、画像からの矩形型ウインドウの切り出し処理又は表示画枠サイズへのサンプリング変換処理を含み、上記前処理手段における処理は、画像信号の逆プルダウン処理、クロマ信号のダウンサンプリングを含むことを特徴とする請求項1記載の信号処理装置。
- 画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号工程と、
上記復号工程により得られた画像信号の出力先を第1の切り換え手段により切り換える工程と、
上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメ ータに基づいて後処理を施す後処理工程と、
上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入工程と、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理工程と、
上記ダミー信号挿入手段から伝送された上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去工程と、
上記前処理工程により得られた画像信号又は上記ダミー信号除去工程により得られた画像信号のいずれか一方に第2の切り換え手段により切り換える工程と、
上記復号工程により得られた表示コントロールパラメータの出力先を第3の切り換え手段により切り換える工程と、
上記第3の切り換え手段からの表示コントロールパラメータ又は上記前処理工程により得られた表示コントロールパラメータのいずれか一方に第4の切り換え手段により切り換える工程と、
上記第2の切り換え手段からの画像信号、上記復号工程により得られた符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化工程と
を有し、
上記復号工程にて復号された画像信号を上記符号化工程にて符号化する再符号化の際には、上記第1の切り換え手段は上記復号工程により得られた画像信号を上記ダミー信号挿入工程及び上記ダミー信号除去工程を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去工程により得られた画像信号を上記符号化工程に送り、上記第3の切り換え手段は上記復号工程により得られた表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化工程に送る
ことを特徴とする信号処理方法。 - 画像信号が符号化されたビットストリームを復号して画像信号、符号化パラメータ及び表示コントロールパラメータを出力する復号手段と、
上記復号手段からの画像信号の出力先を切り換える第1の切り換え手段と、
上記第1の切り換え手段の一方の被選択端子からの画像信号に表示コントロールパラメータに基づいて後処理を施す後処理手段と、
上記第1の切り換え手段の他方の被選択端子からの画像信号を所定のフォーマットに変換するためにダミー信号を挿入して所定のフォーマットの画像信号を出力するダミー信号挿入手段と、
上記復号手段からの表示コントロールパラメータの出力先を切り換える第3の切り換え手段と
を有し、
上記復号手段にて復号された画像信号を符号化装置に送って符号化する再符号化の際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記ダミー信号挿入手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記符号化装置に送る
ことを特徴とする信号復号装置。 - 上記復号手段にて復号された画像信号を上記後処理手段にて後処理して出力する際には、上記第1の切り換え手段は上記復号手段からの画像信号を上記後処理手段に送り、上記第3の切り換え手段は上記復号手段からの表示コントロールパラメータを上記後処理手段に送ることを特徴とする請求項6記載の信号復号装置。
- 画像信号が符号化されたビットストリームを復号して得られた画像信号を所定のフォーマットに変換するためにダミー信号が挿入されて得られた画像信号と、上記復号の際に得られた符号化パラメータ及び表示コントロールパラメータとが供給され、
画像信号に前処理を施すと共に表示コントロールパラメータを出力する前処理手段と、
上記ダミー信号を含む上記所定のフォーマットの画像信号から上記ダミー信号を除去するダミー信号除去手段と、
上記前処理手段からの画像信号又は上記ダミー信号除去手段からの画像信号のいずれか一方に切り換える第2の切り換え手段と、
上記復号の際に得られた表示コントロールパラメータ又は上記前処理手段からの表示コントロールパラメータのいずれか一方に切り換える第4の切り換え手段と、
上記第2の切り換え手段からの画像信号、上記復号手段からの符号化パラメータ及び上記第4の切り換え手段からの表示コントロールパラメータを符号化してビットストリームを出力する符号化手段と
を有し、
上記復号された画像信号を上記符号化手段にて符号化する再符号化の際には、上記ダミー信号が挿入された画像信号を上記ダミー信号除去手段を介して上記第2の切り換え手段に送り、上記第2の切り換え手段は上記ダミー信号除去手段からの画像信号を上記符号化手段に送り、上記復号の際に得られた表示コントロールパラメータを上記第4の切り換え手段を介して上記符号化手段に送る
ことを特徴とする信号符号化装置。 - 上記復号の際に得られた符号化パラメータ又は外部からの符号化パラメータのいずれか一方に切り換える第5の切り換え手段をさらに有し、
上記前処理手段にて前処理された画像信号を上記符号化手段にて符号化して出力する際には、上記第2の切り換え手段は上記前処理手段からの画像信号を上記符号化手段に送り、上記第4の切り換え手段は上記前処理手段からの表示コントロールパラメータを上記符号化手段に送り、上記第5の切り換え手段は上記外部からの符号化パラメータを上記符号化手段に送ることを特徴とする請求項8記載の信号符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33396298A JP4193252B2 (ja) | 1998-11-25 | 1998-11-25 | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33396298A JP4193252B2 (ja) | 1998-11-25 | 1998-11-25 | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000165860A JP2000165860A (ja) | 2000-06-16 |
JP2000165860A5 JP2000165860A5 (ja) | 2006-01-19 |
JP4193252B2 true JP4193252B2 (ja) | 2008-12-10 |
Family
ID=18271942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33396298A Expired - Fee Related JP4193252B2 (ja) | 1998-11-25 | 1998-11-25 | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4193252B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101703331B1 (ko) * | 2014-03-06 | 2017-02-06 | 삼성전자 주식회사 | 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치 |
US10291915B2 (en) | 2014-03-06 | 2019-05-14 | Samsung Electronics Co., Ltd. | Video decoding method and apparatus and video encoding method and apparatus |
-
1998
- 1998-11-25 JP JP33396298A patent/JP4193252B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000165860A (ja) | 2000-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8514936B2 (en) | Method for scalably encoding and decoding video signal | |
KR100657268B1 (ko) | 컬러 영상의 신축적 부호화, 복호화 방법 및 장치 | |
KR100289587B1 (ko) | 화상 신호 부호화 방법 및 화상 신호 부호화 장치, 화상 신호 복호화 방법 및 화상 신호 복호화장치,및 화상 신호 기록매체 | |
KR100781629B1 (ko) | Dct 베이스 기술을 사용하여 압축된 정보를 기억함에 의해 압축 해제에 필요한 메모리를 감축하는 방법 및 이 방법을 구현하기 위한 디코더 | |
JPH07322269A (ja) | ビデオデータを有するビットストリームを符号変換する方法および装置 | |
KR20010020147A (ko) | 범용 직렬버스 접속을 위한 2중 압축 비디오 비트 스트림 | |
JP2005176383A (ja) | 色空間の符号化フレームワーク | |
EP0827344A2 (en) | Video decoder | |
WO1995013682A1 (en) | Animation encoding method, animation decoding method, animation recording medium and animation encoder | |
JP2001258004A (ja) | 画像符号化装置及び画像復号装置とその方法 | |
KR100883604B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
KR100282307B1 (ko) | 디지탈 티브이 수신 디코더 장치 | |
EP1878249A1 (en) | Method for scalably encoding and decoding video signal | |
JP4038858B2 (ja) | 信号処理装置及び方法 | |
EP0920212B1 (en) | Video signal coding apparatus | |
JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
JP3797208B2 (ja) | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 | |
JP2005525056A (ja) | 複数個のブロックとして符号化された圧縮ビットストリーム符号化ビデオを復号する方法。 | |
JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
WO1998000979A1 (en) | Image encoding device and image decoding device | |
JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
KR100296817B1 (ko) | 디지탈티브이수신디코더장치 | |
JP3139791B2 (ja) | 動画像パケット通信方式 | |
KR100255777B1 (ko) | 디지탈 티브이 수신 디코더 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |