JP2001238218A - 信号変換装置及び方法 - Google Patents

信号変換装置及び方法

Info

Publication number
JP2001238218A
JP2001238218A JP2000050524A JP2000050524A JP2001238218A JP 2001238218 A JP2001238218 A JP 2001238218A JP 2000050524 A JP2000050524 A JP 2000050524A JP 2000050524 A JP2000050524 A JP 2000050524A JP 2001238218 A JP2001238218 A JP 2001238218A
Authority
JP
Japan
Prior art keywords
signal
image
conversion
motion vector
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000050524A
Other languages
English (en)
Other versions
JP4378824B2 (ja
Inventor
Iiwen Zuu
イーウェン ズー
Yoichi Yagasaki
陽一 矢ヶ崎
Takefumi Nagumo
武文 名雲
Kuniaki Takahashi
邦明 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000050524A priority Critical patent/JP4378824B2/ja
Priority to US09/791,013 priority patent/US6983019B2/en
Publication of JP2001238218A publication Critical patent/JP2001238218A/ja
Priority to US11/193,244 priority patent/US7711050B2/en
Application granted granted Critical
Publication of JP4378824B2 publication Critical patent/JP4378824B2/ja
Priority to US12/754,902 priority patent/US20100195735A1/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/06Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 信号品質を劣化させず、第1の信号を第3の
信号に変換可能と、また、第2の信号から第3の信号を
生成する際の処理量を低減し、さらに装置構成の大規模
化をも防止可能とする。 【解決手段】 MPEG2画像符号化ビットストリーム
をMPEG2画像復号器30により復号化し、その画像
信号の解像度フレームレート変換器31により変換し、
さらにMPEG4画像符号化器33でMPEG4画像符
号化ビットストリームに変換する。解像度フレームレー
ト変換器31では、マクロブロックの開始位置に合わせ
て画素の補填若しくは除去を行うことで、入力した画像
信号をMPEG4画像符号化に適した信号に調整する。
動きベクトル変換器32では、MPEG2動きベクトル
等のパラメータからMPEG4動きベクトルを作り、M
PEG4画像符号化器33ではそのMPEG4動きベク
トルを用いて符号化を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、信号変換装置及び
方法に関し、特に、例えば光磁気ディスクや磁気テー
プ、フラッシュメモリ等の記録媒体に記録し、もしくは
衛星放送で伝送し、それを光磁気ディスクや磁気テー
プ、フラッシュメモリ等の記録媒体に再記録、あるいは
テレビ会議システムやテレビ電話システム、インターネ
ット、携帯電話等低ビットレート伝送路を介して送信側
から受信側に伝送し、受信側において、必要に応じたフ
ォーマット変換等を行い、これを表示、伝送する場合な
どに用いて好適な信号変換装置及び方法に関する。
【0002】
【従来の技術】入力された画像符号化ビットストリーム
を、異なる画像符号化フォーマットの画像符号化ビット
ストリームに変換する、従来の画像符号化フォーマット
変換装置の概略構成を図16に示す。なお、この図16
に例示した画像符号化フォーマット変換装置は、入力さ
れたMPEG2(Moving Picture image coding Expert
s Group:ISO/IEC13818−2)画像符号化
ビットストリームを、MPEG4(ISO/IEC14
496−2)画像符号化ビットストリームヘ変換する装
置である。
【0003】この図16に示す従来の画像符号化フォー
マット変換装置において、入力されたMPEG2画像符
号化ビットストリームはMPEG2画像復号化器210
へ送られる。
【0004】MPEG2画像復号化器210は、入力さ
れたMPEG2画像符号化ビットストリームを、MPE
G2画像復号化方式に従って復号して画像信号を復元す
る。当該復元された画像信号は解像度フレームレート変
換器211に入力する。
【0005】解像度フレームレート変換器211は、上
記復元された画像の解像度を任意の異なる解像度、フレ
ームレートを持つ画像信号に変換し、その解像度変換後
の画像信号をMPEG4画像符号化器212に送る。な
お、この例では、上記復元された画像の解像度を、例え
ば垂直方向及び水平方向共に二分の一に変換している。
【0006】MPEG4画像符号化器212は、上記解
像度フレームレート変換器211から供給された画像信
号をMPEG4画像符号化方式に従って符号化し、MP
EG4画像符号化ビットストリームを生成する。このM
PEG4画像符号化ビットストリームは、当該図16の
画像符号化フォーマット変換装置から出力される。
【0007】
【発明が解決しようとする課題】上述の従来の画像符号
化フォーマット変換装置は、図16に示したように、M
PEG2画像復号化器210でMPEG2画像復号化方
式により復元された画像信号を、MPEG4画像符号化
器212でMPEG4画像符号化方式により符号化し、
MPEG4画像符号化ビットストリームを出力するよう
になされている。すなわち、MPEG4画像符号化器2
12では、通常の符号化時と同様に、上記MPEG2画
像復号化器210にて復元された画像信号から動きベク
トルを検出し、動き予測を行って符号化することが行わ
れる。
【0008】しかしながら、このような従来方法では、
MPEG4画像符号化器212内において、入力された
画像信号を符号化する際に、動きベクトルを検出するプ
ロセスが全処理量の約60〜70パーセントを占めてし
まう。そのため、画像のリアルタイムでの処理が困難と
なり、時間遅延が発生するという問題がある。また、装
置が大規模になるという問題もある。
【0009】また、上述の従来の画像符号化フォーマッ
ト変換装置は、MPEG2画像復号化方式により復元さ
れた画像信号に対して、解像度フレームレート変換器2
11により解像度及びフレームレート変換処理を施し、
この解像度及びフレームレート変換後の画像信号にMP
EG4画像符号化処理を施すようにしている。
【0010】このため、上記解像度フレームレート変換
器211から出力された画像信号の解像度及びフレーム
レートが、例えばMPEG4画像符号化処理に適さない
ものとなる恐れがあり、その場合、MPEG4画像符号
化処理が適正に行えなくなる。
【0011】そこで、本発明は、このような実情に鑑み
てなされたものであり、例えば、MPEG2画像符号化
ビットストリームのような第1の信号に対して少なくと
も解像度変換処理を施し、その解像度変換後の第2の信
号から、MPEG4画像符号化ビットストリームのよう
な第3の信号を生成する場合において、信号品質を劣化
させずに、第1の信号から最終的に第3の信号を生成で
き、また、第3の信号の生成処理の際の処理量を低減
し、さらに装置構成の大規模化をも防止可能とする信号
変換装置及び方法を提供することを目的とする。
【0012】
【課題を解決するための手段】本発明の信号変換装置
は、第1の信号に対して少なくとも解像度変換を施して
第2の信号を生成し、当該第2の信号から第3の信号を
生成する信号変換装置であり、上記解像度変換後の第2
の信号に対して所定の位置の信号要素の補填若しくは除
去を行い、当該第2の信号を上記第3の信号の生成に適
した信号に調整する調整手段を有し、上記調整後の第2
の信号から第3の信号を生成することにより、上述した
課題を解決する。
【0013】また、本発明の信号変換装置は、第1の信
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換装置であり、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換す
るパラメータ変換手段を有し、上記パラメータ変換手段
により得られた処理パラメータを用いて、上記第2の信
号から第3の信号を生成することにより、上述した課題
を解決する。
【0014】また、本発明の信号変換装置は、第1の信
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換装置であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整する調整手段と、上記第1の信号から第2の信号を生
成する際の上記解像度変換に応じて、上記第1の信号に
含まれる処理パラメータを、上記第2の信号から第3の
信号を生成する際に必要となる全部若しくは一部の処理
パラメータに変換するパラメータ変換手段とを有し、上
記パラメータ変換手段により得られた処理パラメータを
用いて、上記調整後の第2の信号から第3の信号を生成
することにより、上述した課題を解決する。
【0015】次に、本発明の信号変換方法は、第1の信
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整し、上記調整後の第2の信号から第3の信号を生成す
ることにより、上述した課題を解決する。
【0016】また、本発明の信号変換方法は、第1の信
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換
し、上記パラメータ変換により得られた処理パラメータ
を用いて、上記第2の信号から第3の信号を生成するこ
とにより、上述した課題を解決する。
【0017】また、本発明の信号変換方法は、第1の信
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整し、上記第1の信号から第2の信号を生成する際の上
記解像度変換に応じて、上記第1の信号に含まれる処理
パラメータを、上記第2の信号から第3の信号を生成す
る際に必要となる全部若しくは一部の処理パラメータに
変換し、上記パラメータ変換により得られた処理パラメ
ータを用いて、上記調整後の第2の信号から第3の信号
を生成することにより、上述した課題を解決する。
【0018】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。
【0019】図1には、本発明にかかる第1の実施の形
態の画像符号化フォーマット変換装置の概略構成を示
す。
【0020】この図1に示す本発明の第1の実施の形態
の画像符号化フォーマット変換装置において、入力され
たMPEG2画像符号化ビットストリームは、MPEG
2画像復号化器30へ送られる。
【0021】MPEG2画像復号化器30は、入力され
たMPEG2画像符号化ビットストリームを、MPEG
2画像復号化方式に従って復号して画像信号を復元す
る。当該復元された画像信号(インターレース画像信
号)は解像度フレームレート変換器31に入力する。
【0022】解像度フレームレート変換器31は、上記
復元された画像を、任意の解像度、フレームレートを持
つ画像信号に変換し、さらに、外部から入力された画像
サイズ調整フラグにより、後段でのMPEG4画像符号
化に適した解像度を持つ画像に調整した後、その画像信
号をMPEG4画像符号化器33に送る。
【0023】MPEG4画像符号化器33は、上記解像
度フレームレート変換器31より供給された画像信号か
ら、MPEG4画像符号化ビットストリームを生成す
る。このMPEG4画像符号化ビットストリームは、当
該図1の画像符号化フォーマット変換装置から出力され
る。
【0024】以上は図1の構成の概略的な処理の流れで
あるが、本実施の形態の画像符号化フォーマット変換装
置では、後述するように、解像度及びフレームレート変
換する前と後の画像における動きベクトルの大きさ及び
方向の相関が大きいことを利用し、MPEG2画像復号
化器30が復号化の際に使用したMPEG2画像符号化
方式の動きベクトル(以下、MPEG2動きベクトルと
呼ぶ。)をMPEG4画像符号化方式の動きベクトル
(以下、MPEG4動きベクトルと呼ぶ。)に変換し、
そのMPEG4動きベクトルを用いてMPEG4画像符
号化器33が符号化処理を行うことにより、当該MPE
G4画像符号化器33での動きベクトル検出処理を不要
としている。
【0025】すなわち、本実施の形態の画像符号化フォ
ーマット変換装置によれば、MPEG2画像復号化器3
0が復号化の際に使用したMPEG2動きベクトルを取
り出して動きベクトル変換器32に送り、当該動きベク
トル変換器32では、上記MPEG2動きベクトルをM
PEG4動きベクトルに変換してMPEG4画像符号化
器33に送り、MPEG4画像符号化器33では、解像
度フレームレート変換後の画像信号を、上記動きベクト
ル変換器32より供給されたMPEG4動きベクトルを
使用して符号化する。
【0026】このように、本実施の形態の画像符号化フ
ォーマット変換装置によれば、MPEG4画像符号化器
33で動きベクトル検出を行わないため、全体の処理量
を削減することができ、装置構成の大規模化をも防止可
能となり、また、当該処理量の削減に伴って時間遅延が
少なくなることにより、画像のリアルタイム処理も容易
となっている。
【0027】また、本実施の形態の画像符号化フォーマ
ット変換装置では、上記動きベクトル以外にも、MPE
G2画像復号化器30での復号に用いた画像サイズ、マ
クロブロックタイプ等のパラメータ、若しくは解像度及
びフレームレート変換後のパラメータを、MPEG4画
像符号化時に採用することにより、MPEG4画像符号
化器33での処理量を減らして符号化効率を更に向上さ
せると共に、処理時間の短縮化をも可能としている。
【0028】図2を用いて、解像度変換前と後の画像に
おける動きベクトルの相関について説明する。なお、図
2の(a)は解像度変換前の現フレームの画像例を示
し、図2の(b)には図2の(a)の画像を解像度変換
した後の現フレームの画像例を示す。また、図中のdm
にて示す領域の位置は、現フレーム内のある画像部分o
bが前フレーム内において存在していた位置を表し、図
中のMVにて示す矢印は前フレーム内の画像部分obと
現フレーム内の画像部分obとの間の動きベクトルを表
している。
【0029】ここで、画像の解像度変換後の前フレーム
での位置dmから現フレームでの画像部分obの位置へ
の動きベクトルMVの水平成分は、解像度変換前の動き
ベクトルMVの水平成分と画像の水平方向の解像度変換
レートによって求めることができる。また、解像度変換
後の前フレームでの位置dmから現フレームでの画像部
分obの位置への動きベクトルMVの垂直成分は、解像
度変換前の動きベクトルMVの垂直成分と画像の垂直方
向の解像度変換レートによって求められる。すなわち、
解像度変換前の動きベクトルMVと変換後の動きベクト
ルMVとは大きな相関を持っており、当該相関を利用す
れば、解像度変換前の動きベクトルMVから変換後の動
きベクトルMVを求めることができる。
【0030】このようなことから、本実施の形態の画像
符号化フォーマット変換装置では、上記入力されたMP
EG2画像符号化ビットストリームをMPEG4画像符
号化ビットストリームヘ変換して出力する際に、上記M
PEG2画像符号化ビットストリームに含まれるMPE
G2画像符号化方式におけるマクロブロックの動きベク
トル(MPEG2動きベクトル)やマクロブロックタイ
プ等のパラメータを抽出して動きベクトル変換器32に
送り、当該動きベクトル変換器32にてそれらをMPE
G4動きベクトルやマクロブロックタイプ等のパラメー
タに簡潔に変換するようにしている。
【0031】図1に戻り、本発明の第1の実施の形態の
画像符号化フォーマット変換装置の詳細について説明す
る。
【0032】MPEG2画像復号化器30は、供給され
たMPEG2画像符号化ビットストリームに対して可変
長符号の復号化を行うことにより、インタレースの画像
信号を復元する。この復元されたインタレース画像信号
は、解像度フレームレート変換器31に送られる。
【0033】解像度フレームレート変換器31は、解像
度及びフレームレート変換を行う解像度フレーム変換部
34と、画素の補間又は除去を行う画素補間/除去部3
5とからなる。
【0034】上記解像度フレーム変換部34は、MPE
G2画像復号化器30より入力された画像信号に対して
解像度フレーム変換処理を施す。なお、本実施の形態で
は、解像度フレーム変換部34での処理として、例えば
垂直方向及び水平方向とも解像度を二分の一にする例を
挙げる。
【0035】具体的に説明すると、解像度フレーム変換
部34では、図3に示すように、上記入力されたインタ
レース画像のトップフィールド(Top Field)若しくは
ボトムフィールド(Bottom Field)の何れか一方のみを
抽出してプログレッシブ画像に変換することにより、画
像の垂直方向の解像度を二分の一にする。さらに、解像
度フレーム変換部34は、ダウンサンプリング(down‐
sampling)フィルタにより、画像の水平方向の解像度を
二分の一に変換する。また、解像度フレーム変換部34
では、さらなる低ビットレート化を実現するために、上
記解像度の変換による圧縮に加えて、I(画像内符号化
画像)とPピクチャ(前方予測符号化画像)、B(両方
向予測符号化画像)ピクチャのうちIピクチャとPピク
チャのみを抜き出し、時間方向での圧縮を行う(フレー
ムレートを落とす)。なお、図3の例では、入力インタ
レース画像を構成するトップフィールドとボトムフィー
ルドのうち、トップフィールドのみを抽出してプログレ
ッシブ画像に変換することで画像の垂直方向の解像度を
二分の一にし、それらトップフィールドから生成された
各プログレッシブ画像をダウンサンプルした後、Iピク
チャとPピクチャのみを抜き出すことでフレームレート
を落とす様子を表している。なお、ダウンサンプルはフ
レームレートを落とした後に行っても良い。これのよう
に、図3に示したMPEG2のI,B,B,P,B,
B,P,・・・の各ピクチャからなる入力画像信号は、
当該解像度フレーム変換部34での解像度フレーム変換
により、I,P,P,P,P,・・・のトップフィール
ドのみからなる画像信号になされる。上記解像度フレー
ム変換部34からの出力は、画素補間/除去部35に送
られる。
【0036】この画素補間/除去部35は、後段のMP
EG4画像符号化器33がMPEG4画像符号化方式に
より符号化を行えるようにするために、上記解像度フレ
ーム変換を行った後の画像を、垂直方向及び水平方向の
画素数がともに16の倍数になるように調整する。その
ため、画素補間/除去部35では、外部から入力される
画像サイズ調整フラグに基づいて、画素の補填あるいは
画素の除去の何れかを行う。なお、画像サイズ調整フラ
グは、解像度フレームレート変換器31の外部から入力
されて画素補間/除去部35に供給されるものであり、
上記変換後の画像の垂直方向及び水平方向の画素数が1
6の倍数でない場合に、画素補間/除去部35に対して
画素補填もしくは除去の何れかの処理を行わせるための
指示フラグである。従って、画像サイズ調整フラグが画
素補填若しくは除去の何れかの処理を指示する値である
とき、画素補間/除去部35は、その指示(画像サイズ
調整フラグの値)に応じて、画素補填若しくは除去の何
れかの処理を行い、垂直方向及び水平方向の画素数が1
6の倍数となる画像を生成する。
【0037】図4を用いて、上記画素補間/除去部35
が、上記画像サイズ調整フラグに基づいて行う、画素補
填或いは除去処理について説明する。
【0038】上記MPEG2画像復号化器30から出力
された画像G1の解像度がm画像×n画素であるとする
と、上記m,nは共に16の倍数となっているが、上記
解像度フレーム変換部34にて垂直方向及び水平方向と
もに二分の一に解像度変換がなされた後の画像の画素
数、すなわちm/2画素とn/2画素は、16の整数倍
又は16で割って8画素の余りがあるものとなる。
【0039】ここで、上記解像度変換後の画像の上記m
/2画素,n/2画素が共に16の倍数である場合(画
像G2)には、後段にて行われるMPEG4符号化方式
に適する画像になっているため、当該画像G2に対して
画素補填或いは除去の処理を行う必要はない。一方、そ
れ以外の場合(m/2画素若しくはn/2画素を16で
割ると8画素余る場合)、その画像はMPEG4符号化
方式に適していないことになるため、その画素数を16
の倍数にするための画素補填或いは画素の除去の何れか
の処理が必要となる。
【0040】このため、画素補填/除去部35には、上
記画像サイズ調整フラグとして、画素の補填と除去の二
つの選択肢のうちの何れを行うかを選択(SW1)する
ための値が外部から入力されており、上記解像度フレー
ム変換部34にて変換された後の画像のm/2画素とn
/2画素が共に16の整数倍であるか、或いは16で割
って8画素の余りがあるのかを判定(J1)し、その判
定(J1)の結果に基づいて、上記外部から入力されて
いる画像サイズ調整フラグを使用するか否かを判断して
いる。
【0041】上記解像度フレーム変換部34での変換後
の画像のm/2画素或いはn/2画素が16で割って8
画素が余ると判定(判定処理J1にてNo)されている
場合において、例えば上記画像サイズ調整フラグとして
画素の除去を選択する値が入力されているときには、上
記画素補填/除去部35では、上記m/2画素若しくは
n/2画素を16で割って余った8画素を、水平或いは
垂直方向における先頭画素列、若しくは水平或いは垂直
方向における後部画素列から除去する。これにより、当
該画素除去後の画像G3は、その画素数が(m/2−
8)画素若しくは(n/2−8)画素の画像となる。
【0042】一方、上記解像度フレーム変換部34での
変換後の画像のm/2画素或いはn/2画素が16で割
って8画素が余ると判定(判定処理J1にてNo)され
ている場合において、例えば上記画像サイズ調整フラグ
として画素の補填を選択する値が入力されているときに
は、上記画素補填/除去部35では、新たに作成した8
画素又は元の画像から複製した8画素又は画像に適した
8画素を、水平或いは垂直方向における先頭画素列、若
しくは水平或いは垂直方向における後部画素列に付け加
える。これにより、当該補填後の画像G4は、その画素
数が(m/2+8)画素若しくは(n/2+8)画素の
画像となる。
【0043】これらの結果として、画素補填/除去部3
5から出力される画像は、垂直方向及び水平方向共に画
素数が16の倍数となり、後段で行われるMPEG4符
号化方式に適したサイズを持つ画像となる。
【0044】以上のように、上記解像度フレームレート
変換器31において解像度フレーム変換処理と画素補填
/除去処理がなされた後の画像信号は、MPEG4画像
符号化器33に入力する。
【0045】また、上記MPEG2画像復号化器30が
MPEG2画像復号化方式を行うことにより得られたP
ピクチャのみのマクロブロックの動きベクトルやマクロ
ブロックタイプ等のパラメータは、動きベクトル変換器
32に送られる。
【0046】当該動きベクトル変換器32は、MPEG
2画像復号化器30から供給されたMPEG2動きベク
トルやマクロブロックタイプ等のパラメータを、MPE
G4動きベクトルやマクロブロックタイプ等のパラメー
タに変換する。
【0047】上記動きベクトル変換器32における動き
ベクトル変換の動作原理を図5を用いて説明する。
【0048】なお、図5の(a)の画像G1及び図5の
(b)の画像G2において、実線で区切られている各正
方格子の一つ一つはマクロブロックを示している。ま
た、図5の(a)の画像G1は、MPEG2画像復号化
器30より出力された画像(すなわち解像度変換前の画
像)であり、図5の(b)の画像G2は、図5の(a)
の画像G1を解像度フレームレート変換器31により垂
直方向及び水平方向の解像度とも二分の一に変換した画
像である。
【0049】ここで、解像度変換前の図5の(a)の画
像G1のうち、例えば左上の16画素×16画素のマク
ロブロックは、解像度変換後には図5の(b)の画像G
2内の左上の8画素×8画素のブロックになる。すなわ
ち、解像度がm画像×n画素(m,nは共に16の倍
数)の図5の(a)に示す画像G1を、上記解像度フレ
ームレート変換器31にて垂直方向及び水平方向共に二
分の一に解像度を落とすことにより、図5の(b)に示
すm/2画素×n/2画素の画像G2に変換した場合、
解像度変換前の画像G1内の4つの16画素×16画素
のマクロブロックMB1〜MB4は、画像G2内の4つ
の8画素×8画素のブロックb1〜b4に変換されるこ
とになる。また、これら解像度変換後の画像G2内の4
つのブロックb1〜b4により一つのマクロブロックM
Tが構成されることになる。
【0050】このとき、上記解像度変換前の画像G1内
の4つの16画素×16画素のマクロブロックMB1〜
MB4の各動きベクトルMV1〜MV4と、解像度変換
後の画像G2内の4つの8画素×8画素のブロックb1
〜b4の各動きベクトルmv1〜m4は相関が大きい。
このため、動きベクトル変換器32では、動きベクトル
変換処理T1として、上記画像G1内の4つのマクロブ
ロックMB1〜MB4の各動きベクトルMV1〜MV4
から、上記画像G2の4つのブロックb1〜b4の各動
きベクトルmv1〜mv4を求めることができ、さらに
これら4つのブロックb1〜b4からなる16画素×1
6画素のマクロブロックMBTの動きベクトルMVT
も、上記4つのブロックb1〜b4の動きベクトルmv
1〜mv4から求めることができる。
【0051】以下、図6以降の各図を用いて、上述した
ような動きベクトル変換処理を行う動きベクトル変換器
32の詳細な構成及び動作について説明する。
【0052】図6において、ベクトル変換部70には、
MPEG2画像復号化器30から出力されたMPEG2
画像符号化方式に対応した16画素×16画素の画マク
ロブロックMBの動きベクトルMVと、画像サイズ、マ
クロブロックタイプなどのパラメータが入力する。
【0053】ベクトル変換部70では、上記入力された
16画素×16画素の各マクロブロックMBの動きベク
トルMVと、画像サイズ、マクロブロックタイプなどの
パラメータから、解像度フレームレート変換後の8画素
×8画素の各ブロックbのそれぞれに対応する動きベク
トルmvを生成する。
【0054】図7を用いて、当該ベクトル変換部70の
詳細な動作について説明する。すなわち、上記入力され
た16画素×16画素の各マクロブロックMBの動きベ
クトルMVと、画像サイズ、マクロブロックタイプなど
のパラメータに対し、ベクトル変換器70は、次のよう
に動作する。なお、MPEG2画像符号化方式には、フ
レーム構造が多く使われているため、ここではフレーム
構造の場合についての処理のみの変換方法を説明する。
【0055】先ず、ベクトル変換部70は、ステップS
1の処理として、入力された動きベクトルMVが、イン
トラ(Intra)マクロブロック(画像内符号化がなされ
たマクロブロック)か、或いはインター(Inter)マク
ロブロック(非画像内符号化がなされたマクロブロッ
ク)か、或いはスキップマクロブロックか、No MC
マクロブロックの何れのマクロブロックに対応する動き
ベクトルであるのかを、例えばマクロブロックタイプに
基づいて判定する。
【0056】当該ステップS1の判定において、イント
ラマクロブロックの動きベクトルであると判定した場
合、ベクトル変換部70は、ステップS4の処理に進
む。ステップS4の処理に進むと、ベクトル変換部70
は、先ず、解像度変換後の8画素×8画素のブロックの
動きベクトルmvの値を0に設定し、さらに後段の動き
ベクトル補正部73による処理を行うために、イントラ
モードフラグを設ける。なお、MPEG2画像符号化方
式の場合、イントラマクロブロックであるときにはイン
トラモードフラグが立てられる。
【0057】一方、ステップS1の判定において、スキ
ップマクロブロックの動きベクトルであると判定した場
合、ベクトル変換部70は、ステップS5の処理に進
み、解像度変換後の8画素×8画素のブロックの動きベ
クトルmvの値を0に設定する。
【0058】また、ステップS1の判定において、No
MCマクロブロックの動きベクトルであると判定した
場合、ベクトル変換部70は、ステップS9の処理に進
み、解像度変換後の8画素×8画素のブロックの動きベ
クトルmvの値を0に設定する。
【0059】また、ステップS1の判定において、イン
ターマクロブロックの動きベクトルであると判定された
場合、ベクトル変換部70は、ステップS2の処理に進
む。
【0060】ステップS2の処理に進むと、ベクトル変
換部70は、当該動きベクトルに対応する16画素×1
6画素のインターマクロブロックが、フレーム構造で且
つフレーム予測のマクロブロックであるか、或いはフレ
ーム構造でフィールド予測のマクロブロックであるかの
判定を行う。
【0061】このステップS2の判定において、フレー
ム構造でフレーム予測のマクロブロックであると判定さ
れた場合、ベクトル変換部70は、ステップS6の処理
に進み、以下のようなことを行って、フレーム予測に適
した動きベクトルへの変換を行う。
【0062】図8には、上記インターマクロブロックが
フレーム構造でフレーム予測のマクロブロックであると
判定した場合の、ベクトル変換部70における動きベク
トル変換の概念図を示す。図8の(a)は解像度変換前
を、図8の(b)は解像度変換後を表している。なお、
この図8中のpxiは解像度変換前の整数画素を表し、
hpは解像度変換前の半画素を、hpdは解像度変換後
の半画素を表している。また、図8では、整数画素px
iの中間値(halr pel position、半画素)の間隔に対
応して、動きベクトルMVの水平及び垂直方向の大きさ
成分を「1」として表している。以下、動きベクトルの
水平方向の大きさ成分を水平成分、垂直方向の大きさ成
分を垂直成分と呼ぶことにする。
【0063】ここで、前述の図2で説明したように、解
像度変換後の動きベクトルの水平成分は、解像度変換前
の動きベクトルの水平成分と、画像の水平方向の解像度
変換レートとから求められる。また、解像度変換後の動
きベクトルの垂直成分は、解像度変換前の動きベクトル
の垂直成分と、画像の垂直方向の解像度変換レートとか
ら求められる。すなわち、画像の水平方向の解像度が二
分の一に変換された場合、その解像度変換後の動きベク
トルの水平成分も、変換前の二分の一になる。また、画
像の垂直方向の解像度が二分の一に変換された場合、そ
の解像度変換後の動きベクトルの垂直成分も、変換前の
二分の一になる。図8の例の場合、解像度変換後の前フ
レームでの位置dmから現フレームでの画像部分obの
位置への動きベクトルは、解像度変換前の動きベクトル
MVの水平成分が「8」で、垂直成分が「12」となっ
ていたものが、解像度変換後の動きベクトルMV’(m
v)は水平成分が「4’」で垂直成分が「6’」とな
る。
【0064】ここで、この図8から判るように、動きベ
クトルの大きさ成分が、解像度変換前に整数画素の位置
で表されていたものは、解像度変換後も、整数画素若し
くは半画素の位置で表すことができるが、解像度変換前
に半画素の位置で表されていたものは、解像度変換後に
対応する画素が無くなる。
【0065】このため、動きベクトルの大きさの成分と
して、解像度変換前に半画素の位置で表されていたもの
については、解像度変換後は予測画像の半画素位置で示
すようにする。なお、本来、復号された画像信号には、
量子化による歪みが含まれているため、これをそのまま
予測画像として使用すると予測効率が低下し、画質劣化
を引き起こす場合がある。一方、参照画面での各画素間
を1:1で直線補間した半画素精度を選択すれば、画質
劣化を避けることができる。したがって、MPEG2動
きベクトルの大きさの成分が半画素の位置を示している
場合は、当該MPEG2動きベクトルをMPEG4動き
ベクトルに変換する際に、そのMPEG4動きベクトル
の大きさの成分が半画素の位置を示すように変換する。
これにより、予測効率を向上させることができ、画質劣
化を防ぐことができる。
【0066】上記動きベクトル変換器32での変換前と
変換後の動きベクトルの大きさの成分は、以下の表1に
示すようになる。
【0067】
【表1】
【0068】なお、この表1において、[MV/2]は、
動きベクトルを2で割つた整数部分を示す。
【0069】図7に戻り、ステップS2の判定におい
て、フレーム構造でフィールド予測のマクロブロックで
あると判定された場合、ベクトル変換部70は、ステッ
プS3の処理に進む。
【0070】ステップS3の処理に進むと、ベクトル変
換部70は、上記フィールド予測がトップフィールド予
測であるか、或いはボトムフィールド予測であるかの判
定を行う。
【0071】このステップS3の判定において、トップ
フィールド予測であると判定した場合、ベクトル変換部
70は、ステップS7の処理に進み、以下のようなこと
を行って、フィールド予測のトップフィールド予測に適
した動きベクトルへの変換を行う。
【0072】図9には、上記ステップS3にてトップフ
ィールド予測であると判定したの、ベクトル変換部70
における動きベクトル変換の概念図を示す。なお、図9
の(a)は解像度変換前を、図9の(b)は解像度変換
後を表している。この図9中のpxiは解像度変換前の
整数画素を表し、hpは解像度変換前の半画素を、hp
dは解像度変換後の半画素を表している。また、図9で
は、整数画素pxiの中間値(半画素)の間隔に対応し
て、動きベクトルMVの水平及び垂直成分を「1」とし
て表している。
【0073】ここで、動きベクトルの水平成分は、表1
と同様に変換される。一方、解像度変換時にはトップフ
ィールドのみを抽出して解像度を二分の一に変換するよ
うになされ、また、ここでの予測はトップフィールド予
測が行われているため、動きベクトルの垂直成分につい
ては、変換前の動きベクトルの垂直成分をそのまま変換
後の動きベクトルの垂直成分として使用する。
【0074】また、ステップS3の判定において、ボト
ムフィールド予測であると判定した場合、ベクトル変換
部70は、ステップS8の処理に進み、以下のようなこ
とを行って、フィールド予測のボトムフィールド予測に
適した動きベクトルへの変換を行う。
【0075】図10には、上記ステップS3にてボトム
フィールド予測であると判定したの、ベクトル変換部7
0における動きベクトル変換の概念図を示す。なお、図
10の(a)は解像度変換前を、図10の(b)は解像
度変換後を表している。この図10中のpxiは解像度
変換前の整数画素を表し、hpは解像度変換前の半画素
を、hpdは解像度変換後の半画素を表している。図1
0では、整数画素pxiの中間値(半画素)の間隔に対
応して、動きベクトルMVの水平及び垂直成分を「1」
として表している。
【0076】ここで、解像度変換では、前述したよう
に、トップフィールドのみが抽出されるため、変換後は
トップフィールドを参照画像として用いることになる。
そのため、MPEG2画像符号化において予測画像とし
て用いたボトムフィールドを、解像度変換後のトップフ
ィールド予測に変換するように、動きベクトルの時空間
補正を行う必要がある。図10の例では、ボトムフィー
ルド予測から近似にトップフィールド予測に変換するた
めの空間的な補正を行っている。すなわち、動きベクト
ルの垂直成分に「1」を足す。この図10からわかるよ
うに、ボトムフィールド予測で求めた動きベクトルの垂
直成分に「1」を足すと、垂直方向に1列(1行)分繰
り上げられることになり、これにより、ボトムフィール
ドがトップフィールドと同様の空間位置に達し、空間上
ではトップフィールド予測で求めた動きベクトルのよう
になる。式(1)には、当該空間補正により、トップフ
ィールドと同様な空間位置に達したボトムフィールド、
すなわち近似トップフィールドを予測画像とした時の動
きベクトルMVtopの垂直成分を表している。
【0077】 垂直成分:近似MVtop=MVbottom+1 (1) なお、動きベクトルの水平成分については、上述のよう
な空間的補正は行う必要がなく、トップフィールド予測
と同様な変換処理を行う。
【0078】また、MPEG2画像符号化におけるイン
タレース画像のトップフィールドとボトムフィールドと
の間には、時間的なずれがある。そのため、ボトムフィ
ールドから近似されたトップフィールドと、実際のトッ
プフィールドとの時間ずれを無くすには、時間的な補正
を行う必要がある。
【0079】図11には、各フィールドの時間的位置関
係を示している。
【0080】図11において、トップフィールドとボト
ムフィールドとの時間間隔を1とし、図中aはIピクチ
ャのボトムフィールドとPピクチャのトップフィールド
の間隔を表している。aの間隔は1,3,5,7,・・
・のような奇数になる。なお、aが1の場合は、ピクチ
ャの構成がI,P,P,P,・・・となる。時間補正し
たときの動きベクトルMV’の垂直成分は、式(2)に
示しようになる。
【0081】 垂直成分:MV’=(a+1)・近似MVtop/a (2) ここで、式(1)を式(2)に代入すると、変換後の動
きベクトルの垂直成分は式(3)のようになる。
【0082】 垂直成分:MV’=(a+1)(MVbottom+1)/a (3) なお、変換後の動きベクトルの水平成分は、変換前の動
きベクトルに(a+1)/aをかけ、時間的な補正を行
った後、表1の計算に従って求められる。
【0083】上述の説明では、動きベクトルの垂直成分
に対して空間的補正を行った後に時間的補正を行う例を
述べたが、場合によっては、動きベクトルの垂直成分に
対して時間的補正を行った後、空間的な補正を行うよう
にしてもよい。この場合、動きベクトルMV’の垂直成
分は、式(4)に示すようになる。なお、動きベクトル
の水平成分は、空間的補正を行ってから時間的補正を行
う場合と、時間的補正を行ってから空間的補正を行う場
合とで同様な値となる。
【0084】 垂直成分:MV’= {(a+1)/a}MVbottom+1 (4) ここで、式(3)と式(4)の差、すなわち空間的補正
を行ってから時間的補正を行った場合と、時間的補正を
行ってから空間的補正を行った場合の動きベクトルの垂
直成分の差は、1/aになる。したがって、aの値によ
ってその差による影響が異なることになる。
【0085】以下、aが1の場合と、1より大きい場
合、すなわちaが3,5,7,・・・の場合の2つにお
ける補正方法について説明する。
【0086】先ず、aが1の場合における補正方法につ
いて説明する。
【0087】前記式(3)のaに1を代入すると、動き
ベクトルの垂直成分は式(5)のようになる。
【0088】 垂直成分:MV’=2x(MVbottom+1) (5) また、前記式(4)のaに1を代入すると、動きベクト
ルの垂直成分は式(6)のようになる。
【0089】 垂直成分:MV’=2x(MVbottom+1)−1 (6) その結果、変換前の動きベクトルMVbottomが0,1,
2,・・・であると、式(5)による値は2,4,6,
・・・のような偶数になる。すなわち、空間的補正を行
ってから時間的補正を行うと、変換前の動きベクトルの
大きさ成分が整数画素の位置で表されていても、また半
画素の位置で表されていても、変換後はすべて整数画素
の位置で表されることになる。
【0090】また、変換前の動きベクトルMVbottom
0,1,2,・・・であると、式(6)による値は1,
3,5,・・・のような奇数になる。すなわち、時間的
補正を行ってから空間的補正を行うと、変換前の動きベ
クトルの大きさ成分が整数画素の位置で表されていて
も、また半画素の位置で表されていても、変換後はすべ
て半画素の位置で表されることになる。
【0091】従って、大きさ成分が変換前に整数画素の
位置で表されていた動きベクトルについて、変換後も整
数画素の位置で表すようにする場合には、空間的補正を
行ってから時間的補正を行うようにする。
【0092】一方、大きさ成分が変換前に半画素の位置
で表されていた動きベクトルについて、変換後も半画素
の位置で表すようにする場合には、時間的補正を行って
から空間的補正を行うようにする。
【0093】すなわち、aが1の場合(a=1)におけ
る補正方法では、例えば、変換前の動きベクトルに対
し、空間的補正と時間的補正を交互に使用して解像度変
換後の動きベクトルに変換するか、若しくは、変換前の
動きベクトルに対してすべて時間的補正を行ってから空
間的補正を行うか、若しくは、変換前の動きベクトルに
対してすべて空間的補正を行ってから時間的補正を行
う。
【0094】次に、aが1より大きい場合(a≠1)、
すなわちaが3,5,7,・・・の場合における補正方
法について説明する。
【0095】aは1でない場合、すなわちaが3,5,
7,・・・の場合は、時間的補正を行ってから空間的補
正を行う場合と、空間的補正を行ってから時間的補正を
行う場合の差である1/aは、0に近似することができ
る。この場合、空間的補正を行ってから時間的補正を行
っても、または、時間的補正を行ってから空間的補正を
行うようにしても良い。
【0096】図6に戻り、ベクトル変換部70では、入
力された16画素×16画素の各マクロブロックMBの
動きベクトルMVに対して、以上説明したような動きベ
クトル変換処理が終了した後、その動きベクトル変換処
理により得られた8画素×8画素の各ブロックbのそれ
ぞれに対応する動きベクトルmvを、動きベクトル調整
器71に送る。
【0097】動きベクトル調整部71は、外部から入力
される前記画像サイズ調整フラグに基づいて、それら8
画素×8画素のブロックbの動きベクトルmvを画像サ
イズに適した動きベクトルに調整し、動きベクトル補正
部73及び演算部72に出力する。
【0098】すなわち、動きベクトル調整部71は、外
部から入力される画像サイズ調整フラグに基づいて、前
記解像度フレームレート変換器31の画素補填/除去部
35における画素の補填或いは画素の除去に対応するよ
うに、上記8画素×8画素のブロックbの動きベクトル
mvを調整して出力する。
【0099】図12を用いて、当該動きベクトル調整部
71の詳細な動作について説明する。
【0100】動きベクトル調整部71は、先ずステップ
S11の処理として、入力された画像サイズの情報に基
づいて、前記MPEG2画像復号化器30から出力され
た画像の解像度がm画像×n画素であり、また前記解像
度フレームレート変換器31による垂直方向及び水平方
向ともに二分の一の解像度変換後のm/2画素×n/2
画素が、共に16の倍数であるか否か判定する。このス
テップS11の処理において、16の倍数であると判定
した場合は、切換部SW3をオンして、前記動きベクト
ル変換器32から供給されたMPEG4動きベクトルm
v(補正前のMPEG4動きベクトルmv)をそのまま
出力する。一方、16の倍数になっていないと判定(1
6で割って8画素の余りがあると判定)した場合、ステ
ップS12の処理に進む。
【0101】動きベクトル調整部71は、ステップS1
2の処理に進むと、外部から入力された前記画像サイズ
調整フラグに基づき、前記解像度フレームレート変換器
31において上記16で割った余りの8画素分の除去が
行われたのか否か判定し、画素の除去が行われたと判定
した場合は、切換部SW4を制御することにより、前記
動きベクトル変換器32から出力されたMPEG4動き
ベクトルmvのうち、上記除去された8画素に対応する
各ブロックbの動きベクトルmvを除いた残りの各ブロ
ックbの動きベクトルmvのみを出力する。一方、ステ
ップS12にて画素の除去は行われていないと判定(8
画素が補填されたと判定)した場合、動きベクトル調整
部71の処理はステップS13に進む。
【0102】動きベクトル調整部71は、ステップS1
3の処理に進むと、画像サイズ調整フラグに基づき、切
換部SW5を制御することにより、前記解像度フレーム
レート変換器31において補填された8画素に対応する
各ブロックbについての動きベクトルを”0”に設定
(切換部SW5を0側に倒す)して当該”0”の動きベ
クトルを出力すると共に、それ以外の各ブロックbの動
きベクトルmvについては入力された動きベクトルmv
を出力する。
【0103】図6に戻り、上記動きベクトル調整部71
により、上述したように画像サイズに合うように調整さ
れた動きベクトルmvは、演算部72と動きベクトル補
正部73に送られる。
【0104】演算部72では、供給された動きベクトル
mvを用い、下記式(7)の演算を行うことにより、8
画素×8画素のブロックbの4つの動きベクトルmv1
〜mv4よりなる16画素×16画素のマクロブロック
MBTのMPEG4動きベクトルMVTを求める。なお、
式(7)中のiは1〜4である。
【0105】
【数1】
【0106】すなわち、演算部72では、式(7)によ
り、MPEG2のマクロブロックMBから変換された4
つのブロックの内、イントラでないマクロブロックMB
から変換された4つのブロックb1〜b4の動きベクト
ルmv1〜mv4の和を、同じくイントラでないマクロ
ブロックMBから変換されたブロックの数で割った平均
を、MPEG4画像符号化方式に対応する16画素×1
6画素のマクロブロックMBTの動きベクトルMVTとし
て出力する。なお、16画素×16画素のマクロブロッ
クMBTのMPEG4動きベクトルMVTは、変換後の8
画素×8画素のブロックbの動きベクトルmvのDCT
係数などにおける重み付け平均の処理により決定しても
よい。
【0107】上記演算部72から出力されたMPEG4
動きベクトルMVTは、動きベクトル補正部73に送ら
れる。
【0108】動きベクトル補正部73は、前記動きベク
トル調整部71から供給された8画素×8画素のブロッ
クbの各動きベクトルmvのうち、MPEG2画像符号
化方式におけるイントラマクロブロックに対応した動き
ベクトルを、上記演算部72で求めた16画素×16画
素のマクロブロックMBTの動きベクトルMVTに置き換
える。
【0109】図13には、上記動きベクトル補正部73
の詳細な構成を示す。
【0110】図13に示す動きベクトル補正部73にお
いて、前記動きベクトル調整器71より出力された画像
サイズに適した8画素×8画素のブロックbの動きベク
トルmvは、イントラモードフラグに応じて被切換端子
a,bの何れかに切り換えられる切換スイッチSW2に
入力する。
【0111】切換スイッチSW2は、イントラモードフ
ラグが立っている場合、すなわち入力した動きベクトル
mvがMPEG2画像符号化方式におけるイントラマク
ロブロックに対応する動きベクトルである場合、被切換
端子a側に切り換えられ、ベクトル置き換え部80に送
られる。
【0112】当該ベクトル置き換え部80は、上記MP
EG2のイントラマクロブロックから変換された8画素
×8画素の4つのブロックb1〜b4の動きベクトルm
v1〜mv4を、上記動きベクトル変換器32の演算部
72により求められたMPEG4画像符号化方式におけ
る16画素×16画素のマクロブロックMBTの動きベ
クトルMVTに置き換えて出力する。なお、当該置き換
える動きベクトルは、上記イントラマクロブロックの周
辺のインターマクロブロックの動きベクトルから変換さ
れた動きベクトル、若しくは、上記イントラマクロブロ
ックに一番近いインターマクロブロックの動きベクトル
から変換された動きベクトルを使用してもよい。また、
動きベクトルを”0”にしてもよい。なお、8画素×8
画素の4つのブロックb1〜b4が共にイントラマクロ
ブロックから変換されたものである場合は、それら4つ
のブロックb1〜b4の4つの動きベクトルmv1〜m
v4が”0”となり、前記式(7)によって求められる
16画素×16画素のマクロブロックMBTの動きベク
トルMVTも”0”となるため、MPEG4画像符号化
に用いる動きベクトルは0となり、マクロブロックタイ
プがイントラとなる。
【0113】また、イントラモードフラグが立たない場
合、すなわちMPEG2画像符号化方式におけるイント
ラマクロブロックでない場合、切換スイッチSW2は被
切換端子b側に切り換えられる。これにより、入力され
た8画素×8画素のブロックbの動きベクトルmvがそ
のまま出力されることになる。
【0114】図6に戻り、上述したようにして動きベク
トル補正部73から出力された動き8画素×8画素のブ
ロックb1〜b4の動きベクトルmv1〜mv4は、上
記演算器72により求められた8画素×8画素のブロッ
クb1〜b4からなるマクロブロックMBTの動きベク
トルMVTと共に出力され、図1のMPEG4画像符号
化器33に送られる。
【0115】図1のMPEG4画像符号化器33では、
解像度フレームレート変換器31からの出力画像と、動
きベクトル変換器32から出力されたMPEG4動きベ
クトルを用いて、MPEG4画像符号化方式により符号
化を行い、MPEG4画像符号化ビットストリームを出
力する。
【0116】上述した本発明の第1の実施の形態では、
MPEG2画像符号化ビットストリームをMPEG4画
像符号化ビットストリームに変換する例を説明したが、
本発明は第1の実施の形態に示した画像符号化フォーマ
ット変換例に限定されるものではなく、本発明は、変換
前と後の画像符号化方式若しくはフォーマットが同一の
場合も適用可能である。また、本発明は、入力された信
号の解像度、フレームレートを、それとは異なる解像
度、フレームレートを持つ信号へ変換する場合にも広く
適用可能である。
【0117】図14には、本発明の第2の実施の形態の
画像符号化フォーマット変換装置の概略構成を示す。な
お、図1と同じ構成要素には同一の指示符号を付して、
それらの詳細な説明は省略する。
【0118】この図14に示す第2の実施の形態の画像
符号化フォーマット変換装置の基本的な構成は、前記図
1に示した第1の実施の形態の構成と略々同じであり、
入力されたMPEG2画像符号化ビットストリームに対
し、MPEG2画像復号化器30内で、可変長符号の復
号化を行った後、PピクチャのみのMPEG2動きベク
トルやマクロブロックタイプなどのパラメータを抽出
し、それらを動きベクトル変換器32へ伝送する動作
は、図1に示した第1の実施の形態の装置と同様である
が、当該第2の実施の形態の装置構成の場合は、動きベ
クトル変換器32の後段に、切換スイッチSW6と、フ
レームメモリ154及び動き補償予測器155が加えら
れている。
【0119】上記切換スイッチSW6は、動きベクトル
変換器32より出力されたMPEG4画像符号化方式に
対応する4つの8画素×8画素のブロックb1〜b4の
動きベクトルmv1〜mv4が、全てMPEG2画像符
号化方式のイントラマクロブロックに対応している場合
のみ、被切換端子a側に切り換えられる。なお、切換ス
イッチSW6が被切換端子b側に切り換えられた場合の
動作は図1と同様である。
【0120】上記切換スイッチSW6が被切換端子a側
に切り換えられた時、上記動きベクトル変換器32から
出力されたMPEG4動きベクトルmvと、解像度フレ
ームレート変換器31より出力された画像信号と、MP
EG4画像符号化器33より出力されるMPEG4画像
符号化ビットストリームに対応する画像信号とがフレー
ムメモリ154に蓄積される。
【0121】ここで、本実施の形態では、16画素×1
6画素のマクロブロックの動きベクトルと8画素×8画
素のブロックの動きベクトルを再検出してから、MPE
G4符号化装置33に送るようにするために、フレーム
メモリ154に蓄積された画像信号のうち、解像度フレ
ームレート変換器31から供給された画像信号は現フレ
ーム画像とされ、MPEG4画像符号化器33から供給
された画像信号は予測参照フレーム画像となされ、動き
補償予測器155において、それら現フレーム画像、予
測参照フレーム画像を用いてフレーム間のMPEG4動
きベクトルを検出する。なお、予測参照フレーム画像と
して、解像度フレームレート変換器31より出力された
画像信号を用いてもよく、また、解像度フレームレート
変換器31より出力された画像信号を現フレーム画像、
予測参照フレーム画像として交互に用いるようにしても
良い。上記動き補償予測器155から出力されたMPE
G4動きベクトルがMPEG4画像符号化器33に送ら
れる。
【0122】図15には、本発明の第3の実施の形態の
画像符号化フォーマット変換装置の概略構成を示す。
【0123】この図15に示す第3の実施の形態の画像
符号化フォーマット変換装置において、画像前処理フィ
ルタ161には、例えばCCD(固体撮像素子)等を備
えた画像撮影装置160やチューナ等の画像受信装置1
67から供給された画像信号が入力する。当該画像前処
理フィルタ161は、必要に応じて、入力画像信号のノ
イズ除去など、符号化の前処理を行い、その前処理後の
画像信号を動き補償器162、MPEG2画像符号化器
163、解像度フレームレート変換器166に送る。な
お、前処理が不要な場合には、当該画像前処理フィルタ
161を省略する場合も可能である。
【0124】動き補償器162は、画像前処理フィルタ
161より供給された画像信号の各フレームに対し、外
部より供給されたフレームレート解像度情報Aを元に、
動きベクトルを計算する。当該動きベクトルは、動きベ
クトル変換器164とMPEG2画像符号化器163に
送られる。
【0125】MPEG2画像符号化器163は、画像前
処理フィルタ161により供給された画像信号に対し、
動き補償器162から出力された動きベクトルを元に符
号化を施し、MPEG2画像符号化ビットストリームを
生成して出力する。
【0126】動きベクトル変換器164は、第1の実施
の形態装置の動きベクトル変換器32と同様に動作し、
外部より供給されたフレームレート解像度情報Aに合わ
せて、動きベクトルに変換処理を施し、その変換後の動
きベクトルをMPEG4画像符号化器165に送る。
【0127】また、解像度フレームレコーダ変換器16
6は、第1の実施の形態装置の解像度フレームレート変
換器31と同様に動作し、画像前処理フィルタ161か
ら出力された画像信号に対し、外部より入力されたフレ
ームレート解像度情報A、フレームレート解像度情報B
に基づく解像度及びフレームレート変換処理を施す。こ
の解像度及びフレームレート変換後の画像信号は、MP
EG4画像符号化器165に送られる。
【0128】MPEG4画像符号化器165では、解像
度フレームレート変換器166から出力される画像信号
に対し、動きベクトル変換器164より出力された動き
ベクトルを元に符号化処理を施し、MPEG4画像符号
化ビットストリームを生成して出力する。
【0129】なお、本実施の形態は、一つの動き補償器
162に対して、動きベクトル変換器164を用いるこ
とで、MPEG2画像符号化器163および、MPEG
4画像符号化器165での符号化に用いる動きベクトル
を作成できるため、従来のよように2つの動き補償器が
必要であった場合よりも処理量が軽くなる。
【0130】
【発明の効果】以上の説明からも明らかなように、本発
明においては、第1の信号に対して少なくとも解像度変
換を施して第2の信号を生成し、当該第2の信号から第
3の信号を生成する場合に、第2の信号に対して所定の
位置の信号要素の補填若しくは除去を行い、第3の信号
の生成に適した信号に調整することにより、信号品質を
劣化させずに、第1の信号を第3の信号に変換可能であ
る。
【0131】また、本発明においては、第1の信号に対
して少なくとも解像度変換を施して第2の信号を生成
し、当該第2の信号から第3の信号を生成する場合に、
第1の信号に含まれる処理パラメータを、第3の信号の
生成に必要となる全部若しくは一部の処理パラメータに
変換することにより、信号品質を劣化させず、第2の信
号から第3の信号を生成する際の処理量を低減し、さら
に装置構成の大規模化をも防止可能である。
【0132】また、本発明においては、第1の信号に対
して少なくとも解像度変換を施して第2の信号を生成
し、当該第2の信号から第3の信号を生成する場合に、
第2の信号に対して所定の位置の信号要素の補填若しく
は除去を行って第3の信号の生成に適した信号に調整
し、第1の信号に含まれる処理パラメータを第3の信号
の生成に必要となる全部若しくは一部の処理パラメータ
に変換することにより、信号品質を劣化させず、第1の
信号を第3の信号に変換可能であり、また、第2の信号
から第3の信号を生成する際の処理量を低減し、さらに
装置構成の大規模化をも防止可能である。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の画像符号化フォー
マット変換装置の概略構成を示すブロック回路図であ
る。
【図2】解像度変換前と後の画像における動きベクトル
の相関についての説明に用いる図である。
【図3】解像度及びフレームレート変換についての説明
に用いる図である。
【図4】画像サイズ調整フラグに基づく画素補填或いは
除去処理についての説明に用いる図である。
【図5】動きベクトル変換の動作原理の説明に用いる図
である。
【図6】動きベクトル変換器の詳細な構成及び動作の説
明に用いる図である。
【図7】ベクトル変換部の詳細な動作の説明に用いる図
である。
【図8】インターマクロブロックがフレーム構造でフレ
ーム予測のマクロブロックである場合の、ベクトル変換
部における動きベクトル変換の概念説明に用いる図であ
る。
【図9】トップフィールド予測である場合のベクトル変
換部における動きベクトル変換の概念説明に用いる図で
ある。
【図10】ボトムフィールド予測である場合のベクトル
変換部における動きベクトル変換の概念説明に用いる図
である。
【図11】各フィールドの時間的位置関係説明に用いる
図である。
【図12】動きベクトル調整部の詳細な動作説明に用い
る図である。
【図13】動きベクトル補正部の詳細な動作説明に用い
る図である。
【図14】第2の実施の形態の装置の概略構成を示すブ
ロック回路図である。
【図15】第3の実施の形態の装置の概略構成を示すブ
ロック回路図である。
【図16】従来の画像符号化フォーマット変換装置の概
略構成を示すブロック回路図である。
【符号の説明】
30 MPEG2画像復号化器、 31,166 解像
度フレームレート変換器、 32,164 動きベクト
ル変換器、 33,165 MPEG4画像符号化器、
34 解像度フレーム変換部、 35 画素補填/除
去部、 154フレームメモリ、 155 動き補償予
測器、 161 画像前処理フィルタ、 162 動き
補償器、 160 画像撮影装置、 167 画像受信
装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 名雲 武文 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 高橋 邦明 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK06 KK11 KK41 LB05 LB15 MA00 MC38 ME01 NN01 NN21 NN28 PP05 PP06 PP07 SS02 SS07 SS08 SS10 SS11 TA61 TB07 TC11 UA02 UA05 UA11 5J064 AA01 AA04 BA13 BA15 BB03 BC02 BD03

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 第1の信号に対して少なくとも解像度変
    換を施して第2の信号を生成し、当該第2の信号から第
    3の信号を生成する信号変換装置において、 上記解像度変換後の第2の信号に対して所定の位置の信
    号要素の補填若しくは除去を行い、当該第2の信号を上
    記第3の信号の生成に適した信号に調整する調整手段を
    有し、 上記調整後の第2の信号から第3の信号を生成すること
    を特徴とする信号変換装置。
  2. 【請求項2】 第1の信号に対して少なくとも解像度変
    換を施して第2の信号を生成し、当該第2の信号から第
    3の信号を生成する信号変換装置において、 上記第1の信号に含まれる処理パラメータを、上記第2
    の信号から第3の信号を生成する際に必要となる全部若
    しくは一部の処理パラメータに変換するパラメータ変換
    手段を有し、 上記パラメータ変換手段により得られた処理パラメータ
    を用いて、上記第2の信号から第3の信号を生成するこ
    とを特徴とする信号変換装置。
  3. 【請求項3】 第1の信号に対して少なくとも解像度変
    換を施して第2の信号を生成し、当該第2の信号から第
    3の信号を生成する信号変換装置において、 上記解像度変換後の第2の信号に対して所定の位置の信
    号要素の補填若しくは除去を行い、当該第2の信号を上
    記第3の信号の生成に適した信号に調整する調整手段
    と、 上記第1の信号から第2の信号を生成する際の上記解像
    度変換に応じて、上記第1の信号に含まれる処理パラメ
    ータを、上記第2の信号から第3の信号を生成する際に
    必要となる全部若しくは一部の処理パラメータに変換す
    るパラメータ変換手段とを有し、 上記パラメータ変換手段により得られた処理パラメータ
    を用いて、上記調整後の第2の信号から第3の信号を生
    成することを特徴とする信号変換装置。
  4. 【請求項4】 上記第1の信号は、水平及び垂直方向に
    複数画素からなる画素群毎に動き補償予測を行って符号
    化された第1の画像符号化信号を復号化した第1の画像
    信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記調整手段は、上記第2の画像信号を構成する上記画
    素群の水平或いは垂直方向の先頭画素列、若しくは水平
    或いは垂直方向の後部画素列に対して、上記信号要素で
    ある画素の補填若しくは除去を行うことを特徴とする請
    求項1記載の信号変換装置。
  5. 【請求項5】 上記第1の信号は、水平及び垂直方向に
    複数画素からなる画素群毎に動き補償予測を行って符号
    化された第1の画像符号化信号を復号化した第1の画像
    信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記パラメータ変換手段は、上記第1の画像符号化信号
    に含まれる処理パラメータ中の動きベクトルを、上記第
    2の画像信号から第3の画像符号化信号を生成する際の
    符号化に必要となる全部若しくは一部の動きベクトルに
    変換することを特徴とする請求項2記載の信号変換装
    置。
  6. 【請求項6】 上記第1の信号は、水平及び垂直方向に
    複数画素からなる画素群毎に動き補償予測を行って符号
    化された第1の画像符号化信号を復号化した第1の画像
    信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記調整手段は、上記第2の画像信号を構成する上記画
    素群の水平或いは垂直方向の先頭画素列、若しくは水平
    或いは垂直方向の後部画素列に対して、上記信号要素で
    ある画素の補填若しくは除去を行い、 上記パラメータ変換手段は、上記解像度変換に応じて、
    上記第1の画像符号化信号に含まれる処理パラメータ中
    の動きベクトルを、上記第2の画像信号から第3の画像
    符号化信号を生成する際の符号化に必要となる全部若し
    くは一部の動きベクトルに変換することを特徴とする請
    求項3記載の信号変換装置。
  7. 【請求項7】 上記パラメータ変換手段は、上記第1の
    画像符号化信号に含まれる処理パラメータ中の動きベク
    トルが、動き補償予測の予測画像を構成する整数画素の
    中間値位置を示しているとき、上記変換後の動きベクト
    ルも予測画像の整数画素の中間値位置を示すよう変換す
    ることを特徴とする請求項6記載の信号変換装置。
  8. 【請求項8】 上記解像度変換と共にレート変換を行
    い、上記第1の画像符号化信号の動き補償予測に用いた
    フィールド又はフレーム画像が間引かれているとき、上
    記パラメータ変換手段は、上記間引かれた後のフィール
    ド又はフレーム画像に対する動きベクトルに時空間の補
    正を行うことにより、上記間引かれたフィールド又はフ
    レーム画像に対応する動きベクトルを生成することを特
    徴とする請求項6記載の信号変換装置。
  9. 【請求項9】 上記第1の画像信号を構成する複数の画
    素群と、上記解像度変換後の第2の画像信号を構成する
    複数の画素群とが対応するとき、上記パラメータ変換手
    段は、上記第1の画像信号を構成する複数の画素群に対
    応する各動きベクトルを、上記第2の画像信号を構成す
    る複数の画素群に対応する各動きベクトルに変換すると
    共に、上記第2の画像信号を構成する複数の画素群を一
    つに纏めた画素群に対応する1つの動きベクトルを生成
    することを特徴とする請求項6記載の信号変換装置。
  10. 【請求項10】 上記パラメータ変換手段は、画像内符
    号化がなされた第1の画像符号化信号を復号化した第1
    の画像信号を上記解像度変換した第2の画像信号を構成
    する複数の画素群の各動きベクトルを、画像内符号化以
    外の符号化がなされた第1の画像符号化信号を復号化し
    た第1の画像信号を構成する複数の画素群に対応する各
    動きベクトルより求めることを特徴とする請求項6記載
    の信号変換装置。
  11. 【請求項11】 第1の信号に対して少なくとも解像度
    変換を施して第2の信号を生成し、当該第2の信号から
    第3の信号を生成する信号変換方法において、 上記解像度変換後の第2の信号に対して所定の位置の信
    号要素の補填若しくは除去を行い、当該第2の信号を上
    記第3の信号の生成に適した信号に調整し、 上記調整後の第2の信号から第3の信号を生成すること
    を特徴とする信号変換方法。
  12. 【請求項12】 第1の信号に対して少なくとも解像度
    変換を施して第2の信号を生成し、当該第2の信号から
    第3の信号を生成する信号変換方法において、 上記第1の信号に含まれる処理パラメータを、上記第2
    の信号から第3の信号を生成する際に必要となる全部若
    しくは一部の処理パラメータに変換し、 上記パラメータ変換により得られた処理パラメータを用
    いて、上記第2の信号から第3の信号を生成することを
    特徴とする信号変換方法。
  13. 【請求項13】 第1の信号に対して少なくとも解像度
    変換を施して第2の信号を生成し、当該第2の信号から
    第3の信号を生成する信号変換方法において、 上記解像度変換後の第2の信号に対して所定の位置の信
    号要素の補填若しくは除去を行い、当該第2の信号を上
    記第3の信号の生成に適した信号に調整し、 上記第1の信号から第2の信号を生成する際の上記解像
    度変換に応じて、上記第1の信号に含まれる処理パラメ
    ータを、上記第2の信号から第3の信号を生成する際に
    必要となる全部若しくは一部の処理パラメータに変換
    し、 上記パラメータ変換により得られた処理パラメータを用
    いて、上記調整後の第2の信号から第3の信号を生成す
    ることを特徴とする信号変換方法。
  14. 【請求項14】 上記第1の信号は、水平及び垂直方向
    に複数画素からなる画素群毎に動き補償予測を行って符
    号化された第1の画像符号化信号を復号化した第1の画
    像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記調整の際には、上記第2の画像信号を構成する上記
    画素群の水平或いは垂直方向の先頭画素列、若しくは水
    平或いは垂直方向の後部画素列に対して、上記信号要素
    である画素の補填若しくは除去を行うことを特徴とする
    請求項11記載の信号変換方法。
  15. 【請求項15】 上記第1の信号は、水平及び垂直方向
    に複数画素からなる画素群毎に動き補償予測を行って符
    号化された第1の画像符号化信号を復号化した第1の画
    像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記パラメータ変換の際には、上記第1の画像符号化信
    号に含まれる処理パラメータ中の動きベクトルを、上記
    第2の画像信号から第3の画像符号化信号を生成する際
    の符号化に必要となる全部若しくは一部の動きベクトル
    に変換することを特徴とする請求項12記載の信号変換
    方法。
  16. 【請求項16】 上記第1の信号は、水平及び垂直方向
    に複数画素からなる画素群毎に動き補償予測を行って符
    号化された第1の画像符号化信号を復号化した第1の画
    像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
    変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
    及び垂直方向に複数画素からなる画素群毎に動き補償予
    測を行って符号化した第3の画像符号化信号であり、 上記調整の際には、上記第2の画像信号を構成する上記
    画素群の水平或いは垂直方向の先頭画素列、若しくは水
    平或いは垂直方向の後部画素列に対して、上記信号要素
    である画素の補填若しくは除去を行い、 上記パラメータ変換の際には、上記解像度変換に応じ
    て、上記第1の画像符号化信号に含まれる処理パラメー
    タ中の動きベクトルを、上記第2の画像信号から第3の
    画像符号化信号を生成する際の符号化に必要となる全部
    若しくは一部の動きベクトルに変換することを特徴とす
    る請求項13記載の信号変換方法。
  17. 【請求項17】 上記パラメータ変換の際には、上記第
    1の画像符号化信号に含まれる処理パラメータ中の動き
    ベクトルが、動き補償予測の予測画像を構成する整数画
    素の中間値位置を示しているとき、上記変換後の動きベ
    クトルも予測画像の整数画素の中間値位置を示すよう変
    換することを特徴とする請求項16記載の信号変換方
    法。
  18. 【請求項18】 上記解像度変換と共にレート変換を行
    い、上記第1の画像符号化信号の動き補償予測に用いた
    フィールド又はフレーム画像が間引かれているとき、上
    記パラメータ変換の際には、上記間引かれた後のフィー
    ルド又はフレーム画像に対する動きベクトルに時空間の
    補正を行うことにより、上記間引かれたフィールド又は
    フレーム画像に対応する動きベクトルを生成することを
    特徴とする請求項16記載の信号変換方法。
  19. 【請求項19】 上記第1の画像信号を構成する複数の
    画素群と、上記解像度変換後の第2の画像信号を構成す
    る複数の画素群とが対応するとき、上記パラメータ変換
    の際には、上記第1の画像信号を構成する複数の画素群
    に対応する各動きベクトルを、上記第2の画像信号を構
    成する複数の画素群に対応する各動きベクトルに変換す
    ると共に、上記第2の画像信号を構成する複数の画素群
    を一つに纏めた画素群に対応する1つの動きベクトルを
    生成することを特徴とする請求項16記載の信号変換方
    法。
  20. 【請求項20】 上記パラメータ変換の際には、画像内
    符号化がなされた第1の画像符号化信号を復号化した第
    1の画像信号を上記解像度変換した第2の画像信号を構
    成する複数の画素群の各動きベクトルを、画像内符号化
    以外の符号化がなされた第1の画像符号化信号を復号化
    した第1の画像信号を構成する複数の画素群に対応する
    各動きベクトルより求めることを特徴とする請求項16
    記載の信号変換方法。
JP2000050524A 2000-02-22 2000-02-22 画像処理装置及び方法 Expired - Lifetime JP4378824B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000050524A JP4378824B2 (ja) 2000-02-22 2000-02-22 画像処理装置及び方法
US09/791,013 US6983019B2 (en) 2000-02-22 2001-02-22 Apparatus and method for converting signals
US11/193,244 US7711050B2 (en) 2000-02-22 2005-07-29 Apparatus and method for converting signals
US12/754,902 US20100195735A1 (en) 2000-02-22 2010-04-06 Apparatus and method for converting signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000050524A JP4378824B2 (ja) 2000-02-22 2000-02-22 画像処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2001238218A true JP2001238218A (ja) 2001-08-31
JP4378824B2 JP4378824B2 (ja) 2009-12-09

Family

ID=18572294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000050524A Expired - Lifetime JP4378824B2 (ja) 2000-02-22 2000-02-22 画像処理装置及び方法

Country Status (2)

Country Link
US (3) US6983019B2 (ja)
JP (1) JP4378824B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102014A (ja) * 2001-09-21 2003-04-04 Mitsubishi Electric Corp 動画データ変換装置および動画データ変換プログラム
JP2005033789A (ja) * 2003-07-04 2005-02-03 Nextream France ビデオデータを符号化するための装置および方法
JP2006508557A (ja) * 2002-03-28 2006-03-09 インテル コーポレイション トランスコーディングを行う装置、システム及び方法
JP2008061270A (ja) * 2007-10-01 2008-03-13 Hitachi Ltd 動画符号化装置、及び動画記録再生装置
US7346108B2 (en) 2002-11-29 2008-03-18 Canon Kabushiki Kaisha Encoded-data converting apparatus and method for the same
US7474837B2 (en) 2001-01-24 2009-01-06 Sony Corporation Recording and playback apparatus and method, program storage medium, and program
US8170111B2 (en) 2002-06-17 2012-05-01 Hitachi, Ltd. Moving picture encoding apparatus
US8416852B2 (en) 2006-03-23 2013-04-09 Sony Corporation Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
JP4457506B2 (ja) * 2001-02-27 2010-04-28 ソニー株式会社 パケット化装置およびパケット化方法
JP2003116104A (ja) * 2001-10-02 2003-04-18 Sony Corp 情報処理装置及び情報処理方法
WO2003056838A1 (en) * 2001-12-25 2003-07-10 Matsushita Electric Industrial Co., Ltd. Moving picture compression/coding apparatus and motion vector detection method
US7469012B2 (en) * 2002-05-14 2008-12-23 Broadcom Corporation System and method for transcoding entropy-coded bitstreams
US7009655B2 (en) * 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP3937223B2 (ja) 2003-01-21 2007-06-27 ソニー株式会社 記録装置、再生装置、記録方法及び再生方法
WO2004073313A1 (en) * 2003-02-13 2004-08-26 Koninklijke Philips Electronics N.V. Spatio-temporal up-conversion
JP2006524000A (ja) * 2003-04-17 2006-10-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオトランスコーディング
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8107531B2 (en) 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7554602B2 (en) * 2004-07-12 2009-06-30 Canon Kabushiki Kaisha Processing interlaced video in a frame based rendering system
ITTO20040780A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
JP5188033B2 (ja) * 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
JP4777185B2 (ja) * 2006-08-08 2011-09-21 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体、及び、画像符号化装置
US8195008B2 (en) * 2007-06-28 2012-06-05 Broadcom Corporation Method and system for processing video data in a multipixel memory to memory compositor
JP2009027446A (ja) * 2007-07-19 2009-02-05 Olympus Corp 画像処理方法および画像処理装置
US8965183B1 (en) * 2008-01-30 2015-02-24 Dominic M. Kotab Systems and methods for creating and storing reduced quality video data
US9232174B1 (en) 2008-06-25 2016-01-05 Dominic M. Kotab Methods for receiving and sending video to a handheld device
US20130286160A1 (en) * 2011-02-17 2013-10-31 Panasonic Corporation Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US10382512B2 (en) * 2013-03-14 2019-08-13 Microsoft Technology Licensing, Llc Distributed fragment timestamp synchronization
US9275434B2 (en) 2014-03-11 2016-03-01 Qualcomm Incorporated Phase control multi-tap downscale filter

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178270A (ja) 1992-12-01 1994-06-24 Matsushita Electric Ind Co Ltd 映像再生装置
US5796439A (en) * 1995-12-21 1998-08-18 Siemens Medical Systems, Inc. Video format conversion process and apparatus
DE69718090T2 (de) * 1996-03-15 2003-11-06 Matsushita Electric Industrial Co., Ltd. Verfahren und Vorrichtung zum Kodieren und Dekodieren von Bildern
JP3773585B2 (ja) * 1996-03-29 2006-05-10 富士通株式会社 画像符号化装置
JPH1051766A (ja) * 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
JP3774954B2 (ja) 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
KR100326641B1 (ko) * 1996-12-06 2002-08-27 마츠시타 덴끼 산교 가부시키가이샤 영상신호의전송,부호화,복호화방법및장치와광디스크의기록및재생방법
JP2933561B2 (ja) 1997-03-26 1999-08-16 日本電気通信システム株式会社 動画符号変換装置
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
JPH11275592A (ja) * 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
US6584154B1 (en) * 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
JP4622077B2 (ja) * 2000-10-11 2011-02-02 ソニー株式会社 画像処理装置及び画像処理方法
JP4682410B2 (ja) * 2000-10-12 2011-05-11 ソニー株式会社 画像処理装置及び画像処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7474837B2 (en) 2001-01-24 2009-01-06 Sony Corporation Recording and playback apparatus and method, program storage medium, and program
JP2003102014A (ja) * 2001-09-21 2003-04-04 Mitsubishi Electric Corp 動画データ変換装置および動画データ変換プログラム
JP4574090B2 (ja) * 2001-09-21 2010-11-04 三菱電機株式会社 動画データ変換装置および動画データ変換プログラム
JP2006508557A (ja) * 2002-03-28 2006-03-09 インテル コーポレイション トランスコーディングを行う装置、システム及び方法
US8170111B2 (en) 2002-06-17 2012-05-01 Hitachi, Ltd. Moving picture encoding apparatus
US7346108B2 (en) 2002-11-29 2008-03-18 Canon Kabushiki Kaisha Encoded-data converting apparatus and method for the same
JP2005033789A (ja) * 2003-07-04 2005-02-03 Nextream France ビデオデータを符号化するための装置および方法
JP4669239B2 (ja) * 2003-07-04 2011-04-13 ネクストリーム・フランス ビデオデータを符号化するための装置および方法
US8416852B2 (en) 2006-03-23 2013-04-09 Sony Corporation Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus
JP2008061270A (ja) * 2007-10-01 2008-03-13 Hitachi Ltd 動画符号化装置、及び動画記録再生装置
JP4642055B2 (ja) * 2007-10-01 2011-03-02 株式会社日立製作所 動画符号化装置、及び動画記録再生装置

Also Published As

Publication number Publication date
JP4378824B2 (ja) 2009-12-09
US20100195735A1 (en) 2010-08-05
US20050265457A1 (en) 2005-12-01
US20020001348A1 (en) 2002-01-03
US6983019B2 (en) 2006-01-03
US7711050B2 (en) 2010-05-04

Similar Documents

Publication Publication Date Title
JP2001238218A (ja) 信号変換装置及び方法
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
US7146056B2 (en) Efficient spatial scalable compression schemes
US8036273B2 (en) Method for sub-pixel value interpolation
JP2002125236A (ja) 動きベクトル変換方法及び変換装置
EP1212896A2 (en) Circuit and method for modifying a region of an encoded image
JP3855522B2 (ja) 動画変換装置
JP2006518568A (ja) ビデオ符号化
US6498816B1 (en) Circuit and method for formatting each of a series of encoded video images into respective regions
KR100945826B1 (ko) 화상 정보 복호 방법 및 장치
JP3649370B2 (ja) 動き補償符号化装置及び動き補償符号化方法
JPH07212761A (ja) 階層符号化装置及び階層復号化装置
JP2002118851A (ja) 動きベクトル変換方法及び変換装置
KR100364748B1 (ko) 영상 변환 부호화 장치
JP2002044669A (ja) 画像情報変換装置及び方法
JP2002010267A (ja) 動きベクトル変換装置及び方法
JP4422629B2 (ja) 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置
JPH09261530A (ja) 映像記録装置
JP2001086508A (ja) 動画像復号方法及び動画像復号装置
JP4556286B2 (ja) 動きベクトル変換装置及び方法
JPH10126749A (ja) 順次走査変換装置
GB2379820A (en) Interpolating values for sub-pixels
JP2630022B2 (ja) 動き補償フレーム間符号化装置
JP4529295B2 (ja) 動きベクトル変換方法及び変換装置
JP2002199399A (ja) 動きベクトル変換方法及び変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090907

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3