JP2001238218A - 信号変換装置及び方法 - Google Patents
信号変換装置及び方法Info
- Publication number
- JP2001238218A JP2001238218A JP2000050524A JP2000050524A JP2001238218A JP 2001238218 A JP2001238218 A JP 2001238218A JP 2000050524 A JP2000050524 A JP 2000050524A JP 2000050524 A JP2000050524 A JP 2000050524A JP 2001238218 A JP2001238218 A JP 2001238218A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- conversion
- motion vector
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 79
- 239000013598 vector Substances 0.000 claims abstract description 283
- 238000006243 chemical reaction Methods 0.000 claims description 256
- 238000012545 processing Methods 0.000 claims description 70
- 238000012937 correction Methods 0.000 claims description 57
- 230000009469 supplementation Effects 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims 1
- 230000000593 degrading effect Effects 0.000 abstract 1
- 239000013589 supplement Substances 0.000 abstract 1
- 230000002123 temporal effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000002542 deteriorative effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100366711 Arabidopsis thaliana SSL13 gene Proteins 0.000 description 1
- 101100096719 Arabidopsis thaliana SSL2 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100366560 Panax ginseng SS10 gene Proteins 0.000 description 1
- 101100366561 Panax ginseng SS11 gene Proteins 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
信号に変換可能と、また、第2の信号から第3の信号を
生成する際の処理量を低減し、さらに装置構成の大規模
化をも防止可能とする。 【解決手段】 MPEG2画像符号化ビットストリーム
をMPEG2画像復号器30により復号化し、その画像
信号の解像度フレームレート変換器31により変換し、
さらにMPEG4画像符号化器33でMPEG4画像符
号化ビットストリームに変換する。解像度フレームレー
ト変換器31では、マクロブロックの開始位置に合わせ
て画素の補填若しくは除去を行うことで、入力した画像
信号をMPEG4画像符号化に適した信号に調整する。
動きベクトル変換器32では、MPEG2動きベクトル
等のパラメータからMPEG4動きベクトルを作り、M
PEG4画像符号化器33ではそのMPEG4動きベク
トルを用いて符号化を行う。
Description
方法に関し、特に、例えば光磁気ディスクや磁気テー
プ、フラッシュメモリ等の記録媒体に記録し、もしくは
衛星放送で伝送し、それを光磁気ディスクや磁気テー
プ、フラッシュメモリ等の記録媒体に再記録、あるいは
テレビ会議システムやテレビ電話システム、インターネ
ット、携帯電話等低ビットレート伝送路を介して送信側
から受信側に伝送し、受信側において、必要に応じたフ
ォーマット変換等を行い、これを表示、伝送する場合な
どに用いて好適な信号変換装置及び方法に関する。
を、異なる画像符号化フォーマットの画像符号化ビット
ストリームに変換する、従来の画像符号化フォーマット
変換装置の概略構成を図16に示す。なお、この図16
に例示した画像符号化フォーマット変換装置は、入力さ
れたMPEG2(Moving Picture image coding Expert
s Group:ISO/IEC13818−2)画像符号化
ビットストリームを、MPEG4(ISO/IEC14
496−2)画像符号化ビットストリームヘ変換する装
置である。
マット変換装置において、入力されたMPEG2画像符
号化ビットストリームはMPEG2画像復号化器210
へ送られる。
れたMPEG2画像符号化ビットストリームを、MPE
G2画像復号化方式に従って復号して画像信号を復元す
る。当該復元された画像信号は解像度フレームレート変
換器211に入力する。
記復元された画像の解像度を任意の異なる解像度、フレ
ームレートを持つ画像信号に変換し、その解像度変換後
の画像信号をMPEG4画像符号化器212に送る。な
お、この例では、上記復元された画像の解像度を、例え
ば垂直方向及び水平方向共に二分の一に変換している。
像度フレームレート変換器211から供給された画像信
号をMPEG4画像符号化方式に従って符号化し、MP
EG4画像符号化ビットストリームを生成する。このM
PEG4画像符号化ビットストリームは、当該図16の
画像符号化フォーマット変換装置から出力される。
化フォーマット変換装置は、図16に示したように、M
PEG2画像復号化器210でMPEG2画像復号化方
式により復元された画像信号を、MPEG4画像符号化
器212でMPEG4画像符号化方式により符号化し、
MPEG4画像符号化ビットストリームを出力するよう
になされている。すなわち、MPEG4画像符号化器2
12では、通常の符号化時と同様に、上記MPEG2画
像復号化器210にて復元された画像信号から動きベク
トルを検出し、動き予測を行って符号化することが行わ
れる。
MPEG4画像符号化器212内において、入力された
画像信号を符号化する際に、動きベクトルを検出するプ
ロセスが全処理量の約60〜70パーセントを占めてし
まう。そのため、画像のリアルタイムでの処理が困難と
なり、時間遅延が発生するという問題がある。また、装
置が大規模になるという問題もある。
ト変換装置は、MPEG2画像復号化方式により復元さ
れた画像信号に対して、解像度フレームレート変換器2
11により解像度及びフレームレート変換処理を施し、
この解像度及びフレームレート変換後の画像信号にMP
EG4画像符号化処理を施すようにしている。
器211から出力された画像信号の解像度及びフレーム
レートが、例えばMPEG4画像符号化処理に適さない
ものとなる恐れがあり、その場合、MPEG4画像符号
化処理が適正に行えなくなる。
てなされたものであり、例えば、MPEG2画像符号化
ビットストリームのような第1の信号に対して少なくと
も解像度変換処理を施し、その解像度変換後の第2の信
号から、MPEG4画像符号化ビットストリームのよう
な第3の信号を生成する場合において、信号品質を劣化
させずに、第1の信号から最終的に第3の信号を生成で
き、また、第3の信号の生成処理の際の処理量を低減
し、さらに装置構成の大規模化をも防止可能とする信号
変換装置及び方法を提供することを目的とする。
は、第1の信号に対して少なくとも解像度変換を施して
第2の信号を生成し、当該第2の信号から第3の信号を
生成する信号変換装置であり、上記解像度変換後の第2
の信号に対して所定の位置の信号要素の補填若しくは除
去を行い、当該第2の信号を上記第3の信号の生成に適
した信号に調整する調整手段を有し、上記調整後の第2
の信号から第3の信号を生成することにより、上述した
課題を解決する。
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換装置であり、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換す
るパラメータ変換手段を有し、上記パラメータ変換手段
により得られた処理パラメータを用いて、上記第2の信
号から第3の信号を生成することにより、上述した課題
を解決する。
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換装置であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整する調整手段と、上記第1の信号から第2の信号を生
成する際の上記解像度変換に応じて、上記第1の信号に
含まれる処理パラメータを、上記第2の信号から第3の
信号を生成する際に必要となる全部若しくは一部の処理
パラメータに変換するパラメータ変換手段とを有し、上
記パラメータ変換手段により得られた処理パラメータを
用いて、上記調整後の第2の信号から第3の信号を生成
することにより、上述した課題を解決する。
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整し、上記調整後の第2の信号から第3の信号を生成す
ることにより、上述した課題を解決する。
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換
し、上記パラメータ変換により得られた処理パラメータ
を用いて、上記第2の信号から第3の信号を生成するこ
とにより、上述した課題を解決する。
号に対して少なくとも解像度変換を施して第2の信号を
生成し、当該第2の信号から第3の信号を生成する信号
変換方法であり、上記解像度変換後の第2の信号に対し
て所定の位置の信号要素の補填若しくは除去を行い、当
該第2の信号を上記第3の信号の生成に適した信号に調
整し、上記第1の信号から第2の信号を生成する際の上
記解像度変換に応じて、上記第1の信号に含まれる処理
パラメータを、上記第2の信号から第3の信号を生成す
る際に必要となる全部若しくは一部の処理パラメータに
変換し、上記パラメータ変換により得られた処理パラメ
ータを用いて、上記調整後の第2の信号から第3の信号
を生成することにより、上述した課題を解決する。
態について、図面を参照しながら説明する。
態の画像符号化フォーマット変換装置の概略構成を示
す。
の画像符号化フォーマット変換装置において、入力され
たMPEG2画像符号化ビットストリームは、MPEG
2画像復号化器30へ送られる。
たMPEG2画像符号化ビットストリームを、MPEG
2画像復号化方式に従って復号して画像信号を復元す
る。当該復元された画像信号(インターレース画像信
号)は解像度フレームレート変換器31に入力する。
復元された画像を、任意の解像度、フレームレートを持
つ画像信号に変換し、さらに、外部から入力された画像
サイズ調整フラグにより、後段でのMPEG4画像符号
化に適した解像度を持つ画像に調整した後、その画像信
号をMPEG4画像符号化器33に送る。
度フレームレート変換器31より供給された画像信号か
ら、MPEG4画像符号化ビットストリームを生成す
る。このMPEG4画像符号化ビットストリームは、当
該図1の画像符号化フォーマット変換装置から出力され
る。
あるが、本実施の形態の画像符号化フォーマット変換装
置では、後述するように、解像度及びフレームレート変
換する前と後の画像における動きベクトルの大きさ及び
方向の相関が大きいことを利用し、MPEG2画像復号
化器30が復号化の際に使用したMPEG2画像符号化
方式の動きベクトル(以下、MPEG2動きベクトルと
呼ぶ。)をMPEG4画像符号化方式の動きベクトル
(以下、MPEG4動きベクトルと呼ぶ。)に変換し、
そのMPEG4動きベクトルを用いてMPEG4画像符
号化器33が符号化処理を行うことにより、当該MPE
G4画像符号化器33での動きベクトル検出処理を不要
としている。
ーマット変換装置によれば、MPEG2画像復号化器3
0が復号化の際に使用したMPEG2動きベクトルを取
り出して動きベクトル変換器32に送り、当該動きベク
トル変換器32では、上記MPEG2動きベクトルをM
PEG4動きベクトルに変換してMPEG4画像符号化
器33に送り、MPEG4画像符号化器33では、解像
度フレームレート変換後の画像信号を、上記動きベクト
ル変換器32より供給されたMPEG4動きベクトルを
使用して符号化する。
ォーマット変換装置によれば、MPEG4画像符号化器
33で動きベクトル検出を行わないため、全体の処理量
を削減することができ、装置構成の大規模化をも防止可
能となり、また、当該処理量の削減に伴って時間遅延が
少なくなることにより、画像のリアルタイム処理も容易
となっている。
ット変換装置では、上記動きベクトル以外にも、MPE
G2画像復号化器30での復号に用いた画像サイズ、マ
クロブロックタイプ等のパラメータ、若しくは解像度及
びフレームレート変換後のパラメータを、MPEG4画
像符号化時に採用することにより、MPEG4画像符号
化器33での処理量を減らして符号化効率を更に向上さ
せると共に、処理時間の短縮化をも可能としている。
おける動きベクトルの相関について説明する。なお、図
2の(a)は解像度変換前の現フレームの画像例を示
し、図2の(b)には図2の(a)の画像を解像度変換
した後の現フレームの画像例を示す。また、図中のdm
にて示す領域の位置は、現フレーム内のある画像部分o
bが前フレーム内において存在していた位置を表し、図
中のMVにて示す矢印は前フレーム内の画像部分obと
現フレーム内の画像部分obとの間の動きベクトルを表
している。
での位置dmから現フレームでの画像部分obの位置へ
の動きベクトルMVの水平成分は、解像度変換前の動き
ベクトルMVの水平成分と画像の水平方向の解像度変換
レートによって求めることができる。また、解像度変換
後の前フレームでの位置dmから現フレームでの画像部
分obの位置への動きベクトルMVの垂直成分は、解像
度変換前の動きベクトルMVの垂直成分と画像の垂直方
向の解像度変換レートによって求められる。すなわち、
解像度変換前の動きベクトルMVと変換後の動きベクト
ルMVとは大きな相関を持っており、当該相関を利用す
れば、解像度変換前の動きベクトルMVから変換後の動
きベクトルMVを求めることができる。
符号化フォーマット変換装置では、上記入力されたMP
EG2画像符号化ビットストリームをMPEG4画像符
号化ビットストリームヘ変換して出力する際に、上記M
PEG2画像符号化ビットストリームに含まれるMPE
G2画像符号化方式におけるマクロブロックの動きベク
トル(MPEG2動きベクトル)やマクロブロックタイ
プ等のパラメータを抽出して動きベクトル変換器32に
送り、当該動きベクトル変換器32にてそれらをMPE
G4動きベクトルやマクロブロックタイプ等のパラメー
タに簡潔に変換するようにしている。
画像符号化フォーマット変換装置の詳細について説明す
る。
たMPEG2画像符号化ビットストリームに対して可変
長符号の復号化を行うことにより、インタレースの画像
信号を復元する。この復元されたインタレース画像信号
は、解像度フレームレート変換器31に送られる。
度及びフレームレート変換を行う解像度フレーム変換部
34と、画素の補間又は除去を行う画素補間/除去部3
5とからなる。
G2画像復号化器30より入力された画像信号に対して
解像度フレーム変換処理を施す。なお、本実施の形態で
は、解像度フレーム変換部34での処理として、例えば
垂直方向及び水平方向とも解像度を二分の一にする例を
挙げる。
部34では、図3に示すように、上記入力されたインタ
レース画像のトップフィールド(Top Field)若しくは
ボトムフィールド(Bottom Field)の何れか一方のみを
抽出してプログレッシブ画像に変換することにより、画
像の垂直方向の解像度を二分の一にする。さらに、解像
度フレーム変換部34は、ダウンサンプリング(down‐
sampling)フィルタにより、画像の水平方向の解像度を
二分の一に変換する。また、解像度フレーム変換部34
では、さらなる低ビットレート化を実現するために、上
記解像度の変換による圧縮に加えて、I(画像内符号化
画像)とPピクチャ(前方予測符号化画像)、B(両方
向予測符号化画像)ピクチャのうちIピクチャとPピク
チャのみを抜き出し、時間方向での圧縮を行う(フレー
ムレートを落とす)。なお、図3の例では、入力インタ
レース画像を構成するトップフィールドとボトムフィー
ルドのうち、トップフィールドのみを抽出してプログレ
ッシブ画像に変換することで画像の垂直方向の解像度を
二分の一にし、それらトップフィールドから生成された
各プログレッシブ画像をダウンサンプルした後、Iピク
チャとPピクチャのみを抜き出すことでフレームレート
を落とす様子を表している。なお、ダウンサンプルはフ
レームレートを落とした後に行っても良い。これのよう
に、図3に示したMPEG2のI,B,B,P,B,
B,P,・・・の各ピクチャからなる入力画像信号は、
当該解像度フレーム変換部34での解像度フレーム変換
により、I,P,P,P,P,・・・のトップフィール
ドのみからなる画像信号になされる。上記解像度フレー
ム変換部34からの出力は、画素補間/除去部35に送
られる。
EG4画像符号化器33がMPEG4画像符号化方式に
より符号化を行えるようにするために、上記解像度フレ
ーム変換を行った後の画像を、垂直方向及び水平方向の
画素数がともに16の倍数になるように調整する。その
ため、画素補間/除去部35では、外部から入力される
画像サイズ調整フラグに基づいて、画素の補填あるいは
画素の除去の何れかを行う。なお、画像サイズ調整フラ
グは、解像度フレームレート変換器31の外部から入力
されて画素補間/除去部35に供給されるものであり、
上記変換後の画像の垂直方向及び水平方向の画素数が1
6の倍数でない場合に、画素補間/除去部35に対して
画素補填もしくは除去の何れかの処理を行わせるための
指示フラグである。従って、画像サイズ調整フラグが画
素補填若しくは除去の何れかの処理を指示する値である
とき、画素補間/除去部35は、その指示(画像サイズ
調整フラグの値)に応じて、画素補填若しくは除去の何
れかの処理を行い、垂直方向及び水平方向の画素数が1
6の倍数となる画像を生成する。
が、上記画像サイズ調整フラグに基づいて行う、画素補
填或いは除去処理について説明する。
された画像G1の解像度がm画像×n画素であるとする
と、上記m,nは共に16の倍数となっているが、上記
解像度フレーム変換部34にて垂直方向及び水平方向と
もに二分の一に解像度変換がなされた後の画像の画素
数、すなわちm/2画素とn/2画素は、16の整数倍
又は16で割って8画素の余りがあるものとなる。
/2画素,n/2画素が共に16の倍数である場合(画
像G2)には、後段にて行われるMPEG4符号化方式
に適する画像になっているため、当該画像G2に対して
画素補填或いは除去の処理を行う必要はない。一方、そ
れ以外の場合(m/2画素若しくはn/2画素を16で
割ると8画素余る場合)、その画像はMPEG4符号化
方式に適していないことになるため、その画素数を16
の倍数にするための画素補填或いは画素の除去の何れか
の処理が必要となる。
記画像サイズ調整フラグとして、画素の補填と除去の二
つの選択肢のうちの何れを行うかを選択(SW1)する
ための値が外部から入力されており、上記解像度フレー
ム変換部34にて変換された後の画像のm/2画素とn
/2画素が共に16の整数倍であるか、或いは16で割
って8画素の余りがあるのかを判定(J1)し、その判
定(J1)の結果に基づいて、上記外部から入力されて
いる画像サイズ調整フラグを使用するか否かを判断して
いる。
の画像のm/2画素或いはn/2画素が16で割って8
画素が余ると判定(判定処理J1にてNo)されている
場合において、例えば上記画像サイズ調整フラグとして
画素の除去を選択する値が入力されているときには、上
記画素補填/除去部35では、上記m/2画素若しくは
n/2画素を16で割って余った8画素を、水平或いは
垂直方向における先頭画素列、若しくは水平或いは垂直
方向における後部画素列から除去する。これにより、当
該画素除去後の画像G3は、その画素数が(m/2−
8)画素若しくは(n/2−8)画素の画像となる。
変換後の画像のm/2画素或いはn/2画素が16で割
って8画素が余ると判定(判定処理J1にてNo)され
ている場合において、例えば上記画像サイズ調整フラグ
として画素の補填を選択する値が入力されているときに
は、上記画素補填/除去部35では、新たに作成した8
画素又は元の画像から複製した8画素又は画像に適した
8画素を、水平或いは垂直方向における先頭画素列、若
しくは水平或いは垂直方向における後部画素列に付け加
える。これにより、当該補填後の画像G4は、その画素
数が(m/2+8)画素若しくは(n/2+8)画素の
画像となる。
5から出力される画像は、垂直方向及び水平方向共に画
素数が16の倍数となり、後段で行われるMPEG4符
号化方式に適したサイズを持つ画像となる。
変換器31において解像度フレーム変換処理と画素補填
/除去処理がなされた後の画像信号は、MPEG4画像
符号化器33に入力する。
MPEG2画像復号化方式を行うことにより得られたP
ピクチャのみのマクロブロックの動きベクトルやマクロ
ブロックタイプ等のパラメータは、動きベクトル変換器
32に送られる。
2画像復号化器30から供給されたMPEG2動きベク
トルやマクロブロックタイプ等のパラメータを、MPE
G4動きベクトルやマクロブロックタイプ等のパラメー
タに変換する。
ベクトル変換の動作原理を図5を用いて説明する。
(b)の画像G2において、実線で区切られている各正
方格子の一つ一つはマクロブロックを示している。ま
た、図5の(a)の画像G1は、MPEG2画像復号化
器30より出力された画像(すなわち解像度変換前の画
像)であり、図5の(b)の画像G2は、図5の(a)
の画像G1を解像度フレームレート変換器31により垂
直方向及び水平方向の解像度とも二分の一に変換した画
像である。
像G1のうち、例えば左上の16画素×16画素のマク
ロブロックは、解像度変換後には図5の(b)の画像G
2内の左上の8画素×8画素のブロックになる。すなわ
ち、解像度がm画像×n画素(m,nは共に16の倍
数)の図5の(a)に示す画像G1を、上記解像度フレ
ームレート変換器31にて垂直方向及び水平方向共に二
分の一に解像度を落とすことにより、図5の(b)に示
すm/2画素×n/2画素の画像G2に変換した場合、
解像度変換前の画像G1内の4つの16画素×16画素
のマクロブロックMB1〜MB4は、画像G2内の4つ
の8画素×8画素のブロックb1〜b4に変換されるこ
とになる。また、これら解像度変換後の画像G2内の4
つのブロックb1〜b4により一つのマクロブロックM
BTが構成されることになる。
の4つの16画素×16画素のマクロブロックMB1〜
MB4の各動きベクトルMV1〜MV4と、解像度変換
後の画像G2内の4つの8画素×8画素のブロックb1
〜b4の各動きベクトルmv1〜m4は相関が大きい。
このため、動きベクトル変換器32では、動きベクトル
変換処理T1として、上記画像G1内の4つのマクロブ
ロックMB1〜MB4の各動きベクトルMV1〜MV4
から、上記画像G2の4つのブロックb1〜b4の各動
きベクトルmv1〜mv4を求めることができ、さらに
これら4つのブロックb1〜b4からなる16画素×1
6画素のマクロブロックMBTの動きベクトルMVTを
も、上記4つのブロックb1〜b4の動きベクトルmv
1〜mv4から求めることができる。
ような動きベクトル変換処理を行う動きベクトル変換器
32の詳細な構成及び動作について説明する。
MPEG2画像復号化器30から出力されたMPEG2
画像符号化方式に対応した16画素×16画素の画マク
ロブロックMBの動きベクトルMVと、画像サイズ、マ
クロブロックタイプなどのパラメータが入力する。
16画素×16画素の各マクロブロックMBの動きベク
トルMVと、画像サイズ、マクロブロックタイプなどの
パラメータから、解像度フレームレート変換後の8画素
×8画素の各ブロックbのそれぞれに対応する動きベク
トルmvを生成する。
詳細な動作について説明する。すなわち、上記入力され
た16画素×16画素の各マクロブロックMBの動きベ
クトルMVと、画像サイズ、マクロブロックタイプなど
のパラメータに対し、ベクトル変換器70は、次のよう
に動作する。なお、MPEG2画像符号化方式には、フ
レーム構造が多く使われているため、ここではフレーム
構造の場合についての処理のみの変換方法を説明する。
1の処理として、入力された動きベクトルMVが、イン
トラ(Intra)マクロブロック(画像内符号化がなされ
たマクロブロック)か、或いはインター(Inter)マク
ロブロック(非画像内符号化がなされたマクロブロッ
ク)か、或いはスキップマクロブロックか、No MC
マクロブロックの何れのマクロブロックに対応する動き
ベクトルであるのかを、例えばマクロブロックタイプに
基づいて判定する。
ラマクロブロックの動きベクトルであると判定した場
合、ベクトル変換部70は、ステップS4の処理に進
む。ステップS4の処理に進むと、ベクトル変換部70
は、先ず、解像度変換後の8画素×8画素のブロックの
動きベクトルmvの値を0に設定し、さらに後段の動き
ベクトル補正部73による処理を行うために、イントラ
モードフラグを設ける。なお、MPEG2画像符号化方
式の場合、イントラマクロブロックであるときにはイン
トラモードフラグが立てられる。
ップマクロブロックの動きベクトルであると判定した場
合、ベクトル変換部70は、ステップS5の処理に進
み、解像度変換後の8画素×8画素のブロックの動きベ
クトルmvの値を0に設定する。
MCマクロブロックの動きベクトルであると判定した
場合、ベクトル変換部70は、ステップS9の処理に進
み、解像度変換後の8画素×8画素のブロックの動きベ
クトルmvの値を0に設定する。
ターマクロブロックの動きベクトルであると判定された
場合、ベクトル変換部70は、ステップS2の処理に進
む。
換部70は、当該動きベクトルに対応する16画素×1
6画素のインターマクロブロックが、フレーム構造で且
つフレーム予測のマクロブロックであるか、或いはフレ
ーム構造でフィールド予測のマクロブロックであるかの
判定を行う。
ム構造でフレーム予測のマクロブロックであると判定さ
れた場合、ベクトル変換部70は、ステップS6の処理
に進み、以下のようなことを行って、フレーム予測に適
した動きベクトルへの変換を行う。
フレーム構造でフレーム予測のマクロブロックであると
判定した場合の、ベクトル変換部70における動きベク
トル変換の概念図を示す。図8の(a)は解像度変換前
を、図8の(b)は解像度変換後を表している。なお、
この図8中のpxiは解像度変換前の整数画素を表し、
hpは解像度変換前の半画素を、hpdは解像度変換後
の半画素を表している。また、図8では、整数画素px
iの中間値(halr pel position、半画素)の間隔に対
応して、動きベクトルMVの水平及び垂直方向の大きさ
成分を「1」として表している。以下、動きベクトルの
水平方向の大きさ成分を水平成分、垂直方向の大きさ成
分を垂直成分と呼ぶことにする。
像度変換後の動きベクトルの水平成分は、解像度変換前
の動きベクトルの水平成分と、画像の水平方向の解像度
変換レートとから求められる。また、解像度変換後の動
きベクトルの垂直成分は、解像度変換前の動きベクトル
の垂直成分と、画像の垂直方向の解像度変換レートとか
ら求められる。すなわち、画像の水平方向の解像度が二
分の一に変換された場合、その解像度変換後の動きベク
トルの水平成分も、変換前の二分の一になる。また、画
像の垂直方向の解像度が二分の一に変換された場合、そ
の解像度変換後の動きベクトルの垂直成分も、変換前の
二分の一になる。図8の例の場合、解像度変換後の前フ
レームでの位置dmから現フレームでの画像部分obの
位置への動きベクトルは、解像度変換前の動きベクトル
MVの水平成分が「8」で、垂直成分が「12」となっ
ていたものが、解像度変換後の動きベクトルMV’(m
v)は水平成分が「4’」で垂直成分が「6’」とな
る。
クトルの大きさ成分が、解像度変換前に整数画素の位置
で表されていたものは、解像度変換後も、整数画素若し
くは半画素の位置で表すことができるが、解像度変換前
に半画素の位置で表されていたものは、解像度変換後に
対応する画素が無くなる。
して、解像度変換前に半画素の位置で表されていたもの
については、解像度変換後は予測画像の半画素位置で示
すようにする。なお、本来、復号された画像信号には、
量子化による歪みが含まれているため、これをそのまま
予測画像として使用すると予測効率が低下し、画質劣化
を引き起こす場合がある。一方、参照画面での各画素間
を1:1で直線補間した半画素精度を選択すれば、画質
劣化を避けることができる。したがって、MPEG2動
きベクトルの大きさの成分が半画素の位置を示している
場合は、当該MPEG2動きベクトルをMPEG4動き
ベクトルに変換する際に、そのMPEG4動きベクトル
の大きさの成分が半画素の位置を示すように変換する。
これにより、予測効率を向上させることができ、画質劣
化を防ぐことができる。
変換後の動きベクトルの大きさの成分は、以下の表1に
示すようになる。
動きベクトルを2で割つた整数部分を示す。
て、フレーム構造でフィールド予測のマクロブロックで
あると判定された場合、ベクトル変換部70は、ステッ
プS3の処理に進む。
換部70は、上記フィールド予測がトップフィールド予
測であるか、或いはボトムフィールド予測であるかの判
定を行う。
フィールド予測であると判定した場合、ベクトル変換部
70は、ステップS7の処理に進み、以下のようなこと
を行って、フィールド予測のトップフィールド予測に適
した動きベクトルへの変換を行う。
ィールド予測であると判定したの、ベクトル変換部70
における動きベクトル変換の概念図を示す。なお、図9
の(a)は解像度変換前を、図9の(b)は解像度変換
後を表している。この図9中のpxiは解像度変換前の
整数画素を表し、hpは解像度変換前の半画素を、hp
dは解像度変換後の半画素を表している。また、図9で
は、整数画素pxiの中間値(半画素)の間隔に対応し
て、動きベクトルMVの水平及び垂直成分を「1」とし
て表している。
と同様に変換される。一方、解像度変換時にはトップフ
ィールドのみを抽出して解像度を二分の一に変換するよ
うになされ、また、ここでの予測はトップフィールド予
測が行われているため、動きベクトルの垂直成分につい
ては、変換前の動きベクトルの垂直成分をそのまま変換
後の動きベクトルの垂直成分として使用する。
ムフィールド予測であると判定した場合、ベクトル変換
部70は、ステップS8の処理に進み、以下のようなこ
とを行って、フィールド予測のボトムフィールド予測に
適した動きベクトルへの変換を行う。
フィールド予測であると判定したの、ベクトル変換部7
0における動きベクトル変換の概念図を示す。なお、図
10の(a)は解像度変換前を、図10の(b)は解像
度変換後を表している。この図10中のpxiは解像度
変換前の整数画素を表し、hpは解像度変換前の半画素
を、hpdは解像度変換後の半画素を表している。図1
0では、整数画素pxiの中間値(半画素)の間隔に対
応して、動きベクトルMVの水平及び垂直成分を「1」
として表している。
に、トップフィールドのみが抽出されるため、変換後は
トップフィールドを参照画像として用いることになる。
そのため、MPEG2画像符号化において予測画像とし
て用いたボトムフィールドを、解像度変換後のトップフ
ィールド予測に変換するように、動きベクトルの時空間
補正を行う必要がある。図10の例では、ボトムフィー
ルド予測から近似にトップフィールド予測に変換するた
めの空間的な補正を行っている。すなわち、動きベクト
ルの垂直成分に「1」を足す。この図10からわかるよ
うに、ボトムフィールド予測で求めた動きベクトルの垂
直成分に「1」を足すと、垂直方向に1列(1行)分繰
り上げられることになり、これにより、ボトムフィール
ドがトップフィールドと同様の空間位置に達し、空間上
ではトップフィールド予測で求めた動きベクトルのよう
になる。式(1)には、当該空間補正により、トップフ
ィールドと同様な空間位置に達したボトムフィールド、
すなわち近似トップフィールドを予測画像とした時の動
きベクトルMVtopの垂直成分を表している。
な空間的補正は行う必要がなく、トップフィールド予測
と同様な変換処理を行う。
タレース画像のトップフィールドとボトムフィールドと
の間には、時間的なずれがある。そのため、ボトムフィ
ールドから近似されたトップフィールドと、実際のトッ
プフィールドとの時間ずれを無くすには、時間的な補正
を行う必要がある。
係を示している。
ムフィールドとの時間間隔を1とし、図中aはIピクチ
ャのボトムフィールドとPピクチャのトップフィールド
の間隔を表している。aの間隔は1,3,5,7,・・
・のような奇数になる。なお、aが1の場合は、ピクチ
ャの構成がI,P,P,P,・・・となる。時間補正し
たときの動きベクトルMV’の垂直成分は、式(2)に
示しようになる。
きベクトルの垂直成分は式(3)のようになる。
きベクトルに(a+1)/aをかけ、時間的な補正を行
った後、表1の計算に従って求められる。
に対して空間的補正を行った後に時間的補正を行う例を
述べたが、場合によっては、動きベクトルの垂直成分に
対して時間的補正を行った後、空間的な補正を行うよう
にしてもよい。この場合、動きベクトルMV’の垂直成
分は、式(4)に示すようになる。なお、動きベクトル
の水平成分は、空間的補正を行ってから時間的補正を行
う場合と、時間的補正を行ってから空間的補正を行う場
合とで同様な値となる。
を行ってから時間的補正を行った場合と、時間的補正を
行ってから空間的補正を行った場合の動きベクトルの垂
直成分の差は、1/aになる。したがって、aの値によ
ってその差による影響が異なることになる。
合、すなわちaが3,5,7,・・・の場合の2つにお
ける補正方法について説明する。
いて説明する。
ベクトルの垂直成分は式(5)のようになる。
ルの垂直成分は式(6)のようになる。
2,・・・であると、式(5)による値は2,4,6,
・・・のような偶数になる。すなわち、空間的補正を行
ってから時間的補正を行うと、変換前の動きベクトルの
大きさ成分が整数画素の位置で表されていても、また半
画素の位置で表されていても、変換後はすべて整数画素
の位置で表されることになる。
0,1,2,・・・であると、式(6)による値は1,
3,5,・・・のような奇数になる。すなわち、時間的
補正を行ってから空間的補正を行うと、変換前の動きベ
クトルの大きさ成分が整数画素の位置で表されていて
も、また半画素の位置で表されていても、変換後はすべ
て半画素の位置で表されることになる。
位置で表されていた動きベクトルについて、変換後も整
数画素の位置で表すようにする場合には、空間的補正を
行ってから時間的補正を行うようにする。
で表されていた動きベクトルについて、変換後も半画素
の位置で表すようにする場合には、時間的補正を行って
から空間的補正を行うようにする。
る補正方法では、例えば、変換前の動きベクトルに対
し、空間的補正と時間的補正を交互に使用して解像度変
換後の動きベクトルに変換するか、若しくは、変換前の
動きベクトルに対してすべて時間的補正を行ってから空
間的補正を行うか、若しくは、変換前の動きベクトルに
対してすべて空間的補正を行ってから時間的補正を行
う。
すなわちaが3,5,7,・・・の場合における補正方
法について説明する。
7,・・・の場合は、時間的補正を行ってから空間的補
正を行う場合と、空間的補正を行ってから時間的補正を
行う場合の差である1/aは、0に近似することができ
る。この場合、空間的補正を行ってから時間的補正を行
っても、または、時間的補正を行ってから空間的補正を
行うようにしても良い。
力された16画素×16画素の各マクロブロックMBの
動きベクトルMVに対して、以上説明したような動きベ
クトル変換処理が終了した後、その動きベクトル変換処
理により得られた8画素×8画素の各ブロックbのそれ
ぞれに対応する動きベクトルmvを、動きベクトル調整
器71に送る。
される前記画像サイズ調整フラグに基づいて、それら8
画素×8画素のブロックbの動きベクトルmvを画像サ
イズに適した動きベクトルに調整し、動きベクトル補正
部73及び演算部72に出力する。
部から入力される画像サイズ調整フラグに基づいて、前
記解像度フレームレート変換器31の画素補填/除去部
35における画素の補填或いは画素の除去に対応するよ
うに、上記8画素×8画素のブロックbの動きベクトル
mvを調整して出力する。
71の詳細な動作について説明する。
S11の処理として、入力された画像サイズの情報に基
づいて、前記MPEG2画像復号化器30から出力され
た画像の解像度がm画像×n画素であり、また前記解像
度フレームレート変換器31による垂直方向及び水平方
向ともに二分の一の解像度変換後のm/2画素×n/2
画素が、共に16の倍数であるか否か判定する。このス
テップS11の処理において、16の倍数であると判定
した場合は、切換部SW3をオンして、前記動きベクト
ル変換器32から供給されたMPEG4動きベクトルm
v(補正前のMPEG4動きベクトルmv)をそのまま
出力する。一方、16の倍数になっていないと判定(1
6で割って8画素の余りがあると判定)した場合、ステ
ップS12の処理に進む。
2の処理に進むと、外部から入力された前記画像サイズ
調整フラグに基づき、前記解像度フレームレート変換器
31において上記16で割った余りの8画素分の除去が
行われたのか否か判定し、画素の除去が行われたと判定
した場合は、切換部SW4を制御することにより、前記
動きベクトル変換器32から出力されたMPEG4動き
ベクトルmvのうち、上記除去された8画素に対応する
各ブロックbの動きベクトルmvを除いた残りの各ブロ
ックbの動きベクトルmvのみを出力する。一方、ステ
ップS12にて画素の除去は行われていないと判定(8
画素が補填されたと判定)した場合、動きベクトル調整
部71の処理はステップS13に進む。
3の処理に進むと、画像サイズ調整フラグに基づき、切
換部SW5を制御することにより、前記解像度フレーム
レート変換器31において補填された8画素に対応する
各ブロックbについての動きベクトルを”0”に設定
(切換部SW5を0側に倒す)して当該”0”の動きベ
クトルを出力すると共に、それ以外の各ブロックbの動
きベクトルmvについては入力された動きベクトルmv
を出力する。
により、上述したように画像サイズに合うように調整さ
れた動きベクトルmvは、演算部72と動きベクトル補
正部73に送られる。
mvを用い、下記式(7)の演算を行うことにより、8
画素×8画素のブロックbの4つの動きベクトルmv1
〜mv4よりなる16画素×16画素のマクロブロック
MBTのMPEG4動きベクトルMVTを求める。なお、
式(7)中のiは1〜4である。
り、MPEG2のマクロブロックMBから変換された4
つのブロックの内、イントラでないマクロブロックMB
から変換された4つのブロックb1〜b4の動きベクト
ルmv1〜mv4の和を、同じくイントラでないマクロ
ブロックMBから変換されたブロックの数で割った平均
を、MPEG4画像符号化方式に対応する16画素×1
6画素のマクロブロックMBTの動きベクトルMVTとし
て出力する。なお、16画素×16画素のマクロブロッ
クMBTのMPEG4動きベクトルMVTは、変換後の8
画素×8画素のブロックbの動きベクトルmvのDCT
係数などにおける重み付け平均の処理により決定しても
よい。
動きベクトルMVTは、動きベクトル補正部73に送ら
れる。
トル調整部71から供給された8画素×8画素のブロッ
クbの各動きベクトルmvのうち、MPEG2画像符号
化方式におけるイントラマクロブロックに対応した動き
ベクトルを、上記演算部72で求めた16画素×16画
素のマクロブロックMBTの動きベクトルMVTに置き換
える。
の詳細な構成を示す。
いて、前記動きベクトル調整器71より出力された画像
サイズに適した8画素×8画素のブロックbの動きベク
トルmvは、イントラモードフラグに応じて被切換端子
a,bの何れかに切り換えられる切換スイッチSW2に
入力する。
ラグが立っている場合、すなわち入力した動きベクトル
mvがMPEG2画像符号化方式におけるイントラマク
ロブロックに対応する動きベクトルである場合、被切換
端子a側に切り換えられ、ベクトル置き換え部80に送
られる。
EG2のイントラマクロブロックから変換された8画素
×8画素の4つのブロックb1〜b4の動きベクトルm
v1〜mv4を、上記動きベクトル変換器32の演算部
72により求められたMPEG4画像符号化方式におけ
る16画素×16画素のマクロブロックMBTの動きベ
クトルMVTに置き換えて出力する。なお、当該置き換
える動きベクトルは、上記イントラマクロブロックの周
辺のインターマクロブロックの動きベクトルから変換さ
れた動きベクトル、若しくは、上記イントラマクロブロ
ックに一番近いインターマクロブロックの動きベクトル
から変換された動きベクトルを使用してもよい。また、
動きベクトルを”0”にしてもよい。なお、8画素×8
画素の4つのブロックb1〜b4が共にイントラマクロ
ブロックから変換されたものである場合は、それら4つ
のブロックb1〜b4の4つの動きベクトルmv1〜m
v4が”0”となり、前記式(7)によって求められる
16画素×16画素のマクロブロックMBTの動きベク
トルMVTも”0”となるため、MPEG4画像符号化
に用いる動きベクトルは0となり、マクロブロックタイ
プがイントラとなる。
合、すなわちMPEG2画像符号化方式におけるイント
ラマクロブロックでない場合、切換スイッチSW2は被
切換端子b側に切り換えられる。これにより、入力され
た8画素×8画素のブロックbの動きベクトルmvがそ
のまま出力されることになる。
トル補正部73から出力された動き8画素×8画素のブ
ロックb1〜b4の動きベクトルmv1〜mv4は、上
記演算器72により求められた8画素×8画素のブロッ
クb1〜b4からなるマクロブロックMBTの動きベク
トルMVTと共に出力され、図1のMPEG4画像符号
化器33に送られる。
解像度フレームレート変換器31からの出力画像と、動
きベクトル変換器32から出力されたMPEG4動きベ
クトルを用いて、MPEG4画像符号化方式により符号
化を行い、MPEG4画像符号化ビットストリームを出
力する。
MPEG2画像符号化ビットストリームをMPEG4画
像符号化ビットストリームに変換する例を説明したが、
本発明は第1の実施の形態に示した画像符号化フォーマ
ット変換例に限定されるものではなく、本発明は、変換
前と後の画像符号化方式若しくはフォーマットが同一の
場合も適用可能である。また、本発明は、入力された信
号の解像度、フレームレートを、それとは異なる解像
度、フレームレートを持つ信号へ変換する場合にも広く
適用可能である。
画像符号化フォーマット変換装置の概略構成を示す。な
お、図1と同じ構成要素には同一の指示符号を付して、
それらの詳細な説明は省略する。
符号化フォーマット変換装置の基本的な構成は、前記図
1に示した第1の実施の形態の構成と略々同じであり、
入力されたMPEG2画像符号化ビットストリームに対
し、MPEG2画像復号化器30内で、可変長符号の復
号化を行った後、PピクチャのみのMPEG2動きベク
トルやマクロブロックタイプなどのパラメータを抽出
し、それらを動きベクトル変換器32へ伝送する動作
は、図1に示した第1の実施の形態の装置と同様である
が、当該第2の実施の形態の装置構成の場合は、動きベ
クトル変換器32の後段に、切換スイッチSW6と、フ
レームメモリ154及び動き補償予測器155が加えら
れている。
変換器32より出力されたMPEG4画像符号化方式に
対応する4つの8画素×8画素のブロックb1〜b4の
動きベクトルmv1〜mv4が、全てMPEG2画像符
号化方式のイントラマクロブロックに対応している場合
のみ、被切換端子a側に切り換えられる。なお、切換ス
イッチSW6が被切換端子b側に切り換えられた場合の
動作は図1と同様である。
に切り換えられた時、上記動きベクトル変換器32から
出力されたMPEG4動きベクトルmvと、解像度フレ
ームレート変換器31より出力された画像信号と、MP
EG4画像符号化器33より出力されるMPEG4画像
符号化ビットストリームに対応する画像信号とがフレー
ムメモリ154に蓄積される。
6画素のマクロブロックの動きベクトルと8画素×8画
素のブロックの動きベクトルを再検出してから、MPE
G4符号化装置33に送るようにするために、フレーム
メモリ154に蓄積された画像信号のうち、解像度フレ
ームレート変換器31から供給された画像信号は現フレ
ーム画像とされ、MPEG4画像符号化器33から供給
された画像信号は予測参照フレーム画像となされ、動き
補償予測器155において、それら現フレーム画像、予
測参照フレーム画像を用いてフレーム間のMPEG4動
きベクトルを検出する。なお、予測参照フレーム画像と
して、解像度フレームレート変換器31より出力された
画像信号を用いてもよく、また、解像度フレームレート
変換器31より出力された画像信号を現フレーム画像、
予測参照フレーム画像として交互に用いるようにしても
良い。上記動き補償予測器155から出力されたMPE
G4動きベクトルがMPEG4画像符号化器33に送ら
れる。
画像符号化フォーマット変換装置の概略構成を示す。
符号化フォーマット変換装置において、画像前処理フィ
ルタ161には、例えばCCD(固体撮像素子)等を備
えた画像撮影装置160やチューナ等の画像受信装置1
67から供給された画像信号が入力する。当該画像前処
理フィルタ161は、必要に応じて、入力画像信号のノ
イズ除去など、符号化の前処理を行い、その前処理後の
画像信号を動き補償器162、MPEG2画像符号化器
163、解像度フレームレート変換器166に送る。な
お、前処理が不要な場合には、当該画像前処理フィルタ
161を省略する場合も可能である。
161より供給された画像信号の各フレームに対し、外
部より供給されたフレームレート解像度情報Aを元に、
動きベクトルを計算する。当該動きベクトルは、動きベ
クトル変換器164とMPEG2画像符号化器163に
送られる。
処理フィルタ161により供給された画像信号に対し、
動き補償器162から出力された動きベクトルを元に符
号化を施し、MPEG2画像符号化ビットストリームを
生成して出力する。
の形態装置の動きベクトル変換器32と同様に動作し、
外部より供給されたフレームレート解像度情報Aに合わ
せて、動きベクトルに変換処理を施し、その変換後の動
きベクトルをMPEG4画像符号化器165に送る。
6は、第1の実施の形態装置の解像度フレームレート変
換器31と同様に動作し、画像前処理フィルタ161か
ら出力された画像信号に対し、外部より入力されたフレ
ームレート解像度情報A、フレームレート解像度情報B
に基づく解像度及びフレームレート変換処理を施す。こ
の解像度及びフレームレート変換後の画像信号は、MP
EG4画像符号化器165に送られる。
度フレームレート変換器166から出力される画像信号
に対し、動きベクトル変換器164より出力された動き
ベクトルを元に符号化処理を施し、MPEG4画像符号
化ビットストリームを生成して出力する。
162に対して、動きベクトル変換器164を用いるこ
とで、MPEG2画像符号化器163および、MPEG
4画像符号化器165での符号化に用いる動きベクトル
を作成できるため、従来のよように2つの動き補償器が
必要であった場合よりも処理量が軽くなる。
明においては、第1の信号に対して少なくとも解像度変
換を施して第2の信号を生成し、当該第2の信号から第
3の信号を生成する場合に、第2の信号に対して所定の
位置の信号要素の補填若しくは除去を行い、第3の信号
の生成に適した信号に調整することにより、信号品質を
劣化させずに、第1の信号を第3の信号に変換可能であ
る。
して少なくとも解像度変換を施して第2の信号を生成
し、当該第2の信号から第3の信号を生成する場合に、
第1の信号に含まれる処理パラメータを、第3の信号の
生成に必要となる全部若しくは一部の処理パラメータに
変換することにより、信号品質を劣化させず、第2の信
号から第3の信号を生成する際の処理量を低減し、さら
に装置構成の大規模化をも防止可能である。
して少なくとも解像度変換を施して第2の信号を生成
し、当該第2の信号から第3の信号を生成する場合に、
第2の信号に対して所定の位置の信号要素の補填若しく
は除去を行って第3の信号の生成に適した信号に調整
し、第1の信号に含まれる処理パラメータを第3の信号
の生成に必要となる全部若しくは一部の処理パラメータ
に変換することにより、信号品質を劣化させず、第1の
信号を第3の信号に変換可能であり、また、第2の信号
から第3の信号を生成する際の処理量を低減し、さらに
装置構成の大規模化をも防止可能である。
マット変換装置の概略構成を示すブロック回路図であ
る。
の相関についての説明に用いる図である。
に用いる図である。
除去処理についての説明に用いる図である。
である。
明に用いる図である。
である。
ーム予測のマクロブロックである場合の、ベクトル変換
部における動きベクトル変換の概念説明に用いる図であ
る。
換部における動きベクトル変換の概念説明に用いる図で
ある。
変換部における動きベクトル変換の概念説明に用いる図
である。
図である。
る図である。
る図である。
ロック回路図である。
ロック回路図である。
略構成を示すブロック回路図である。
度フレームレート変換器、 32,164 動きベクト
ル変換器、 33,165 MPEG4画像符号化器、
34 解像度フレーム変換部、 35 画素補填/除
去部、 154フレームメモリ、 155 動き補償予
測器、 161 画像前処理フィルタ、 162 動き
補償器、 160 画像撮影装置、 167 画像受信
装置
Claims (20)
- 【請求項1】 第1の信号に対して少なくとも解像度変
換を施して第2の信号を生成し、当該第2の信号から第
3の信号を生成する信号変換装置において、 上記解像度変換後の第2の信号に対して所定の位置の信
号要素の補填若しくは除去を行い、当該第2の信号を上
記第3の信号の生成に適した信号に調整する調整手段を
有し、 上記調整後の第2の信号から第3の信号を生成すること
を特徴とする信号変換装置。 - 【請求項2】 第1の信号に対して少なくとも解像度変
換を施して第2の信号を生成し、当該第2の信号から第
3の信号を生成する信号変換装置において、 上記第1の信号に含まれる処理パラメータを、上記第2
の信号から第3の信号を生成する際に必要となる全部若
しくは一部の処理パラメータに変換するパラメータ変換
手段を有し、 上記パラメータ変換手段により得られた処理パラメータ
を用いて、上記第2の信号から第3の信号を生成するこ
とを特徴とする信号変換装置。 - 【請求項3】 第1の信号に対して少なくとも解像度変
換を施して第2の信号を生成し、当該第2の信号から第
3の信号を生成する信号変換装置において、 上記解像度変換後の第2の信号に対して所定の位置の信
号要素の補填若しくは除去を行い、当該第2の信号を上
記第3の信号の生成に適した信号に調整する調整手段
と、 上記第1の信号から第2の信号を生成する際の上記解像
度変換に応じて、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換す
るパラメータ変換手段とを有し、 上記パラメータ変換手段により得られた処理パラメータ
を用いて、上記調整後の第2の信号から第3の信号を生
成することを特徴とする信号変換装置。 - 【請求項4】 上記第1の信号は、水平及び垂直方向に
複数画素からなる画素群毎に動き補償予測を行って符号
化された第1の画像符号化信号を復号化した第1の画像
信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記調整手段は、上記第2の画像信号を構成する上記画
素群の水平或いは垂直方向の先頭画素列、若しくは水平
或いは垂直方向の後部画素列に対して、上記信号要素で
ある画素の補填若しくは除去を行うことを特徴とする請
求項1記載の信号変換装置。 - 【請求項5】 上記第1の信号は、水平及び垂直方向に
複数画素からなる画素群毎に動き補償予測を行って符号
化された第1の画像符号化信号を復号化した第1の画像
信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記パラメータ変換手段は、上記第1の画像符号化信号
に含まれる処理パラメータ中の動きベクトルを、上記第
2の画像信号から第3の画像符号化信号を生成する際の
符号化に必要となる全部若しくは一部の動きベクトルに
変換することを特徴とする請求項2記載の信号変換装
置。 - 【請求項6】 上記第1の信号は、水平及び垂直方向に
複数画素からなる画素群毎に動き補償予測を行って符号
化された第1の画像符号化信号を復号化した第1の画像
信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記調整手段は、上記第2の画像信号を構成する上記画
素群の水平或いは垂直方向の先頭画素列、若しくは水平
或いは垂直方向の後部画素列に対して、上記信号要素で
ある画素の補填若しくは除去を行い、 上記パラメータ変換手段は、上記解像度変換に応じて、
上記第1の画像符号化信号に含まれる処理パラメータ中
の動きベクトルを、上記第2の画像信号から第3の画像
符号化信号を生成する際の符号化に必要となる全部若し
くは一部の動きベクトルに変換することを特徴とする請
求項3記載の信号変換装置。 - 【請求項7】 上記パラメータ変換手段は、上記第1の
画像符号化信号に含まれる処理パラメータ中の動きベク
トルが、動き補償予測の予測画像を構成する整数画素の
中間値位置を示しているとき、上記変換後の動きベクト
ルも予測画像の整数画素の中間値位置を示すよう変換す
ることを特徴とする請求項6記載の信号変換装置。 - 【請求項8】 上記解像度変換と共にレート変換を行
い、上記第1の画像符号化信号の動き補償予測に用いた
フィールド又はフレーム画像が間引かれているとき、上
記パラメータ変換手段は、上記間引かれた後のフィール
ド又はフレーム画像に対する動きベクトルに時空間の補
正を行うことにより、上記間引かれたフィールド又はフ
レーム画像に対応する動きベクトルを生成することを特
徴とする請求項6記載の信号変換装置。 - 【請求項9】 上記第1の画像信号を構成する複数の画
素群と、上記解像度変換後の第2の画像信号を構成する
複数の画素群とが対応するとき、上記パラメータ変換手
段は、上記第1の画像信号を構成する複数の画素群に対
応する各動きベクトルを、上記第2の画像信号を構成す
る複数の画素群に対応する各動きベクトルに変換すると
共に、上記第2の画像信号を構成する複数の画素群を一
つに纏めた画素群に対応する1つの動きベクトルを生成
することを特徴とする請求項6記載の信号変換装置。 - 【請求項10】 上記パラメータ変換手段は、画像内符
号化がなされた第1の画像符号化信号を復号化した第1
の画像信号を上記解像度変換した第2の画像信号を構成
する複数の画素群の各動きベクトルを、画像内符号化以
外の符号化がなされた第1の画像符号化信号を復号化し
た第1の画像信号を構成する複数の画素群に対応する各
動きベクトルより求めることを特徴とする請求項6記載
の信号変換装置。 - 【請求項11】 第1の信号に対して少なくとも解像度
変換を施して第2の信号を生成し、当該第2の信号から
第3の信号を生成する信号変換方法において、 上記解像度変換後の第2の信号に対して所定の位置の信
号要素の補填若しくは除去を行い、当該第2の信号を上
記第3の信号の生成に適した信号に調整し、 上記調整後の第2の信号から第3の信号を生成すること
を特徴とする信号変換方法。 - 【請求項12】 第1の信号に対して少なくとも解像度
変換を施して第2の信号を生成し、当該第2の信号から
第3の信号を生成する信号変換方法において、 上記第1の信号に含まれる処理パラメータを、上記第2
の信号から第3の信号を生成する際に必要となる全部若
しくは一部の処理パラメータに変換し、 上記パラメータ変換により得られた処理パラメータを用
いて、上記第2の信号から第3の信号を生成することを
特徴とする信号変換方法。 - 【請求項13】 第1の信号に対して少なくとも解像度
変換を施して第2の信号を生成し、当該第2の信号から
第3の信号を生成する信号変換方法において、 上記解像度変換後の第2の信号に対して所定の位置の信
号要素の補填若しくは除去を行い、当該第2の信号を上
記第3の信号の生成に適した信号に調整し、 上記第1の信号から第2の信号を生成する際の上記解像
度変換に応じて、上記第1の信号に含まれる処理パラメ
ータを、上記第2の信号から第3の信号を生成する際に
必要となる全部若しくは一部の処理パラメータに変換
し、 上記パラメータ変換により得られた処理パラメータを用
いて、上記調整後の第2の信号から第3の信号を生成す
ることを特徴とする信号変換方法。 - 【請求項14】 上記第1の信号は、水平及び垂直方向
に複数画素からなる画素群毎に動き補償予測を行って符
号化された第1の画像符号化信号を復号化した第1の画
像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記調整の際には、上記第2の画像信号を構成する上記
画素群の水平或いは垂直方向の先頭画素列、若しくは水
平或いは垂直方向の後部画素列に対して、上記信号要素
である画素の補填若しくは除去を行うことを特徴とする
請求項11記載の信号変換方法。 - 【請求項15】 上記第1の信号は、水平及び垂直方向
に複数画素からなる画素群毎に動き補償予測を行って符
号化された第1の画像符号化信号を復号化した第1の画
像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記パラメータ変換の際には、上記第1の画像符号化信
号に含まれる処理パラメータ中の動きベクトルを、上記
第2の画像信号から第3の画像符号化信号を生成する際
の符号化に必要となる全部若しくは一部の動きベクトル
に変換することを特徴とする請求項12記載の信号変換
方法。 - 【請求項16】 上記第1の信号は、水平及び垂直方向
に複数画素からなる画素群毎に動き補償予測を行って符
号化された第1の画像符号化信号を復号化した第1の画
像信号であり、 上記第2の信号は、上記第1の画像信号に対して解像度
変換処理を施した第2の画像信号であり、 上記第3の信号は、上記第2の画像信号に対して、水平
及び垂直方向に複数画素からなる画素群毎に動き補償予
測を行って符号化した第3の画像符号化信号であり、 上記調整の際には、上記第2の画像信号を構成する上記
画素群の水平或いは垂直方向の先頭画素列、若しくは水
平或いは垂直方向の後部画素列に対して、上記信号要素
である画素の補填若しくは除去を行い、 上記パラメータ変換の際には、上記解像度変換に応じ
て、上記第1の画像符号化信号に含まれる処理パラメー
タ中の動きベクトルを、上記第2の画像信号から第3の
画像符号化信号を生成する際の符号化に必要となる全部
若しくは一部の動きベクトルに変換することを特徴とす
る請求項13記載の信号変換方法。 - 【請求項17】 上記パラメータ変換の際には、上記第
1の画像符号化信号に含まれる処理パラメータ中の動き
ベクトルが、動き補償予測の予測画像を構成する整数画
素の中間値位置を示しているとき、上記変換後の動きベ
クトルも予測画像の整数画素の中間値位置を示すよう変
換することを特徴とする請求項16記載の信号変換方
法。 - 【請求項18】 上記解像度変換と共にレート変換を行
い、上記第1の画像符号化信号の動き補償予測に用いた
フィールド又はフレーム画像が間引かれているとき、上
記パラメータ変換の際には、上記間引かれた後のフィー
ルド又はフレーム画像に対する動きベクトルに時空間の
補正を行うことにより、上記間引かれたフィールド又は
フレーム画像に対応する動きベクトルを生成することを
特徴とする請求項16記載の信号変換方法。 - 【請求項19】 上記第1の画像信号を構成する複数の
画素群と、上記解像度変換後の第2の画像信号を構成す
る複数の画素群とが対応するとき、上記パラメータ変換
の際には、上記第1の画像信号を構成する複数の画素群
に対応する各動きベクトルを、上記第2の画像信号を構
成する複数の画素群に対応する各動きベクトルに変換す
ると共に、上記第2の画像信号を構成する複数の画素群
を一つに纏めた画素群に対応する1つの動きベクトルを
生成することを特徴とする請求項16記載の信号変換方
法。 - 【請求項20】 上記パラメータ変換の際には、画像内
符号化がなされた第1の画像符号化信号を復号化した第
1の画像信号を上記解像度変換した第2の画像信号を構
成する複数の画素群の各動きベクトルを、画像内符号化
以外の符号化がなされた第1の画像符号化信号を復号化
した第1の画像信号を構成する複数の画素群に対応する
各動きベクトルより求めることを特徴とする請求項16
記載の信号変換方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000050524A JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
US09/791,013 US6983019B2 (en) | 2000-02-22 | 2001-02-22 | Apparatus and method for converting signals |
US11/193,244 US7711050B2 (en) | 2000-02-22 | 2005-07-29 | Apparatus and method for converting signals |
US12/754,902 US20100195735A1 (en) | 2000-02-22 | 2010-04-06 | Apparatus and method for converting signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000050524A JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001238218A true JP2001238218A (ja) | 2001-08-31 |
JP4378824B2 JP4378824B2 (ja) | 2009-12-09 |
Family
ID=18572294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000050524A Expired - Lifetime JP4378824B2 (ja) | 2000-02-22 | 2000-02-22 | 画像処理装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (3) | US6983019B2 (ja) |
JP (1) | JP4378824B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003102014A (ja) * | 2001-09-21 | 2003-04-04 | Mitsubishi Electric Corp | 動画データ変換装置および動画データ変換プログラム |
JP2005033789A (ja) * | 2003-07-04 | 2005-02-03 | Nextream France | ビデオデータを符号化するための装置および方法 |
JP2006508557A (ja) * | 2002-03-28 | 2006-03-09 | インテル コーポレイション | トランスコーディングを行う装置、システム及び方法 |
JP2008061270A (ja) * | 2007-10-01 | 2008-03-13 | Hitachi Ltd | 動画符号化装置、及び動画記録再生装置 |
US7346108B2 (en) | 2002-11-29 | 2008-03-18 | Canon Kabushiki Kaisha | Encoded-data converting apparatus and method for the same |
US7474837B2 (en) | 2001-01-24 | 2009-01-06 | Sony Corporation | Recording and playback apparatus and method, program storage medium, and program |
US8170111B2 (en) | 2002-06-17 | 2012-05-01 | Hitachi, Ltd. | Moving picture encoding apparatus |
US8416852B2 (en) | 2006-03-23 | 2013-04-09 | Sony Corporation | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
JP4457506B2 (ja) * | 2001-02-27 | 2010-04-28 | ソニー株式会社 | パケット化装置およびパケット化方法 |
JP2003116104A (ja) * | 2001-10-02 | 2003-04-18 | Sony Corp | 情報処理装置及び情報処理方法 |
WO2003056838A1 (en) * | 2001-12-25 | 2003-07-10 | Matsushita Electric Industrial Co., Ltd. | Moving picture compression/coding apparatus and motion vector detection method |
US7469012B2 (en) * | 2002-05-14 | 2008-12-23 | Broadcom Corporation | System and method for transcoding entropy-coded bitstreams |
US7009655B2 (en) * | 2002-07-23 | 2006-03-07 | Mediostream, Inc. | Method and system for direct recording of video information onto a disk medium |
JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
JP3937223B2 (ja) | 2003-01-21 | 2007-06-27 | ソニー株式会社 | 記録装置、再生装置、記録方法及び再生方法 |
WO2004073313A1 (en) * | 2003-02-13 | 2004-08-26 | Koninklijke Philips Electronics N.V. | Spatio-temporal up-conversion |
JP2006524000A (ja) * | 2003-04-17 | 2006-10-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオトランスコーディング |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8107531B2 (en) | 2003-09-07 | 2012-01-31 | Microsoft Corporation | Signaling and repeat padding for skip frames |
US7961786B2 (en) * | 2003-09-07 | 2011-06-14 | Microsoft Corporation | Signaling field type information |
US7554602B2 (en) * | 2004-07-12 | 2009-06-30 | Canon Kabushiki Kaisha | Processing interlaced video in a frame based rendering system |
ITTO20040780A1 (it) * | 2004-11-09 | 2005-02-09 | St Microelectronics Srl | Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico |
JP5188033B2 (ja) * | 2006-04-24 | 2013-04-24 | 株式会社日立製作所 | 記録再生装置、送出装置及び伝送システム。 |
JP4777185B2 (ja) * | 2006-08-08 | 2011-09-21 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体、及び、画像符号化装置 |
US8195008B2 (en) * | 2007-06-28 | 2012-06-05 | Broadcom Corporation | Method and system for processing video data in a multipixel memory to memory compositor |
JP2009027446A (ja) * | 2007-07-19 | 2009-02-05 | Olympus Corp | 画像処理方法および画像処理装置 |
US8965183B1 (en) * | 2008-01-30 | 2015-02-24 | Dominic M. Kotab | Systems and methods for creating and storing reduced quality video data |
US9232174B1 (en) | 2008-06-25 | 2016-01-05 | Dominic M. Kotab | Methods for receiving and sending video to a handheld device |
US20130286160A1 (en) * | 2011-02-17 | 2013-10-31 | Panasonic Corporation | Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program |
KR101954192B1 (ko) * | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
US10382512B2 (en) * | 2013-03-14 | 2019-08-13 | Microsoft Technology Licensing, Llc | Distributed fragment timestamp synchronization |
US9275434B2 (en) | 2014-03-11 | 2016-03-01 | Qualcomm Incorporated | Phase control multi-tap downscale filter |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06178270A (ja) | 1992-12-01 | 1994-06-24 | Matsushita Electric Ind Co Ltd | 映像再生装置 |
US5796439A (en) * | 1995-12-21 | 1998-08-18 | Siemens Medical Systems, Inc. | Video format conversion process and apparatus |
DE69718090T2 (de) * | 1996-03-15 | 2003-11-06 | Matsushita Electric Industrial Co., Ltd. | Verfahren und Vorrichtung zum Kodieren und Dekodieren von Bildern |
JP3773585B2 (ja) * | 1996-03-29 | 2006-05-10 | 富士通株式会社 | 画像符号化装置 |
JPH1051766A (ja) * | 1996-08-05 | 1998-02-20 | Mitsubishi Electric Corp | 画像符号化データ変換装置 |
JP3774954B2 (ja) | 1996-10-30 | 2006-05-17 | 株式会社日立製作所 | 動画像の符号化方法 |
KR100326641B1 (ko) * | 1996-12-06 | 2002-08-27 | 마츠시타 덴끼 산교 가부시키가이샤 | 영상신호의전송,부호화,복호화방법및장치와광디스크의기록및재생방법 |
JP2933561B2 (ja) | 1997-03-26 | 1999-08-16 | 日本電気通信システム株式会社 | 動画符号変換装置 |
JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
JPH11275592A (ja) * | 1998-01-22 | 1999-10-08 | Victor Co Of Japan Ltd | 動画像符号列変換装置及びその方法 |
JP4123567B2 (ja) * | 1998-04-30 | 2008-07-23 | ソニー株式会社 | 画像信号処理装置及び方法 |
US6584154B1 (en) * | 1998-11-26 | 2003-06-24 | Oki Electric Industry Co., Ltd. | Moving-picture coding and decoding method and apparatus with reduced computational cost |
JP4378824B2 (ja) * | 2000-02-22 | 2009-12-09 | ソニー株式会社 | 画像処理装置及び方法 |
JP4622077B2 (ja) * | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP4682410B2 (ja) * | 2000-10-12 | 2011-05-11 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
-
2000
- 2000-02-22 JP JP2000050524A patent/JP4378824B2/ja not_active Expired - Lifetime
-
2001
- 2001-02-22 US US09/791,013 patent/US6983019B2/en not_active Expired - Fee Related
-
2005
- 2005-07-29 US US11/193,244 patent/US7711050B2/en not_active Expired - Fee Related
-
2010
- 2010-04-06 US US12/754,902 patent/US20100195735A1/en not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7474837B2 (en) | 2001-01-24 | 2009-01-06 | Sony Corporation | Recording and playback apparatus and method, program storage medium, and program |
JP2003102014A (ja) * | 2001-09-21 | 2003-04-04 | Mitsubishi Electric Corp | 動画データ変換装置および動画データ変換プログラム |
JP4574090B2 (ja) * | 2001-09-21 | 2010-11-04 | 三菱電機株式会社 | 動画データ変換装置および動画データ変換プログラム |
JP2006508557A (ja) * | 2002-03-28 | 2006-03-09 | インテル コーポレイション | トランスコーディングを行う装置、システム及び方法 |
US8170111B2 (en) | 2002-06-17 | 2012-05-01 | Hitachi, Ltd. | Moving picture encoding apparatus |
US7346108B2 (en) | 2002-11-29 | 2008-03-18 | Canon Kabushiki Kaisha | Encoded-data converting apparatus and method for the same |
JP2005033789A (ja) * | 2003-07-04 | 2005-02-03 | Nextream France | ビデオデータを符号化するための装置および方法 |
JP4669239B2 (ja) * | 2003-07-04 | 2011-04-13 | ネクストリーム・フランス | ビデオデータを符号化するための装置および方法 |
US8416852B2 (en) | 2006-03-23 | 2013-04-09 | Sony Corporation | Video signal coding system and method of coding video signal for network transmission, video output apparatus, and signal conversion apparatus |
JP2008061270A (ja) * | 2007-10-01 | 2008-03-13 | Hitachi Ltd | 動画符号化装置、及び動画記録再生装置 |
JP4642055B2 (ja) * | 2007-10-01 | 2011-03-02 | 株式会社日立製作所 | 動画符号化装置、及び動画記録再生装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4378824B2 (ja) | 2009-12-09 |
US20100195735A1 (en) | 2010-08-05 |
US20050265457A1 (en) | 2005-12-01 |
US20020001348A1 (en) | 2002-01-03 |
US6983019B2 (en) | 2006-01-03 |
US7711050B2 (en) | 2010-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001238218A (ja) | 信号変換装置及び方法 | |
JP4014263B2 (ja) | 映像信号変換装置及び映像信号変換方法 | |
US7146056B2 (en) | Efficient spatial scalable compression schemes | |
US8036273B2 (en) | Method for sub-pixel value interpolation | |
JP2002125236A (ja) | 動きベクトル変換方法及び変換装置 | |
EP1212896A2 (en) | Circuit and method for modifying a region of an encoded image | |
JP3855522B2 (ja) | 動画変換装置 | |
JP2006518568A (ja) | ビデオ符号化 | |
US6498816B1 (en) | Circuit and method for formatting each of a series of encoded video images into respective regions | |
KR100945826B1 (ko) | 화상 정보 복호 방법 및 장치 | |
JP3649370B2 (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
JP2002118851A (ja) | 動きベクトル変換方法及び変換装置 | |
KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
JP2002044669A (ja) | 画像情報変換装置及び方法 | |
JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
JPH09261530A (ja) | 映像記録装置 | |
JP2001086508A (ja) | 動画像復号方法及び動画像復号装置 | |
JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
JPH10126749A (ja) | 順次走査変換装置 | |
GB2379820A (en) | Interpolating values for sub-pixels | |
JP2630022B2 (ja) | 動き補償フレーム間符号化装置 | |
JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 | |
JP2002199399A (ja) | 動きベクトル変換方法及び変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090907 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |