JP4526529B2 - Video signal converter using hierarchical images - Google Patents
Video signal converter using hierarchical images Download PDFInfo
- Publication number
- JP4526529B2 JP4526529B2 JP2006314966A JP2006314966A JP4526529B2 JP 4526529 B2 JP4526529 B2 JP 4526529B2 JP 2006314966 A JP2006314966 A JP 2006314966A JP 2006314966 A JP2006314966 A JP 2006314966A JP 4526529 B2 JP4526529 B2 JP 4526529B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video signal
- video
- dct
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
本発明は、デジタル映像信号の変換処理を行なう映像信号変換装置とその映像信号変換方法、並びにそれを用いた映像提供システムに関し、特に、コンポーネント形式や圧縮フォーマットの異なるデジタル映像信号間の直接変換を可能にしたものである。 The present invention relates to a video signal conversion apparatus that performs conversion processing of a digital video signal, a video signal conversion method thereof, and a video providing system using the same, and more particularly to direct conversion between digital video signals having different component formats and compression formats. It is possible.
近年、デジタル映像信号を扱う映像機器が増加している。このデジタル映像信号としては、従来からカラーコンポーネント信号が多く使われている。カラーコンポーネント信号とは、映像信号を、1つの輝度信号Yと2つの色差信号Cr、Cbとに分けて扱う信号の形式である。カラーコンポーネント信号には、次に説明するように、輝度信号と色差信号との標本化周波数の比を異にする複数の形式が存在する。 In recent years, video devices that handle digital video signals are increasing. As this digital video signal, a color component signal has been conventionally used. The color component signal is a signal format in which a video signal is divided into one luminance signal Y and two color difference signals Cr and Cb. As described below, the color component signal has a plurality of formats in which the ratios of the sampling frequencies of the luminance signal and the color difference signal are different.
第1の形式は4:4:4である。これは図30(B)に示すように、Y1画素に対しCr、Cbが1画素ずつ対応するものである。1フレームの情報を4:4:4で表すと、図30(A)に示す通り、Y、Cr、Cbが同じ情報量になる。
第2の形式は4:2:2である。これは図31(B)に示す様に、横に並んだ2画素のYに対し、Cr、Cbが1画素ずつ対応するものである。1フレームの情報を4:2:2で表すと、図31(A)に示す通り、Cr、Cbの情報量がそれぞれYの情報量の1/2になる。
The first format is 4: 4: 4. As shown in FIG. 30B, Cr and Cb correspond to the Y1 pixel one by one. When information of one frame is expressed as 4: 4: 4, Y, Cr, and Cb have the same information amount as shown in FIG.
The second format is 4: 2: 2. As shown in FIG. 31B, Cr and Cb correspond to Y of two pixels arranged side by side one by one. When the information of one frame is expressed by 4: 2: 2, the information amount of Cr and Cb is each ½ of the information amount of Y as shown in FIG.
第3の形式は4:2:0である。これは図32(B)に示す様に、縦・横2画素ずつ並んだ4画素のYに対し、Cr、Cbが1画素ずつ対応するものである。1フレームの情報を4:2:0で表すと、図32(A)に示す通り、Cr、Cbの情報量がそれぞれYの情報量の1/4になる。 The third format is 4: 2: 0. As shown in FIG. 32B, Cr and Cb correspond to one pixel at a time with respect to four pixels Y arranged in two vertical and two horizontal pixels. When the information of one frame is represented by 4: 2: 0, the information amounts of Cr and Cb are each ¼ of the information amount of Y as shown in FIG.
第4の形式は4:1:1である。これは図33(B)に示す様に、横に並んだ4画素のYに対し、Cr、Cbが1画素ずつ対応するものである。1フレームの情報を4:1:1で表すと、図33(A)に示す通り、Cr、Cbの情報量がそれぞれYの情報量の1/4になる。 The fourth format is 4: 1: 1. As shown in FIG. 33 (B), Cr and Cb correspond to Y of four pixels arranged side by side one by one. When the information of one frame is expressed as 4: 1: 1, the information amounts of Cr and Cb are each ¼ of the Y information amount as shown in FIG.
そして近年、このようなデジタル映像信号を民生のビデオテープレコーダ付きカメラなどのビデオ機器や、パーソナルコンピュータで扱うことが可能となり、そのための機器も急速に普及している。 In recent years, it has become possible to handle such digital video signals with video equipment such as a consumer video camera with a video tape recorder or a personal computer, and equipment for that purpose is also rapidly spreading.
このようなパーソナルコンピュータや民生ビデオ機器で扱うデジタル映像信号は、標準化された圧縮形式で映像信号が圧縮されている。この圧縮形式の中の2種類について、次に説明する。 Digital video signals handled by such personal computers and consumer video devices are compressed in a standardized compression format. Next, two types of compression formats will be described.
第1の圧縮形式は、MPEG1、MPEG2である。これらの圧縮形式は、コンピュータで利用する映像信号に多く用いられる。MPEG1、MPEG2は共に、動き補償によるフレーム間の時間的な冗長度の削減と、DCT(離散コサイン変換)によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減とを組み合わせた画像圧縮の規格である。MPEG1については(非特許文献1)に、、MPEG2については(非特許文献2)にその内容が説明されているため、ここでは詳細な説明を省略する。 The first compression format is MPEG1 or MPEG2. These compression formats are often used for video signals used in computers. MPEG1 and MPEG2 both reduce temporal redundancy between frames by motion compensation, reduce spatial redundancy within a frame by DCT (Discrete Cosine Transform), and reduce the amount of code by variable-length coding. A standard for combined image compression. Since the contents of MPEG1 are described in (Non-Patent Document 1) and MPEG2 is described in (Non-Patent Document 2), detailed description thereof is omitted here.
従来、これらMPEG1またはMPEG2形式の映像データを生成するには、一般に図34に示すような過程を経ていた。即ち、アナログの信号出力しか持たないビデオテーププレーヤ、ビデオカメラなどのアナログビデオ機器101の場合には、出力されたアナログビデオ信号をアナログ→デジタル変換器102で変換して非圧縮デジタルビデオ信号を生成する。また、デジタルの信号出力を持つデジタルビデオ機器103からは直接非圧縮のデジタルビデオ信号を出力する。
Conventionally, in order to generate video data in the MPEG1 or MPEG2 format, a process as shown in FIG. 34 is generally performed. In other words, in the case of an
これらの非圧縮デジタルビデオ信号をMPEGエンコーダ104に入力し、MPEGエンコーダ104がMPEGデータを生成する、という手順により、MPEGデータを生成していた。
These uncompressed digital video signals are input to the
このMPEGエンコーダ104へ入力される非圧縮のデジタルビデオ信号には、4:2:2もしくは4:4:4のカラーコンポーネント信号が用いられる。また、生成されるMPEG1のデータすべてと、MPEG2のデータの多くは、4:2:0である。
A 4: 2: 2 or 4: 4: 4 color component signal is used for the uncompressed digital video signal input to the
第2の圧縮形式は、DV、DVC、DVCPRO、DVcamなどである。これらは民生のビデオ機器を含むデジタルビデオ機器に用いられる映像信号の形式であり、信号のデータ構造や圧縮形式が殆ど同じものであるため、以降はこれらを纏めてDVと記述する。DVは、1996年に制定されたビデオカセットレコーダ向けの規格である、「Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)」に準拠した規格であり、DVの映像信号を扱うビデオ機器は近年急速に普及している。DVの映像信号を扱うビデオ機器として、民生向けビデオカメラも急速に普及が進んでおり、一般の人々がDVの映像信号を生成することも安価かつ容易に可能である。 The second compression format is DV, DVC, DVCPRO, DVcam, or the like. These are video signal formats used for digital video equipment including consumer video equipment, and the data structure and compression format of the signals are almost the same, so these are collectively referred to as DV hereinafter. DV is a standard compliant with “Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)”, a video cassette recorder standard established in 1996, and is a video device that handles DV video signals. Has become widespread rapidly in recent years. Consumer video cameras are rapidly spreading as video equipment that handles DV video signals, and it is cheap and easy for ordinary people to generate DV video signals.
このDVは、DCTによるフレーム内の冗長度削減と可変長符号化による符号量削減とを組み合わせた圧縮形式であり、この映像信号では、さらに圧縮信号に対して、フレーム内でマクロブロック単位にデータの位置を変えるシャフリングの処理が施されている。 This DV is a compression format that combines the reduction of redundancy within a frame by DCT and the reduction of the amount of code by variable length coding. In this video signal, further, the compressed signal is data in units of macroblocks within the frame. A shuffling process is performed to change the position.
DVの映像信号を扱うビデオ機器の入出力に用いられる映像信号は4:2:2あるいは4:4:4であり、この機器の内部でのDVは4:1:1である場合が多い。 Video signals used for input / output of video equipment that handles DV video signals are 4: 2: 2 or 4: 4: 4, and DV inside the equipment is often 4: 1: 1.
DVの映像信号は、前記のMPEG1、MPEG2の映像信号と比較して、 1)データがフレームごとに独立しているため、フレーム単位のカット&ペーストなどの映像の編集を容易に行なうことができる。 Compared with the above-mentioned MPEG1 and MPEG2 video signals, DV video signals are as follows: 1) Since data is independent for each frame, video editing such as frame-by-frame cut and paste can be easily performed. .
2)単位フレーム当たりの符号量が多い(MPEGの6倍程度)ため、一般に高画質である、という性質を有する。 2) Since the amount of code per unit frame is large (about 6 times that of MPEG), it generally has the property of high image quality.
この画質が高く編集が容易なDVの映像信号は、コンピュータに入力することも可能になっている。そして、コンピュータ上で映像を扱うユーザからは、入力・編集・蓄積には、高画質で処理の簡単なDVデータを用い、ネットワークなどを介して映像を他のコンピュータに提供する場合には、符号量の少ないMPEGデータを用いるという使い分けの要求が高まっている。 This DV video signal with high image quality and easy editing can be input to a computer. A user who handles video on a computer uses DV data that is easy to process with high image quality for input, editing, and storage, and when video is provided to another computer via a network or the like, There is an increasing demand for proper use of MPEG data with a small amount.
従来、DVデータからMPEGデータを生成するには、図34の構成において、DVを扱うビデオ機器をデジタルビデオ機器103として用い、これをMPEGエンコーダ104に接続する必要があった。そのため、DVのビデオ機器とMPEGエンコーダとの2つのハードウェアが必要となり、コストが高くなった。
一方、コンピュータに入力されたDVデータを、ソフトウェアでMPEGデータに直接変換した場合は、変換のための専用のハードウェアが不要になり、映像信号の変換を安価に実施できると考えられる。しかしながら、ソフトウェアによるDVデータのMPEGデータへの直接変換は、従来次のような課題が存在するため、実現が困難であった。即ち、(課題1)DVに用いられている4:1:1カラーコンポーネント信号をMPEGに用いられている4:2:0カラーコンポーネント信号に直接変換する方法がない。 On the other hand, when DV data input to a computer is directly converted into MPEG data by software, it is considered that dedicated hardware for conversion becomes unnecessary, and video signal conversion can be performed at low cost. However, direct conversion of DV data into MPEG data by software has been difficult to implement because of the following problems. That is, (Problem 1) There is no method for directly converting a 4: 1: 1 color component signal used in DV into a 4: 2: 0 color component signal used in MPEG.
(課題2)DVのデコードとMPEGのエンコードとをそれぞれ行なった場合、処理量が多いため、一般のコンピュータでは非常に長い処理時間を要する。 (Problem 2) When DV decoding and MPEG encoding are performed respectively, the amount of processing is large, so that a general computer requires a very long processing time.
本発明は、こうした従来の課題を解決するものであり、形式の異なるカラーコンポーネント信号間の直接変換を行ない、また、圧縮フォーマットが異なる映像信号間の直接変換を行なう映像信号変換装置とその映像信号変換方法とを提供し、さらに、利用者が求めるフォーマットの映像信号を供給する映像提供システムを提供することを目的としている。 The present invention solves such a conventional problem, and performs a direct conversion between color component signals of different formats and a direct conversion between video signals of different compression formats and the video signal thereof. It is an object of the present invention to provide a video providing system that supplies a video signal in a format desired by a user.
そこで、本発明では、映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置を、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とで構成している。 Therefore, in the present invention, a video signal conversion apparatus for converting the color component signal format of a video signal, an input means for inputting a digital video signal, a luminance signal frame memory for storing a luminance signal of the input video signal, and an input Input color difference signal frame memory for storing the color difference signal of the received video signal, color difference signal conversion means for converting the color difference signal of the input video signal, and output color difference signal for storing the color difference signal converted by the color difference signal conversion means The frame memory and output means for outputting a digital video signal by combining the luminance signal stored in the luminance signal frame memory and the color difference signal stored in the output color difference signal frame memory.
また、本発明のカラーコンポーネント信号形式を変換する映像信号変換方法では、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の特定の行の画素値を選択したり、2つの行の画素値の平均を取るなどして、縦方向の解像度を2分の1にし、画素値を隣の列に複写したり、線形補間などを行なうことによって横方向の解像度を2倍にしている。 In the video signal conversion method for converting the color component signal format of the present invention, the pixel value of a specific row of the color difference signal is selected for the color difference signal of the color component signal of the 4: 1: 1 format, The vertical resolution is halved by taking the average of the pixel values of the two rows, etc., and the horizontal resolution is doubled by copying the pixel value to the next column or performing linear interpolation. I have to.
また、本発明では、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とで構成し、このコンポーネント信号変換手段を、カラーコンポーネント信号形式を変換する本発明の映像信号変換装置で構成している。 According to the present invention, there is provided a video signal converter for converting between digital video signals having different compression formats, an input / output unit for inputting / outputting the video signal, and a video decoding unit for decoding the input compressed video signal. And component signal converting means for converting the component signal format of the decoded video signal, and video encoding means for compressing and encoding the video signal converted by the component signal converting means, and this component signal converting means Is constituted by the video signal converter of the present invention for converting the color component signal format.
また、この映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とで構成している。 Also, the video signal conversion apparatus includes an input / output unit for inputting / outputting a video signal, and a video decoding unit for decoding the input compressed video signal and converting the component signal format of the video signal in the decoding process. And video encoding means for compressing and encoding the video signal whose component signal format has been converted.
さらに、本発明では、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムを、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とで構成し、映像提供部には、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、この映像信号変換手段を、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう本発明の映像信号変換装置で構成している。 Further, according to the present invention, a video providing system that provides digital video as a video signal in a format requested by a user acquires a digital video via a network transmitting the digital signal, and reproduces the acquired digital video. It consists of a video playback terminal, a video providing unit that stores digital video and provides it to the video playback terminal, and a video input unit that inputs digital video to the video providing unit via a network. Communication means for inputting / outputting digital video by connecting to a video signal, video storage means for storing digital video, video signal conversion means for converting a compression format of digital video, communication means, video storage means and video signal conversion means And control means for controlling the video signal conversion means for converting the video signal converting means to a digital video having a different compression format. It is constituted by the video signal conversion device of the present invention for performing conversion between signals.
そのため、カラーコンポーネント信号形式を変換する映像信号変換装置は、本発明の映像信号変換方法を用いて、4:1:1形式のカラーコンポーネント信号を4:2:0形式のカラーコンポーネント信号に直接変換することができ、また、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置は、4:1:1形式のDVCフォーマットの映像信号を、4:2:0形式のMPEGフォーマットの映像信号に直接変換することができる。 Therefore, the video signal conversion apparatus for converting the color component signal format directly converts the color component signal in the 4: 1: 1 format into the color component signal in the 4: 2: 0 format using the video signal conversion method of the present invention. In addition, a video signal conversion apparatus that converts between digital video signals having different compression formats can convert a DVC format video signal in a 4: 1: 1 format and a video in an MPEG format in a 4: 2: 0 format. It can be converted directly into a signal.
また、この装置を用いた映像提供システムは、映像再生端末の再生能力に応じたフォーマットで映像を提供することができる。 Also, a video providing system using this apparatus can provide video in a format according to the playback capability of the video playback terminal.
本発明の映像信号変換装置は、カラーコンポーネント信号の形式を直接変換することができ、また、圧縮フォーマットの異なる映像信号間の変換を直接行なうことができる。 The video signal conversion apparatus of the present invention can directly convert the format of the color component signal and can directly convert between video signals of different compression formats.
また、本発明の映像信号変換方法は、カラーコンポーネント信号の形式を効率的且つ高精度に変換することを可能にする。 Also, the video signal conversion method of the present invention makes it possible to efficiently and accurately convert the color component signal format.
また、本発明の映像提供システムは、単一のフォーマットで入力された映像信号を、複数の形式で提供することができる。 Also, the video providing system of the present invention can provide video signals input in a single format in a plurality of formats.
本願第一の発明は、デジタル映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置であって、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とを設けたものであり、カラーコンポーネント信号の形式を直接変換することができる。 A first invention of the present application is a video signal converter for converting a color component signal format of a digital video signal, an input means for inputting the digital video signal, and a luminance signal frame for storing a luminance signal of the input video signal Memory, input color difference signal frame memory for storing the color difference signal of the input video signal, color difference signal conversion means for converting the color difference signal of the input video signal, and the color difference signal converted by the color difference signal conversion means Output color difference signal frame memory, and output means for outputting a digital video signal by combining the luminance signal stored in the luminance signal frame memory and the color difference signal stored in the output color difference signal frame memory, The color component signal format can be directly converted.
また、本願第2の発明は、前記色差信号変換手段が、入力された映像信号の色差信号を4:1:1コンポーネント信号形式から4:2:0コンポーネント信号形式の色差信号に変換するようにしたものであり、DVCフォーマットの映像信号をMPEGフォーマットの映像信号に変換する場合のコンポーネント信号の形式を変換することができる。 Also, in the second invention of the present application, the color difference signal conversion means converts the color difference signal of the input video signal from a 4: 1: 1 component signal format to a 4: 2: 0 component signal format color difference signal. Therefore, it is possible to convert the component signal format when converting the DVC format video signal to the MPEG format video signal.
また、本願第3の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号から縦方向に1画素おきに間引いた画素を取り出して縦方向の画素数を2分の1にし、取り出した画素を横方向に複写して横方向の画素数を2倍にするようにしたものであり、色差信号の変換に特別の演算が不要であるため、処理負担が少なくて済む。 Also, in the third invention of the present application, the color difference signal converting means takes out pixels obtained by thinning out every other pixel in the vertical direction from the color difference signal stored in the input color difference signal frame memory, and reduces the number of vertical pixels by two. 1, the extracted pixels are copied in the horizontal direction to double the number of pixels in the horizontal direction, and no special operation is required for conversion of the color difference signal, so that the processing load can be reduced. .
また、本願第4の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う2つの画素値の平均値を求め、これを1つの画素値とすることにより縦方向の画素数を2分の1にし、この平均値である1つの画素値を横方向に複写して横方向の画素数を2倍にするようにしたものであり、変換の際の演算量が少なく、変換に要する処理負担が小さい。 In the fourth invention of the present application, the color difference signal conversion means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and determines this as one pixel value. Thus, the number of pixels in the vertical direction is halved, one pixel value that is the average value is copied in the horizontal direction, and the number of pixels in the horizontal direction is doubled. The amount of calculation at the time is small, and the processing load required for conversion is small.
また、本願第5の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う2つの画素値の平均値を求め、これを1つの画素値とすることにより縦方向の画素数を2分の1にし、この平均値である1つの画素値と、横方向に隣り合う前記平均値である1つの画素値との平均値を画素値として横方向に補間することにより横方向の画素数を2倍にするようにしたものであり、画素間の画素値の変化が滑らかとなり、データ圧縮のためにDCTを施した場合に、圧縮効率が向上する。 Further, in the fifth invention of the present application, the color difference signal converting means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and calculates this as one pixel value. Thus, the number of pixels in the vertical direction is halved, and the horizontal direction with the average value of one pixel value that is the average value and one pixel value that is the average value adjacent in the horizontal direction as the pixel value. The number of pixels in the horizontal direction is doubled by interpolating to, and the change in pixel value between pixels becomes smooth, and compression efficiency improves when DCT is applied for data compression. .
また、本願第6の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う2つの画素値の平均値を求め、横方向に隣り合う2つの前記平均値を用いて横方向の線形補間を行なうことにより、横方向の画素数を2倍にし、縦方向の画素数を2分の1にするようにしたものであり、画素間の画素値の変化がより滑らかとなり、DCTを施した場合の圧縮効率が一層向上する。 According to a sixth aspect of the present invention, the color difference signal converting means obtains an average value of two pixel values adjacent in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and calculates the two adjacent values in the horizontal direction. By performing linear interpolation in the horizontal direction using the average value, the number of pixels in the horizontal direction is doubled and the number of pixels in the vertical direction is halved. Changes more smoothly, and the compression efficiency when DCT is applied is further improved.
また、本願第7の発明は、入力色差信号フレームメモリ内の指定された色差信号の画素に対応する輝度信号の画素値を輝度信号フレームメモリから参照する輝度信号参照手段を設け、色差信号変換手段が、輝度信号参照手段を介して参照した輝度信号の値を利用して、色差信号の変換を行なうようにしたものであり、自然画像では色の変化と輝度の変化とが関係しているため、輝度を加味して色差信号の変換を行なうことにより、自然な色の変化を示す映像への変換が可能となる。 According to a seventh aspect of the present invention, there is provided a luminance signal reference means for referring from a luminance signal frame memory to a pixel value of a luminance signal corresponding to a pixel of a designated color difference signal in the input color difference signal frame memory. However, the color difference signal is converted by using the value of the luminance signal referred to through the luminance signal reference means, and a change in color and a change in luminance are related in a natural image. By converting the color difference signal in consideration of luminance, it is possible to convert to a video showing a natural color change.
また、本願第8の発明は、色差信号変換手段が、入力色差信号フレームメモリの横方向に隣り合う2つの画素の間に、この2つの画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を2倍にするようにしたものであり、補間する画素の色差信号が隣り合う画素の輝度を参考にして決められる。 Further, according to the eighth aspect of the present invention, the color difference signal conversion means is based on the ratio of the pixel values of the luminance signals corresponding to the two pixels between the two pixels adjacent in the horizontal direction of the input color difference signal frame memory. The pixel value of the color difference signal is linearly interpolated to double the number of pixels in the horizontal direction, and the color difference signal of the pixel to be interpolated is determined with reference to the luminance of adjacent pixels.
また、本願第9の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う2つの画素値の平均値を求め、これを1つの画素値とすることにより縦方向の画素数を2分の1にし、横方向に隣り合う2つの平均値の画素の間に、この2つの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を2倍にするようにしたものであり、横方向の画素数を増やすために内挿する画素の画素値を輝度信号の変化と関連付けることができる。 In the ninth aspect of the present invention, the color difference signal conversion means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and uses this as one pixel value. Accordingly, the number of pixels in the vertical direction is halved, and the ratio of the pixel values of the luminance signals corresponding to the pixels used for calculating the two average values between the two pixels of the average values adjacent in the horizontal direction. The pixel value of the chrominance signal is linearly interpolated based on the above to double the number of pixels in the horizontal direction, and the pixel value of the pixel to be interpolated to increase the number of pixels in the horizontal direction is Can be associated with change.
また、本願第10の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の横方向に隣り合う2つの画素に対して、この2つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を2倍にするようにしたものであり、横方向のすべての画素の画素値を、輝度信号を利用した線形補間で求めることにより、輝度と関連付けることができる。 According to the tenth aspect of the present invention, the color difference signal converting means has two pixels adjacent to each other in the horizontal direction of the color difference signal stored in the input color difference signal frame memory, and a pixel of a luminance signal corresponding to the two pixels. The number of pixels of the color difference signal in the horizontal direction is doubled by performing linear interpolation in proportion to the ratio of the values. The pixel values of all the pixels in the horizontal direction are linearly converted using luminance signals. By obtaining by interpolation, it can be associated with luminance.
また、本願第11の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦、横2つずつから成る4つの画素を、横方向には1画素分ずつずらしながら、縦方向には2画素分ずつずらしながら順次選択し、選択した4つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を2倍にし、縦方向の色差信号の画素数を2分の1にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化と関連付けることができる。 In the eleventh aspect of the present invention, the chrominance signal converting means shifts four pixels each composed of two vertical and horizontal chrominance signals stored in the input chrominance signal frame memory while shifting the pixels by one pixel in the horizontal direction. Then, the pixels are sequentially selected while shifting by 2 pixels in the vertical direction, and linear interpolation is performed in proportion to the ratio of the pixel values of the luminance signals corresponding to the selected four pixels, so that the number of pixels of the color difference signal in the horizontal direction is 2 The number of pixels of the color difference signal in the vertical direction is halved, and the pixel values of the color difference signals in the vertical direction and the horizontal direction can be associated with changes in the luminance signal.
また、本願第12の発明は、デジタル映像信号の4:1:1形式のカラーコンポーネント信号を4:2:0形式のカラーコンポーネント信号に変換する映像信号変換方法であって、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行または2n+1行(但し、nは整数)のいずれか一方の画素値を用いることによって、縦方向の解像度を2分の1にし、前記画素値を左または右隣りの列に複写することによって、横方向の解像度を2倍にするようにしたものであり、特別の演算を行なうことなく、コンポーネント信号形式の変換が可能である。 A twelfth aspect of the present invention is a video signal conversion method for converting a color component signal of a 4: 1: 1 format of a digital video signal into a color component signal of a 4: 2: 0 format, which is 4: 1: 1. For the color difference signal of the format color component signal, the vertical resolution is halved by using the pixel value of either 2n or 2n + 1 rows (where n is an integer) of the color difference signal. The pixel value is copied to the left or right adjacent column so that the horizontal resolution is doubled, and conversion of the component signal format is possible without performing any special operation. .
また、本願第13の発明は、同様の映像信号変換方法において、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行と2n+1行、または2n+1行と2(n+1)行の縦方向に隣り合う2つの画素値の平均値を求めることによって、縦方向の解像度を2分の1にし、この平均値を左または右隣りの列に複写することによって、横方向の解像度を2倍にするようにしたものであり、少ない演算量でコンポーネント信号の形式を変換することができる。 Further, the thirteenth invention of the present application is the same video signal conversion method, wherein 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals are applied to the color difference signals of the color component signals in the 4: 1: 1 format. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the vertical resolution is halved, and by copying this average value to the left or right adjacent column, the horizontal direction The component signal format can be converted with a small amount of calculation.
また、本願第14の発明は、同様の映像信号変換方法において、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行と2n+1行、または2n+1行と2(n+1)行の縦方向に隣り合う2つの画素値の平均値を求めることによって、縦方向の解像度を2分の1にし、横方法に隣り合う2つの平均値の平均値を求め、これを画素値として隣り合う2つの平均値の間に補間することによって、横方向の解像度を2倍にするようにしたものであり、画素間の画素値の変化を滑らかにすることができる。 Further, the fourteenth invention of the present application is the same video signal conversion method, wherein the color difference signal of the color component signal of the 4: 1: 1 format is 2n and 2n + 1 or 2n + 1 and 2 (2) of the color difference signal. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the vertical resolution is halved, and the average value of two average values adjacent to each other in the horizontal direction is determined, and this is calculated as the pixel value. By interpolating between two adjacent average values as values, the horizontal resolution is doubled, and the change in pixel value between pixels can be smoothed.
また、本願第15の発明は、同様の映像信号変換方法において、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行と2n+1行、または2n+1行と2(n+1)行の縦方向に隣り合う2つの画素値の平均値を求め、横方向に隣り合うこの2つの平均値を用いて線形補間を行なうことによって、横方向の解像度を2倍にし、縦方向の解像度を2分の1にするようにしたものであり、画素間の画素値の変化をより滑らかにすることができる。 Further, the fifteenth aspect of the present invention is the same video signal conversion method, wherein the color difference signal of the color component signal of the 4: 1: 1 format is 2n and 2n + 1 or 2n + 1 and 2 (2) of the color difference signal. n + 1) An average value of two pixel values adjacent to each other in the vertical direction of the row is obtained, and by performing linear interpolation using the two average values adjacent to each other in the horizontal direction, the horizontal resolution is doubled and the vertical direction The resolution of the pixel is halved, and the change in pixel value between pixels can be made smoother.
また、本願第16の発明は、同様の映像信号変換方法において、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行と2n+1行、または2n+1行と2(n+1)行の縦方向に隣り合う2つの画素値の平均値を求めることによって、縦方向の解像度を2分の1にし、横方向に隣り合う2つのこの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号を線形補間し、得られた画素値を2つの平均値の間に内挿することによって、横方向の解像度を2倍にするようにしたものであり、横方向に内挿する画素の画素値を、輝度信号の変化に関連付けているため、自然で精細な映像への変換が可能となる。 Further, the sixteenth invention of the present application is the same video signal conversion method, wherein 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals are applied to the color difference signals of the color component signals in the 4: 1: 1 format. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the resolution in the vertical direction is halved to correspond to the two pixels used for calculating the average value adjacent to each other in the horizontal direction. The color difference signal is linearly interpolated based on the ratio of the luminance signal pixel values to be interpolated, and the obtained pixel value is interpolated between two average values to double the horizontal resolution. Since the pixel value of the pixel to be interpolated in the horizontal direction is associated with the change in the luminance signal, it can be converted into a natural and fine image.
また、本願第17の発明は、同様の映像信号変換方法において、4:1:1形式のカラーコンポーネント信号の色差信号に対して、この色差信号の2n行と2n+1行、または2n+1行と2(n+1)行の上及び隣接する列の上で互いに隣り合う合計4つの画素を順次選択し、この4つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、色差信号の横方向の解像度を2倍にし、縦方向の解像度を2分の1にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化に関連付けることができるため、より自然で精細な映像への変換が可能となる。 According to a seventeenth aspect of the present invention, in the same video signal conversion method, 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals of the color component signals of the 4: 1: 1 format are used. n + 1) A total of four pixels adjacent to each other on a row and on an adjacent column are sequentially selected, and linear interpolation proportional to a ratio of pixel values of luminance signals corresponding to the four pixels is performed, whereby a color difference signal is obtained. The horizontal resolution is doubled and the vertical resolution is halved, and the pixel values of the color difference signals in the vertical and horizontal directions can be associated with changes in the luminance signal. Therefore, it is possible to convert to a more natural and fine video.
また、本願第18の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とを設け、コンポーネント信号変換手段を、請求項1乃至11に記載の映像信号変換装置で構成したものであり、入力した圧縮フォーマットの映像信号が復号され、次いでコンポーネント信号形式が変換され、その後、所定の圧縮フォーマットに変換される。
The eighteenth aspect of the present invention is a video signal converting apparatus for converting between digital video signals having different compression formats, and an input / output means for inputting / outputting the video signal, and decoding the input compressed video signal. A video decoding means for converting, a component signal converting means for converting a component signal format of the decoded video signal, and a video encoding means for compressing and encoding the video signal converted by the component signal converting means. The signal conversion means comprises the video signal conversion device according to any one of
また、本願第19の発明は、前記映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化する逆量子化手段と、逆量子化手段により逆量子化された情報に対して逆DCT処理を施す逆DCT処理手段とを設け、前記映像符号化手段に、コンポーネント信号変換手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してDCT処理や量子化を行なうDCT圧縮手段と、DCT圧縮手段の出力を非圧縮情報に伸張する逆DCT伸長手段と、逆DCT伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、DVCフォーマットなどの直交変換圧縮されたデジタル映像信号をMPEGフォーマットなどの動き補償付き直交変換圧縮されたデジタル映像信号に直接変換することができる。 According to a nineteenth aspect of the present invention, the video decoding means includes a preprocessing means for rearranging information with respect to an input video signal, and a variable length decoding for information rearranged by the preprocessing means. A long decoding means, an inverse quantization means for inversely quantizing the information variable-length decoded by the variable length decoding means, and an inverse DCT for performing an inverse DCT process on the information inversely quantized by the inverse quantization means Processing means, an input buffer for storing the output of the component signal conversion means in the video encoding means, a DCT compression means for performing DCT processing and quantization on the information stored in the input buffer, and DCT compression An inverse DCT decompression means for decompressing the output of the means into uncompressed information; a frame memory for storing the output of the inverse DCT decompression means; a motion prediction means for obtaining a motion vector and obtaining an interframe difference; Code selection means for selecting the type of encoding, variable length coding means for performing variable length coding processing on the output of the code selection means, structure coding means for generating a final compressed format signal, Coding control means for controlling the operation of each means of the video coding means, and a digital video signal subjected to orthogonal transform compression with motion compensation such as MPEG format from a digital video signal subjected to orthogonal transform compression such as DVC format It can be converted directly into a video signal.
また、本願第20の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とを設けたものであり、入力した圧縮フォーマットの映像信号が復号と同時にコンポーネント信号形式が変換され、次いで、所定の圧縮フォーマットに変換される。 According to a twentieth aspect of the present invention, there is provided a video signal converter for converting between digital video signals having different compression formats, input / output means for inputting / outputting the video signal, and decoding the input compressed video signal. And a video decoding means for converting the component signal format of the video signal in the process of decoding and a video encoding means for compressing and encoding the video signal converted from the component signal format. The component signal format is converted simultaneously with the decoding of the compressed video signal, and then converted into a predetermined compression format.
また、本願第21の発明は、映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化して輝度信号及び色差信号のDCT係数を再生する逆量子化手段と、再生された色差信号のDCT係数を間引き、または補間してDCT係数の解像度を変更するDCT係数変換手段と、逆量子化手段から出力された輝度信号のDCT係数とDCT係数変換手段から出力された色差信号のDCT係数とに対して逆DCT処理を施す逆DCT処理手段とを設け、映像符号化手段に、映像復号化手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してDCT処理や量子化を行なうDCT圧縮手段と、DCT圧縮手段の出力を非圧縮情報に伸張する逆DCT伸長手段と、逆DCT伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、映像復号化手段において、コンポーネント形式の変換が復号処理の中間情報であるDCT係数の段階で行なわれる。この映像復号化手段で復号化された非圧縮コンポーネント信号を映像符号化手段が圧縮符号化することにより、DVCフォーマットなどのデジタル映像信号からMPEGフォーマットなどのデジタル映像信号への直接変換が可能になる。 According to the twenty-first aspect of the present invention, the video decoding means includes a preprocessing means for rearranging information with respect to an input video signal, and a variable length for variable length decoding the information rearranged by the preprocessing means. Decoding means, inverse quantization means for inversely quantizing the information variable-length decoded by the variable-length decoding means to reproduce the DCT coefficients of the luminance signal and the chrominance signal, and thinning out the DCT coefficients of the reproduced chrominance signal, Or, the DCT coefficient conversion means for changing the resolution of the DCT coefficient by interpolation, and the inverse DCT with respect to the DCT coefficient of the luminance signal output from the inverse quantization means and the DCT coefficient of the color difference signal output from the DCT coefficient conversion means An inverse DCT processing means for performing processing, an input buffer for storing the output of the video decoding means in the video encoding means, and DCT processing and quantization for the information stored in the input buffer DCT compression means for performing, inverse DCT decompression means for decompressing the output of the DCT compression means to uncompressed information, frame memory for storing the output of the inverse DCT decompression means, motion prediction means for obtaining a motion vector and obtaining an interframe difference, A code selection unit that selects a type of encoding, a variable length encoding unit that performs a variable length encoding process on the output of the code selection unit, and a structure encoding unit that generates a final compressed format signal; And a coding control means for controlling the operation of each means of the video coding means. In the video decoding means, the conversion of the component format is performed at the stage of the DCT coefficient which is intermediate information of the decoding process. . When the non-compressed component signal decoded by the video decoding unit is compressed and encoded by the video encoding unit, a direct conversion from a digital video signal such as DVC format to a digital video signal such as MPEG format becomes possible. .
また、本願第22の発明は、DCT係数変換手段が、色差信号のDCT係数で構成されるDCTブロックから、低周波部分を含む縦方向の半分のDCT係数を抜き出し、抜き出したDCT係数の横方向に値が0のDCT係数を同数だけ付け足して、元のDCTブロックに比べて、縦方向のDCT係数の数が半分で、横方向のDCT係数の数が2倍のDCTブロックを生成するようにしたものであり、このように色差信号のDCT係数における解像度を変換することにより、4:1:1形式の映像信号を4:2:0形式の非圧縮映像信号に変換することが可能になる。 According to the twenty-second aspect of the present invention, the DCT coefficient converting means extracts a half DCT coefficient in the vertical direction including the low frequency portion from the DCT block constituted by the DCT coefficients of the color difference signal, and the horizontal direction of the extracted DCT coefficient. The same number of DCT coefficients having a value of 0 are added to the DCT block to generate a DCT block in which the number of DCT coefficients in the vertical direction is half and the number of DCT coefficients in the horizontal direction is twice that of the original DCT block. Thus, by converting the resolution in the DCT coefficient of the color difference signal in this way, it becomes possible to convert the video signal in the 4: 1: 1 format into the uncompressed video signal in the 4: 2: 0 format. .
また、本願第23の発明は、映像復号化手段が、入力したDCT処理が施された圧縮映像信号の輝度信号のDCT係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたDCT係数を格納するDCT係数バッファと、DCT係数バッファに格納されたDCT係数に対して低周波成分から段階的に逆DCTを施し、解像度の異なる複数の画像である階層画像を生成する階層的逆DCT処理手段とを設け、動き予測手段が、階層的逆DCT処理手段で生成された階層画像を用いて動きベクトルを求めるようにしたものであり、入力映像信号の復号過程で得られる輝度信号のDCT係数を、映像符号化手段における階層画像の生成に利用することによって、処理量及び処理時間の短縮を図ることができる。 Further, the twenty-third invention of the present application is configured such that the video decoding means sends the DCT coefficient of the luminance signal of the compressed video signal subjected to the input DCT processing to the video encoding means. A DCT coefficient buffer for storing DCT coefficients sent from the video decoding means, and DCT coefficients stored in the DCT coefficient buffer are subjected to inverse DCT stepwise from a low frequency component, and are a plurality of images having different resolutions. A hierarchical inverse DCT processing unit for generating a hierarchical image, and the motion prediction unit obtains a motion vector using the hierarchical image generated by the hierarchical inverse DCT processing unit, By using the DCT coefficient of the luminance signal obtained in the decoding process for generating a hierarchical image in the video encoding means, it is possible to reduce the processing amount and the processing time.
また、本願第24の発明は、映像復号化手段が、入力したDCT処理が施された圧縮映像信号の輝度信号のDCT係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたDCT係数を格納するDCT係数バッファと、DCT係数バッファに格納されたDCT係数の一部に対して一次元の逆DCT処理を施し、2方向の一次元情報を生成する1次元逆DCT処理手段とを設け、動き予測手段が、1次元逆DCT処理手段で生成された2方向の一次元情報を用いて動きベクトルを求めるようにしたものであり、動きベクトルの検出に要する演算量を削減することができる。 According to a twenty-fourth aspect of the present invention, the video decoding unit is configured to send the DCT coefficient of the luminance signal of the compressed video signal subjected to the input DCT process to the video encoding unit. A DCT coefficient buffer for storing DCT coefficients sent from the video decoding means, and one-dimensional inverse DCT processing is performed on a part of the DCT coefficients stored in the DCT coefficient buffer to generate one-dimensional information in two directions A one-dimensional inverse DCT processing means for detecting motion vectors, wherein the motion prediction means obtains a motion vector using two-dimensional one-dimensional information generated by the one-dimensional inverse DCT processing means. Can reduce the amount of computation required.
また、本願第25の発明は、この映像信号変換装置が、DVCフォーマットの映像信号を入力し、MPEGフォーマットの映像信号に変換して出力するようにしたものであり、高画質なDVCフォーマットの映像信号を、通信に適したMPEGフォーマットの映像信号に変換することができる。 According to a twenty-fifth aspect of the present invention, this video signal conversion apparatus inputs a DVC format video signal, converts it into an MPEG format video signal, and outputs the video signal. The signal can be converted into an MPEG format video signal suitable for communication.
また、本願第26の発明は、DVCフォーマットの映像信号をMPEGフォーマットの映像信号に変換する映像信号変換方法であって、DVCフォーマットの映像信号の復号処理中に再生する色差信号のDCT係数を間引き、または補間してDCT係数の解像度を変換し、解像度を変換した色差信号のDCT係数と輝度信号のDCT係数とに逆DCT処理を施して4:2:0形式の非圧縮コンポーネント信号を復号し、この非圧縮コンポーネント信号をMPEGフォーマットの映像信号に符号化するようにしたものであり、DVCフォーマットの復号と併せて、信号形式が4:2:0形式に変換されるため、少ない処理工程でDVCフォーマットからMPEGフォーマットへの変換が可能になる。 According to a twenty-sixth aspect of the present invention, there is provided a video signal conversion method for converting a DVC format video signal into an MPEG format video signal, and thinning out DCT coefficients of a color difference signal to be reproduced during decoding of the DVC format video signal. Alternatively, the resolution of the DCT coefficient is converted by interpolation, and the DCT coefficient of the chrominance signal and the DCT coefficient of the luminance signal subjected to the resolution conversion are subjected to inverse DCT processing to decode the 4: 2: 0 format uncompressed component signal The uncompressed component signal is encoded into an MPEG format video signal, and the signal format is converted into 4: 2: 0 format together with the DVC format decoding. Conversion from the DVC format to the MPEG format becomes possible.
また、本願第27の発明は、DCT係数の解像度の変換に際して、色差信号のDCT係数で構成されるDCTブロックから、低周波部分を含む縦方向の半分のDCT係数を抜き出し、抜き出したDCT係数の横方向に値が0のDCT係数を同数だけ付け足して、元のDCTブロックに比べて、縦方向のDCT係数の数が半分で、横方向のDCT係数の数が2倍のDCTブロックを生成するようにしたものであり、色の変化が滑らかな画質に変換することができる。 In the 27th invention of this application, when converting the resolution of the DCT coefficient, the DCT coefficient of the half in the vertical direction including the low frequency portion is extracted from the DCT block constituted by the DCT coefficient of the color difference signal, and the extracted DCT coefficient The same number of DCT coefficients having a value of 0 in the horizontal direction are added to generate a DCT block in which the number of DCT coefficients in the vertical direction is half and the number of DCT coefficients in the horizontal direction is twice that of the original DCT block. Thus, the color change can be converted into a smooth image quality.
また、本願第28の発明は、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムであって、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とを設け、映像提供部に、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、映像信号変換手段を、請求項18乃至25の映像信号変換装置によって構成したものであり、映像再生端末に対して、その要求するフォーマットのデジタル映像を提供することができる。 The 28th invention of the present application is a video providing system that provides digital video as a video signal in a format requested by a user, and acquires and acquires a digital video via a network that transmits the digital signal. A video providing unit provided with a video playback terminal for playing back digital video, a video providing unit for storing the digital video and providing it to the video playback terminal, and a video input unit for inputting the digital video via the network in the video providing unit In addition, communication means for inputting / outputting digital video connected to a network, video storage means for storing digital video, video signal conversion means for converting the compression format of digital video, communication means, video storage means and video Control means for controlling the signal conversion means, and the video signal conversion means is the video signal conversion means according to claims 18 to 25. Are those configured by the device, can be provided to the video reproducing terminal, a digital video format that the request.
また、本願第29の発明は、映像信号変換手段が、入力したデジタル映像のフォーマットを変換し、映像蓄積手段に、1つのデジタル映像に関して各種のフォーマットの映像信号が蓄積されるようにしたものであり、映像再生端末が要求するフォーマットのデジタル映像を、映像蓄積手段に蓄積されている中から選んで提供することができる。 In the twenty-ninth aspect of the present invention, the video signal conversion means converts the format of the input digital video, and the video storage means stores video signals of various formats for one digital video. In addition, digital video in a format required by the video playback terminal can be selected and provided from those stored in the video storage means.
また、本願第30の発明は、映像信号変換手段が、映像蓄積手段から読出されて映像再生端末に出力されるデジタル映像のフォーマットを、ユーザの要求に応じて変換するようにしたものであり、蓄積されているデジタル映像のフォーマットが、そのデジタル映像を映像再生端末に送出する際に、リアルタイムで変換される。 According to a thirtieth aspect of the present invention, the video signal converting means converts the format of the digital video read from the video storage means and output to the video playback terminal according to the user's request. The format of the stored digital video is converted in real time when the digital video is sent to the video playback terminal.
以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施の形態)
第1の実施形態では、4:1:1コンポーネント信号を4:2:0コンポーネント信号に直接変換する映像信号変換装置とその映像信号変換方法について説明する。
(First embodiment)
In the first embodiment, a video signal converting apparatus and a video signal converting method for directly converting a 4: 1: 1 component signal into a 4: 2: 0 component signal will be described.
この装置は、機能ブロックとして、図1に示すように、4:1:1コンポーネント映像信号が入力する入力手段201と、入力したコンポーネント信号のY信号を格納するYフレームメモリ301と、入力したコンポーネント信号のCr信号を格納する入力Crフレームメモリ302と、入力したコンポーネント信号のCb信号を格納する入力Cbフレームメモリ303と、出力する映像信号の形式に合わせて色差信号を変換する色差信号変換手段401と、変換されたCr信号を格納する出力Crフレームメモリ304と、変換されたCb信号を格納する出力Cbフレームメモリ305と、4:2:0コンポーネント信号を出力する出力手段202とを備えている。
As shown in FIG. 1, this apparatus includes an
次に、この装置の動作を説明する。全体の処理の流れを図2に示す。この装置は、この図2の流れで映像信号の変換を行なう。 Next, the operation of this apparatus will be described. The overall process flow is shown in FIG. This apparatus converts the video signal in the flow shown in FIG.
ステップ101:最初に、入力手段201が、1フレーム分の4:1:1コンポーネント映像信号を入力し、Y信号をYフレームメモリ301に、Cr信号、Cb信号を、それぞれ入力Crフレームメモリ302、入力Cbフレームメモリ303に格納する。
Step 101: First, input means 201 inputs a 4: 1: 1 component video signal for one frame, Y signal into
ステップ102:次に色差信号変換手段401が、入力Crフレームメモリ302と入力Cbフレームメモリ303とに格納された色差信号を4:2:0の色差信号に変換し、変換結果を出力Crフレームメモリ304と出力Cbフレームメモリ305とに格納する。
Step 102: Next, the color difference signal converting means 401 converts the color difference signals stored in the input
ステップ103:次に出力手段102が、Yフレームメモリ301に格納されたY信号と出力Crフレームメモリ304に格納されたCr信号と出力Cbフレームメモリ305に格納されたCb信号とを組み合わせて4:2:0コンポーネント信号として出力する。
Step 103: Next, the output means 102 combines the Y signal stored in the
ステップ104:そして、処理したフレームが、動画の最終フレームであれば処理を終了し、そうでなければ、次のフレームに対して同様の処理を行なう(ステップ101に戻る)。 Step 104: If the processed frame is the final frame of the moving image, the process ends. If not, the same process is performed on the next frame (return to step 101).
上記の処理における色差信号変換処理(ステップ102)について、次に説明する。 Next, the color difference signal conversion processing (step 102) in the above processing will be described.
図3は、(A)コンポーネント信号のY信号の一部、(B)そのY信号に対応する4:1:1のCr、Cb信号、(C)そのY信号に対応する4:2:0のCr、Cb信号を示す図である。図3(A)において、Yx,yは、フレームの左上を始点としたときの画素単位のX座標、Y座標がそれぞれx,yの画素における輝度値を表す。即ち、図3(A)に示したY信号は、フレームの左上から縦4画素、横8画素の部分を取り出して示したものである。また、図3(B)、(C)において、Ui x,y、はCrフレーム中のX座標、Y座標がそれぞれx,yの画素における色差Crの値を示し、Vi x,yはCbフレーム中のX座標、Y座標がそれぞれx,yの画素における色差Cbの値を示す。また、Ui x,y、Vi x,yのうち、iが1のものは入力フレームの値、即ち4:1:1の色差信号を表し、iが2のものは出力フレームの値、即ち4:2:0の色差信号を表す。 FIG. 3 shows (A) a part of the Y signal of the component signal, (B) a 4: 1: 1 Cr and Cb signal corresponding to the Y signal, and (C) 4: 2: 0 corresponding to the Y signal. It is a figure which shows the Cr and Cb signal. In FIG. 3 (A), Y x and y represent the luminance values of pixels whose X and Y coordinates are x and y, respectively, when the upper left corner of the frame is the starting point. That is, the Y signal shown in FIG. 3A is obtained by extracting a portion of 4 pixels vertically and 8 pixels horizontally from the upper left of the frame. In FIGS. 3B and 3C, U i x , y represents the value of the color difference Cr in the X and Y coordinates of the Cr frame in the Cr frame, and V i x , y represents The X-coordinate and Y-coordinate in the Cb frame indicate the value of the color difference Cb in the x and y pixels, respectively. Of U i x , y , and V i x , y , i = 1 represents an input frame value, that is, a 4: 1: 1 color difference signal, i = 2 represents an output frame value, That is, it represents a 4: 2: 0 color difference signal.
ここで説明する色差信号変換処理(ステップ102)は、図3におけるU1、V1からU2、V2を求める処理に他ならない。この処理は複数の方法によって行なうことができる。以下にその方法をそれぞれ説明する。 The color difference signal conversion process (step 102) described here is nothing but a process for obtaining U 2 and V 2 from U 1 and V 1 in FIG. This process can be performed by a plurality of methods. Each method will be described below.
以下の説明では、図3を用いて、フレームの一部の色差信号の変換を例として示すが、同様の処理をフレームの他の部分に施すことにより、フレーム全体について色差信号の変換が可能であることは明らかである。 In the following description, the conversion of the color difference signal of a part of the frame is shown as an example with reference to FIG. 3, but the color difference signal can be converted for the entire frame by performing the same processing on the other part of the frame. It is clear that there is.
(色差信号変換の方法1)
第1の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで2倍にするものである。即ち、この変換方法によれば、図3のU2、V2は次の式(数式1)による計算で求めることができる。
U2 2x,y = U2 2x+1,y = U1 x,2y
V2 2x,y = V2 2x+1,y = V1 x,2y (数式1)
ここで、xとyは正の整数値である。
(Color difference signal conversion method 1)
The first method halves the resolution in the vertical direction of the input color difference signal by using the value of the odd or even numbered color difference signal in the input color difference signal, By using the value of the color difference signal on the left side as it is, it is doubled. That is, according to this conversion method, U 2 and V 2 in FIG. 3 can be obtained by calculation according to the following equation (Equation 1).
U 2 2x , y = U 2 2x + 1 , y = U 1 x , 2y
V 2 2x , y = V 2 2x + 1 , y = V 1 x , 2y (Formula 1)
Here, x and y are positive integer values.
ところで、一般に、DVフォーマットで記録される4:1:1の色差信号は、DVフォーマットで記録するデジタルビデオ機器に入力される4:2:2の色差信号の隣り合う2つの色差信号値の右側を取り除いて生成される。この例を図4に示す。図4(A)は、このデジタルビデオ機器に入力されるY信号を示し、図4(B)は、それに対応する4:2:2の色差信号を示している。このとき、DVフォーマットとして記録される4:1:1の色差信号は、図4(C)に示すように、図4(B)の色差信号を横方向に1つおきに間引いたものとなる。 By the way, in general, the 4: 1: 1 color difference signal recorded in the DV format is the right side of the adjacent two color difference signal values of the 4: 2: 2 color difference signal input to the digital video device that records in the DV format. Is generated. An example of this is shown in FIG. FIG. 4A shows the Y signal input to this digital video device, and FIG. 4B shows the 4: 2: 2 color difference signal corresponding thereto. At this time, the 4: 1: 1 color difference signal recorded as the DV format is obtained by thinning out every other color difference signal in FIG. 4B in the horizontal direction as shown in FIG. 4C. .
この実施形態の色差信号変換の第1の方法は、DVフォーマットの映像信号の元となる4:2:2信号から考えた場合に、その情報を加工せず用いていると見ることができる(図3(C)のU2 0,0、U2 2,0は、それぞれ図4(B)のU1 0,0、U1 2,0をそのまま用いることになる)から、4:2:2信号に忠実な色情報を変換後の信号に残すことができるという有効な性質を有する。 The first method of color difference signal conversion of this embodiment can be regarded as using the information without processing when considering the 4: 2: 2 signal that is the source of the DV format video signal ( From U 2 0 , 0 , U 2 2 , 0 in FIG. 3C, U 1 0 , 0 , U 1 2 , 0 in FIG. It has an effective property that color information faithful to two signals can be left in the converted signal.
また、この変換方法では、色差信号の変換に演算が不要であるため、処理の負担を最も軽減できるという有効な性質も有する。 Further, this conversion method has an effective property that the processing load can be reduced most because no operation is required for conversion of the color difference signal.
(色差信号変換の方法2)
第2の方法は、入力の色差信号に対して、縦方向の解像度を、縦に隣り合う2つの色差信号の平均を求めることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで2倍にするものである。即ち、この変換方法によれば、図3のU2、V2は次の式(数式2)による計算で求めることができる。
U2 2x,y = U2 2x+1,y = (U1 x,2y + U1 x,2y+1)/2
V2 2x,y = V2 2x+1,y = (V1 x,2y + V1 x,2y+1)/2 (数式2)
ここで、xとyは正の整数値である。
(Color difference signal conversion method 2)
The second method halves the vertical resolution of the input color difference signal by calculating the average of two vertically adjacent color difference signals, and converts the horizontal resolution to the left color difference signal value. By using it as it is, it is doubled. That is, according to this conversion method, U 2 and V 2 in FIG. 3 can be obtained by calculation according to the following equation (Equation 2).
U 2 2x , y = U 2 2x + 1 , y = (U 1 x , 2y + U 1 x , 2y + 1 ) / 2
V 2 2x , y = V 2 2x + 1 , y = (V 1 x , 2y + V 1 x , 2y + 1 ) / 2 (Formula 2)
Here, x and y are positive integer values.
この変換方法は、第1の変換方法と比較すると、全ての入力された色差信号を用いて変換を行なっており、入力の色差信号にノイズが加わっている場合、変換後の色差信号に対するノイズの影響を軽減するという有効な性質を有する。また、この変換方法は、入力の色差信号の情報を全て用いた中では、本来の情報をできる限り保存しており、画質的に本来の画像に忠実な高い画質が得られるという有効な性質を有する。また、計算が簡単なため、変換に要する処理負担を軽減するという有効な性質を有する。 Compared with the first conversion method, this conversion method performs conversion using all the input color difference signals. When noise is added to the input color difference signal, the noise of the converted color difference signal is reduced. It has an effective property of reducing the influence. In addition, this conversion method preserves the original information as much as possible while using all the information of the input color difference signal, and has an effective property that a high image quality faithful to the original image can be obtained in terms of image quality. Have. Further, since the calculation is simple, it has an effective property of reducing the processing load required for conversion.
(色差信号変換の方法3)
第3の方法は、入力の色差信号に対して、縦方向の解像度を第2の方法と同様にして半減させ、また、横方向の解像度を、横に隣り合う2つの色差信号の平均値をその中間に内挿する色差信号の値とすることで2倍にする方法である。即ち、この変換方法によれば、図3のU2、V2は次の式(数式3)による計算で求めることができる。
U2 2x,y = (U1 x,2y + U1 x,2y+1)/2
U2 2x+1,y = (αU2 2x,y + (1-α)U2 2(x+1),y)/2
V2 2x,y = (V1 x,2y + V1 x,2y+1)/2
V2 2x+1,y = (αV2 2x,y + (1-α)V2 2(x+1),y)/2 (数式3)
ここで、xとyは正の整数値である。
(Color difference signal conversion method 3)
In the third method, the resolution in the vertical direction is halved with respect to the input color difference signal in the same manner as in the second method, and the horizontal resolution is set to the average value of two adjacent color difference signals. In this method, the value of the color difference signal interpolated in the middle is doubled. That is, according to this conversion method, U 2 and V 2 in FIG. 3 can be obtained by calculation according to the following equation (Equation 3).
U 2 2x , y = (U 1 x , 2y + U 1 x , 2y + 1 ) / 2
U 2 2x + 1 , y = (αU 2 2x , y + (1-α) U 2 2 (x + 1) , y ) / 2
V 2 2x , y = (V 1 x , 2y + V 1 x , 2y + 1 ) / 2
V 2 2x + 1 , y = (αV 2 2x , y + (1-α) V 2 2 (x + 1) , y ) / 2 (Formula 3)
Here, x and y are positive integer values.
また、αは0から1までの間の任意の値を持つ定数である。例えばαに0.5を用いた場合、内挿される色差信号は、その両隣の色差信号のちょうど平均となる。なお、この変換方法において、色差信号をフレームの右端において補間する場合には、(数式3)による内挿が適用できない。このよう部分は、左側の色差信号の値をそのまま用いるなどの方法により外挿を行なう。 Α is a constant having an arbitrary value between 0 and 1. For example, when 0.5 is used for α, the interpolated color difference signal is exactly the average of the adjacent color difference signals. In this conversion method, when the color difference signal is interpolated at the right end of the frame, interpolation according to (Equation 3) cannot be applied. Such a portion is extrapolated by a method such as using the value of the left color difference signal as it is.
この変換手法は、例えば図3のU2 0,0 とU2 2,0の値が大きく異なる場合でも、U2 1,0にその間の値が内挿されるため、変化が滑らかになり、DCTを施した場合に、低周波部分に情報がより集中するため、圧縮効率が向上するという有効な性質を有する。 This transformation technique, for example, even if the value of U 2 0, 0 and U 2 2, 0 in Figure 3 is significantly different, since the values in between are inserted into the U 2 1, 0, change becomes smooth, DCT Since the information is more concentrated on the low-frequency part when it is applied, the compression efficiency is improved.
(色差信号変換の方法4)
第4の方法は、入力する色差信号の縦方向及び横方向の値を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。即ち、この変換方法によれば、図3のU2、V2は次の式(数式4)による計算で求めることができる。
U2 2x,y =(3A + B)/4
U2 2x+1,y =(A + 3B)/4
A = (U1 x,2y + U1 x,2y+1)/2
B = (U1 x+1,2y + U1 x+1,2y+1)/2
V2 2x,y = (C + 3D)/4
V2 2x+1,y = (3C + D)/4
C = (V1 x,2y + V1 x,2y+1)/2
D = (V1 x+1,2y + V1 x+1,2y+1)/2 (数式4)
ここで、xとyは正の整数値である。
(Color difference signal conversion method 4)
In the fourth method, an intermediate value obtained by combining the vertical and horizontal values of the input color difference signal is used as an output of the color difference signal, and an intermediate value obtained by changing the blending ratio of the color difference signal in the combination is displayed in the horizontal direction. Interpolation method. That is, according to this conversion method, U 2 and V 2 in FIG. 3 can be obtained by calculation according to the following equation (Equation 4).
U 2 2x , y = (3A + B) / 4
U 2 2x + 1 , y = (A + 3B) / 4
A = (U 1 x , 2y + U 1 x , 2y + 1 ) / 2
B = (U 1 x + 1 , 2y + U 1 x + 1 , 2y + 1 ) / 2
V 2 2x , y = (C + 3D) / 4
V 2 2x + 1 , y = (3C + D) / 4
C = (V 1 x , 2y + V 1 x , 2y + 1 ) / 2
D = (V 1 x + 1 , 2y + V 1 x + 1 , 2y + 1 ) / 2 (Formula 4)
Here, x and y are positive integer values.
この変換方法は、出力する全ての色差信号を線形補間により求めているため、特に色差信号の変化が滑らかであり、DCTを用いた圧縮を行なう際に、圧縮効率が向上するという有効な性質を有する。 In this conversion method, since all the color difference signals to be output are obtained by linear interpolation, the change of the color difference signals is particularly smooth, and an effective property that the compression efficiency is improved when performing compression using DCT. Have.
次に、上記の4種類の変換方法により色差信号を変換する具体例を示す。これら4種類の変換方法のいずれを用いた場合でも、2種類の色差信号Cr、Cbは同様に変換することができるため、以下に示す具体例ではCr信号の変換のみについて説明する。Cb信号について変換を行なった場合でも、以下に示す具体例と同様の結果を得ることができることは明らかである。 Next, specific examples of converting color difference signals by the above-described four types of conversion methods will be shown. Since any of these four types of conversion methods can be used to convert the two types of color difference signals Cr and Cb, only the conversion of the Cr signal will be described in the following specific example. It is clear that even when the conversion is performed on the Cb signal, the same result as the specific example shown below can be obtained.
図5、図6及び図7は、異なる4:1:1のCr信号が入力したとき、それぞれの変換方法で、その変換結果がどのように変わるかを示している。図5、図6及び図7において、(A)は入力された4:1:1のCr信号であり、(B)は第1の変換方法により変換した4:2:0のCr信号、(C)は第2の変換方法により変換した4:2:0のCr信号、(D)は第3の変換方法により変換した4:2:0のCr信号、また、(E)は第4の変換方法により変換した4:2:0のCr信号を示している。それぞれの例において、個々の升目が1つのCr信号の画素を示し、升目の中の数値が画素値を表す。また、これらのCr信号は、全て、Cr信号のフレームの左上端から一部を抜き出したものとする。即ち、全ての例において、左上の升目がCr信号のフレームの左上端の画素を表す。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。なお、画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表している。 FIGS. 5, 6 and 7 show how the conversion results change with the respective conversion methods when different 4: 1: 1 Cr signals are input. 5, 6, and 7, (A) is an inputted 4: 1: 1 Cr signal, (B) is a 4: 2: 0 Cr signal converted by the first conversion method, ( C) is a 4: 2: 0 Cr signal converted by the second conversion method, (D) is a 4: 2: 0 Cr signal converted by the third conversion method, and (E) is the fourth The 4: 2: 0 Cr signal converted by the conversion method is shown. In each example, each cell represents a pixel of one Cr signal, and a numerical value in the cell represents a pixel value. All of these Cr signals are extracted from the upper left corner of the Cr signal frame. That is, in all the examples, the upper left cell represents the upper left pixel of the Cr signal frame. The conversion results in these examples are values obtained by the respective conversion method formulas, but the numbers after the decimal point are rounded off and expressed as integer values. It should be noted that a pixel in which a symbol “−” is entered as a pixel value indicates that the pixel value is not determined in this example because the pixel value changes depending on the value of a pixel in another portion not included in this example.
上記3種類の例における、各変換方法による変換結果の特徴を次に述べる。 The characteristics of the conversion results obtained by the conversion methods in the above three examples will be described below.
第1の変換方法及び第2の変換方法による変換結果では、横に隣り合う2つの画素値が全て等しくなる。 In the conversion results obtained by the first conversion method and the second conversion method, two horizontally adjacent pixel values are all equal.
さらに、第1の変換方法による変換結果では、入力のCr信号の中で参照しないライン(水平方向の画素の並び)、即ち、この具体例では2番目及び4番目のラインの画素値は、出力されるCr信号の画素値に影響を与えない。例えば、図5の入力Cr信号(A)の1ライン目と図6の入力Cr信号(A)の1ライン目と図7の入力信号(A)の1ライン目の画素値は全て同じであり、それぞれ2ライン目の画素値は異なる。このような3種類の入力に対して、第1の変換方法では、その変換結果がすべて同じになる。即ち、図5、図6及び図7の第1の変換方法による変換結果(B)において、1ライン目の画素値は全て同じになっている。 Further, in the conversion result by the first conversion method, the pixel values of the lines (horizontal pixel arrangement) not referred to in the input Cr signal, that is, the pixel values of the second and fourth lines in this specific example are output. It does not affect the pixel value of the Cr signal. For example, the pixel values of the first line of the input Cr signal (A) in FIG. 5, the first line of the input Cr signal (A) in FIG. 6 and the first line of the input signal (A) in FIG. The pixel values of the second line are different. With respect to such three types of inputs, the conversion results are all the same in the first conversion method. That is, in the conversion result (B) by the first conversion method of FIGS. 5, 6, and 7, all the pixel values of the first line are the same.
また、第3の変換方法による変換結果では、横方向に偶数番目の画素値が、左右の画素値の間の値で、かつ左右の画素値から常に一定の比率(この具体例では左右とも0.5)の値が内挿されている。また、その左右の画素値、即ち横方向に奇数番目の画素値は、入力信号の縦に隣り合う2つの画素値の平均値となっている。この2点が第3の変換方法の特徴である。 Also, in the conversion result by the third conversion method, the even-numbered pixel values in the horizontal direction are values between the left and right pixel values and are always a constant ratio from the left and right pixel values (in this example, both left and right are 0). .5) is interpolated. In addition, the left and right pixel values, that is, the odd-numbered pixel values in the horizontal direction, are average values of two pixel values adjacent in the vertical direction of the input signal. These two points are the characteristics of the third conversion method.
また、第4の変換方法では、入力の画素値がそのまま反映されない点に特徴がある。これを、図6を用いて説明する。入力信号(A)において、上半分に注目した場合、左側の縦2画素の平均値は0と200の平均で100、右側の縦2画素の平均値は100と0の平均で50となり、左側の平均値と右側の平均値との差は50となる。 The fourth conversion method is characterized in that input pixel values are not reflected as they are. This will be described with reference to FIG. In the input signal (A), when attention is paid to the upper half, the average value of the two vertical pixels on the left side is 100 on the average of 0 and 200, and the average value of the two vertical pixels on the right side is 50 on the left side. The difference between the average value and the average value on the right side is 50.
一方、下半分に注目した場合、左側の縦2画素の平均値は100と0の平均で50、右側の縦2画素の平均値は0と0の平均で0となり、左側の平均値と右側の平均値との差は、上半分と同様50となる。 On the other hand, when focusing on the lower half, the average value of the two vertical pixels on the left side is 50 on the average of 100 and 0, and the average value of the two vertical pixels on the right side is 0 on the average of 0 and 0. The difference from the average value is 50 as in the upper half.
このように差が等しい入力に対して、例えば第3の変換方法による変換では2つの変換結果は同じ差となる。具体的には図6(D)において、左上端の画素値は100、その右隣の画素値は75でその差は25である。そして、その下側のラインにおいても、左端が50、その右隣が25で、その差は25となる。 For such inputs having the same difference, for example, in the conversion by the third conversion method, the two conversion results have the same difference. Specifically, in FIG. 6D, the upper left pixel value is 100, the right adjacent pixel value is 75, and the difference is 25. And also in the lower line, the left end is 50, the right neighbor is 25, and the difference is 25.
一方、第4の変換方法による変換結果においては、上側が88と63でその差が25であるのに対し、下側が44と31でその差が13となる。 On the other hand, in the conversion result by the fourth conversion method, the upper side is 88 and 63 and the difference is 25, while the lower side is 44 and 31 and the difference is 13.
以上説明したように、この実施形態に示した装置と変換の方法とを用いれば、4:1:1コンポーネント信号を直接4:2:0信号に変換することが可能である。 As described above, by using the apparatus and the conversion method shown in this embodiment, it is possible to directly convert a 4: 1: 1 component signal into a 4: 2: 0 signal.
(第2の実施の形態)
第2の実施形態では、4:1:1コンポーネント信号を4:2:0コンポーネント信号に変換する場合に、対応する画素の輝度信号(Y信号)の値を利用して色差信号の変換を行なう映像信号変換装置とその映像信号変換方法について説明する。
(Second Embodiment)
In the second embodiment, when a 4: 1: 1 component signal is converted to a 4: 2: 0 component signal, the color difference signal is converted using the luminance signal (Y signal) value of the corresponding pixel. A video signal conversion apparatus and a video signal conversion method thereof will be described.
この装置は、図8に示すように、Yフレームメモリ301からY信号を読み出して色差信号変換手段401に提供するY信号参照手段402を備えている。その他の構成は第1の実施形態(図1)と変わりがない。
As shown in FIG. 8, this apparatus includes a Y
次に、この装置の動作を説明する。全体の処理の流れは、図2に示す、第1の実施形態の処理の流れと同一である。全体の処理の中で、色差信号変換処理(ステップ102)が第1の実施形態と異なる。この装置では、色差信号変換処理(ステップ102)において、色差信号変換手段402が、Y信号参照手段402を介して、変換すべき色差信号に対応する輝度信号の画素値を参照し、それを色差信号の変換に用いる。
Next, the operation of this apparatus will be described. The overall processing flow is the same as the processing flow of the first embodiment shown in FIG. Among the entire processes, the color difference signal conversion process (step 102) is different from the first embodiment. In this apparatus, in the color difference signal conversion process (step 102), the color difference
次に、この装置における上記色差信号変換処理(ステップ102)の2種類の変換方法を、図3に示すコンポーネント信号の一部を用いて具体的に説明する。 Next, two types of conversion methods of the color difference signal conversion process (step 102) in this apparatus will be specifically described using a part of the component signals shown in FIG.
(色差信号変換の方法5)
第1の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、入力の各画素の右側に値を内挿することにより2倍にするものである。そして、この方法においては、右側に内挿する画素の値を求める際に、参照する左右の色差信号の画素に対応する輝度信号を用いて、参照する比を決定する。即ち、この変換方法によれば、図3のU2、V2は次の式(数式5)による計算で求めることができる。
U2 2x,y = (U1 x,2y + U1 x,2y+1)/2
U2 2x+1,y = (U1 x,2y×B)/2(A+B) + (U1 x+1,2y×A)/2(A+B)
+ (U1 x,2y+1×D)/2(C+D) + (U1 x+1,2y+1×C)/2(C+D)
V2 2x,y = (V1 x,2y + V1 x,2y+1)/2
V2 2x+1,y = (V1 x,2y×B)/2(A+B) + (V1 x+1,2y×A)/2(A+B)
+ (V1 x,2y+1×D)/2(C+D) + (V1 x+1,2y+1×C)/2(C+D)
A = ((Y4x,2y + Y4x+1,2y) - Y4x+3,2y))2
B = ((Y4(x+1),2y + Y4(x+1),2y) - (Y4(x+1)+2,2y + Y4(x+1)+3,2y))2
C = ((Y4x,2y+1 + Y4x+1,2y+1) - (Y4x+2,2y+1 + Y4x+3,2y+1))2
D = ((Y4(x+1),2y+1 + Y4(x+1),2y+1)
- (Y4(x+1)+2,2y+1 + Y4(x+1)+3,2y+1))2 (数式5)
ここで、xとyは正の整数値である。
(Color difference signal conversion method 5)
The first method halves the resolution in the vertical direction of the input color difference signal by using the value of the odd or even numbered color difference signal in the input color difference signal, The value is doubled by interpolating the value to the right of each input pixel. In this method, when the value of the pixel to be interpolated on the right side is obtained, the reference ratio is determined using the luminance signal corresponding to the pixel of the left and right color difference signals to be referred to. That is, according to this conversion method, U 2 and V 2 in FIG. 3 can be obtained by calculation according to the following equation (Equation 5).
U 2 2x , y = (U 1 x , 2y + U 1 x , 2y + 1 ) / 2
U 2 2x + 1 , y = (U 1 x , 2y × B) / 2 (A + B) + (U 1 x + 1 , 2y × A) / 2 (A + B)
+ (U 1 x , 2y + 1 × D) / 2 (C + D) + (U 1 x + 1 , 2y + 1 × C) / 2 (C + D)
V 2 2x , y = (V 1 x , 2y + V 1 x , 2y + 1 ) / 2
V 2 2x + 1 , y = (V 1 x , 2y × B) / 2 (A + B) + (V 1 x + 1 , 2y × A) / 2 (A + B)
+ (V 1 x , 2y + 1 × D) / 2 (C + D) + (V 1 x + 1 , 2y + 1 × C) / 2 (C + D)
A = ((Y 4x , 2y + Y 4x + 1 , 2y )-Y 4x + 3 , 2y )) 2
B = ((Y 4 (x + 1) , 2y + Y 4 (x + 1) , 2y )-(Y 4 (x + 1) +2 , 2y + Y 4 (x + 1) +3 , 2y ) ) 2
C = ((Y 4x , 2y + 1 + Y 4x + 1 , 2y + 1 )-(Y 4x + 2 , 2y + 1 + Y 4x + 3 , 2y + 1 )) 2
D = ((Y 4 (x + 1) , 2y + 1 + Y 4 (x + 1) , 2y + 1 )
-(Y 4 (x + 1) +2 , 2y + 1 + Y 4 (x + 1) +3 , 2y + 1 )) 2 (Formula 5)
Here, x and y are positive integer values.
自然画像においては、一般に、輝度情報と色情報との間に相関がある場合が多い。即ち、色が変化する場合には、輝度も変化する場合が多い。このような自然画像の特徴を考慮した場合、この変換方法は、変換結果として自然で、より精細な色差信号が得られるという有効な性質を有する。 In general, in general, there is often a correlation between luminance information and color information. That is, when the color changes, the luminance often changes. In consideration of such characteristics of natural images, this conversion method has an effective property that a natural and finer color difference signal can be obtained as a conversion result.
(色差信号変換の方法6)
第2の方法は、第1の実施形態の第4の変換方法(色差信号変換の方法4)と同様に、縦方向及び横方向の色差信号を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。色差信号変換の方法4と異なる点は、合成における配合比率を輝度信号と関連付けて決めている点である。即ち、この変換方法によれば、図3のU2、V2は次の式(数式6)による計算で求めることができる。
U2 2x,y = (U1 x,2y×B)/2(A+B) + (U1 x+1,2y×A)/2(A+B)
+ (U1 x,2y+1×F)/2(E+F) + (U1 x+1,2y+1×E)/2(E+F)
U2 2x+1,y = (U1 x,2y×D)/2(C+D) + (U1 x+1,2y×C)/2(C+D)
+ (U1 x,2y+1×H)/2(G+H) + (U1 x+1,2y+1×G)/2(G+H)
V2 2x,y = (V1 x,2y×B)/2(A+B) + (V1 x+1,2y×A)/2(A+B)
+ (V1 x,2y+1×F)/2(E+F) + (V1 x+1,2y+1×E)/2(E+F)
V2 2x+1,y = (V1 x,2y×D)/2(C+D) + (V1 x+1,2y×C)/2(C+D)
+ (V1 x,2y+1×H)/2(G+H) + (V1 x+1,2y+1×G)/2(G+H)
A = ((Y4x,2y + Y4x+1,2y + Y4x+2,2y + Y4x+3,2y)
- 2(Y4x,2y + Y4x+1,2y))2
B = ((Y4(x+1),2y + Y4(x+1)+1,2y + Y4(x+1)+2,2y + Y4(x+1)+3,2y)
- 2(Y4x,2y + Y4x+1,2y))2
C = ((Y4x,2y + Y4x+1,2y + Y4x+2,2y + Y4x+3,2y)
- 2(Y4x+2,2y + Y4x+3,3y))2
D = ((Y4(x+1),2y + Y4(x+1)+1,2y + Y4(x+1)+2,2y + Y4(x+1)+3,2y)
- 2(Y4x+2,2y + Y4x+3,2y))2
E = ((Y4x,2y+1 + Y4x+1,2y+1 + Y4x+2,2y+1 + Y4x+3,2y+1)
- 2(Y4x,2y+1 + Y4x+1,2y+1))2
F = ((Y4(x+1),2y+1 + Y4(x+1)+1,2y+1 + Y4(x+1)+2,2y+1
+ Y4(x+1)+3,2y+1) - 2(Y4x,2y+1 + Y4x+1,2y+1))2
G = ((Y4x,2y+1 + Y4x+1,2y+1 + Y4x+2,2y+1 + Y4x+3,2y+1)
- 2(Y4x+2,2y+1 + Y4x+3,2y+1))2
H = ((Y4(x+1),2y+1 + Y4(x+1)+1,2y+1 + Y4(x+1)+2,2y+1
+ Y4(x+1)+3,2y+1) - 2(Y4x+2,2y+1 + Y4x+3,2y+1))2
(数式6)
ここで、xとyは正の整数値である。また、A〜Hの値としてそれぞれ上記の式の平方根を用いることも可能である。
(Color difference signal conversion method 6)
As in the fourth conversion method (color difference signal conversion method 4) of the first embodiment, the second method outputs an intermediate value obtained by synthesizing the color difference signals in the vertical direction and the horizontal direction as the output of the color difference signal. And an intermediate value with a different blending ratio of the color difference signals in the synthesis is interpolated in the horizontal direction. The difference from the color difference
U 2 2x , y = (U 1 x , 2y × B) / 2 (A + B) + (U 1 x + 1 , 2y × A) / 2 (A + B)
+ (U 1 x , 2y + 1 × F) / 2 (E + F) + (U 1 x + 1 , 2y + 1 × E) / 2 (E + F)
U 2 2x + 1 , y = (U 1 x , 2y × D) / 2 (C + D) + (U 1 x + 1 , 2y × C) / 2 (C + D)
+ (U 1 x , 2y + 1 × H) / 2 (G + H) + (U 1 x + 1 , 2y + 1 × G) / 2 (G + H)
V 2 2x , y = (V 1 x , 2y × B) / 2 (A + B) + (V 1 x + 1 , 2y × A) / 2 (A + B)
+ (V 1 x , 2y + 1 × F) / 2 (E + F) + (V 1 x + 1 , 2y + 1 × E) / 2 (E + F)
V 2 2x + 1 , y = (V 1 x , 2y × D) / 2 (C + D) + (V 1 x + 1 , 2y × C) / 2 (C + D)
+ (V 1 x , 2y + 1 × H) / 2 (G + H) + (V 1 x + 1 , 2y + 1 × G) / 2 (G + H)
A = ((Y 4x , 2y + Y 4x + 1 , 2y + Y 4x + 2 , 2y + Y 4x + 3 , 2y )
-2 (Y 4x , 2y + Y 4x + 1 , 2y )) 2
B = ((Y 4 (x + 1) , 2y + Y 4 (x + 1) +1 , 2y + Y 4 (x + 1) +2 , 2y + Y 4 (x + 1) +3 , 2y )
-2 (Y 4x , 2y + Y 4x + 1 , 2y )) 2
C = ((Y 4x , 2y + Y 4x + 1 , 2y + Y 4x + 2 , 2y + Y 4x + 3 , 2y )
-2 (Y 4x + 2 , 2y + Y 4x + 3 , 3y )) 2
D = ((Y 4 (x + 1) , 2y + Y 4 (x + 1) +1 , 2y + Y 4 (x + 1) +2 , 2y + Y 4 (x + 1) +3 , 2y )
-2 (Y 4x + 2 , 2y + Y 4x + 3 , 2y )) 2
E = ((Y 4x , 2y + 1 + Y 4x + 1 , 2y + 1 + Y 4x + 2 , 2y + 1 + Y 4x + 3 , 2y + 1 )
-2 (Y 4x , 2y + 1 + Y 4x + 1 , 2y + 1 )) 2
F = ((Y 4 (x + 1) , 2y + 1 + Y 4 (x + 1) +1 , 2y + 1 + Y 4 (x + 1) +2 , 2y + 1
+ Y 4 (x + 1) +3 , 2y + 1 ) -2 (Y 4x , 2y + 1 + Y 4x + 1 , 2y + 1 )) 2
G = ((Y 4x , 2y + 1 + Y 4x + 1 , 2y + 1 + Y 4x + 2 , 2y + 1 + Y 4x + 3 , 2y + 1 )
-2 (Y 4x + 2 , 2y + 1 + Y 4x + 3 , 2y + 1 )) 2
H = ((Y 4 (x + 1) , 2y + 1 + Y 4 (x + 1) +1 , 2y + 1 + Y 4 (x + 1) +2 , 2y + 1
+ Y 4 (x + 1) +3 , 2y + 1 ) -2 (Y 4x + 2 , 2y + 1 + Y 4x + 3 , 2y + 1 )) 2
(Formula 6)
Here, x and y are positive integer values. Moreover, it is also possible to use the square root of said formula as a value of AH, respectively.
この変換方法は、この実施形態の第1の変換方法(色差信号変換の方法5)と同様に、輝度の変化を利用しているため、自然で精細な色差信号が得られる。さらに加えて、より滑らかな色差信号を得ることができるため、DCTなどの直交変換による圧縮において圧縮効率の向上が可能になる。 Similar to the first conversion method (color difference signal conversion method 5) of this embodiment, this conversion method uses a change in luminance, so that a natural and fine color difference signal can be obtained. In addition, since a smoother color difference signal can be obtained, compression efficiency can be improved in compression by orthogonal transformation such as DCT.
次に、この実施形態の装置によるコンポーネント信号の変換処理の具体例を図9に示す。この具体例では、第1の実施形態の具体例と同様にCr信号の変換についてのみ説明するが、Cb信号の変換も同様に可能である。図9(A)は入力された4:1:1のY信号であり、図9(B)はそのY信号に対応する4:1:1のCr信号を示している。図9(C)は、この入力信号に対して、この実施形態の第1の変換方法により変換した4:2:0のCr信号を示し、図9(D)は、この実施形態の第2の変換方法により変換した4:2:0のCr信号を示している。また、図9(E)は、参考として第1の実施形態の第1の変換方法により変換した4:2:0のCr信号を示している。 Next, a specific example of component signal conversion processing by the apparatus of this embodiment is shown in FIG. In this specific example, only the conversion of the Cr signal will be described as in the specific example of the first embodiment, but the conversion of the Cb signal is also possible. FIG. 9A shows an input 4: 1: 1 Y signal, and FIG. 9B shows a 4: 1: 1 Cr signal corresponding to the Y signal. FIG. 9C shows a 4: 2: 0 Cr signal obtained by converting this input signal by the first conversion method of this embodiment, and FIG. 9D shows the second signal of this embodiment. The 4: 2: 0 Cr signal converted by the above conversion method is shown. FIG. 9E shows a 4: 2: 0 Cr signal converted by the first conversion method of the first embodiment for reference.
この例では、第1の実施形態の具体例と同様に、個々の升目が1つのCr信号もしくはY信号の画素を示し、升目の中の数値が画素値を表す。また、これらのCr信号もしくはY信号は全て、フレームの左上端から一部を抜き出したものとする。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。また画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表す。 In this example, as in the specific example of the first embodiment, each cell represents a pixel of one Cr signal or Y signal, and a numerical value in the cell represents a pixel value. Further, it is assumed that all of these Cr signals or Y signals are extracted from the upper left end of the frame. The conversion results in these examples are values obtained by the respective conversion method formulas, but the numbers after the decimal point are rounded off and expressed as integer values. In addition, a pixel in which a symbol “−” is entered as a pixel value indicates that the pixel value is not determined in this example because the pixel value changes depending on the value of a pixel in another portion not included in this example.
まず、この実施形態の第1の方法による変換結果を説明する。第1の実施形態による変換結果(E)が、右2画素同士と左2画素同士の値が同じで、値は中央(2画素目と3画素目との間)で分かれているのに対し、この実施形態の第1の変換方法によれば、1画素目と2画素目との間で値が分かれている。DVフォーマットが生成される前の4:2:2の入力において、輝度に対応した色変化をしていた場合(図9(A)の輝度200に対応するCr画素値が0、輝度100に対応するCr画素値が200)を考えると、1画素目と2画素目との間で値が分かれている方が、本来の入力に忠実な値であることが分かる。
First, the conversion result by the 1st method of this embodiment is demonstrated. In the conversion result (E) according to the first embodiment, the values of the right two pixels and the left two pixels are the same, and the values are divided at the center (between the second pixel and the third pixel). According to the first conversion method of this embodiment, the values are divided between the first pixel and the second pixel. In the 4: 2: 2 input before the DV format is generated, when the color change corresponding to the luminance is performed (the Cr pixel value corresponding to the
次に、この実施形態の第2の方法による変換結果を説明する。この変換結果も、第1の変換結果(C)と同様、1画素目と2画素目で値が変化している。ただし、第1の変換結果(C)と比較して、変化の度合い(2つの画素値の差)は、この変換結果の方が小さい。このことにより、色差信号について低周波成分が増し、DCTなどの直交変換の圧縮効率を向上させることが可能となる。 Next, the conversion result by the second method of this embodiment will be described. Similarly to the first conversion result (C), this conversion result also changes in value between the first pixel and the second pixel. However, the degree of change (difference between two pixel values) is smaller in the conversion result than in the first conversion result (C). This increases the low-frequency component of the color difference signal and improves the compression efficiency of orthogonal transformation such as DCT.
以上説明したとおり、この実施形態に示した装置と変換方法を用いれば、4:1:1のコンポーネント信号を4:2:0のコンポーネント信号に直接変換することが可能となり、さらに、輝度信号の変化と色差信号の変化との間に相関がある自然画像を入力した場合、自然で精細な色差信号を得ることが可能となる。 As described above, if the apparatus and the conversion method shown in this embodiment are used, it becomes possible to directly convert the component signal of 4: 1: 1 to the component signal of 4: 2: 0, and further, the luminance signal When a natural image having a correlation between the change and the change of the color difference signal is input, it is possible to obtain a natural and fine color difference signal.
(第3の実施の形態)
第3の実施形態では、DVCフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、MPEG2フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置について説明する。
(Third embodiment)
In the third embodiment, a video signal conversion apparatus that converts a digitally compressed video signal subjected to orthogonal transform compression such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format will be described.
この映像信号変換装置は、図10に示すように、デジタル圧縮映像信号が入力し、変換されたデジタル圧縮映像信号が出力される入出力部1000と、入力した圧縮映像信号を非圧縮コンポーネント信号に復号する映像復号部2000と、形式の異なるコンポーネント信号間の直接変換を行なうコンポーネント信号変換部3000と、変換されたコンポーネント信号を圧縮映像信号に変換する映像符号部4000とから構成されている。
As shown in FIG. 10, this video signal conversion apparatus receives an input /
そして、入出力部1000は、DVCフォーマットのデジタル圧縮映像信号が入力する入力手段1001と、MPEGフォーマットのデジタル圧縮映像信号を出力する出力手段1002とを備え、映像復号部2000は、シャフリングされている圧縮映像信号をデシャフリングする前処理手段2001と、圧縮映像信号を可変長復号してDCT係数の量子化値を得る可変長復号手段2002と、この量子化値を逆量子化してDCT係数を得る逆量子化手段2003と、DCT係数を基に非圧縮映像信号を生成する逆DCT処理手段2004とを備え、映像符号部4000は、符号化するフレームの種類を指定する符号化制御手段4001と、入力する非圧縮映像信号を格納する入力バッファ4002と、非圧縮映像信号にDCT処理を施し、DCT係数を量子化テーブルの値で除算して量子化値を得るDCT圧縮手段4003と、DCT圧縮手段4003の出力を非圧縮信号に戻す逆DCT伸張手段4004と、非圧縮信号に戻された映像信号を格納するフレームメモリ4005と、フレームメモリ4005に格納された映像信号と入力バッファ4002に格納された映像信号とから画像の動きを予測し、動きベクトルと画素値の差分とを求める動き予測部4100と、動き予測を用いた符号化を行なうかどうかを選択する符号選択手段4006と、符号選択手段4006から渡された情報を可変長符号化する可変長符号手段4007と、可変長符号手段4007から出力される可変長符号化データを用いてMPEGフォーマットを生成する構造符号化手段4008とを備えている。また、コンポーネント信号変換部3000には、第1または第2の実施形態に示した映像信号変換装置を用いる。
The input /
次に、この装置の動作を説明する。この装置の全体の処理は、図11に示す流れに沿って行なわれる。 Next, the operation of this apparatus will be described. The entire processing of this apparatus is performed along the flow shown in FIG.
ステップ1100:最初に、入力手段1001より入力されたDVCフォーマットの映像信号を映像復号部2000が復号して非圧縮の映像信号とし、 ステップ1200:復号された非圧縮映像信号の形式を、コンポーネント信号変換部3000が4:1:1から4:2:0に変換し、 ステップ1300:4:2:0に変換されたコンポーネント信号を、映像符号部4000がMPEGフォーマットに圧縮符号化し、出力手段1002を介して出力する。
Step 1100: First, the
また、上記の処理は、それぞれの処理(ステップ1100〜ステップ1300)を並行して行なうことも可能である。即ち、映像復号部2000が入力映像信号の全てを完全に復号する前に、復号が済んだ一部のデータを先にコンポーネント信号変換部3000が変換し、映像符号部4000がMPEGフォーマットに圧縮符号化することが可能である。
In addition, the above processing (steps 1100 to 1300) can be performed in parallel. That is, before the
次に、上記の処理のうち、映像の復号処理(ステップ1100)と映像の符号処理(ステップ1300)とについて詳しく説明する。 Next, among the above processes, the video decoding process (step 1100) and the video encoding process (step 1300) will be described in detail.
まず、映像の復号処理(ステップ1100)について詳しく説明する。最初に、DVCフォーマットについて簡単に説明する。DVCフォーマットは、4:1:1コンポーネント信号に対して8画素×8画素のブロックごとにDCTを施し、DCT係数を量子化し、これを可変長符号化した符号が記録されているフォーマットである。 First, the video decoding process (step 1100) will be described in detail. First, the DVC format will be briefly described. The DVC format is a format in which a DCT is applied to a 4: 1: 1 component signal for each block of 8 pixels × 8 pixels, a DCT coefficient is quantized, and a variable-length encoded code is recorded.
また、DVCフォーマットの1フレームは、4つの輝度信号のDCTブロックとそれに対応する2つの色差信号のDCTブロックとを組とするマクロブロック、さらに複数のマクロブロックの集合であるスーパーブロックの集合によって構成されている。そして、1フレーム内でマクロブロックやスーパーブロックの記録位置を本来のフレームの位置と変えるシャフリング処理が施されている。 One frame of the DVC format is composed of a macro block composed of four luminance signal DCT blocks and two corresponding color difference signal DCT blocks, and a super block set which is a set of a plurality of macro blocks. Has been. Then, a shuffling process is performed to change the recording position of the macro block or super block from the original frame position within one frame.
図12は、この装置の映像の復号処理の流れを示すフローチャートである。この装置の映像復号部2000は、次の様に復号を行なう。
FIG. 12 is a flowchart showing the flow of the video decoding process of this apparatus. The
ステップ1101:シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102:可変長復号手段2002が、可変長復号してDCT係数の量子化値の情報に変換し、ステップ1103:逆量子化手段2003が、可変長復号された情報を逆量子化してDCT係数を求める。
Step 1101: The shuffling compressed signal is deshuffled by the
ステップ1104:逆DCT処理手段2004が、DCT係数より各画素の画素値を求めて、非圧縮映像信号を生成する。 Step 1104: The inverse DCT processing means 2004 obtains the pixel value of each pixel from the DCT coefficient, and generates an uncompressed video signal.
次に、映像の符号処理(ステップ1300)について説明する。図13は、この装置の映像の符号処理の流れを示すフローチャートである。この装置の映像符号部4000は、次の様にMPEGフォーマットの映像信号を生成する。
Next, the video encoding process (step 1300) will be described. FIG. 13 is a flowchart showing the flow of video encoding processing of this apparatus. The
ステップ1301:最初に、DCT圧縮手段4003が、入力バッファ4002より入力した非圧縮映像信号にDCT処理を施し、DCT係数を量子化する。
Step 1301: First, the DCT compression means 4003 performs DCT processing on the uncompressed video signal input from the
ステップ1302:符号化制御手段4001が、DCT圧縮手段4003で処理された信号のエンコードされるべきフレームの種類、即ちIピクチャ、Pピクチャ、Bピクチャのいずれかのタイプを選択し、選択されたタイプがIピクチャであれば、符号選択手段4006は、DCT圧縮手段4003が入力バッファ4002のデータについて処理した出力を可変長符号手段4006に渡す。(ステップ1306から処理を続ける)
Step 1302: The encoding control means 4001 selects the type of the frame to be encoded of the signal processed by the DCT compression means 4003, that is, any type of I picture, P picture, B picture, and the selected type If it is an I picture, the code selection means 4006 passes the output processed by the DCT compression means 4003 for the data in the
ステップ1303:選択されたタイプがPピクチャまたはBピクチャであれば、動き予測部4100は、フレームメモリ4004に格納された前フレームの映像信号と入力バッファ4002に格納された現フレームの映像信号とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、DCT圧縮手段4003でDCT・量子化処理した(またはDCT・量子化処理しない)差分情報とを符号選択手段4006に渡す。
Step 1303: If the selected type is a P picture or a B picture, the
ステップ1304:次に、逆DCT伸張手段4004が、DCT圧縮手段4003の出力を逆量子化・逆DCT処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。
Step 1304: Next, the inverse
ステップ1305:符号選択手段4005は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002のデータについて処理したDCT圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。
Step 1305: The code selection means 4005 selects whether to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the
ステップ1306:そして、可変長符号手段4007は、符号選択手段4005から渡された情報を可変長符号化する。
Step 1306: The variable
ステップ1307:最後に、可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、MPEGデータとして必要なヘッダを付加するなどしてMPEGフォーマットを生成する。 Step 1307: Finally, the structure encoding means 4008 generates an MPEG format by adding a header necessary as MPEG data to the variable length code encoded by the variable length encoding means 4007.
この処理の流れによって、MPEG1及びMPEG2のMPEGフォーマットを生成することが可能である。 Through this processing flow, it is possible to generate MPEG formats of MPEG1 and MPEG2.
次に、上記映像圧縮処理(ステップ1300)の内、動き予測処理(ステップ1303)における動きベクトル計算処理について詳しく説明する。 Next, the motion vector calculation process in the motion prediction process (step 1303) in the video compression process (step 1300) will be described in detail.
動きベクトルの計算には、該当するマクロブロックの画素値を探索範囲の全ての箇所の画素値と比較して、それぞれの箇所における画素値の平均誤差を求め、そのマクロブロックの元の位置と最も誤差の少ない箇所の位置との差を動きベクトルとする方法(全探索)を始めとして、種々の方法を用いることができる。この実施形態では、階層画像を用いた段階的な動き情報の探索による計算方法を説明する。 In calculating the motion vector, the pixel value of the corresponding macroblock is compared with the pixel values of all locations in the search range, and the average error of the pixel values at each location is obtained. Various methods can be used, including a method (full search) in which a difference from the position of a portion with a small error is used as a motion vector. In this embodiment, a calculation method based on stepwise motion information search using a hierarchical image will be described.
この計算方法は、対象画像フレームと参照する画像のフレームとの両方に対して、解像度を落とした(画素数を減らした)複数の画像を生成し、低い解像度の画像から粗い動きベクトルの情報を計算し、計算に用いる画像を順次解像度の高いものにして動きベクトルの精度を高める方法である。この実施形態では上記の解像度を落とした複数の画像を階層画像と呼ぶ。この計算方法は、自然画像において、大きい物体の動きに当たる粗い動きベクトルを最初に求め、それを基に段階的に精度の高い動きベクトルの計算を行なうため、精度の高い動きベクトルを得ることができ、MPEG符号化時に圧縮効率を上げることができ、結果として画質を向上させることができる方法である。 This calculation method generates a plurality of images with reduced resolution (reduced the number of pixels) for both the target image frame and the frame of the reference image, and obtains information on coarse motion vectors from the low resolution image. This is a method of increasing the accuracy of motion vectors by calculating and sequentially increasing the resolution of the images used for the calculation. In this embodiment, a plurality of images with the above-mentioned reduced resolution are called hierarchical images. This calculation method first obtains a coarse motion vector corresponding to the motion of a large object in a natural image, and calculates a highly accurate motion vector step by step based on the coarse motion vector. Therefore, a highly accurate motion vector can be obtained. In this method, compression efficiency can be increased during MPEG encoding, and as a result, image quality can be improved.
ここで、階層画像とその生成方法について簡単に説明する。図14は、階層画像の例を示す図である。図14において、最初に、入力される原画像10000から、間引き処理(ダウンサンプリング)により解像度を2分の1に下げた1/2画像が生成され、さらに1/2画像に対して同様のダウンサンプリングを行なう、という手順を繰り返すことで、階層画像が生成される。このとき、ダウンサンプリングとしては、低周波通過フィルタ(LPF)で縦方向、横方向共に空間周波数帯域を2分の1にした後、1つおきに画素を間引く、という処理を用いることができる。
Here, a hierarchical image and a generation method thereof will be briefly described. FIG. 14 is a diagram illustrating an example of a hierarchical image. In FIG. 14, first, a half image with a resolution reduced to half is generated from the input
この装置において、この計算方法を実現するための、動き予測部4100について詳しく説明する。
In this apparatus, the
最初に、動き予測部4100の構成を図15を用いて説明する。図15に示すように、動き予測部4100は、階層画像を生成する階層画像生成手段4101と、生成された階層画像を格納する階層画像メモリ4102と、階層画像を用いて低い解像度から段階的に動きベクトルを検出する動き検出手段4103と、動き検出手段4103が検出した段階的な動きベクトルを格納する動き情報一時格納手段4104と、画像圧縮に用いる最終的な動きベクトルを生成する動きベクトル生成手段4105と、この動きベクトルを基に圧縮すべき画像信号のフレーム間差分を求める差分情報生成手段4106とを備えている。
First, the configuration of the
次に、動き予測部4100の処理について、図16のフローチャートを基に説明する。
Next, the processing of the
ステップ2000:階層画像生成手段4101は、入力バッファ4002及びフレームメモリ4005から得た画像データを用いて、対象画像及び参照画像の階層画像を生成し、階層画像メモリ4102に格納する。
Step 2000: The hierarchical image generating means 4101 generates a hierarchical image of the target image and the reference image using the image data obtained from the
ステップ2100:動き検出手段4103は、先ず、対象画像における1/8画像の画素を縦16画素×横16画素の256画素ずつに分割して検索対象ブロックとし、検索対象ブロック毎に、参照画像における1/8画像とのマッチングを取り、動きベクトルを求める。求めた動きベクトルは動き情報一時格納手段4104に格納する。
Step 2100: First, the
次に、動き検出手段4103は、対象の1/4画像を縦16画素×横16画素ずつに分割して検索対象ブロックとし、参照画像の1/4画像とのマッチングを取り、動きベクトルを求める。このとき、先に求めた1/8画像の対応するブロックの動きベクトルを動きベクトル候補として用い、動きベクトル候補周辺からマッチングを行なうことで、探索範囲を狭める。
Next, the
動き検出手段4103は、このような階層的な動き予測を順次より大きい階層画像に対して行ない、最後に原画像に対する動きベクトルを求める。 The motion detection means 4103 performs such hierarchical motion prediction on sequentially larger hierarchical images, and finally obtains a motion vector for the original image.
ステップ2200:動きベクトル生成手段4105は、原画像に対して検出された動きベクトルを最終的な動きベクトルの値として設定する。 Step 2200: The motion vector generation means 4105 sets the motion vector detected for the original image as the final motion vector value.
ステップ2300:差分情報生成手段4106は、入力バッファ4002及びフレームメモリ4005から入力した画像データを基に、対象画像の各マクロブロックの画素値と、動きベクトルで示された対応する参照画像のブロックの画素値との差分を計算する。
Step 2300: The difference information generation means 4106, based on the image data input from the
この階層画像を用いた動き予測によれば、動きベクトル導出に必要な計算量を効果的に削減することができる。また、粗い画像から順次動きベクトルの精度を上げているため、画像の大きな動きに忠実な、自然な動きを表現する動きベクトルを求めることができ、動きベクトルの精度を高めることができる。 According to motion prediction using this hierarchical image, the amount of calculation required for motion vector derivation can be effectively reduced. In addition, since the accuracy of the motion vector is sequentially increased from a rough image, a motion vector that expresses a natural motion faithful to a large motion of the image can be obtained, and the accuracy of the motion vector can be improved.
なお、動き予測部4100の動きベクトル導出処理としては、上記の例の他、既存の階層的な動きベクトル検出方法を用いることも可能である。
As the motion vector derivation process of the
こうした処理により、精度の高い動きベクトルを検出することができ、結果として、生成するMPEGフォーマットの圧縮画像の画質を高めることができる。
以上説明したように、この装置によれば、DVCフォーマットの圧縮映像を、高画質なMPEG1、あるいはMPEG2のフォーマットに直接変換することができる。
By such processing, it is possible to detect a motion vector with high accuracy, and as a result, it is possible to improve the image quality of a compressed image in the MPEG format to be generated.
As described above, according to this apparatus, the compressed video in the DVC format can be directly converted into the high-quality MPEG1 or MPEG2 format.
(第4の実施の形態)
第4の実施形態では、DVCフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、MPEG2フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、DVCフォーマットの輝度信号のDCT係数を、MPEGフォーマットの生成に利用する装置について説明する。
(Fourth embodiment)
The fourth embodiment is a video signal conversion apparatus that converts a digitally compressed video signal compressed by orthogonal transform such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format. An apparatus that uses the DCT coefficient of the format luminance signal to generate the MPEG format will be described.
この装置は、図17に示すように、映像符号部4000が、映像復号部2000の逆量子化手段2003から送られた輝度信号のDCT係数を格納するDCT係数バッファ4009と、DCT係数バッファ4009に格納されたDCT係数を処理して階層画像を生成する階層的逆DCT手段4010とを備えている。また、映像符号部4000の動き予測部4100は、図18に示すように、第3の実施形態の動き予測部(図15)が有していた階層画像生成手段4101を備えていない。その他の構成は第3の実施形態(図10)と変わりがない。
In this apparatus, as shown in FIG. 17, the
次に、この装置の動作を説明する。この装置の動作の特徴は、輝度信号を、映像復号部2000がDCT係数のまま直接映像符号部4000に出力し、映像符号部4000の階層的逆DCT手段4010が、そのDCT係数から階層画像を直接生成する点である。そのため、この装置では、第3の実施形態の装置で必要であったダウンサンプリングによる階層画像生成処理が不要になるため、処理時間の短縮を実現することができる。
Next, the operation of this apparatus will be described. The operation feature of this apparatus is that the
この装置における全体の処理の流れは、第3の実施形態の全体の処理の流れと同じである。即ち、この装置における全体の処理の流れは図11のフローチャートの通りである。 The overall process flow in this apparatus is the same as the overall process flow of the third embodiment. That is, the overall processing flow in this apparatus is as shown in the flowchart of FIG.
この装置の処理が、第3の実施形態に示した処理と異なる点は、DVCフォーマットの復号処理(ステップ1100)とMPEGフォーマットの圧縮処理(ステップ1300)とである。 The processing of this apparatus is different from the processing shown in the third embodiment in DVC format decoding processing (step 1100) and MPEG format compression processing (step 1300).
図19に、この装置における映像信号復号処理(ステップ1100)の処理の流れを示す。この装置の映像復号部2000は、図19に示す流れでDVCフォーマットの復号(伸長)を行なう。
FIG. 19 shows the flow of the video signal decoding process (step 1100) in this apparatus. The
ステップ1111:シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1112:可変長復号手段2002が、可変長復号してDCT係数の量子化値の情報に変換し、ステップ1113:逆量子化手段2003が、可変長復号された情報を逆量子化してDCT係数を求め、ステップ1114:処理中のDCTブロックが輝度信号ならば、ステップ1115:逆量子化手段2003が、求めたDCT係数をDCT係数バッファ4009に格納する。
Step 1111: The
ステップ1116:また、処理中のDCTブロックが色差信号ならば、逆DCT処理手段2004は、逆DCTによりDCT係数から各画素の画素値を求めて、非圧縮映像信号を生成する。 Step 1116: If the DCT block being processed is a color difference signal, the inverse DCT processing means 2004 obtains the pixel value of each pixel from the DCT coefficient by inverse DCT and generates an uncompressed video signal.
この非圧縮の色差信号は、コンポーネント信号変換部3000で形式が変換された後、映像符号部4000の入力バッファ4002に格納される。
The uncompressed color difference signal is converted in format by the
図20に、この装置における映像信号圧縮処理(ステップ1300)の流れを示す。この装置の映像符号部4000は、図20の流れに沿ってMPEGフォーマットの生成を行なう。
FIG. 20 shows the flow of video signal compression processing (step 1300) in this apparatus. The
ステップ1311:DCT圧縮手段4003は、処理するDCTブロックが、入力バッファ4002から入力した色差信号であれば、
ステップ1312:そのブロックのデータをDCT変換する。
Step 1311: If the DCT block to be processed is a color difference signal input from the
Step 1312: DCT transform the data of the block.
ステップ1313:次に、符号化制御手段4001が、エンコードするフレームの種類、即ちIピクチャ、Pピクチャ、Bピクチャのいずれかのタイプを選択し、ステップ1314:選択されたタイプがIピクチャであれば、DCT圧縮手段4003は、変換した色差信号のDCT係数及びDCT係数バッファ4009から読み出した輝度信号のDCT係数を量子化し、量子化された信号を符号選択手段4005が、可変長符号手段4006に渡す。(ステップ1319から処理を続ける)
Step 1313: Next, the encoding control means 4001 selects the type of frame to be encoded, that is, any type of I picture, P picture, and B picture. Step 1314: If the selected type is an I picture The
ステップ1315:選択されたタイプがPピクチャまたはBピクチャであれば、DCT係数バッファ4009に格納されたDCT係数に対して、階層的逆DCT処理手段4010が後で説明する階層的逆DCT処理を行ない、階層画像を生成して動き予測部4100に渡す。
Step 1315: If the selected type is a P picture or a B picture, the hierarchical inverse DCT processing means 4010 performs a hierarchical inverse DCT process to be described later on the DCT coefficient stored in the
ステップ1316:動き予測部4100は、フレームメモリ4004に格納された映像信号と階層的逆DCT処理手段4010から渡された階層画像とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、DCT圧縮手段4003でDCT・量子化処理した差分情報とを符号選択手段4006に渡す。
Step 1316: The
ステップ1317:次に、逆DCT伸張手段4004が、DCT圧縮手段4003の出力を逆量子化・逆DCT処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。
Step 1317: Next, the inverse DCT expansion means 4004 performs inverse quantization / inverse DCT processing on the output of the DCT compression means 4003, and stores the uncompressed video signal reproduced in this frame in the
ステップ1318:符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き補償を用いない場合は、入力バッファ4002及びDCT係数バッファ4009のデータについて処理したDCT圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。
Step 1318: The code selection means 4006 selects whether or not to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the
ステップ1319:可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。
Step 1319: The variable
ステップ1320:最後に、構造符号化手段4008が、可変長符号手段4007が符号化した可変長符号に対し、MPEGデータとして必要なヘッダを付加するなどしてMPEGフォーマットを生成する。 Step 1320: Finally, the structure encoding means 4008 generates an MPEG format by adding a header necessary as MPEG data to the variable length code encoded by the variable length encoding means 4007.
ここで、階層的逆DCT処理(ステップ1315)について説明する。 Here, the hierarchical inverse DCT processing (step 1315) will be described.
階層的逆DCT処理とは、DVCフォーマットの信号に含まれるDCT係数に対して、低周波部分から段階的に逆DCTを施し、複数の解像度の画像を生成する処理である。これを図21を用いて説明する。 Hierarchical inverse DCT processing is processing in which DCT coefficients included in a DVC format signal are subjected to inverse DCT in a stepwise manner from a low frequency portion to generate images with a plurality of resolutions. This will be described with reference to FIG.
図21は、左側に、DVCフォーマットの信号に含まれるDCT係数の一部を抜き出したものを示し、右側に、復号された画像を示している。各DCTブロックの黒色部分が、その段階で逆DCTされるべき係数である。即ち、第1段階としてDCT係数の直流(0,0)成分のみを抜き出し、画像を復号する。DCTの直流成分はそのまま1/8画像10030を構成する。次に、左上、つまり低周波部分4画素を逆DCTして1/4画像10020を生成する。同様に、1/2画像10010、原画像10000を生成する。
FIG. 21 shows an extracted part of DCT coefficients included in a DVC format signal on the left side, and a decoded image on the right side. The black part of each DCT block is the coefficient to be inverse DCTed at that stage. That is, as a first step, only the direct current (0, 0) component of the DCT coefficient is extracted and the image is decoded. The DC component of the DCT constitutes the 1/8
また、図22に示すように、解像度の高い画像を生成する場合に、その一段階前の復号された画像を用い、その画像との差分、即ち図22のDCT係数の黒色部分のみを逆DCTし、加えることで、さらに演算量を削減することも可能である。 Also, as shown in FIG. 22, when generating a high-resolution image, the decoded image of the previous stage is used, and only the difference from that image, that is, the black part of the DCT coefficient in FIG. In addition, the amount of calculation can be further reduced by adding.
動き予測部4100が、生成された階層画像を用いて、動きベクトルと画素値の差分情報とを求める動作は、第3の実施形態と変わりがない。
The operation of the
以上説明したように、この実施形態の装置では、DVCフォーマットの輝度信号のDCT係数をMPEGフォーマットの作成に利用しているため、処理量の削減が可能となる。また、階層的逆DCT処理では、DVCフォーマットの復号における逆DCTとほぼ同じ演算量で、MPEG符号時に必要となる階層画像を生成することができ、効果的に処理を削減することができる。 As described above, in the apparatus of this embodiment, the DCT coefficient of the luminance signal in the DVC format is used for creating the MPEG format, so that the processing amount can be reduced. In the hierarchical inverse DCT process, it is possible to generate a hierarchical image necessary for MPEG encoding with substantially the same amount of computation as the inverse DCT in the decoding of the DVC format, and the processing can be effectively reduced.
(第5の実施の形態)
第5の実施形態では、DVCフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、MPEG2フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、動きベクトルの検出処理を少ない演算量で行なうことができる装置について説明する。
(Fifth embodiment)
The fifth embodiment is a video signal conversion apparatus that converts a digitally compressed video signal compressed by orthogonal transform such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format. An apparatus capable of performing vector detection processing with a small amount of calculation will be described.
この装置は、図23に示すように、第4の実施形態の装置(図17)と異なり、映像符号部4000が、階層的逆DCT手段4010に代わり、1次元の逆DCT処理を行なう1次元逆DCT手段4011を備えている。また、映像符号部4000の動き予測部4100は、図24に示すように、第4の実施形態(図18)において具備していた階層画像メモリ4102を備えていない。その他の構成は第4の実施形態と変わりがない。
As shown in FIG. 23, this apparatus differs from the apparatus of the fourth embodiment (FIG. 17) in that the
次に、この装置の動作について説明する。この装置では、動きベクトル検出処理の動作が、第4の実施形態と異なる。この装置では、DVCフォーマットに含まれる輝度信号のDCT係数に対して、縦方向、横方向それぞれに一次元の逆DCT処理を施し、それぞれ一次元の画素のデータによる動きベクトルを検出し、それを組み合わせて2次元の動きベクトルを導出することにより、動きベクトルを検出している。 Next, the operation of this apparatus will be described. In this apparatus, the motion vector detection process is different from that of the fourth embodiment. In this apparatus, the DCT coefficient of the luminance signal included in the DVC format is subjected to a one-dimensional inverse DCT process in each of the vertical direction and the horizontal direction to detect a motion vector based on one-dimensional pixel data, and A motion vector is detected by deriving a two-dimensional motion vector in combination.
具体的な処理の流れを説明する。全体の処理の流れは、第3ないしは第4の実施形態と同様である。即ち、全体の処理の流れは、図11に示すとおりである。また、映像復号処理(ステップ1100)は、第4の実施形態(図19)と同じであり、映像符号処理(ステップ1300)のみが第4の実施形態と異なっている。この装置における映像符号処理(ステップ1300)の流れを図25に示す。この装置の映像符号部4000は、図25の流れに沿って映像符号処理を行なう。
A specific processing flow will be described. The overall processing flow is the same as in the third or fourth embodiment. That is, the overall processing flow is as shown in FIG. The video decoding process (step 1100) is the same as that of the fourth embodiment (FIG. 19), and only the video code process (step 1300) is different from that of the fourth embodiment. FIG. 25 shows the flow of video code processing (step 1300) in this apparatus. The
ステップ1321:DCT圧縮手段4003は、処理するDCTブロックが、入力バッファ4002から入力した色差信号であれば、ステップ1322:そのブロックのデータをDCT変換する。
Step 1321: If the DCT block to be processed is a color difference signal input from the
ステップ1323:次に、符号化制御手段4001が、エンコードするフレームの種類、即ちIピクチャ、Pピクチャ、Bピクチャのいずれかのタイプを選択し、ステップ1324:選択されたタイプがIピクチャであれば、DCT圧縮手段4003は、変換した色差信号のDCT係数及びDCT係数バッファ4009から読み出した輝度信号のDCT係数を量子化し、符号選択手段4005が、量子化された信号を可変長符号手段4006に渡す。(ステップ1329から処理を続ける)ステップ1325:選択されたタイプがPピクチャまたはBピクチャであれば、DCT係数バッファ4009に格納されたDCT係数に対して、1次元逆DCT処理手段4011が後で説明する一次元逆DCT処理を行ない、生成した一次元情報を動き予測部4100に渡す。
Step 1323: Next, the encoding control means 4001 selects the type of frame to be encoded, that is, any type of I picture, P picture, and B picture. Step 1324: If the selected type is an I picture The
ステップ1326:動き予測部4100は、フレームメモリ4005に格納された映像信号と1次元逆DCT処理手段4011から渡された一次元情報とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、DCT圧縮手段4003でDCT・量子化処理した差分情報とを符号選択手段4006に渡す。
Step 1326: The
ステップ1327:次に、逆DCT伸張手段4004が、DCT圧縮手段4003の出力を逆量子化・逆DCT処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。
Step 1327: Next, the inverse DCT expansion means 4004 performs inverse quantization / inverse DCT processing on the output of the DCT compression means 4003, and stores the uncompressed video signal reproduced in this frame in the
ステップ1328:符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002及びDCT係数バッファ4009のデータについて処理したDCT圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。
Step 1328: The code selection means 4006 selects whether or not to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the
ステップ1329:可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。
Step 1329: The variable
ステップ1330:最後に可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、MPEGデータとして必要なヘッダを付加するなどしてMPEGフォーマットを生成する。
Step 1330: Finally, the
ここで、一次元逆DCT処理(ステップ1325)と、一次元情報による動き予測(ステップ1326)について説明する。この処理は、従来2次元の画像そのままで動き予測をしていたものを、2方向の1次元の情報を2次元画像を代表する情報として、動き予測に用いるものである。 Here, one-dimensional inverse DCT processing (step 1325) and motion prediction based on one-dimensional information (step 1326) will be described. In this process, what was conventionally predicted as a two-dimensional image as it is is used for motion prediction using one-dimensional information in two directions as information representing a two-dimensional image.
図26は、1次元逆DCTと、この処理で得られた1次元情報を用いて行なう動き予測の方法について、概念的に簡単に示した図である。1次元逆DCTでは、個々のDCTブロックに対して、x方向のみの周波数成分とy方向のみの周波数成分とのそれぞれに、1次元の逆DCTを施し、1つのDCTブロックのx方向及びy方向に対して、それぞれ1×8個の1次元の画素値を生成する。ここでは、これを1次元情報と呼ぶ。これをマクロブロック単位で組み合わせると、1マクロブロックは2×2個のブロックで構成されているから、x方向及びy方向のそれぞれに対して、2×16個の1次元の画素値が組み合わされた1マクロブロック分の1次元情報ができる。 FIG. 26 is a diagram conceptually simply showing a one-dimensional inverse DCT and a motion prediction method performed using the one-dimensional information obtained by this processing. In the one-dimensional inverse DCT, for each DCT block, one-dimensional inverse DCT is applied to each of the frequency component only in the x direction and the frequency component only in the y direction, and the x direction and the y direction of one DCT block. In contrast, 1 × 8 one-dimensional pixel values are generated. Here, this is called one-dimensional information. When this is combined in units of macroblocks, one macroblock is composed of 2 × 2 blocks, so 2 × 16 one-dimensional pixel values are combined for each of the x and y directions. One-dimensional information for one macroblock can be obtained.
同じように、1フレームを構成するブロックの1次元情報を組み合わせて、x方向及びy方向の1フレーム分の1次元情報を作成する。 Similarly, one-dimensional information for one frame in the x direction and the y direction is created by combining the one-dimensional information of blocks constituting one frame.
次いで、x方向y方向のそれぞれにおいて、1マクロブロック分の1次元情報と1フレーム分の1次元情報とのパターンマッチングを行ない、1次元の動きベクトルを検出する。即ち、x方向の1次元情報による動きベクトルは、x方向の値のみを利用し、y方向の1次元情報による動きベクトルは、y方向の値のみを利用して、1マクロブロック分の一次元情報との平均誤差が最小となるフレーム位置を求め、そのマクロブロックの元の位置との差を検出する。 Next, in each of the x and y directions, pattern matching is performed between the one-dimensional information for one macroblock and the one-dimensional information for one frame to detect a one-dimensional motion vector. That is, the motion vector based on the one-dimensional information in the x direction uses only the value in the x direction, and the motion vector based on the one-dimensional information in the y direction uses only the value in the y direction. The frame position where the average error with the information is minimized is obtained, and the difference from the original position of the macroblock is detected.
そして、こうして求めたそれぞれの方向の動きベクトルを、動きベクトル候補とし、双方の動きベクトル候補における予測誤差(平均誤差)を比較して、予測誤差の少ない動きベクトルを選択する。 Then, the motion vectors in the respective directions thus obtained are used as motion vector candidates, and the prediction errors (average errors) in both motion vector candidates are compared, and a motion vector with a small prediction error is selected.
次いで、選択されなかった方向については、選択された方向の動きベクトルに対応した箇所に範囲を限定して、パターンマッチングを行ない、再度動きベクトルを検出する。こうして検出した2方向の動きベクトルを合成して、実際の動きベクトルとする。 Next, for the direction not selected, the range is limited to a portion corresponding to the motion vector in the selected direction, pattern matching is performed, and the motion vector is detected again. The detected motion vectors in the two directions are combined to obtain an actual motion vector.
この処理を用いると、パターンマッチングの際に必要な差分の絶対値を求める計算の回数を大幅に削減することが可能となる。例えば、1つのマクロブロックの1回のパターンマッチングにおいて、従来は16画素×16画素、即ち256画素について差分の絶対値を求める必要があったが、この処理によれば、各方向の動きベクトル候補の検出として、2画素×16画素、即ち32画素について差分の絶対値を求めるだけでよい。 If this process is used, the number of calculations for obtaining the absolute value of the difference necessary for pattern matching can be greatly reduced. For example, in one pattern matching of one macroblock, conventionally, it was necessary to obtain an absolute value of a difference for 16 pixels × 16 pixels, that is, 256 pixels. According to this processing, motion vector candidates in each direction In this case, it is only necessary to obtain the absolute value of the difference for 2 pixels × 16 pixels, that is, 32 pixels.
また、最終的な、選択されなかった方向についてのパターンマッチングは、範囲を限定した、一方向のみのパターンマッチングであるため、計算量は少ない。そのため、結果として、動きベクトル検出のパターンマッチングに要する計算量を1/8近くにまで削減することができる。 Further, since the final pattern matching for the unselected direction is a pattern matching for only one direction with a limited range, the amount of calculation is small. As a result, the amount of calculation required for pattern matching for motion vector detection can be reduced to nearly 1/8.
なお、この処理におけるパターンマッチングとして、全探索のほか、第3の実施形態のように階層的な処理など、2次元の動きベクトル検出で用いられている処理を用いることもできる。 As pattern matching in this processing, in addition to full search, processing used in two-dimensional motion vector detection, such as hierarchical processing as in the third embodiment, can be used.
以上説明したように、この実施形態によれば、DVCフォーマットに含まれるDCT係数を利用することにより、動きベクトル検出に要する計算量を大幅に削減することが可能となる。 As described above, according to this embodiment, the calculation amount required for motion vector detection can be greatly reduced by using the DCT coefficient included in the DVC format.
(第6の実施の形態)
第6の実施形態では、クライアントが要求するフォーマットの映像信号を提供する多フォーマット映像提供システムについて説明する。
(Sixth embodiment)
In the sixth embodiment, a multi-format video providing system that provides a video signal in a format requested by a client will be described.
このシステムは、コンピュータのクライアントサーバシステムであり、図27に示すように、クライアントのコンピュータから成る映像再生端末5000と、映像提供用のサーバから成る映像提供部7000と、映像提供部7000に蓄積される映像を入力する映像入力部8000と、各部を結ぶネットワーク6000とを備えており、映像提供部7000は、映像を通信する通信手段7100と、映像を蓄積する映像蓄積手段7300と、映像信号のフォーマットを変換する映像信号変換手段7200と、各手段の動作を制御する制御手段7400とを備えている。映像提供部7000の映像信号変換手段7200には、第3乃至第5の実施形態の映像信号変換装置が使われる。
This system is a client server system of a computer. As shown in FIG. 27, the system is stored in a
映像入力部8000は、DVCフォーマットの映像信号を入力し、映像提供部7000は、DVC、MPEG1またはMPEG2のいずれかのフォーマットの映像信号を出力する。
The
次に、このシステムの動作を説明する。図28は、このシステムの映像提供部7000の処理動作手順を示しており、図28(A)は映像入力処理、図28(B)は映像出力処理の流れを示すフローチャートである。
Next, the operation of this system will be described. FIG. 28 shows the processing operation procedure of the
映像の入力は、次に示す流れで行なわれる。 Video input is performed according to the following flow.
ステップ3000:制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ3100:映像入力部8000から、通信手段7100を介して入力されたDVCフォーマットの映像信号を映像蓄積手段7300に蓄積する。
Step 3000: Upon receiving a video input request from the
ステップ3200:制御手段7400は、映像信号変換手段7200に対して、映像信号のフォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、MPEG1及びMPEG2のフォーマットに変換する。変換されたMPEG1及びMPEG2フォーマットの映像信号は、DVCフォーマットの映像信号とともに、映像蓄積手段7300に蓄積される。 Step 3200: The control means 7400 instructs the video signal conversion means 7200 to convert the format of the video signal. The video signal conversion means 7200 reads out the video signal stored in the video storage means 7300, and MPEG1 and Convert to MPEG2 format. The converted video signals in the MPEG1 and MPEG2 formats are stored in the video storage means 7300 together with the video signals in the DVC format.
また、映像提供部7000は、次の流れで映像を出力する。
Also, the
ステップ4000:制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ4100:映像蓄積手段7300に蓄積されている、要求されたフォーマットの映像信号を、通信手段7100を介して、映像再生端末5000に出力する。
Step 4000: Upon receiving a video output request from the
このシステムでは、DVCフォーマットなど、単一のフォーマットで入力された映像を、再生する端末に応じて、他のフォーマットで提供することが可能である。 In this system, video input in a single format such as the DVC format can be provided in other formats depending on the terminal to be played.
また、映像信号変換処理が実時間以上の速度で行なえる場合は、図29に示す手順で映像入力処理及び映像出力処理を行なう。映像入力処理は、図29(A)に示すように、ステップ5000:制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ5100:映像入力部8000から、通信手段7100を介して入力されたDVCフォーマットの映像信号を映像蓄積手段7300に蓄積する。
When the video signal conversion process can be performed at a speed higher than the real time, the video input process and the video output process are performed according to the procedure shown in FIG. In the video input process, as shown in FIG. 29A, Step 5000: When the control means 7400 receives a video input request from the
また、映像出力処理は、図29(B)に示すように、
ステップ6000:制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ6100:要求された映像信号のフォーマットがDVCフォーマットであれば、ステップ6300:映像蓄積手段7300に蓄積されている映像信号を、通信手段7100を介して、映像再生端末5000に出力する。
Also, the video output process is as shown in FIG.
Step 6000: Upon receiving a video output request from the
また、ステップ6100において、要求された映像信号のフォーマットがDVCフォーマット以外であれば、ステップ6200:制御手段7400は、映像信号変換手段7200に対して、フォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、要求されたMPEG1またはMPEG2のフォーマットに変換する。 In step 6100, if the requested video signal format is other than the DVC format, step 6200: the control means 7400 instructs the video signal conversion means 7200 to convert the format, and the video signal conversion means 7200 Reads out the video signal stored in the video storage means 7300 and converts it into the requested MPEG1 or MPEG2 format.
ステップ6300:制御手段7400は、変換された映像信号を、通信手段7100を介して、映像再生端末5000に出力する。
Step 6300: The control means 7400 outputs the converted video signal to the
このように、この場合には、映像出力時に、映像再生端末5000が要求したフォーマットの映像信号にリアルタイムで変換しながら出力する。この場合、映像信号変換手段7200は、通信手段7100とも直接接続されていることが望ましい。
Thus, in this case, at the time of video output, the
(第7の実施の形態)
第7の実施形態では、復号処理の中間情報であるDCT係数を変換することにより、カラーコンポーネント形式の変換を行なう映像信号変換装置と、その映像信号変換方法について説明する。
(Seventh embodiment)
In the seventh embodiment, a video signal conversion apparatus that performs conversion of a color component format by converting DCT coefficients that are intermediate information of decoding processing, and a video signal conversion method thereof will be described.
この映像信号変換装置は、映像信号を非圧縮コンポーネント信号に復号してからカラーコンポーネント形式を変換する第3の実施形態の装置(図10)と異なり、映像信号の復号化の過程で得られるDCT係数を用いてカラーコンポーネント形式を変換する。そのため、この装置では、図35に示すように、コンポーネント信号変換部3000に代わるものとして、映像復号部2000に、コンポーネント形式の変換に合わせてDCT係数の配列を変更するDCT係数変換手段2005が設けられており、映像復号部2000からは、カラーコンポーネント形式が変換された非圧縮コンポーネント信号が出力される。その他の構成は第3の実施形態と変わりがない。
Unlike the apparatus of the third embodiment (FIG. 10) that converts the color component format after decoding the video signal into an uncompressed component signal, this video signal conversion apparatus is a DCT obtained in the process of decoding the video signal. Convert color component format using coefficients. Therefore, in this apparatus, as shown in FIG. 35, as an alternative to the component
次に、この装置の動作について説明する。この装置では、DVCフォーマットに含まれる色差信号のDCT係数を間引くことによって縦方向のDCT係数の解像度を半分にし、横方向に0を補間することによって横方向のDCT係数の解像度を2倍にし、こうして解像度を変えたDCT係数に逆DCT処理を施して、MPEG2などのカラーコンポーネント形式に変換している。 Next, the operation of this apparatus will be described. In this apparatus, the resolution of the DCT coefficient in the vertical direction is halved by thinning out the DCT coefficient of the color difference signal included in the DVC format, and the resolution of the DCT coefficient in the horizontal direction is doubled by interpolating 0 in the horizontal direction. In this way, the inverse DCT process is performed on the DCT coefficient whose resolution has been changed to convert it into a color component format such as MPEG2.
具体的な処理の流れを説明する。図36は、本装置の全体の処理の流れを示すフローチャートである。この内、映像符号処理(ステップ1300)は、第3の実施形態の動作(図11のステップ1300)と同じであり、映像復号処理(ステップ1100)のみが第3の実施形態と異なっている。 A specific processing flow will be described. FIG. 36 is a flowchart showing the overall processing flow of the apparatus. Among these, the video code process (step 1300) is the same as the operation of the third embodiment (step 1300 in FIG. 11), and only the video decoding process (step 1100) is different from the third embodiment.
この装置における映像復号処理(ステップ1100)は、図37に示す手順で行なわれる。この映像復号処理手順のうち、デシャッフル(ステップ1101)、可変長復号(ステップ1102)、逆量子化処理(ステップ1103)は、第3の実施形態の動作(図12のステップ1101、1102、1103)と同じであり、DCT係数変換処理(ステップ1105)及び逆DCT処理(ステップ1106)のみが第3の実施形態と異なっている。この装置の映像復号部2000は、図37の流れに沿って映像復号処理を行なう。
The video decoding process (step 1100) in this apparatus is performed according to the procedure shown in FIG. Among these video decoding processing procedures, the deshuffle (step 1101), variable length decoding (step 1102), and inverse quantization processing (step 1103) are the operations of the third embodiment (steps 1101, 1102, 1103 in FIG. 12). ), And only the DCT coefficient conversion process (step 1105) and the inverse DCT process (step 1106) are different from the third embodiment. The
ステップ1101:シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102:可変長復号手段2002が、可変長復号してDCT係数の量子化値の情報に変換し、ステップ1103:逆量子化手段2003が、可変長復号された情報を逆量子化してDCT係数を求める。逆量子化手段2003は、求めた輝度信号のDCT係数を逆DCT処理手段2004に出力し、求めた色差信号のDCT係数をDCT係数変換手段2005に出力する。
Step 1101: The shuffling compressed signal is deshuffled by the
ステップ1105:DCT係数変換手段2005は、色差信号のDCT係数に対してDCT係数変換処理を施し、色差信号のDCTブロックの縦の解像度を半分にし、横の解像度を2倍にする。 Step 1105: The DCT coefficient conversion means 2005 performs DCT coefficient conversion processing on the DCT coefficient of the color difference signal to halve the vertical resolution of the DCT block of the color difference signal and double the horizontal resolution.
ステップ1106:逆DCT処理手段2004は、逆量子化手段2003から出力されたDCT係数により輝度信号に関する各画素の画素値を求め、また、DCT係数変換手段2005から出力されたDCT係数により色差信号に関する各画素の画素値を求めて、非圧縮映像信号を生成する。 Step 1106: The inverse DCT processing means 2004 obtains the pixel value of each pixel relating to the luminance signal from the DCT coefficient output from the inverse quantization means 2003, and also relates to the color difference signal based on the DCT coefficient output from the DCT coefficient conversion means 2005. A pixel value of each pixel is obtained, and an uncompressed video signal is generated.
ここで、DCT係数変換処理(ステップ1105)及び逆DCT処理(ステップ1106)について説明する。この処理は、第3の実施形態の装置で非圧縮映像信号に対して行なっていたコンポーネント形式変換を、復号処理の中間情報であるDCT係数の段階で行なう処理である。 Here, the DCT coefficient conversion process (step 1105) and the inverse DCT process (step 1106) will be described. This process is a process in which the component format conversion performed on the uncompressed video signal in the apparatus of the third embodiment is performed at the stage of the DCT coefficient which is intermediate information of the decoding process.
図38は、DCT係数変換処理及び逆DCT処理による、4:1:1形式から4:2:0形式へのコンポーネント形式変換について、概念的に簡単に示した図である。 FIG. 38 is a diagram conceptually simply showing component format conversion from the 4: 1: 1 format to the 4: 2: 0 format by DCT coefficient conversion processing and inverse DCT processing.
DCT係数変換処理では、4:1:1形式の色差信号の横8×縦8のDCTブロックから、縦方向に低周波部分の半分(横8×縦4)のDCT係数を抜き出すことで縦方向の解像度を半分にする。そして、横方向のDCT係数を2倍にし、新しく増やした横8×縦4のDCT係数の値を0にすることで、横方向の解像度を2倍にする。 In the DCT coefficient conversion process, the DCT coefficient of half of the low frequency part (8 × 4 in the vertical direction) is extracted in the vertical direction from the horizontal 8 × vertical 8 DCT block of the color difference signal in the 4: 1: 1 format. Halve the resolution. Then, the horizontal DCT coefficient is doubled, and the newly increased horizontal 8 × vertical 4 DCT coefficient is set to 0, thereby doubling the horizontal resolution.
逆DCT処理では、DCT係数変換処理により生成された横16×縦4のDCT係数の集まりを1つの新たなDCTブロックとして、縦16×横4の2次元逆DCT処理を行なう。この逆DCT処理により生成された縦16×横4の信号が、4:2:0形式の非圧縮色差信号となる。 In the inverse DCT processing, the collection of the horizontal 16 × vertical 4 DCT coefficients generated by the DCT coefficient conversion processing is used as one new DCT block, and the vertical 16 × horizontal 4 two-dimensional inverse DCT processing is performed. A 16 × 4 signal generated by the inverse DCT process becomes an uncompressed color difference signal in 4: 2: 0 format.
このように、このDCT係数変換処理では、4:1:1形式のDCTブロックから、主要な色差情報の全てを含む低周波部分の横8×縦4のDCT係数をそのまま抜き出しているため、変換後の色の変化が滑らかであり、自然な画質の画像が得られる。また、横方向に増やした横8×縦4のDCT係数は、高周波部分に付け足しているため、その値を0にしても人の目にはそれ程目立たない。従って、このDCT係数変換処理により、違和感の無い変換後の画質が得られる。 In this way, in this DCT coefficient conversion process, since the DCT block of 8 × 4 in the low frequency part including all the main color difference information is extracted as it is from the DCT block in the 4: 1: 1 format, the conversion is performed as it is. The subsequent color change is smooth, and an image with natural image quality can be obtained. Further, since the horizontal 8 × vertical 4 DCT coefficients increased in the horizontal direction are added to the high frequency portion, even if the value is set to 0, it is not so noticeable to human eyes. Therefore, the converted image quality without any sense of incongruity can be obtained by this DCT coefficient conversion processing.
なお、輝度信号に対する逆DCT処理は、第3の実施形態と同様に行なわれ、逆量子化手段2003から出力されたDCT係数に対して、縦8×横8のDCTブロック単位で2次元逆DCT処理が施され、縦8×横8の単位で非圧縮輝度信号が算出される。 Note that the inverse DCT processing for the luminance signal is performed in the same manner as in the third embodiment, and the DCT coefficient output from the inverse quantization means 2003 is two-dimensional inverse DCT in units of 8 × 8 DCT blocks. Processing is performed, and an uncompressed luminance signal is calculated in units of 8 × 8.
以上説明したように、この実施形態の映像信号変換では、DVCフォーマットに含まれるDCT係数を利用することにより、簡単な構成でカラーコンポーネント形式を変換することができ、また、自然な画質への変換が可能である。 As described above, in the video signal conversion of this embodiment, the color component format can be converted with a simple configuration by using the DCT coefficient included in the DVC format, and the conversion to a natural image quality is possible. Is possible.
なお、この実施の形態で説明した、DCT係数変換処理と逆DCT処理とは、第4あるいは第5の実施の形態の装置に適用することもできる。 Note that the DCT coefficient conversion processing and inverse DCT processing described in this embodiment can also be applied to the apparatus of the fourth or fifth embodiment.
101 アナログビデオ機器
102 アナログ→デジタル変換器
103 デジタルビデオ機器
104 MPEGエンコーダ
201 入力手段
202 出力手段
301 Yフレームメモリ
302 入力Crフレームメモリ
303 入力Cbフレームメモリ
304 出力Crフレームメモリ
305 出力Cbフレームメモリ
401 色差信号変換手段
402 Y信号参照手段
1000 入出力部
1001 入力手段
1002 出力手段
2000 映像復号部
2001 前処理手段
2002 可変長符号手段
2003 逆量子化手段
2004 逆DCT処理手段
2005 DCT係数変換手段
3000 コンポーネント信号変換部
4000 映像符号部
4001 符号化制御手段
4002 入力バッファ
4003 DCT圧縮手段
4004 逆DCT伸長手段
4005 フレームメモリ
4006 符号選択手段
4007 可変長符号手段
4008 構造符号手段
4009 DCT係数バッファ
4010 階層的逆DCT処理手段
4011 1次元逆DCT処理手段
4100 動き予測部
4101 階層画像生成手段
4102 階層画像メモリ
4103 動き検出手段
4104 動き情報一時格納手段
4105 動きベクトル生成手段
4106 差分情報生成手段
5000 映像再生端末
6000 ネットワーク
7000 映像提供部
7100 通信手段
7200 映像信号変換手段
7300 映像蓄積手段
7400 制御手段
8000 映像入力部
10000 原画像
10010 1/2画像
10020 1/4画像
10030 1/8画像
101 analog video equipment
102 Analog to digital converter
103 Digital video equipment
104 MPEG encoder
201 Input means
202 Output means
301 Y frame memory
302 input Cr frame memory
303 Input Cb frame memory
304 output Cr frame memory
305 Output Cb frame memory
401 Color difference signal conversion means
402 Y signal reference means
1000 I / O section
1001 Input means
1002 Output means
2000 Video decoder
2001 Pretreatment means
2002 Variable length code means
2003 Inverse quantization means
2004 Inverse DCT processing means
2005 DCT coefficient conversion means
3000 Component signal converter
4000 Video code part
4001 Encoding control means
4002 Input buffer
4003 DCT compression means
4004 Reverse DCT expansion means
4005 frame memory
4006 Code selection means
4007 Variable length code means
4008 Structure code means
4009 DCT coefficient buffer
4010 Hierarchical inverse DCT processing means
4011 One-dimensional inverse DCT processing means
4100 Motion prediction unit
4101 Hierarchical image generation means
4102 Hierarchical image memory
4103 Motion detection means
4104 Motion information temporary storage means
4105 Motion vector generation means
4106 Difference information generation means
5000 video playback terminal
6000 network
7000 video provider
7100 Communication means
7200 Video signal conversion means
7300 Video storage means
7400 Control means
8000 video input section
10000 original image
10010 1/2 images
10020 1/4 image
10030 1/8 picture
Claims (2)
前記第1圧縮映像信号を復号してDCT係数を導出し、前記DCT係数に基づいて非圧縮映像信号を生成する映像復号部と、
前記非圧縮映像信号のコンポーネント信号形式を変換するコンポーネント信号変換部と、
前記映像復号部から取得されたDCT係数に含まれる第1のDCT係数成分に対して逆DCTを施すことで第1階層画像を生成し、前記第1のDCT係数成分を含む第2のDCT係数成分から前記第1のDCT係数成分を除いた係数成分に対して逆DCTを施すことで生成された画像と前記第1階層画像とを加算することで第2階層画像を生成する階層的逆DCT処理部と、
映像信号に含まれる第1フレームの第1階層画像と第2フレームの第1階層画像とに基づいて第1動きベクトル探索を行い、前記第1動きベクトル探索の結果に応じて設定される探索範囲において、前記第1フレームの第2階層画像と前記第2フレームの第2階層画像とに基づいて第2動きベクトル探索を行い、前記第2動きベクトル探索の結果に応じて設定される探索範囲において、前記第1フレームの前記変換された非圧縮映像信号と前記第2フレームの前記変換された非圧縮映像信号とに基づいて動きベクトル及びフレーム間差分情報を導出する動き予測部と、
前記動き予測部から取得された前記動きベクトル及び前記フレーム間差分情報を符号化することで前記第2圧縮映像信号を生成する符号部と、
を備える映像信号変換装置。 A video signal converter for converting a first compressed video signal subjected to DCT processing into a second compressed video signal compressed by a compression format different from that of the first compressed video signal ,
A video decoding unit for decoding the first compressed video signal to derive a DCT coefficient and generating an uncompressed video signal based on the DCT coefficient ;
And component signal converting unit for converting a component signal format before Symbol uncompressed video signal,
The first DCT coefficient component included in the DCT coefficient acquired from the video decoding unit is subjected to inverse DCT to generate a first layer image, and the second DCT coefficient including the first DCT coefficient component A hierarchical inverse DCT that generates a second hierarchical image by adding an image generated by performing inverse DCT to a coefficient component obtained by removing the first DCT coefficient component from a component and the first hierarchical image A processing unit;
A search range set according to a result of the first motion vector search by performing a first motion vector search based on the first layer image of the first frame and the first layer image of the second frame included in the video signal. And performing a second motion vector search based on the second layer image of the first frame and the second layer image of the second frame, and in a search range set according to the result of the second motion vector search a motion prediction unit for deriving the motion vectors and inter-frame difference information on the basis of the non-compressed video signal in which the converted uncompressed video signal and the second frame which is pre-Symbol conversion of the first frame,
An encoding unit that generates the second compressed video signal by encoding the motion vector and the inter-frame difference information acquired from the motion prediction unit;
Ru comprising a video signal converter.
前記第1圧縮映像信号を復号してDCT係数を導出し、前記DCT係数に基づいて非圧縮映像信号を生成するステップと、Decoding the first compressed video signal to derive DCT coefficients and generating an uncompressed video signal based on the DCT coefficients;
前記非圧縮映像信号のコンポーネント信号形式を変換するステップと、Converting a component signal format of the uncompressed video signal;
前記DCT係数に含まれる第1のDCT係数成分に対して逆DCTを施すことで第1階層画像を生成し、映像信号に含まれる第1フレームの第1階層画像と第2フレームの第1階層画像とに基づいて第1動きベクトル探索を行うステップと、A first layer image is generated by performing inverse DCT on the first DCT coefficient component included in the DCT coefficient, and the first layer image of the first frame and the first layer of the second frame included in the video signal. Performing a first motion vector search based on the image;
前記第1のDCT係数成分を含む第2のDCT係数成分から前記第1のDCT係数成分を除いた係数成分に対して逆DCTを施すことで生成された画像と前記第1階層画像とを加算することで第2階層画像を生成し、前記第1動きベクトル探索の結果に応じて設定される探索範囲において、前記第1フレームの第2階層画像と前記第2フレームの第2階層画像とに基づいて第2動きベクトル探索を行うステップと、The image generated by performing inverse DCT on the coefficient component obtained by removing the first DCT coefficient component from the second DCT coefficient component including the first DCT coefficient component is added to the first hierarchical image. To generate a second layer image, and in a search range set according to the result of the first motion vector search, the second layer image of the first frame and the second layer image of the second frame Performing a second motion vector search based on:
前記第2動きベクトル探索の結果に応じて設定される探索範囲において、前記第1フレームの前記変換された非圧縮映像信号と前記第2フレームの前記変換された非圧縮映像信号とに基づいて動きベクトル及びフレーム間差分情報を導出するステップと、Based on the converted uncompressed video signal of the first frame and the converted uncompressed video signal of the second frame in a search range set according to the result of the second motion vector search Deriving vector and interframe difference information;
前記動きベクトル及び前記フレーム間差分情報を符号化することで前記第2圧縮映像信号を生成するステップと、Generating the second compressed video signal by encoding the motion vector and the inter-frame difference information;
を備える映像信号変換方法。A video signal conversion method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006314966A JP4526529B2 (en) | 1997-02-27 | 2006-11-22 | Video signal converter using hierarchical images |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5860497 | 1997-02-27 | ||
JP2006314966A JP4526529B2 (en) | 1997-02-27 | 2006-11-22 | Video signal converter using hierarchical images |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17274097A Division JP3901287B2 (en) | 1997-02-27 | 1997-06-16 | Video signal conversion apparatus, video signal conversion method, and video providing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007116723A JP2007116723A (en) | 2007-05-10 |
JP4526529B2 true JP4526529B2 (en) | 2010-08-18 |
Family
ID=38098415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006314966A Expired - Fee Related JP4526529B2 (en) | 1997-02-27 | 2006-11-22 | Video signal converter using hierarchical images |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4526529B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130127026A (en) * | 2012-05-07 | 2013-11-22 | 삼성테크윈 주식회사 | Moving detection method and system based on matrix using frequency converting and filtering process |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04200173A (en) * | 1990-11-29 | 1992-07-21 | Matsushita Electric Ind Co Ltd | Coding data converter |
JPH06197334A (en) * | 1992-07-03 | 1994-07-15 | Sony Corp | Picture signal coding method, picture signal decoding method, picture signal coder, picture signal decoder and picture signal recording medium |
WO1994022267A1 (en) * | 1993-03-16 | 1994-09-29 | Thomson-Csf | Compatible television picture sub-band coding/decoding |
JPH0865663A (en) * | 1994-08-19 | 1996-03-08 | Canon Inc | Digital image information processor |
-
2006
- 2006-11-22 JP JP2006314966A patent/JP4526529B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04200173A (en) * | 1990-11-29 | 1992-07-21 | Matsushita Electric Ind Co Ltd | Coding data converter |
JPH06197334A (en) * | 1992-07-03 | 1994-07-15 | Sony Corp | Picture signal coding method, picture signal decoding method, picture signal coder, picture signal decoder and picture signal recording medium |
WO1994022267A1 (en) * | 1993-03-16 | 1994-09-29 | Thomson-Csf | Compatible television picture sub-band coding/decoding |
JPH0865663A (en) * | 1994-08-19 | 1996-03-08 | Canon Inc | Digital image information processor |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130127026A (en) * | 2012-05-07 | 2013-11-22 | 삼성테크윈 주식회사 | Moving detection method and system based on matrix using frequency converting and filtering process |
US9111359B2 (en) | 2012-05-07 | 2015-08-18 | Samsung Techwin Co., Ltd. | Method and system for detecting matrix-based motion including frequency transform and filtering |
KR101695247B1 (en) * | 2012-05-07 | 2017-01-12 | 한화테크윈 주식회사 | Moving detection method and system based on matrix using frequency converting and filtering process |
Also Published As
Publication number | Publication date |
---|---|
JP2007116723A (en) | 2007-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3901287B2 (en) | Video signal conversion apparatus, video signal conversion method, and video providing system | |
JP3092610B2 (en) | Moving picture decoding method, computer-readable recording medium on which the method is recorded, and moving picture decoding apparatus | |
JP4863333B2 (en) | Method and apparatus for creating high resolution still images | |
JP3381855B2 (en) | Image signal encoding method and image signal encoding device, image signal decoding method and image signal decoding device | |
JP4092734B2 (en) | Digital signal conversion method and digital signal conversion apparatus | |
WO1994023535A1 (en) | Method and apparatus for coding video signal, and method and apparatus for decoding video signal | |
JP3348612B2 (en) | Inter-block prediction coding device, inter-block prediction decoding device, inter-block prediction coding method, inter-block prediction decoding method, and inter-block prediction coding / decoding device | |
US5905846A (en) | Image decoding apparatus and process thereof and image reproduction apparatus | |
JPH0937243A (en) | Moving image coder and decoder | |
JP3532709B2 (en) | Moving picture coding method and apparatus | |
JP2998741B2 (en) | Moving picture encoding method, computer-readable recording medium on which the method is recorded, and moving picture encoding apparatus | |
JP4526529B2 (en) | Video signal converter using hierarchical images | |
JP3591025B2 (en) | Image information processing device | |
JPH11346368A (en) | Image processing method, image processing unit and data storage medium | |
JP2008109700A (en) | Method and device for converting digital signal | |
JP4422629B2 (en) | Moving picture encoding apparatus, decoding apparatus, moving picture recording apparatus, and moving picture reproduction apparatus | |
JP4605212B2 (en) | Digital signal conversion method and digital signal conversion apparatus | |
JP2916719B2 (en) | Encoding method, encoding device, and encoding / decoding device | |
JP3407727B2 (en) | recoding media | |
JP2897649B2 (en) | Motion compensated predictive coding device | |
JP3552045B2 (en) | Recording method of image signal recording medium, image signal recording device, and image signal reproducing device | |
JP4513856B2 (en) | Digital signal conversion method and digital signal conversion apparatus | |
JPH1032787A (en) | Moving image encoding system for real-time reverse reproduction | |
JP3092612B2 (en) | Moving picture decoding method and moving picture decoding apparatus | |
JP2004088795A (en) | Image signal preparation device and method, and image signal reproducing device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100601 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |