JP4526529B2 - Video signal converter using hierarchical images - Google Patents

Description

本発明は、デジタル映像信号の変換処理を行なう映像信号変換装置とその映像信号変換方法、並びにそれを用いた映像提供システムに関し、特に、コンポーネント形式や圧縮フォーマットの異なるデジタル映像信号間の直接変換を可能にしたものである。   The present invention relates to a video signal conversion apparatus that performs conversion processing of a digital video signal, a video signal conversion method thereof, and a video providing system using the same, and more particularly to direct conversion between digital video signals having different component formats and compression formats. It is possible.

近年、デジタル映像信号を扱う映像機器が増加している。このデジタル映像信号としては、従来からカラーコンポーネント信号が多く使われている。カラーコンポーネント信号とは、映像信号を、１つの輝度信号Ｙと２つの色差信号Ｃｒ、Ｃｂとに分けて扱う信号の形式である。カラーコンポーネント信号には、次に説明するように、輝度信号と色差信号との標本化周波数の比を異にする複数の形式が存在する。   In recent years, video devices that handle digital video signals are increasing. As this digital video signal, a color component signal has been conventionally used. The color component signal is a signal format in which a video signal is divided into one luminance signal Y and two color difference signals Cr and Cb. As described below, the color component signal has a plurality of formats in which the ratios of the sampling frequencies of the luminance signal and the color difference signal are different.

第１の形式は４：４：４である。これは図３０（Ｂ）に示すように、Ｙ１画素に対しＣｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：４：４で表すと、図３０（Ａ）に示す通り、Ｙ、Ｃｒ、Ｃｂが同じ情報量になる。
第２の形式は４：２：２である。これは図３１（Ｂ）に示す様に、横に並んだ２画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：２：２で表すと、図３１（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／２になる。 The first format is 4: 4: 4. As shown in FIG. 30B, Cr and Cb correspond to the Y1 pixel one by one. When information of one frame is expressed as 4: 4: 4, Y, Cr, and Cb have the same information amount as shown in FIG.
The second format is 4: 2: 2. As shown in FIG. 31B, Cr and Cb correspond to Y of two pixels arranged side by side one by one. When the information of one frame is expressed by 4: 2: 2, the information amount of Cr and Cb is each ½ of the information amount of Y as shown in FIG.

第３の形式は４：２：０である。これは図３２（Ｂ）に示す様に、縦・横２画素ずつ並んだ４画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：２：０で表すと、図３２（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／４になる。   The third format is 4: 2: 0. As shown in FIG. 32B, Cr and Cb correspond to one pixel at a time with respect to four pixels Y arranged in two vertical and two horizontal pixels. When the information of one frame is represented by 4: 2: 0, the information amounts of Cr and Cb are each ¼ of the information amount of Y as shown in FIG.

第４の形式は４：１：１である。これは図３３（Ｂ）に示す様に、横に並んだ４画素のＹに対し、Ｃｒ、Ｃｂが１画素ずつ対応するものである。１フレームの情報を４：１：１で表すと、図３３（Ａ）に示す通り、Ｃｒ、Ｃｂの情報量がそれぞれＹの情報量の１／４になる。   The fourth format is 4: 1: 1. As shown in FIG. 33 (B), Cr and Cb correspond to Y of four pixels arranged side by side one by one. When the information of one frame is expressed as 4: 1: 1, the information amounts of Cr and Cb are each ¼ of the Y information amount as shown in FIG.

そして近年、このようなデジタル映像信号を民生のビデオテープレコーダ付きカメラなどのビデオ機器や、パーソナルコンピュータで扱うことが可能となり、そのための機器も急速に普及している。   In recent years, it has become possible to handle such digital video signals with video equipment such as a consumer video camera with a video tape recorder or a personal computer, and equipment for that purpose is also rapidly spreading.

このようなパーソナルコンピュータや民生ビデオ機器で扱うデジタル映像信号は、標準化された圧縮形式で映像信号が圧縮されている。この圧縮形式の中の２種類について、次に説明する。   Digital video signals handled by such personal computers and consumer video devices are compressed in a standardized compression format. Next, two types of compression formats will be described.

第１の圧縮形式は、ＭＰＥＧ１、ＭＰＥＧ２である。これらの圧縮形式は、コンピュータで利用する映像信号に多く用いられる。ＭＰＥＧ１、ＭＰＥＧ２は共に、動き補償によるフレーム間の時間的な冗長度の削減と、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的な冗長度の削減と、可変長符号化による符号量削減とを組み合わせた画像圧縮の規格である。ＭＰＥＧ１については（非特許文献１）に、、ＭＰＥＧ２については（非特許文献２）にその内容が説明されているため、ここでは詳細な説明を省略する。   The first compression format is MPEG1 or MPEG2. These compression formats are often used for video signals used in computers. MPEG1 and MPEG2 both reduce temporal redundancy between frames by motion compensation, reduce spatial redundancy within a frame by DCT (Discrete Cosine Transform), and reduce the amount of code by variable-length coding. A standard for combined image compression. Since the contents of MPEG1 are described in (Non-Patent Document 1) and MPEG2 is described in (Non-Patent Document 2), detailed description thereof is omitted here.

従来、これらＭＰＥＧ１またはＭＰＥＧ２形式の映像データを生成するには、一般に図３４に示すような過程を経ていた。即ち、アナログの信号出力しか持たないビデオテーププレーヤ、ビデオカメラなどのアナログビデオ機器101の場合には、出力されたアナログビデオ信号をアナログ→デジタル変換器102で変換して非圧縮デジタルビデオ信号を生成する。また、デジタルの信号出力を持つデジタルビデオ機器103からは直接非圧縮のデジタルビデオ信号を出力する。   Conventionally, in order to generate video data in the MPEG1 or MPEG2 format, a process as shown in FIG. 34 is generally performed. In other words, in the case of an analog video device 101 such as a video tape player or video camera having only an analog signal output, the output analog video signal is converted by an analog-to-digital converter 102 to generate an uncompressed digital video signal. To do. An uncompressed digital video signal is directly output from the digital video device 103 having a digital signal output.

これらの非圧縮デジタルビデオ信号をＭＰＥＧエンコーダ104に入力し、ＭＰＥＧエンコーダ104がＭＰＥＧデータを生成する、という手順により、ＭＰＥＧデータを生成していた。   These uncompressed digital video signals are input to the MPEG encoder 104, and the MPEG encoder 104 generates MPEG data by the procedure of generating MPEG data.

このＭＰＥＧエンコーダ104へ入力される非圧縮のデジタルビデオ信号には、４：２：２もしくは４：４：４のカラーコンポーネント信号が用いられる。また、生成されるＭＰＥＧ１のデータすべてと、ＭＰＥＧ２のデータの多くは、４：２：０である。   A 4: 2: 2 or 4: 4: 4 color component signal is used for the uncompressed digital video signal input to the MPEG encoder 104. All of the generated MPEG1 data and most of the MPEG2 data is 4: 2: 0.

第２の圧縮形式は、ＤＶ、ＤＶＣ、ＤＶＣＰＲＯ、ＤＶｃａｍなどである。これらは民生のビデオ機器を含むデジタルビデオ機器に用いられる映像信号の形式であり、信号のデータ構造や圧縮形式が殆ど同じものであるため、以降はこれらを纏めてＤＶと記述する。ＤＶは、１９９６年に制定されたビデオカセットレコーダ向けの規格である、「Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)」に準拠した規格であり、ＤＶの映像信号を扱うビデオ機器は近年急速に普及している。ＤＶの映像信号を扱うビデオ機器として、民生向けビデオカメラも急速に普及が進んでおり、一般の人々がＤＶの映像信号を生成することも安価かつ容易に可能である。   The second compression format is DV, DVC, DVCPRO, DVcam, or the like. These are video signal formats used for digital video equipment including consumer video equipment, and the data structure and compression format of the signals are almost the same, so these are collectively referred to as DV hereinafter. DV is a standard compliant with “Specifications of Consumer-Use Digital VCRs (HD Digital VCR Conference, 1996)”, a video cassette recorder standard established in 1996, and is a video device that handles DV video signals. Has become widespread rapidly in recent years. Consumer video cameras are rapidly spreading as video equipment that handles DV video signals, and it is cheap and easy for ordinary people to generate DV video signals.

このＤＶは、ＤＣＴによるフレーム内の冗長度削減と可変長符号化による符号量削減とを組み合わせた圧縮形式であり、この映像信号では、さらに圧縮信号に対して、フレーム内でマクロブロック単位にデータの位置を変えるシャフリングの処理が施されている。   This DV is a compression format that combines the reduction of redundancy within a frame by DCT and the reduction of the amount of code by variable length coding. In this video signal, further, the compressed signal is data in units of macroblocks within the frame. A shuffling process is performed to change the position.

ＤＶの映像信号を扱うビデオ機器の入出力に用いられる映像信号は４：２：２あるいは４：４：４であり、この機器の内部でのＤＶは４：１：１である場合が多い。   Video signals used for input / output of video equipment that handles DV video signals are 4: 2: 2 or 4: 4: 4, and DV inside the equipment is often 4: 1: 1.

ＤＶの映像信号は、前記のＭＰＥＧ１、ＭＰＥＧ２の映像信号と比較して、 １）データがフレームごとに独立しているため、フレーム単位のカット＆ペーストなどの映像の編集を容易に行なうことができる。   Compared with the above-mentioned MPEG1 and MPEG2 video signals, DV video signals are as follows: 1) Since data is independent for each frame, video editing such as frame-by-frame cut and paste can be easily performed. .

２）単位フレーム当たりの符号量が多い（ＭＰＥＧの６倍程度）ため、一般に高画質である、という性質を有する。   2) Since the amount of code per unit frame is large (about 6 times that of MPEG), it generally has the property of high image quality.

この画質が高く編集が容易なＤＶの映像信号は、コンピュータに入力することも可能になっている。そして、コンピュータ上で映像を扱うユーザからは、入力・編集・蓄積には、高画質で処理の簡単なＤＶデータを用い、ネットワークなどを介して映像を他のコンピュータに提供する場合には、符号量の少ないＭＰＥＧデータを用いるという使い分けの要求が高まっている。   This DV video signal with high image quality and easy editing can be input to a computer. A user who handles video on a computer uses DV data that is easy to process with high image quality for input, editing, and storage, and when video is provided to another computer via a network or the like, There is an increasing demand for proper use of MPEG data with a small amount.

従来、ＤＶデータからＭＰＥＧデータを生成するには、図３４の構成において、ＤＶを扱うビデオ機器をデジタルビデオ機器103として用い、これをＭＰＥＧエンコーダ104に接続する必要があった。そのため、ＤＶのビデオ機器とＭＰＥＧエンコーダとの２つのハードウェアが必要となり、コストが高くなった。
「ISO/IEC 11172-2 "Information technology - Coding of moving pictures and associated audio for digital strage media at up to about 1,5Mbit/s - Part 2: Video"」 「ISO/IEC 13818-2 "Information technology - Generic coding of moving Pictures and associated audio information - Part 2: Video"」 Conventionally, in order to generate MPEG data from DV data, it has been necessary to use a video device that handles DV as the digital video device 103 in the configuration of FIG. 34 and connect it to the MPEG encoder 104. For this reason, two hardware units, a DV video device and an MPEG encoder, are required, resulting in an increase in cost.
"ISO / IEC 11172-2" Information technology-Coding of moving pictures and associated audio for digital strage media at up to about 1,5Mbit / s-Part 2: Video "" "ISO / IEC 13818-2" Information technology-Generic coding of moving Pictures and associated audio information-Part 2: Video ""

一方、コンピュータに入力されたＤＶデータを、ソフトウェアでＭＰＥＧデータに直接変換した場合は、変換のための専用のハードウェアが不要になり、映像信号の変換を安価に実施できると考えられる。しかしながら、ソフトウェアによるＤＶデータのＭＰＥＧデータへの直接変換は、従来次のような課題が存在するため、実現が困難であった。即ち、（課題１）ＤＶに用いられている４：１：１カラーコンポーネント信号をＭＰＥＧに用いられている４：２：０カラーコンポーネント信号に直接変換する方法がない。   On the other hand, when DV data input to a computer is directly converted into MPEG data by software, it is considered that dedicated hardware for conversion becomes unnecessary, and video signal conversion can be performed at low cost. However, direct conversion of DV data into MPEG data by software has been difficult to implement because of the following problems. That is, (Problem 1) There is no method for directly converting a 4: 1: 1 color component signal used in DV into a 4: 2: 0 color component signal used in MPEG.

（課題２）ＤＶのデコードとＭＰＥＧのエンコードとをそれぞれ行なった場合、処理量が多いため、一般のコンピュータでは非常に長い処理時間を要する。   (Problem 2) When DV decoding and MPEG encoding are performed respectively, the amount of processing is large, so that a general computer requires a very long processing time.

本発明は、こうした従来の課題を解決するものであり、形式の異なるカラーコンポーネント信号間の直接変換を行ない、また、圧縮フォーマットが異なる映像信号間の直接変換を行なう映像信号変換装置とその映像信号変換方法とを提供し、さらに、利用者が求めるフォーマットの映像信号を供給する映像提供システムを提供することを目的としている。   The present invention solves such a conventional problem, and performs a direct conversion between color component signals of different formats and a direct conversion between video signals of different compression formats and the video signal thereof. It is an object of the present invention to provide a video providing system that supplies a video signal in a format desired by a user.

そこで、本発明では、映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置を、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とで構成している。   Therefore, in the present invention, a video signal conversion apparatus for converting the color component signal format of a video signal, an input means for inputting a digital video signal, a luminance signal frame memory for storing a luminance signal of the input video signal, and an input Input color difference signal frame memory for storing the color difference signal of the received video signal, color difference signal conversion means for converting the color difference signal of the input video signal, and output color difference signal for storing the color difference signal converted by the color difference signal conversion means The frame memory and output means for outputting a digital video signal by combining the luminance signal stored in the luminance signal frame memory and the color difference signal stored in the output color difference signal frame memory.

また、本発明のカラーコンポーネント信号形式を変換する映像信号変換方法では、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の特定の行の画素値を選択したり、２つの行の画素値の平均を取るなどして、縦方向の解像度を２分の１にし、画素値を隣の列に複写したり、線形補間などを行なうことによって横方向の解像度を２倍にしている。   In the video signal conversion method for converting the color component signal format of the present invention, the pixel value of a specific row of the color difference signal is selected for the color difference signal of the color component signal of the 4: 1: 1 format, The vertical resolution is halved by taking the average of the pixel values of the two rows, etc., and the horizontal resolution is doubled by copying the pixel value to the next column or performing linear interpolation. I have to.

また、本発明では、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とで構成し、このコンポーネント信号変換手段を、カラーコンポーネント信号形式を変換する本発明の映像信号変換装置で構成している。   According to the present invention, there is provided a video signal converter for converting between digital video signals having different compression formats, an input / output unit for inputting / outputting the video signal, and a video decoding unit for decoding the input compressed video signal. And component signal converting means for converting the component signal format of the decoded video signal, and video encoding means for compressing and encoding the video signal converted by the component signal converting means, and this component signal converting means Is constituted by the video signal converter of the present invention for converting the color component signal format.

また、この映像信号変換装置を、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とで構成している。   Also, the video signal conversion apparatus includes an input / output unit for inputting / outputting a video signal, and a video decoding unit for decoding the input compressed video signal and converting the component signal format of the video signal in the decoding process. And video encoding means for compressing and encoding the video signal whose component signal format has been converted.

さらに、本発明では、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムを、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とで構成し、映像提供部には、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、この映像信号変換手段を、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう本発明の映像信号変換装置で構成している。   Further, according to the present invention, a video providing system that provides digital video as a video signal in a format requested by a user acquires a digital video via a network transmitting the digital signal, and reproduces the acquired digital video. It consists of a video playback terminal, a video providing unit that stores digital video and provides it to the video playback terminal, and a video input unit that inputs digital video to the video providing unit via a network. Communication means for inputting / outputting digital video by connecting to a video signal, video storage means for storing digital video, video signal conversion means for converting a compression format of digital video, communication means, video storage means and video signal conversion means And control means for controlling the video signal conversion means for converting the video signal converting means to a digital video having a different compression format. It is constituted by the video signal conversion device of the present invention for performing conversion between signals.

そのため、カラーコンポーネント信号形式を変換する映像信号変換装置は、本発明の映像信号変換方法を用いて、４：１：１形式のカラーコンポーネント信号を４：２：０形式のカラーコンポーネント信号に直接変換することができ、また、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置は、４：１：１形式のＤＶＣフォーマットの映像信号を、４：２：０形式のＭＰＥＧフォーマットの映像信号に直接変換することができる。   Therefore, the video signal conversion apparatus for converting the color component signal format directly converts the color component signal in the 4: 1: 1 format into the color component signal in the 4: 2: 0 format using the video signal conversion method of the present invention. In addition, a video signal conversion apparatus that converts between digital video signals having different compression formats can convert a DVC format video signal in a 4: 1: 1 format and a video in an MPEG format in a 4: 2: 0 format. It can be converted directly into a signal.

また、この装置を用いた映像提供システムは、映像再生端末の再生能力に応じたフォーマットで映像を提供することができる。   Also, a video providing system using this apparatus can provide video in a format according to the playback capability of the video playback terminal.

本発明の映像信号変換装置は、カラーコンポーネント信号の形式を直接変換することができ、また、圧縮フォーマットの異なる映像信号間の変換を直接行なうことができる。   The video signal conversion apparatus of the present invention can directly convert the format of the color component signal and can directly convert between video signals of different compression formats.

また、本発明の映像信号変換方法は、カラーコンポーネント信号の形式を効率的且つ高精度に変換することを可能にする。   Also, the video signal conversion method of the present invention makes it possible to efficiently and accurately convert the color component signal format.

また、本発明の映像提供システムは、単一のフォーマットで入力された映像信号を、複数の形式で提供することができる。   Also, the video providing system of the present invention can provide video signals input in a single format in a plurality of formats.

本願第一の発明は、デジタル映像信号のカラーコンポーネント信号形式を変換する映像信号変換装置であって、デジタル映像信号を入力する入力手段と、入力された映像信号の輝度信号を格納する輝度信号フレームメモリと、入力された映像信号の色差信号を格納する入力色差信号フレームメモリと、入力された映像信号の色差信号を変換する色差信号変換手段と、色差信号変換手段により変換された色差信号を格納する出力色差信号フレームメモリと、輝度信号フレームメモリに格納された輝度信号と出力色差信号フレームメモリに格納された色差信号とを組み合わせてデジタル映像信号を出力する出力手段とを設けたものであり、カラーコンポーネント信号の形式を直接変換することができる。   A first invention of the present application is a video signal converter for converting a color component signal format of a digital video signal, an input means for inputting the digital video signal, and a luminance signal frame for storing a luminance signal of the input video signal Memory, input color difference signal frame memory for storing the color difference signal of the input video signal, color difference signal conversion means for converting the color difference signal of the input video signal, and the color difference signal converted by the color difference signal conversion means Output color difference signal frame memory, and output means for outputting a digital video signal by combining the luminance signal stored in the luminance signal frame memory and the color difference signal stored in the output color difference signal frame memory, The color component signal format can be directly converted.

また、本願第２の発明は、前記色差信号変換手段が、入力された映像信号の色差信号を４：１：１コンポーネント信号形式から４：２：０コンポーネント信号形式の色差信号に変換するようにしたものであり、ＤＶＣフォーマットの映像信号をＭＰＥＧフォーマットの映像信号に変換する場合のコンポーネント信号の形式を変換することができる。   Also, in the second invention of the present application, the color difference signal conversion means converts the color difference signal of the input video signal from a 4: 1: 1 component signal format to a 4: 2: 0 component signal format color difference signal. Therefore, it is possible to convert the component signal format when converting the DVC format video signal to the MPEG format video signal.

また、本願第３の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号から縦方向に１画素おきに間引いた画素を取り出して縦方向の画素数を２分の１にし、取り出した画素を横方向に複写して横方向の画素数を２倍にするようにしたものであり、色差信号の変換に特別の演算が不要であるため、処理負担が少なくて済む。 Also, in the third invention of the present application, the color difference signal converting means takes out pixels obtained by thinning out every other pixel in the vertical direction from the color difference signal stored in the input color difference signal frame memory, and reduces the number of vertical pixels by two. 1, the extracted pixels are copied in the horizontal direction to double the number of pixels in the horizontal direction, and no special operation is required for conversion of the color difference signal, so that the processing load can be reduced. .

また、本願第４の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、この平均値である１つの画素値を横方向に複写して横方向の画素数を２倍にするようにしたものであり、変換の際の演算量が少なく、変換に要する処理負担が小さい。   In the fourth invention of the present application, the color difference signal conversion means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and determines this as one pixel value. Thus, the number of pixels in the vertical direction is halved, one pixel value that is the average value is copied in the horizontal direction, and the number of pixels in the horizontal direction is doubled. The amount of calculation at the time is small, and the processing load required for conversion is small.

また、本願第５の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、この平均値である１つの画素値と、横方向に隣り合う前記平均値である１つの画素値との平均値を画素値として横方向に補間することにより横方向の画素数を２倍にするようにしたものであり、画素間の画素値の変化が滑らかとなり、データ圧縮のためにＤＣＴを施した場合に、圧縮効率が向上する。 Further, in the fifth invention of the present application, the color difference signal converting means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and calculates this as one pixel value. Thus, the number of pixels in the vertical direction is halved, and the horizontal direction with the average value of one pixel value that is the average value and one pixel value that is the average value adjacent in the horizontal direction as the pixel value. The number of pixels in the horizontal direction is doubled by interpolating to, and the change in pixel value between pixels becomes smooth, and compression efficiency improves when DCT is applied for data compression. .

また、本願第６の発明は、前記色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、横方向に隣り合う２つの前記平均値を用いて横方向の線形補間を行なうことにより、横方向の画素数を２倍にし、縦方向の画素数を２分の１にするようにしたものであり、画素間の画素値の変化がより滑らかとなり、ＤＣＴを施した場合の圧縮効率が一層向上する。   According to a sixth aspect of the present invention, the color difference signal converting means obtains an average value of two pixel values adjacent in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and calculates the two adjacent values in the horizontal direction. By performing linear interpolation in the horizontal direction using the average value, the number of pixels in the horizontal direction is doubled and the number of pixels in the vertical direction is halved. Changes more smoothly, and the compression efficiency when DCT is applied is further improved.

また、本願第７の発明は、入力色差信号フレームメモリ内の指定された色差信号の画素に対応する輝度信号の画素値を輝度信号フレームメモリから参照する輝度信号参照手段を設け、色差信号変換手段が、輝度信号参照手段を介して参照した輝度信号の値を利用して、色差信号の変換を行なうようにしたものであり、自然画像では色の変化と輝度の変化とが関係しているため、輝度を加味して色差信号の変換を行なうことにより、自然な色の変化を示す映像への変換が可能となる。   According to a seventh aspect of the present invention, there is provided a luminance signal reference means for referring from a luminance signal frame memory to a pixel value of a luminance signal corresponding to a pixel of a designated color difference signal in the input color difference signal frame memory. However, the color difference signal is converted by using the value of the luminance signal referred to through the luminance signal reference means, and a change in color and a change in luminance are related in a natural image. By converting the color difference signal in consideration of luminance, it is possible to convert to a video showing a natural color change.

また、本願第８の発明は、色差信号変換手段が、入力色差信号フレームメモリの横方向に隣り合う２つの画素の間に、この２つの画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を２倍にするようにしたものであり、補間する画素の色差信号が隣り合う画素の輝度を参考にして決められる。   Further, according to the eighth aspect of the present invention, the color difference signal conversion means is based on the ratio of the pixel values of the luminance signals corresponding to the two pixels between the two pixels adjacent in the horizontal direction of the input color difference signal frame memory. The pixel value of the color difference signal is linearly interpolated to double the number of pixels in the horizontal direction, and the color difference signal of the pixel to be interpolated is determined with reference to the luminance of adjacent pixels.

また、本願第９の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦方向に隣り合う２つの画素値の平均値を求め、これを１つの画素値とすることにより縦方向の画素数を２分の１にし、横方向に隣り合う２つの平均値の画素の間に、この２つの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号の画素値を線形補間し、横方向の画素数を２倍にするようにしたものであり、横方向の画素数を増やすために内挿する画素の画素値を輝度信号の変化と関連付けることができる。   In the ninth aspect of the present invention, the color difference signal conversion means obtains an average value of two pixel values adjacent to each other in the vertical direction of the color difference signal stored in the input color difference signal frame memory, and uses this as one pixel value. Accordingly, the number of pixels in the vertical direction is halved, and the ratio of the pixel values of the luminance signals corresponding to the pixels used for calculating the two average values between the two pixels of the average values adjacent in the horizontal direction. The pixel value of the chrominance signal is linearly interpolated based on the above to double the number of pixels in the horizontal direction, and the pixel value of the pixel to be interpolated to increase the number of pixels in the horizontal direction is Can be associated with change.

また、本願第１０の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の横方向に隣り合う２つの画素に対して、この２つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を２倍にするようにしたものであり、横方向のすべての画素の画素値を、輝度信号を利用した線形補間で求めることにより、輝度と関連付けることができる。   According to the tenth aspect of the present invention, the color difference signal converting means has two pixels adjacent to each other in the horizontal direction of the color difference signal stored in the input color difference signal frame memory, and a pixel of a luminance signal corresponding to the two pixels. The number of pixels of the color difference signal in the horizontal direction is doubled by performing linear interpolation in proportion to the ratio of the values. The pixel values of all the pixels in the horizontal direction are linearly converted using luminance signals. By obtaining by interpolation, it can be associated with luminance.

また、本願第１１の発明は、色差信号変換手段が、入力色差信号フレームメモリに格納された色差信号の縦、横２つずつから成る４つの画素を、横方向には１画素分ずつずらしながら、縦方向には２画素分ずつずらしながら順次選択し、選択した４つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、横方向の色差信号の画素数を２倍にし、縦方向の色差信号の画素数を２分の１にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化と関連付けることができる。   In the eleventh aspect of the present invention, the chrominance signal converting means shifts four pixels each composed of two vertical and horizontal chrominance signals stored in the input chrominance signal frame memory while shifting the pixels by one pixel in the horizontal direction. Then, the pixels are sequentially selected while shifting by 2 pixels in the vertical direction, and linear interpolation is performed in proportion to the ratio of the pixel values of the luminance signals corresponding to the selected four pixels, so that the number of pixels of the color difference signal in the horizontal direction is 2 The number of pixels of the color difference signal in the vertical direction is halved, and the pixel values of the color difference signals in the vertical direction and the horizontal direction can be associated with changes in the luminance signal.

また、本願第１２の発明は、デジタル映像信号の４：１：１形式のカラーコンポーネント信号を４：２：０形式のカラーコンポーネント信号に変換する映像信号変換方法であって、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行または２ｎ＋１行（但し、ｎは整数）のいずれか一方の画素値を用いることによって、縦方向の解像度を２分の１にし、前記画素値を左または右隣りの列に複写することによって、横方向の解像度を２倍にするようにしたものであり、特別の演算を行なうことなく、コンポーネント信号形式の変換が可能である。   A twelfth aspect of the present invention is a video signal conversion method for converting a color component signal of a 4: 1: 1 format of a digital video signal into a color component signal of a 4: 2: 0 format, which is 4: 1: 1. For the color difference signal of the format color component signal, the vertical resolution is halved by using the pixel value of either 2n or 2n + 1 rows (where n is an integer) of the color difference signal. The pixel value is copied to the left or right adjacent column so that the horizontal resolution is doubled, and conversion of the component signal format is possible without performing any special operation. .

また、本願第１３の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、この平均値を左または右隣りの列に複写することによって、横方向の解像度を２倍にするようにしたものであり、少ない演算量でコンポーネント信号の形式を変換することができる。   Further, the thirteenth invention of the present application is the same video signal conversion method, wherein 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals are applied to the color difference signals of the color component signals in the 4: 1: 1 format. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the vertical resolution is halved, and by copying this average value to the left or right adjacent column, the horizontal direction The component signal format can be converted with a small amount of calculation.

また、本願第１４の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、横方法に隣り合う２つの平均値の平均値を求め、これを画素値として隣り合う２つの平均値の間に補間することによって、横方向の解像度を２倍にするようにしたものであり、画素間の画素値の変化を滑らかにすることができる。   Further, the fourteenth invention of the present application is the same video signal conversion method, wherein the color difference signal of the color component signal of the 4: 1: 1 format is 2n and 2n + 1 or 2n + 1 and 2 (2) of the color difference signal. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the vertical resolution is halved, and the average value of two average values adjacent to each other in the horizontal direction is determined, and this is calculated as the pixel value. By interpolating between two adjacent average values as values, the horizontal resolution is doubled, and the change in pixel value between pixels can be smoothed.

また、本願第１５の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求め、横方向に隣り合うこの２つの平均値を用いて線形補間を行なうことによって、横方向の解像度を２倍にし、縦方向の解像度を２分の１にするようにしたものであり、画素間の画素値の変化をより滑らかにすることができる。   Further, the fifteenth aspect of the present invention is the same video signal conversion method, wherein the color difference signal of the color component signal of the 4: 1: 1 format is 2n and 2n + 1 or 2n + 1 and 2 (2) of the color difference signal. n + 1) An average value of two pixel values adjacent to each other in the vertical direction of the row is obtained, and by performing linear interpolation using the two average values adjacent to each other in the horizontal direction, the horizontal resolution is doubled and the vertical direction The resolution of the pixel is halved, and the change in pixel value between pixels can be made smoother.

また、本願第１６の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の縦方向に隣り合う２つの画素値の平均値を求めることによって、縦方向の解像度を２分の１にし、横方向に隣り合う２つのこの平均値の算出に用いた画素に対応する輝度信号の画素値の比に基づいて色差信号を線形補間し、得られた画素値を２つの平均値の間に内挿することによって、横方向の解像度を２倍にするようにしたものであり、横方向に内挿する画素の画素値を、輝度信号の変化に関連付けているため、自然で精細な映像への変換が可能となる。   Further, the sixteenth invention of the present application is the same video signal conversion method, wherein 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals are applied to the color difference signals of the color component signals in the 4: 1: 1 format. n + 1) By calculating the average value of two pixel values adjacent to each other in the vertical direction of the row, the resolution in the vertical direction is halved to correspond to the two pixels used for calculating the average value adjacent to each other in the horizontal direction. The color difference signal is linearly interpolated based on the ratio of the luminance signal pixel values to be interpolated, and the obtained pixel value is interpolated between two average values to double the horizontal resolution. Since the pixel value of the pixel to be interpolated in the horizontal direction is associated with the change in the luminance signal, it can be converted into a natural and fine image.

また、本願第１７の発明は、同様の映像信号変換方法において、４：１：１形式のカラーコンポーネント信号の色差信号に対して、この色差信号の２ｎ行と２ｎ＋１行、または２ｎ＋１行と２（ｎ＋１）行の上及び隣接する列の上で互いに隣り合う合計４つの画素を順次選択し、この４つの画素に対応する輝度信号の画素値の比に比例した線形補間を行なうことにより、色差信号の横方向の解像度を２倍にし、縦方向の解像度を２分の１にするようにしたものであり、縦方向及び横方向の色差信号の画素値を、輝度信号の変化に関連付けることができるため、より自然で精細な映像への変換が可能となる。   According to a seventeenth aspect of the present invention, in the same video signal conversion method, 2n rows and 2n + 1 rows, or 2n + 1 rows and 2 (2) of the color difference signals of the color component signals of the 4: 1: 1 format are used. n + 1) A total of four pixels adjacent to each other on a row and on an adjacent column are sequentially selected, and linear interpolation proportional to a ratio of pixel values of luminance signals corresponding to the four pixels is performed, whereby a color difference signal is obtained. The horizontal resolution is doubled and the vertical resolution is halved, and the pixel values of the color difference signals in the vertical and horizontal directions can be associated with changes in the luminance signal. Therefore, it is possible to convert to a more natural and fine video.

また、本願第１８の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号する映像復号化手段と、復号された映像信号のコンポーネント信号形式を変換するコンポーネント信号変換手段と、コンポーネント信号変換手段により変換された映像信号を圧縮し符号化する映像符号化手段とを設け、コンポーネント信号変換手段を、請求項１乃至１１に記載の映像信号変換装置で構成したものであり、入力した圧縮フォーマットの映像信号が復号され、次いでコンポーネント信号形式が変換され、その後、所定の圧縮フォーマットに変換される。   The eighteenth aspect of the present invention is a video signal converting apparatus for converting between digital video signals having different compression formats, and an input / output means for inputting / outputting the video signal, and decoding the input compressed video signal. A video decoding means for converting, a component signal converting means for converting a component signal format of the decoded video signal, and a video encoding means for compressing and encoding the video signal converted by the component signal converting means. The signal conversion means comprises the video signal conversion device according to any one of claims 1 to 11, wherein the input compression format video signal is decoded, then the component signal format is converted, and then converted into a predetermined compression format. Converted.

また、本願第１９の発明は、前記映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化する逆量子化手段と、逆量子化手段により逆量子化された情報に対して逆ＤＣＴ処理を施す逆ＤＣＴ処理手段とを設け、前記映像符号化手段に、コンポーネント信号変換手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してＤＣＴ処理や量子化を行なうＤＣＴ圧縮手段と、ＤＣＴ圧縮手段の出力を非圧縮情報に伸張する逆ＤＣＴ伸長手段と、逆ＤＣＴ伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル映像信号をＭＰＥＧフォーマットなどの動き補償付き直交変換圧縮されたデジタル映像信号に直接変換することができる。   According to a nineteenth aspect of the present invention, the video decoding means includes a preprocessing means for rearranging information with respect to an input video signal, and a variable length decoding for information rearranged by the preprocessing means. A long decoding means, an inverse quantization means for inversely quantizing the information variable-length decoded by the variable length decoding means, and an inverse DCT for performing an inverse DCT process on the information inversely quantized by the inverse quantization means Processing means, an input buffer for storing the output of the component signal conversion means in the video encoding means, a DCT compression means for performing DCT processing and quantization on the information stored in the input buffer, and DCT compression An inverse DCT decompression means for decompressing the output of the means into uncompressed information; a frame memory for storing the output of the inverse DCT decompression means; a motion prediction means for obtaining a motion vector and obtaining an interframe difference; Code selection means for selecting the type of encoding, variable length coding means for performing variable length coding processing on the output of the code selection means, structure coding means for generating a final compressed format signal, Coding control means for controlling the operation of each means of the video coding means, and a digital video signal subjected to orthogonal transform compression with motion compensation such as MPEG format from a digital video signal subjected to orthogonal transform compression such as DVC format It can be converted directly into a video signal.

また、本願第２０の発明は、圧縮フォーマットが異なるデジタル映像信号間の変換を行なう映像信号変換装置であって、映像信号を入出力する入出力手段と、入力した圧縮されている映像信号を復号するとともに、復号の過程で映像信号のコンポーネント信号形式を変換する映像復号化手段と、コンポーネント信号形式が変換された映像信号を圧縮し符号化する映像符号化手段とを設けたものであり、入力した圧縮フォーマットの映像信号が復号と同時にコンポーネント信号形式が変換され、次いで、所定の圧縮フォーマットに変換される。   According to a twentieth aspect of the present invention, there is provided a video signal converter for converting between digital video signals having different compression formats, input / output means for inputting / outputting the video signal, and decoding the input compressed video signal. And a video decoding means for converting the component signal format of the video signal in the process of decoding and a video encoding means for compressing and encoding the video signal converted from the component signal format. The component signal format is converted simultaneously with the decoding of the compressed video signal, and then converted into a predetermined compression format.

また、本願第２１の発明は、映像復号化手段に、入力された映像信号に対して情報の並べ替えを行なう前処理手段と、前処理手段により並び替えられた情報を可変長復号する可変長復号化手段と、可変長復号化手段により可変長復号された情報を逆量子化して輝度信号及び色差信号のＤＣＴ係数を再生する逆量子化手段と、再生された色差信号のＤＣＴ係数を間引き、または補間してＤＣＴ係数の解像度を変更するＤＣＴ係数変換手段と、逆量子化手段から出力された輝度信号のＤＣＴ係数とＤＣＴ係数変換手段から出力された色差信号のＤＣＴ係数とに対して逆ＤＣＴ処理を施す逆ＤＣＴ処理手段とを設け、映像符号化手段に、映像復号化手段の出力を格納する入力バッファと、入力バッファに格納された情報に対してＤＣＴ処理や量子化を行なうＤＣＴ圧縮手段と、ＤＣＴ圧縮手段の出力を非圧縮情報に伸張する逆ＤＣＴ伸長手段と、逆ＤＣＴ伸長手段の出力を格納するフレームメモリと、動きベクトルを求めフレーム間差分を求める動き予測手段と、符号化の種類を選択する符号選択手段と、符号選択手段の出力に対して可変長符号化処理を施す可変長符号化手段と、最終的な圧縮フォーマットの信号を生成する構造符号化手段と、映像符号化手段の各手段の動作を制御する符号化制御手段とを設けたものであり、映像復号化手段において、コンポーネント形式の変換が復号処理の中間情報であるＤＣＴ係数の段階で行なわれる。この映像復号化手段で復号化された非圧縮コンポーネント信号を映像符号化手段が圧縮符号化することにより、ＤＶＣフォーマットなどのデジタル映像信号からＭＰＥＧフォーマットなどのデジタル映像信号への直接変換が可能になる。   According to the twenty-first aspect of the present invention, the video decoding means includes a preprocessing means for rearranging information with respect to an input video signal, and a variable length for variable length decoding the information rearranged by the preprocessing means. Decoding means, inverse quantization means for inversely quantizing the information variable-length decoded by the variable-length decoding means to reproduce the DCT coefficients of the luminance signal and the chrominance signal, and thinning out the DCT coefficients of the reproduced chrominance signal, Or, the DCT coefficient conversion means for changing the resolution of the DCT coefficient by interpolation, and the inverse DCT with respect to the DCT coefficient of the luminance signal output from the inverse quantization means and the DCT coefficient of the color difference signal output from the DCT coefficient conversion means An inverse DCT processing means for performing processing, an input buffer for storing the output of the video decoding means in the video encoding means, and DCT processing and quantization for the information stored in the input buffer DCT compression means for performing, inverse DCT decompression means for decompressing the output of the DCT compression means to uncompressed information, frame memory for storing the output of the inverse DCT decompression means, motion prediction means for obtaining a motion vector and obtaining an interframe difference, A code selection unit that selects a type of encoding, a variable length encoding unit that performs a variable length encoding process on the output of the code selection unit, and a structure encoding unit that generates a final compressed format signal; And a coding control means for controlling the operation of each means of the video coding means. In the video decoding means, the conversion of the component format is performed at the stage of the DCT coefficient which is intermediate information of the decoding process. . When the non-compressed component signal decoded by the video decoding unit is compressed and encoded by the video encoding unit, a direct conversion from a digital video signal such as DVC format to a digital video signal such as MPEG format becomes possible. .

また、本願第２２の発明は、ＤＣＴ係数変換手段が、色差信号のＤＣＴ係数で構成されるＤＣＴブロックから、低周波部分を含む縦方向の半分のＤＣＴ係数を抜き出し、抜き出したＤＣＴ係数の横方向に値が０のＤＣＴ係数を同数だけ付け足して、元のＤＣＴブロックに比べて、縦方向のＤＣＴ係数の数が半分で、横方向のＤＣＴ係数の数が２倍のＤＣＴブロックを生成するようにしたものであり、このように色差信号のＤＣＴ係数における解像度を変換することにより、４：１：１形式の映像信号を４：２：０形式の非圧縮映像信号に変換することが可能になる。   According to the twenty-second aspect of the present invention, the DCT coefficient converting means extracts a half DCT coefficient in the vertical direction including the low frequency portion from the DCT block constituted by the DCT coefficients of the color difference signal, and the horizontal direction of the extracted DCT coefficient. The same number of DCT coefficients having a value of 0 are added to the DCT block to generate a DCT block in which the number of DCT coefficients in the vertical direction is half and the number of DCT coefficients in the horizontal direction is twice that of the original DCT block. Thus, by converting the resolution in the DCT coefficient of the color difference signal in this way, it becomes possible to convert the video signal in the 4: 1: 1 format into the uncompressed video signal in the 4: 2: 0 format. .

また、本願第２３の発明は、映像復号化手段が、入力したＤＣＴ処理が施された圧縮映像信号の輝度信号のＤＣＴ係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたＤＣＴ係数を格納するＤＣＴ係数バッファと、ＤＣＴ係数バッファに格納されたＤＣＴ係数に対して低周波成分から段階的に逆ＤＣＴを施し、解像度の異なる複数の画像である階層画像を生成する階層的逆ＤＣＴ処理手段とを設け、動き予測手段が、階層的逆ＤＣＴ処理手段で生成された階層画像を用いて動きベクトルを求めるようにしたものであり、入力映像信号の復号過程で得られる輝度信号のＤＣＴ係数を、映像符号化手段における階層画像の生成に利用することによって、処理量及び処理時間の短縮を図ることができる。   Further, the twenty-third invention of the present application is configured such that the video decoding means sends the DCT coefficient of the luminance signal of the compressed video signal subjected to the input DCT processing to the video encoding means. A DCT coefficient buffer for storing DCT coefficients sent from the video decoding means, and DCT coefficients stored in the DCT coefficient buffer are subjected to inverse DCT stepwise from a low frequency component, and are a plurality of images having different resolutions. A hierarchical inverse DCT processing unit for generating a hierarchical image, and the motion prediction unit obtains a motion vector using the hierarchical image generated by the hierarchical inverse DCT processing unit, By using the DCT coefficient of the luminance signal obtained in the decoding process for generating a hierarchical image in the video encoding means, it is possible to reduce the processing amount and the processing time.

また、本願第２４の発明は、映像復号化手段が、入力したＤＣＴ処理が施された圧縮映像信号の輝度信号のＤＣＴ係数を映像符号化手段に送るように構成し、映像符号化手段に、映像復号化手段から送られたＤＣＴ係数を格納するＤＣＴ係数バッファと、ＤＣＴ係数バッファに格納されたＤＣＴ係数の一部に対して一次元の逆ＤＣＴ処理を施し、２方向の一次元情報を生成する１次元逆ＤＣＴ処理手段とを設け、動き予測手段が、１次元逆ＤＣＴ処理手段で生成された２方向の一次元情報を用いて動きベクトルを求めるようにしたものであり、動きベクトルの検出に要する演算量を削減することができる。   According to a twenty-fourth aspect of the present invention, the video decoding unit is configured to send the DCT coefficient of the luminance signal of the compressed video signal subjected to the input DCT process to the video encoding unit. A DCT coefficient buffer for storing DCT coefficients sent from the video decoding means, and one-dimensional inverse DCT processing is performed on a part of the DCT coefficients stored in the DCT coefficient buffer to generate one-dimensional information in two directions A one-dimensional inverse DCT processing means for detecting motion vectors, wherein the motion prediction means obtains a motion vector using two-dimensional one-dimensional information generated by the one-dimensional inverse DCT processing means. Can reduce the amount of computation required.

また、本願第２５の発明は、この映像信号変換装置が、ＤＶＣフォーマットの映像信号を入力し、ＭＰＥＧフォーマットの映像信号に変換して出力するようにしたものであり、高画質なＤＶＣフォーマットの映像信号を、通信に適したＭＰＥＧフォーマットの映像信号に変換することができる。 According to a twenty-fifth aspect of the present invention, this video signal conversion apparatus inputs a DVC format video signal, converts it into an MPEG format video signal, and outputs the video signal. The signal can be converted into an MPEG format video signal suitable for communication.

また、本願第２６の発明は、ＤＶＣフォーマットの映像信号をＭＰＥＧフォーマットの映像信号に変換する映像信号変換方法であって、ＤＶＣフォーマットの映像信号の復号処理中に再生する色差信号のＤＣＴ係数を間引き、または補間してＤＣＴ係数の解像度を変換し、解像度を変換した色差信号のＤＣＴ係数と輝度信号のＤＣＴ係数とに逆ＤＣＴ処理を施して４：２：０形式の非圧縮コンポーネント信号を復号し、この非圧縮コンポーネント信号をＭＰＥＧフォーマットの映像信号に符号化するようにしたものであり、ＤＶＣフォーマットの復号と併せて、信号形式が４：２：０形式に変換されるため、少ない処理工程でＤＶＣフォーマットからＭＰＥＧフォーマットへの変換が可能になる。   According to a twenty-sixth aspect of the present invention, there is provided a video signal conversion method for converting a DVC format video signal into an MPEG format video signal, and thinning out DCT coefficients of a color difference signal to be reproduced during decoding of the DVC format video signal. Alternatively, the resolution of the DCT coefficient is converted by interpolation, and the DCT coefficient of the chrominance signal and the DCT coefficient of the luminance signal subjected to the resolution conversion are subjected to inverse DCT processing to decode the 4: 2: 0 format uncompressed component signal The uncompressed component signal is encoded into an MPEG format video signal, and the signal format is converted into 4: 2: 0 format together with the DVC format decoding. Conversion from the DVC format to the MPEG format becomes possible.

また、本願第２７の発明は、ＤＣＴ係数の解像度の変換に際して、色差信号のＤＣＴ係数で構成されるＤＣＴブロックから、低周波部分を含む縦方向の半分のＤＣＴ係数を抜き出し、抜き出したＤＣＴ係数の横方向に値が０のＤＣＴ係数を同数だけ付け足して、元のＤＣＴブロックに比べて、縦方向のＤＣＴ係数の数が半分で、横方向のＤＣＴ係数の数が２倍のＤＣＴブロックを生成するようにしたものであり、色の変化が滑らかな画質に変換することができる。   In the 27th invention of this application, when converting the resolution of the DCT coefficient, the DCT coefficient of the half in the vertical direction including the low frequency portion is extracted from the DCT block constituted by the DCT coefficient of the color difference signal, and the extracted DCT coefficient The same number of DCT coefficients having a value of 0 in the horizontal direction are added to generate a DCT block in which the number of DCT coefficients in the vertical direction is half and the number of DCT coefficients in the horizontal direction is twice that of the original DCT block. Thus, the color change can be converted into a smooth image quality.

また、本願第２８の発明は、デジタル映像をユーザの要求するフォーマットの映像信号で提供する映像提供システムであって、デジタル信号を伝送するネットワークと、ネットワークを介してデジタル映像を取得し、取得したデジタル映像を再生する映像再生端末と、デジタル映像を蓄積して映像再生端末に提供する映像提供部と、映像提供部にネットワークを介してデジタル映像を入力する映像入力部とを設け、映像提供部に、ネットワークに接続してデジタル映像の入出力を行なう通信手段と、デジタル映像を蓄積する映像蓄積手段と、デジタル映像の圧縮フォーマットを変換する映像信号変換手段と、通信手段、映像蓄積手段及び映像信号変換手段を制御する制御手段とを設け、映像信号変換手段を、請求項１８乃至２５の映像信号変換装置によって構成したものであり、映像再生端末に対して、その要求するフォーマットのデジタル映像を提供することができる。   The 28th invention of the present application is a video providing system that provides digital video as a video signal in a format requested by a user, and acquires and acquires a digital video via a network that transmits the digital signal. A video providing unit provided with a video playback terminal for playing back digital video, a video providing unit for storing the digital video and providing it to the video playback terminal, and a video input unit for inputting the digital video via the network in the video providing unit In addition, communication means for inputting / outputting digital video connected to a network, video storage means for storing digital video, video signal conversion means for converting the compression format of digital video, communication means, video storage means and video Control means for controlling the signal conversion means, and the video signal conversion means is the video signal conversion means according to claims 18 to 25. Are those configured by the device, can be provided to the video reproducing terminal, a digital video format that the request.

また、本願第２９の発明は、映像信号変換手段が、入力したデジタル映像のフォーマットを変換し、映像蓄積手段に、１つのデジタル映像に関して各種のフォーマットの映像信号が蓄積されるようにしたものであり、映像再生端末が要求するフォーマットのデジタル映像を、映像蓄積手段に蓄積されている中から選んで提供することができる。   In the twenty-ninth aspect of the present invention, the video signal conversion means converts the format of the input digital video, and the video storage means stores video signals of various formats for one digital video. In addition, digital video in a format required by the video playback terminal can be selected and provided from those stored in the video storage means.

また、本願第３０の発明は、映像信号変換手段が、映像蓄積手段から読出されて映像再生端末に出力されるデジタル映像のフォーマットを、ユーザの要求に応じて変換するようにしたものであり、蓄積されているデジタル映像のフォーマットが、そのデジタル映像を映像再生端末に送出する際に、リアルタイムで変換される。   According to a thirtieth aspect of the present invention, the video signal converting means converts the format of the digital video read from the video storage means and output to the video playback terminal according to the user's request. The format of the stored digital video is converted in real time when the digital video is sent to the video playback terminal.

以下、本発明の実施の形態について図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

（第１の実施の形態）
第１の実施形態では、４：１：１コンポーネント信号を４：２：０コンポーネント信号に直接変換する映像信号変換装置とその映像信号変換方法について説明する。 (First embodiment)
In the first embodiment, a video signal converting apparatus and a video signal converting method for directly converting a 4: 1: 1 component signal into a 4: 2: 0 component signal will be described.

この装置は、機能ブロックとして、図１に示すように、４：１：１コンポーネント映像信号が入力する入力手段201と、入力したコンポーネント信号のＹ信号を格納するＹフレームメモリ301と、入力したコンポーネント信号のＣｒ信号を格納する入力Ｃｒフレームメモリ302と、入力したコンポーネント信号のＣｂ信号を格納する入力Ｃｂフレームメモリ303と、出力する映像信号の形式に合わせて色差信号を変換する色差信号変換手段401と、変換されたＣｒ信号を格納する出力Ｃｒフレームメモリ304と、変換されたＣｂ信号を格納する出力Ｃｂフレームメモリ305と、４：２：０コンポーネント信号を出力する出力手段202とを備えている。   As shown in FIG. 1, this apparatus includes an input unit 201 for inputting a 4: 1: 1 component video signal, a Y frame memory 301 for storing a Y signal of the input component signal, and an input component, as shown in FIG. An input Cr frame memory 302 for storing the Cr signal of the signal, an input Cb frame memory 303 for storing the Cb signal of the input component signal, and color difference signal converting means 401 for converting the color difference signal in accordance with the format of the video signal to be output. An output Cr frame memory 304 that stores the converted Cr signal, an output Cb frame memory 305 that stores the converted Cb signal, and an output unit 202 that outputs a 4: 2: 0 component signal. .

次に、この装置の動作を説明する。全体の処理の流れを図２に示す。この装置は、この図２の流れで映像信号の変換を行なう。   Next, the operation of this apparatus will be described. The overall process flow is shown in FIG. This apparatus converts the video signal in the flow shown in FIG.

ステップ101：最初に、入力手段201が、１フレーム分の４：１：１コンポーネント映像信号を入力し、Ｙ信号をＹフレームメモリ301に、Ｃｒ信号、Ｃｂ信号を、それぞれ入力Ｃｒフレームメモリ302、入力Ｃｂフレームメモリ303に格納する。   Step 101: First, input means 201 inputs a 4: 1: 1 component video signal for one frame, Y signal into Y frame memory 301, Cr signal and Cb signal as input Cr frame memory 302, respectively. Stored in the input Cb frame memory 303.

ステップ102：次に色差信号変換手段401が、入力Ｃｒフレームメモリ302と入力Ｃｂフレームメモリ303とに格納された色差信号を４：２：０の色差信号に変換し、変換結果を出力Ｃｒフレームメモリ304と出力Ｃｂフレームメモリ305とに格納する。   Step 102: Next, the color difference signal converting means 401 converts the color difference signals stored in the input Cr frame memory 302 and the input Cb frame memory 303 into 4: 2: 0 color difference signals, and outputs the conversion result to the output Cr frame memory. 304 and the output Cb frame memory 305 are stored.

ステップ103：次に出力手段102が、Ｙフレームメモリ301に格納されたＹ信号と出力Ｃｒフレームメモリ304に格納されたＣｒ信号と出力Ｃｂフレームメモリ305に格納されたＣｂ信号とを組み合わせて４：２：０コンポーネント信号として出力する。   Step 103: Next, the output means 102 combines the Y signal stored in the Y frame memory 301, the Cr signal stored in the output Cr frame memory 304, and the Cb signal stored in the output Cb frame memory 305. Output as 2: 0 component signal.

ステップ104：そして、処理したフレームが、動画の最終フレームであれば処理を終了し、そうでなければ、次のフレームに対して同様の処理を行なう（ステップ101に戻る）。   Step 104: If the processed frame is the final frame of the moving image, the process ends. If not, the same process is performed on the next frame (return to step 101).

上記の処理における色差信号変換処理（ステップ102）について、次に説明する。   Next, the color difference signal conversion processing (step 102) in the above processing will be described.

図３は、（Ａ）コンポーネント信号のＹ信号の一部、（Ｂ）そのＹ信号に対応する４：１：１のＣｒ、Ｃｂ信号、（Ｃ）そのＹ信号に対応する４：２：０のＣｒ、Ｃｂ信号を示す図である。図３（Ａ）において、Ｙ_x,_yは、フレームの左上を始点としたときの画素単位のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における輝度値を表す。即ち、図３（Ａ）に示したＹ信号は、フレームの左上から縦４画素、横８画素の部分を取り出して示したものである。また、図３（Ｂ）、（Ｃ）において、Ｕⁱ _x,_y、はＣｒフレーム中のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における色差Ｃｒの値を示し、Ｖⁱ _x,_yはＣｂフレーム中のＸ座標、Ｙ座標がそれぞれｘ，ｙの画素における色差Ｃｂの値を示す。また、Ｕⁱ _x,_y、Ｖⁱ _x,_yのうち、ｉが１のものは入力フレームの値、即ち４：１：１の色差信号を表し、ｉが２のものは出力フレームの値、即ち４：２：０の色差信号を表す。 FIG. 3 shows (A) a part of the Y signal of the component signal, (B) a 4: 1: 1 Cr and Cb signal corresponding to the Y signal, and (C) 4: 2: 0 corresponding to the Y signal. It is a figure which shows the Cr and Cb signal. In FIG. 3 (A), Y _x and _y represent the luminance values of pixels whose X and Y coordinates are x and y, respectively, when the upper left corner of the frame is the starting point. That is, the Y signal shown in FIG. 3A is obtained by extracting a portion of 4 pixels vertically and 8 pixels horizontally from the upper left of the frame. In FIGS. 3B and 3C, U ⁱ _x , _y represents the value of the color difference Cr in the X and Y coordinates of the Cr frame in the Cr frame, and V ⁱ _x , _y represents The X-coordinate and Y-coordinate in the Cb frame indicate the value of the color difference Cb in the x and y pixels, respectively. Of U ⁱ _x , _y , and V ⁱ _x , _y , i = 1 represents an input frame value, that is, a 4: 1: 1 color difference signal, i = 2 represents an output frame value, That is, it represents a 4: 2: 0 color difference signal.

ここで説明する色差信号変換処理（ステップ102）は、図３におけるＵ¹、Ｖ¹からＵ²、Ｖ²を求める処理に他ならない。この処理は複数の方法によって行なうことができる。以下にその方法をそれぞれ説明する。 The color difference signal conversion process (step 102) described here is nothing but a process for obtaining U ² and V ² from U ¹ and V ¹ in FIG. This process can be performed by a plurality of methods. Each method will be described below.

以下の説明では、図３を用いて、フレームの一部の色差信号の変換を例として示すが、同様の処理をフレームの他の部分に施すことにより、フレーム全体について色差信号の変換が可能であることは明らかである。   In the following description, the conversion of the color difference signal of a part of the frame is shown as an example with reference to FIG. 3, but the color difference signal can be converted for the entire frame by performing the same processing on the other part of the frame. It is clear that there is.

（色差信号変換の方法１）
第１の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで２倍にするものである。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式１）による計算で求めることができる。
U² _2x,_y = U² _2x+1,_y = U¹ _x,_2y
V² _2x,_y = V² _2x+1,_y = V¹ _x,_2y （数式１）
ここで、ｘとｙは正の整数値である。 (Color difference signal conversion method 1)
The first method halves the resolution in the vertical direction of the input color difference signal by using the value of the odd or even numbered color difference signal in the input color difference signal, By using the value of the color difference signal on the left side as it is, it is doubled. That is, according to this conversion method, U ² and V ^{2 in} FIG. 3 can be obtained by calculation according to the following equation (Equation 1).
U ² _2x , _y = U ² _{2x + 1} , _y = U ¹ _x , _2y
V ² _2x , _y = V ² _{2x + 1} , _y = V ¹ _x , _2y (Formula 1)
Here, x and y are positive integer values.

ところで、一般に、ＤＶフォーマットで記録される４：１：１の色差信号は、ＤＶフォーマットで記録するデジタルビデオ機器に入力される４：２：２の色差信号の隣り合う２つの色差信号値の右側を取り除いて生成される。この例を図４に示す。図４（Ａ）は、このデジタルビデオ機器に入力されるＹ信号を示し、図４（Ｂ）は、それに対応する４：２：２の色差信号を示している。このとき、ＤＶフォーマットとして記録される４：１：１の色差信号は、図４（Ｃ）に示すように、図４（Ｂ）の色差信号を横方向に１つおきに間引いたものとなる。   By the way, in general, the 4: 1: 1 color difference signal recorded in the DV format is the right side of the adjacent two color difference signal values of the 4: 2: 2 color difference signal input to the digital video device that records in the DV format. Is generated. An example of this is shown in FIG. FIG. 4A shows the Y signal input to this digital video device, and FIG. 4B shows the 4: 2: 2 color difference signal corresponding thereto. At this time, the 4: 1: 1 color difference signal recorded as the DV format is obtained by thinning out every other color difference signal in FIG. 4B in the horizontal direction as shown in FIG. 4C. .

この実施形態の色差信号変換の第１の方法は、ＤＶフォーマットの映像信号の元となる４：２：２信号から考えた場合に、その情報を加工せず用いていると見ることができる（図３（Ｃ）のＵ² ₀,₀、Ｕ² ₂,₀は、それぞれ図４（Ｂ）のＵ¹ ₀,₀、Ｕ¹ ₂,₀をそのまま用いることになる）から、４：２：２信号に忠実な色情報を変換後の信号に残すことができるという有効な性質を有する。 The first method of color difference signal conversion of this embodiment can be regarded as using the information without processing when considering the 4: 2: 2 signal that is the source of the DV format video signal ( From U ² ₀ , ₀ , U ² ₂ , ₀ in FIG. 3C, U ¹ ₀ , ₀ , U ¹ ₂ , ₀ in FIG. It has an effective property that color information faithful to two signals can be left in the converted signal.

また、この変換方法では、色差信号の変換に演算が不要であるため、処理の負担を最も軽減できるという有効な性質も有する。   Further, this conversion method has an effective property that the processing load can be reduced most because no operation is required for conversion of the color difference signal.

（色差信号変換の方法２）
第２の方法は、入力の色差信号に対して、縦方向の解像度を、縦に隣り合う２つの色差信号の平均を求めることで半減させ、横方向の解像度を、左側の色差信号の値をそのまま用いることで２倍にするものである。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式２）による計算で求めることができる。
U² _2x,_y = U² _2x+1,_y = (U¹ _x,_2y + U¹ _x,_2y+1)/2
V² _2x,_y = V² _2x+1,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2 （数式２）
ここで、ｘとｙは正の整数値である。 (Color difference signal conversion method 2)
The second method halves the vertical resolution of the input color difference signal by calculating the average of two vertically adjacent color difference signals, and converts the horizontal resolution to the left color difference signal value. By using it as it is, it is doubled. That is, according to this conversion method, U ² and V ^{2 in} FIG. 3 can be obtained by calculation according to the following equation (Equation 2).
U ² _2x , _y = U ² _{2x + 1} , _y = (U ¹ _x , _2y + U ¹ _x , _{2y + 1} ) / 2
V ² _2x , _y = V ² _{2x + 1} , _y = (V ¹ _x , _2y + V ¹ _x , _{2y + 1} ) / 2 (Formula 2)
Here, x and y are positive integer values.

この変換方法は、第１の変換方法と比較すると、全ての入力された色差信号を用いて変換を行なっており、入力の色差信号にノイズが加わっている場合、変換後の色差信号に対するノイズの影響を軽減するという有効な性質を有する。また、この変換方法は、入力の色差信号の情報を全て用いた中では、本来の情報をできる限り保存しており、画質的に本来の画像に忠実な高い画質が得られるという有効な性質を有する。また、計算が簡単なため、変換に要する処理負担を軽減するという有効な性質を有する。   Compared with the first conversion method, this conversion method performs conversion using all the input color difference signals. When noise is added to the input color difference signal, the noise of the converted color difference signal is reduced. It has an effective property of reducing the influence. In addition, this conversion method preserves the original information as much as possible while using all the information of the input color difference signal, and has an effective property that a high image quality faithful to the original image can be obtained in terms of image quality. Have. Further, since the calculation is simple, it has an effective property of reducing the processing load required for conversion.

（色差信号変換の方法３）
第３の方法は、入力の色差信号に対して、縦方向の解像度を第２の方法と同様にして半減させ、また、横方向の解像度を、横に隣り合う２つの色差信号の平均値をその中間に内挿する色差信号の値とすることで２倍にする方法である。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式３）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y ＋ U¹ _x,_2y+1)/2
U² _2x+1,_y = (αU² _2x,_y + (1-α)U² _2(x+1),_y)/2
V² _2x,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2
V² _2x+1,_y = (αV² _2x,_y + (1-α)V² _2(x+1),_y)/2 （数式３）
ここで、ｘとｙは正の整数値である。 (Color difference signal conversion method 3)
In the third method, the resolution in the vertical direction is halved with respect to the input color difference signal in the same manner as in the second method, and the horizontal resolution is set to the average value of two adjacent color difference signals. In this method, the value of the color difference signal interpolated in the middle is doubled. That is, according to this conversion method, U ² and V ^{2 in} FIG. 3 can be obtained by calculation according to the following equation (Equation 3).
U ² _2x , _y = (U ¹ _x , _2y + U ¹ _x , _{2y + 1} ) / 2
U ² _{2x + 1} , _y = (αU ² _2x , _y + (1-α) U ² _{2 (x + 1)} , _y ) / 2
V ² _2x , _y = (V ¹ _x , _2y + V ¹ _x , _{2y + 1} ) / 2
V ² _{2x + 1} , _y = (αV ² _2x , _y + (1-α) V ² _{2 (x + 1)} , _y ) / 2 (Formula 3)
Here, x and y are positive integer values.

また、αは０から１までの間の任意の値を持つ定数である。例えばαに０．５を用いた場合、内挿される色差信号は、その両隣の色差信号のちょうど平均となる。なお、この変換方法において、色差信号をフレームの右端において補間する場合には、（数式３）による内挿が適用できない。このよう部分は、左側の色差信号の値をそのまま用いるなどの方法により外挿を行なう。   Α is a constant having an arbitrary value between 0 and 1. For example, when 0.5 is used for α, the interpolated color difference signal is exactly the average of the adjacent color difference signals. In this conversion method, when the color difference signal is interpolated at the right end of the frame, interpolation according to (Equation 3) cannot be applied. Such a portion is extrapolated by a method such as using the value of the left color difference signal as it is.

この変換手法は、例えば図３のＵ² ₀,₀ とＵ² ₂,₀の値が大きく異なる場合でも、Ｕ² ₁,₀にその間の値が内挿されるため、変化が滑らかになり、ＤＣＴを施した場合に、低周波部分に情報がより集中するため、圧縮効率が向上するという有効な性質を有する。 This transformation technique, for example, even if the value of U ² _{0, 0} and U ² _{2, 0} in Figure 3 is significantly different, since the values in between are inserted into the U ² _{1, 0,} change becomes smooth, DCT Since the information is more concentrated on the low-frequency part when it is applied, the compression efficiency is improved.

（色差信号変換の方法４）
第４の方法は、入力する色差信号の縦方向及び横方向の値を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式４）による計算で求めることができる。
U² _2x,_y =(3A + B)/4
U² _2x+1,_y =(A + 3B)/4
A = (U¹ _x,_2y + U¹ _x,_2y+1)/2
B = (U¹ _x+1,_2y + U¹ _x+1,_2y+1)/2
V² _2x,_y = (C + 3D)/4
V² _2x+1,_y = (3C + D)/4
C = (V¹ _x,_2y + V¹ _x,_2y+1)/2
D = (V¹ _x+1,_2y + V¹ _x+1,_2y+1)/2 （数式４）
ここで、ｘとｙは正の整数値である。 (Color difference signal conversion method 4)
In the fourth method, an intermediate value obtained by combining the vertical and horizontal values of the input color difference signal is used as an output of the color difference signal, and an intermediate value obtained by changing the blending ratio of the color difference signal in the combination is displayed in the horizontal direction. Interpolation method. That is, according to this conversion method, U ² and V ^{2 in} FIG. 3 can be obtained by calculation according to the following equation (Equation 4).
U ² _2x , _y = (3A + B) / 4
U ² _{2x + 1} , _y = (A + 3B) / 4
A = (U ¹ _x , _2y + U ¹ _x , _{2y + 1} ) / 2
B = (U ¹ _{x + 1} , _2y + U ¹ _{x + 1} , _{2y + 1} ) / 2
V ² _2x , _y = (C + 3D) / 4
V ² _{2x + 1} , _y = (3C + D) / 4
C = (V ¹ _x , _2y + V ¹ _x , _{2y + 1} ) / 2
D = (V ¹ _{x + 1} , _2y + V ¹ _{x + 1} , _{2y + 1} ) / 2 (Formula 4)
Here, x and y are positive integer values.

この変換方法は、出力する全ての色差信号を線形補間により求めているため、特に色差信号の変化が滑らかであり、ＤＣＴを用いた圧縮を行なう際に、圧縮効率が向上するという有効な性質を有する。   In this conversion method, since all the color difference signals to be output are obtained by linear interpolation, the change of the color difference signals is particularly smooth, and an effective property that the compression efficiency is improved when performing compression using DCT. Have.

次に、上記の４種類の変換方法により色差信号を変換する具体例を示す。これら４種類の変換方法のいずれを用いた場合でも、２種類の色差信号Ｃｒ、Ｃｂは同様に変換することができるため、以下に示す具体例ではＣｒ信号の変換のみについて説明する。Ｃｂ信号について変換を行なった場合でも、以下に示す具体例と同様の結果を得ることができることは明らかである。   Next, specific examples of converting color difference signals by the above-described four types of conversion methods will be shown. Since any of these four types of conversion methods can be used to convert the two types of color difference signals Cr and Cb, only the conversion of the Cr signal will be described in the following specific example. It is clear that even when the conversion is performed on the Cb signal, the same result as the specific example shown below can be obtained.

図５、図６及び図７は、異なる４：１：１のＣｒ信号が入力したとき、それぞれの変換方法で、その変換結果がどのように変わるかを示している。図５、図６及び図７において、（Ａ）は入力された４：１：１のＣｒ信号であり、（Ｂ）は第１の変換方法により変換した４：２：０のＣｒ信号、（Ｃ）は第２の変換方法により変換した４：２：０のＣｒ信号、（Ｄ）は第３の変換方法により変換した４：２：０のＣｒ信号、また、（Ｅ）は第４の変換方法により変換した４：２：０のＣｒ信号を示している。それぞれの例において、個々の升目が１つのＣｒ信号の画素を示し、升目の中の数値が画素値を表す。また、これらのＣｒ信号は、全て、Ｃｒ信号のフレームの左上端から一部を抜き出したものとする。即ち、全ての例において、左上の升目がＣｒ信号のフレームの左上端の画素を表す。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。なお、画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表している。   FIGS. 5, 6 and 7 show how the conversion results change with the respective conversion methods when different 4: 1: 1 Cr signals are input. 5, 6, and 7, (A) is an inputted 4: 1: 1 Cr signal, (B) is a 4: 2: 0 Cr signal converted by the first conversion method, ( C) is a 4: 2: 0 Cr signal converted by the second conversion method, (D) is a 4: 2: 0 Cr signal converted by the third conversion method, and (E) is the fourth The 4: 2: 0 Cr signal converted by the conversion method is shown. In each example, each cell represents a pixel of one Cr signal, and a numerical value in the cell represents a pixel value. All of these Cr signals are extracted from the upper left corner of the Cr signal frame. That is, in all the examples, the upper left cell represents the upper left pixel of the Cr signal frame. The conversion results in these examples are values obtained by the respective conversion method formulas, but the numbers after the decimal point are rounded off and expressed as integer values. It should be noted that a pixel in which a symbol “−” is entered as a pixel value indicates that the pixel value is not determined in this example because the pixel value changes depending on the value of a pixel in another portion not included in this example.

上記３種類の例における、各変換方法による変換結果の特徴を次に述べる。   The characteristics of the conversion results obtained by the conversion methods in the above three examples will be described below.

第１の変換方法及び第２の変換方法による変換結果では、横に隣り合う２つの画素値が全て等しくなる。   In the conversion results obtained by the first conversion method and the second conversion method, two horizontally adjacent pixel values are all equal.

さらに、第１の変換方法による変換結果では、入力のＣｒ信号の中で参照しないライン（水平方向の画素の並び）、即ち、この具体例では２番目及び４番目のラインの画素値は、出力されるＣｒ信号の画素値に影響を与えない。例えば、図５の入力Ｃｒ信号（Ａ）の１ライン目と図６の入力Ｃｒ信号（Ａ）の１ライン目と図７の入力信号（Ａ）の１ライン目の画素値は全て同じであり、それぞれ２ライン目の画素値は異なる。このような３種類の入力に対して、第１の変換方法では、その変換結果がすべて同じになる。即ち、図５、図６及び図７の第１の変換方法による変換結果（Ｂ）において、１ライン目の画素値は全て同じになっている。   Further, in the conversion result by the first conversion method, the pixel values of the lines (horizontal pixel arrangement) not referred to in the input Cr signal, that is, the pixel values of the second and fourth lines in this specific example are output. It does not affect the pixel value of the Cr signal. For example, the pixel values of the first line of the input Cr signal (A) in FIG. 5, the first line of the input Cr signal (A) in FIG. 6 and the first line of the input signal (A) in FIG. The pixel values of the second line are different. With respect to such three types of inputs, the conversion results are all the same in the first conversion method. That is, in the conversion result (B) by the first conversion method of FIGS. 5, 6, and 7, all the pixel values of the first line are the same.

また、第３の変換方法による変換結果では、横方向に偶数番目の画素値が、左右の画素値の間の値で、かつ左右の画素値から常に一定の比率（この具体例では左右とも０．５）の値が内挿されている。また、その左右の画素値、即ち横方向に奇数番目の画素値は、入力信号の縦に隣り合う２つの画素値の平均値となっている。この２点が第３の変換方法の特徴である。   Also, in the conversion result by the third conversion method, the even-numbered pixel values in the horizontal direction are values between the left and right pixel values and are always a constant ratio from the left and right pixel values (in this example, both left and right are 0). .5) is interpolated. In addition, the left and right pixel values, that is, the odd-numbered pixel values in the horizontal direction, are average values of two pixel values adjacent in the vertical direction of the input signal. These two points are the characteristics of the third conversion method.

また、第４の変換方法では、入力の画素値がそのまま反映されない点に特徴がある。これを、図６を用いて説明する。入力信号（Ａ）において、上半分に注目した場合、左側の縦２画素の平均値は０と２００の平均で１００、右側の縦２画素の平均値は１００と０の平均で５０となり、左側の平均値と右側の平均値との差は５０となる。   The fourth conversion method is characterized in that input pixel values are not reflected as they are. This will be described with reference to FIG. In the input signal (A), when attention is paid to the upper half, the average value of the two vertical pixels on the left side is 100 on the average of 0 and 200, and the average value of the two vertical pixels on the right side is 50 on the left side. The difference between the average value and the average value on the right side is 50.

一方、下半分に注目した場合、左側の縦２画素の平均値は１００と０の平均で５０、右側の縦２画素の平均値は０と０の平均で０となり、左側の平均値と右側の平均値との差は、上半分と同様５０となる。   On the other hand, when focusing on the lower half, the average value of the two vertical pixels on the left side is 50 on the average of 100 and 0, and the average value of the two vertical pixels on the right side is 0 on the average of 0 and 0. The difference from the average value is 50 as in the upper half.

このように差が等しい入力に対して、例えば第３の変換方法による変換では２つの変換結果は同じ差となる。具体的には図６（Ｄ）において、左上端の画素値は１００、その右隣の画素値は７５でその差は２５である。そして、その下側のラインにおいても、左端が５０、その右隣が２５で、その差は２５となる。   For such inputs having the same difference, for example, in the conversion by the third conversion method, the two conversion results have the same difference. Specifically, in FIG. 6D, the upper left pixel value is 100, the right adjacent pixel value is 75, and the difference is 25. And also in the lower line, the left end is 50, the right neighbor is 25, and the difference is 25.

一方、第４の変換方法による変換結果においては、上側が８８と６３でその差が２５であるのに対し、下側が４４と３１でその差が１３となる。   On the other hand, in the conversion result by the fourth conversion method, the upper side is 88 and 63 and the difference is 25, while the lower side is 44 and 31 and the difference is 13.

以上説明したように、この実施形態に示した装置と変換の方法とを用いれば、４：１：１コンポーネント信号を直接４：２：０信号に変換することが可能である。   As described above, by using the apparatus and the conversion method shown in this embodiment, it is possible to directly convert a 4: 1: 1 component signal into a 4: 2: 0 signal.

（第２の実施の形態）
第２の実施形態では、４：１：１コンポーネント信号を４：２：０コンポーネント信号に変換する場合に、対応する画素の輝度信号（Ｙ信号）の値を利用して色差信号の変換を行なう映像信号変換装置とその映像信号変換方法について説明する。 (Second Embodiment)
In the second embodiment, when a 4: 1: 1 component signal is converted to a 4: 2: 0 component signal, the color difference signal is converted using the luminance signal (Y signal) value of the corresponding pixel. A video signal conversion apparatus and a video signal conversion method thereof will be described.

この装置は、図８に示すように、Ｙフレームメモリ301からＹ信号を読み出して色差信号変換手段401に提供するＹ信号参照手段402を備えている。その他の構成は第１の実施形態（図１）と変わりがない。   As shown in FIG. 8, this apparatus includes a Y signal reference unit 402 that reads a Y signal from the Y frame memory 301 and provides the Y signal to the color difference signal conversion unit 401. Other configurations are the same as those of the first embodiment (FIG. 1).

次に、この装置の動作を説明する。全体の処理の流れは、図２に示す、第１の実施形態の処理の流れと同一である。全体の処理の中で、色差信号変換処理（ステップ102）が第１の実施形態と異なる。この装置では、色差信号変換処理（ステップ102）において、色差信号変換手段402が、Ｙ信号参照手段402を介して、変換すべき色差信号に対応する輝度信号の画素値を参照し、それを色差信号の変換に用いる。   Next, the operation of this apparatus will be described. The overall processing flow is the same as the processing flow of the first embodiment shown in FIG. Among the entire processes, the color difference signal conversion process (step 102) is different from the first embodiment. In this apparatus, in the color difference signal conversion process (step 102), the color difference signal conversion unit 402 refers to the pixel value of the luminance signal corresponding to the color difference signal to be converted via the Y signal reference unit 402, and converts it to the color difference. Used for signal conversion.

次に、この装置における上記色差信号変換処理（ステップ102）の２種類の変換方法を、図３に示すコンポーネント信号の一部を用いて具体的に説明する。   Next, two types of conversion methods of the color difference signal conversion process (step 102) in this apparatus will be specifically described using a part of the component signals shown in FIG.

（色差信号変換の方法５）
第１の方法は、入力の色差信号に対して、縦方向の解像度を、入力の色差信号の中の奇数、あるいは偶数番目の色差信号の値を用いることで半減させ、横方向の解像度を、入力の各画素の右側に値を内挿することにより２倍にするものである。そして、この方法においては、右側に内挿する画素の値を求める際に、参照する左右の色差信号の画素に対応する輝度信号を用いて、参照する比を決定する。即ち、この変換方法によれば、図３のＵ²、Ｖ²は次の式（数式５）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y + U¹ _x,_2y+1)/2
U² _2x+1,_y = (U¹ _x,_2y×B)/2(A+B) + (U¹ _x+1,_2y×A)/2(A+B)
+ (U¹ _x,_2y+1×D)/2(C+D) + (U¹ _x+1,_2y+1×C)/2(C+D)
V² _2x,_y = (V¹ _x,_2y + V¹ _x,_2y+1)/2
V² _2x+1,_y = (V¹ _x,_2y×B)/2(A+B) + (V¹ _x+1,_2y×A)/2(A+B)
+ (V¹ _x,_2y+1×D)/2(C+D) + (V¹ _x+1,_2y+1×C)/2(C+D)
A = ((Y_4x,_2y + Y_4x+1,_2y) - Y_4x+3,_2y))²
B = ((Y_4(x+1),_2y + Y_4(x+1),_2y) - (Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y))²
C = ((Y_4x,_2y+1 + Y_4x+1,_2y+1) - (Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
D = ((Y_4(x+1),_2y+1 + Y_4(x+1),_2y+1)
- (Y_4(x+1)+2,_2y+1 + Y_4(x+1)+3,_2y+1))² （数式５）
ここで、ｘとｙは正の整数値である。 (Color difference signal conversion method 5)
The first method halves the resolution in the vertical direction of the input color difference signal by using the value of the odd or even numbered color difference signal in the input color difference signal, The value is doubled by interpolating the value to the right of each input pixel. In this method, when the value of the pixel to be interpolated on the right side is obtained, the reference ratio is determined using the luminance signal corresponding to the pixel of the left and right color difference signals to be referred to. That is, according to this conversion method, U ² and V ^{2 in} FIG. 3 can be obtained by calculation according to the following equation (Equation 5).
U ² _2x , _y = (U ¹ _x , _2y + U ¹ _x , _{2y + 1} ) / 2
U ² _{2x + 1} , _y = (U ¹ _x , _2y × B) / 2 (A + B) + (U ¹ _{x + 1} , _2y × A) / 2 (A + B)
+ (U ¹ _x , _{2y + 1} × D) / 2 (C + D) + (U ¹ _{x + 1} , _{2y + 1} × C) / 2 (C + D)
V ² _2x , _y = (V ¹ _x , _2y + V ¹ _x , _{2y + 1} ) / 2
V ² _{2x + 1} , _y = (V ¹ _x , _2y × B) / 2 (A + B) + (V ¹ _{x + 1} , _2y × A) / 2 (A + B)
+ (V ¹ _x , _{2y + 1} × D) / 2 (C + D) + (V ¹ _{x + 1} , _{2y + 1} × C) / 2 (C + D)
A = ((Y _4x , _2y + Y _{4x + 1} , _2y )-Y _{4x + 3} , _2y )) ²
B = ((Y _{4 (x + 1)} , _2y + Y _{4 (x + 1)} , _2y )-(Y _{4 (x + 1) +2} , _2y + Y _{4 (x + 1) +3} , _2y ) ) ²
C = ((Y _4x , _{2y + 1} + Y _{4x + 1} , _{2y + 1} )-(Y _{4x + 2} , _{2y + 1} + Y _{4x + 3} , _{2y + 1} )) ²
D = ((Y _{4 (x + 1)} , _{2y + 1} + Y _{4 (x + 1)} , _{2y + 1} )
-(Y _{4 (x + 1) +2} , _{2y + 1} + Y _{4 (x + 1) +3} , _{2y + 1} )) ² (Formula 5)
Here, x and y are positive integer values.

自然画像においては、一般に、輝度情報と色情報との間に相関がある場合が多い。即ち、色が変化する場合には、輝度も変化する場合が多い。このような自然画像の特徴を考慮した場合、この変換方法は、変換結果として自然で、より精細な色差信号が得られるという有効な性質を有する。   In general, in general, there is often a correlation between luminance information and color information. That is, when the color changes, the luminance often changes. In consideration of such characteristics of natural images, this conversion method has an effective property that a natural and finer color difference signal can be obtained as a conversion result.

（色差信号変換の方法６）
第２の方法は、第１の実施形態の第４の変換方法（色差信号変換の方法４）と同様に、縦方向及び横方向の色差信号を合成して求めた中間値を色差信号の出力とし、その合成における色差信号の配合比率を違えた中間値を横方向に補間する方法である。色差信号変換の方法４と異なる点は、合成における配合比率を輝度信号と関連付けて決めている点である。即ち、この変換方法によれば、図３のＵ２、Ｖ２は次の式（数式６）による計算で求めることができる。
U² _2x,_y = (U¹ _x,_2y×B)/2(A+B) + (U¹ _x+1,_2y×A)/2(A+B)
+ (U¹ _x,_2y+1×F)/2(E+F) + (U¹ _x+1,_2y+1×E)/2(E+F)
U² _2x+1,_y = (U¹ _x,_2y×D)/2(C+D) + (U¹ _x+1,_2y×C)/2(C+D)
+ (U¹ _x,_2y+1×H)/2(G+H) + (U¹ _x+1,_2y+1×G)/2(G+H)
V² _2x,_y = (V¹ _x,_2y×B)/2(A+B) + (V¹ _x+1,_2y×A)/2(A+B)
+ (V¹ _x,_2y+1×F)/2(E+F) + (V¹ _x+1,_2y+1×E)/2(E+F)
V² _2x+1,_y = (V¹ _x,_2y×D)/2(C+D) + (V¹ _x+1,_2y×C)/2(C+D)
+ (V¹ _x,_2y+1×H)/2(G+H) + (V¹ _x+1,_2y+1×G)/2(G+H)
A = ((Y_4x,_2y + Y_4x+1,_2y + Y_4x+2,_2y + Y_4x+3,_2y)
- 2(Y_4x,_2y + Y_4x+1,_2y))²
B = ((Y_4(x+1),_2y + Y_4(x+1)+1,_2y + Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y)
- 2(Y_4x,_2y + Y_4x+1,_2y))²
C = ((Y_4x,_2y + Y_4x+1,_2y + Y_4x+2,_2y + Y_4x+3,_2y)
- 2(Y_4x+2,_2y + Y_4x+3,_3y))²
D = ((Y_4(x+1),_2y + Y_4(x+1)+1,_2y + Y_4(x+1)+2,_2y + Y_4(x+1)+3,_2y)
- 2(Y_4x+2,_2y + Y_4x+3,_2y))²
E = ((Y_4x,_2y+1 + Y_4x+1,_2y+1 + Y_4x+2,_2y+1 + Y_4x+3,_2y+1)
- 2(Y_4x,_2y+1 + Y_4x+1,_2y+1))²
F = ((Y_4(x+1),_2y+1 + Y_4(x+1)+1,_2y+1 + Y_4(x+1)+2,_2y+1
+ Y_4(x+1)+3,_2y+1) - 2(Y_4x,_2y+1 + Y_4x+1,_2y+1))²
G = ((Y_4x,_2y+1 + Y_4x+1,_2y+1 + Y_4x+2,_2y+1 + Y_4x+3,_2y+1)
- 2(Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
H = ((Y_4(x+1),_2y+1 + Y_4(x+1)+1,_2y+1 + Y_4(x+1)+2,_2y+1
+ Y_4(x+1)+3,_2y+1) - 2(Y_4x+2,_2y+1 + Y_4x+3,_2y+1))²
（数式６）
ここで、ｘとｙは正の整数値である。また、Ａ〜Ｈの値としてそれぞれ上記の式の平方根を用いることも可能である。 (Color difference signal conversion method 6)
As in the fourth conversion method (color difference signal conversion method 4) of the first embodiment, the second method outputs an intermediate value obtained by synthesizing the color difference signals in the vertical direction and the horizontal direction as the output of the color difference signal. And an intermediate value with a different blending ratio of the color difference signals in the synthesis is interpolated in the horizontal direction. The difference from the color difference signal conversion method 4 is that the blending ratio in the synthesis is determined in association with the luminance signal. That is, according to this conversion method, U2 and V2 in FIG. 3 can be obtained by calculation using the following equation (Equation 6).
U ² _2x , _y = (U ¹ _x , _2y × B) / 2 (A + B) + (U ¹ _{x + 1} , _2y × A) / 2 (A + B)
+ (U ¹ _x , _{2y + 1} × F) / 2 (E + F) + (U ¹ _{x + 1} , _{2y + 1} × E) / 2 (E + F)
U ² _{2x + 1} , _y = (U ¹ _x , _2y × D) / 2 (C + D) + (U ¹ _{x + 1} , _2y × C) / 2 (C + D)
+ (U ¹ _x , _{2y + 1} × H) / 2 (G + H) + (U ¹ _{x + 1} , _{2y + 1} × G) / 2 (G + H)
V ² _2x , _y = (V ¹ _x , _2y × B) / 2 (A + B) + (V ¹ _{x + 1} , _2y × A) / 2 (A + B)
+ (V ¹ _x , _{2y + 1} × F) / 2 (E + F) + (V ¹ _{x + 1} , _{2y + 1} × E) / 2 (E + F)
V ² _{2x + 1} , _y = (V ¹ _x , _2y × D) / 2 (C + D) + (V ¹ _{x + 1} , _2y × C) / 2 (C + D)
+ (V ¹ _x , _{2y + 1} × H) / 2 (G + H) + (V ¹ _{x + 1} , _{2y + 1} × G) / 2 (G + H)
A = ((Y _4x , _2y + Y _{4x + 1} , _2y + Y _{4x + 2} , _2y + Y _{4x + 3} , _2y )
_-2 (Y _4x , _2y + Y _{4x + 1} , _2y )) ²
B = ((Y _{4 (x + 1)} , _2y + Y _{4 (x + 1) +1} , _2y + Y _{4 (x + 1) +2} , _2y + Y _{4 (x + 1) +3} , _2y )
_-2 (Y _4x , _2y + Y _{4x + 1} , _2y )) ²
C = ((Y _4x , _2y + Y _{4x + 1} , _2y + Y _{4x + 2} , _2y + Y _{4x + 3} , _2y )
_-2 (Y _{4x + 2} , _2y + Y _{4x + 3} , _3y )) ²
D = ((Y _{4 (x + 1)} , _2y + Y _{4 (x + 1) +1} , _2y + Y _{4 (x + 1) +2} , _2y + Y _{4 (x + 1) +3} , _2y )
_-2 (Y _{4x + 2} , _2y + Y _{4x + 3} , _2y )) ²
E = ((Y _4x , _{2y + 1} + Y _{4x + 1} , _{2y + 1} + Y _{4x + 2} , _{2y + 1} + Y _{4x + 3} , _{2y + 1} )
_-2 (Y _4x , _{2y + 1} + Y _{4x + 1} , _{2y + 1} )) ²
F = ((Y _{4 (x + 1)} , _{2y + 1} + Y _{4 (x + 1) +1} , _{2y + 1} + Y _{4 (x + 1) +2} , _{2y + 1}
+ Y _{4 (x + 1) +3} , _{2y + 1} ) _-2 (Y _4x , _{2y + 1} + Y _{4x + 1} , _{2y + 1} )) ²
G = ((Y _4x , _{2y + 1} + Y _{4x + 1} , _{2y + 1} + Y _{4x + 2} , _{2y + 1} + Y _{4x + 3} , _{2y + 1} )
_-2 (Y _{4x + 2} , _{2y + 1} + Y _{4x + 3} , _{2y + 1} )) ²
H = ((Y _{4 (x + 1)} , _{2y + 1} + Y _{4 (x + 1) +1} , _{2y + 1} + Y _{4 (x + 1) +2} , _{2y + 1}
+ Y _{4 (x + 1) +3} , _{2y + 1} ) _-2 (Y _{4x + 2} , _{2y + 1} + Y _{4x + 3} , _{2y + 1} )) ²
(Formula 6)
Here, x and y are positive integer values. Moreover, it is also possible to use the square root of said formula as a value of AH, respectively.

この変換方法は、この実施形態の第１の変換方法（色差信号変換の方法５）と同様に、輝度の変化を利用しているため、自然で精細な色差信号が得られる。さらに加えて、より滑らかな色差信号を得ることができるため、ＤＣＴなどの直交変換による圧縮において圧縮効率の向上が可能になる。   Similar to the first conversion method (color difference signal conversion method 5) of this embodiment, this conversion method uses a change in luminance, so that a natural and fine color difference signal can be obtained. In addition, since a smoother color difference signal can be obtained, compression efficiency can be improved in compression by orthogonal transformation such as DCT.

次に、この実施形態の装置によるコンポーネント信号の変換処理の具体例を図９に示す。この具体例では、第１の実施形態の具体例と同様にＣｒ信号の変換についてのみ説明するが、Ｃｂ信号の変換も同様に可能である。図９（Ａ）は入力された４：１：１のＹ信号であり、図９（Ｂ）はそのＹ信号に対応する４：１：１のＣｒ信号を示している。図９（Ｃ）は、この入力信号に対して、この実施形態の第１の変換方法により変換した４：２：０のＣｒ信号を示し、図９（Ｄ）は、この実施形態の第２の変換方法により変換した４：２：０のＣｒ信号を示している。また、図９（Ｅ）は、参考として第１の実施形態の第１の変換方法により変換した４：２：０のＣｒ信号を示している。   Next, a specific example of component signal conversion processing by the apparatus of this embodiment is shown in FIG. In this specific example, only the conversion of the Cr signal will be described as in the specific example of the first embodiment, but the conversion of the Cb signal is also possible. FIG. 9A shows an input 4: 1: 1 Y signal, and FIG. 9B shows a 4: 1: 1 Cr signal corresponding to the Y signal. FIG. 9C shows a 4: 2: 0 Cr signal obtained by converting this input signal by the first conversion method of this embodiment, and FIG. 9D shows the second signal of this embodiment. The 4: 2: 0 Cr signal converted by the above conversion method is shown. FIG. 9E shows a 4: 2: 0 Cr signal converted by the first conversion method of the first embodiment for reference.

この例では、第１の実施形態の具体例と同様に、個々の升目が１つのＣｒ信号もしくはＹ信号の画素を示し、升目の中の数値が画素値を表す。また、これらのＣｒ信号もしくはＹ信号は全て、フレームの左上端から一部を抜き出したものとする。これらの例の変換結果は、それぞれの変換方法の式により求めた値であるが、小数点以下は四捨五入して整数値で表している。また画素値として「−」の記号が記入されている画素は、画素値がこの例にない他の部分の画素の値により変化するため、この例では確定しないことを表す。   In this example, as in the specific example of the first embodiment, each cell represents a pixel of one Cr signal or Y signal, and a numerical value in the cell represents a pixel value. Further, it is assumed that all of these Cr signals or Y signals are extracted from the upper left end of the frame. The conversion results in these examples are values obtained by the respective conversion method formulas, but the numbers after the decimal point are rounded off and expressed as integer values. In addition, a pixel in which a symbol “−” is entered as a pixel value indicates that the pixel value is not determined in this example because the pixel value changes depending on the value of a pixel in another portion not included in this example.

まず、この実施形態の第１の方法による変換結果を説明する。第１の実施形態による変換結果（Ｅ）が、右２画素同士と左２画素同士の値が同じで、値は中央（２画素目と３画素目との間）で分かれているのに対し、この実施形態の第１の変換方法によれば、１画素目と２画素目との間で値が分かれている。ＤＶフォーマットが生成される前の４：２：２の入力において、輝度に対応した色変化をしていた場合（図９（Ａ）の輝度２００に対応するＣｒ画素値が０、輝度１００に対応するＣｒ画素値が２００）を考えると、１画素目と２画素目との間で値が分かれている方が、本来の入力に忠実な値であることが分かる。   First, the conversion result by the 1st method of this embodiment is demonstrated. In the conversion result (E) according to the first embodiment, the values of the right two pixels and the left two pixels are the same, and the values are divided at the center (between the second pixel and the third pixel). According to the first conversion method of this embodiment, the values are divided between the first pixel and the second pixel. In the 4: 2: 2 input before the DV format is generated, when the color change corresponding to the luminance is performed (the Cr pixel value corresponding to the luminance 200 in FIG. 9A corresponds to 0 and the luminance 100). When the Cr pixel value to be 200) is considered, it can be seen that the value divided between the first pixel and the second pixel is a value faithful to the original input.

次に、この実施形態の第２の方法による変換結果を説明する。この変換結果も、第１の変換結果（Ｃ）と同様、１画素目と２画素目で値が変化している。ただし、第１の変換結果（Ｃ）と比較して、変化の度合い（２つの画素値の差）は、この変換結果の方が小さい。このことにより、色差信号について低周波成分が増し、ＤＣＴなどの直交変換の圧縮効率を向上させることが可能となる。   Next, the conversion result by the second method of this embodiment will be described. Similarly to the first conversion result (C), this conversion result also changes in value between the first pixel and the second pixel. However, the degree of change (difference between two pixel values) is smaller in the conversion result than in the first conversion result (C). This increases the low-frequency component of the color difference signal and improves the compression efficiency of orthogonal transformation such as DCT.

以上説明したとおり、この実施形態に示した装置と変換方法を用いれば、４：１：１のコンポーネント信号を４：２：０のコンポーネント信号に直接変換することが可能となり、さらに、輝度信号の変化と色差信号の変化との間に相関がある自然画像を入力した場合、自然で精細な色差信号を得ることが可能となる。   As described above, if the apparatus and the conversion method shown in this embodiment are used, it becomes possible to directly convert the component signal of 4: 1: 1 to the component signal of 4: 2: 0, and further, the luminance signal When a natural image having a correlation between the change and the change of the color difference signal is input, it is possible to obtain a natural and fine color difference signal.

（第３の実施の形態）
第３の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置について説明する。 (Third embodiment)
In the third embodiment, a video signal conversion apparatus that converts a digitally compressed video signal subjected to orthogonal transform compression such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format will be described.

この映像信号変換装置は、図１０に示すように、デジタル圧縮映像信号が入力し、変換されたデジタル圧縮映像信号が出力される入出力部1000と、入力した圧縮映像信号を非圧縮コンポーネント信号に復号する映像復号部2000と、形式の異なるコンポーネント信号間の直接変換を行なうコンポーネント信号変換部3000と、変換されたコンポーネント信号を圧縮映像信号に変換する映像符号部4000とから構成されている。   As shown in FIG. 10, this video signal conversion apparatus receives an input / output unit 1000 that receives a digital compressed video signal and outputs a converted digital compressed video signal, and converts the input compressed video signal into an uncompressed component signal. A video decoding unit 2000 for decoding, a component signal conversion unit 3000 for performing direct conversion between component signals of different formats, and a video encoding unit 4000 for converting the converted component signal into a compressed video signal.

そして、入出力部1000は、ＤＶＣフォーマットのデジタル圧縮映像信号が入力する入力手段1001と、ＭＰＥＧフォーマットのデジタル圧縮映像信号を出力する出力手段1002とを備え、映像復号部2000は、シャフリングされている圧縮映像信号をデシャフリングする前処理手段2001と、圧縮映像信号を可変長復号してＤＣＴ係数の量子化値を得る可変長復号手段2002と、この量子化値を逆量子化してＤＣＴ係数を得る逆量子化手段2003と、ＤＣＴ係数を基に非圧縮映像信号を生成する逆ＤＣＴ処理手段2004とを備え、映像符号部4000は、符号化するフレームの種類を指定する符号化制御手段4001と、入力する非圧縮映像信号を格納する入力バッファ4002と、非圧縮映像信号にＤＣＴ処理を施し、ＤＣＴ係数を量子化テーブルの値で除算して量子化値を得るＤＣＴ圧縮手段4003と、ＤＣＴ圧縮手段4003の出力を非圧縮信号に戻す逆ＤＣＴ伸張手段4004と、非圧縮信号に戻された映像信号を格納するフレームメモリ4005と、フレームメモリ4005に格納された映像信号と入力バッファ4002に格納された映像信号とから画像の動きを予測し、動きベクトルと画素値の差分とを求める動き予測部4100と、動き予測を用いた符号化を行なうかどうかを選択する符号選択手段4006と、符号選択手段4006から渡された情報を可変長符号化する可変長符号手段4007と、可変長符号手段4007から出力される可変長符号化データを用いてＭＰＥＧフォーマットを生成する構造符号化手段4008とを備えている。また、コンポーネント信号変換部3000には、第１または第２の実施形態に示した映像信号変換装置を用いる。   The input / output unit 1000 includes an input unit 1001 for inputting a DVC format digital compressed video signal and an output unit 1002 for outputting an MPEG format digital compressed video signal. The video decoding unit 2000 is shuffled. Pre-processing means 2001 for deshuffling the compressed video signal, variable-length decoding means 2002 for variable-length decoding the compressed video signal to obtain a quantized value of the DCT coefficient, and dequantizing the quantized value to obtain a DCT coefficient Inverse quantization means 2003, and inverse DCT processing means 2004 for generating an uncompressed video signal based on DCT coefficients, the video encoding unit 4000 includes an encoding control means 4001 for specifying the type of frame to be encoded, An input buffer 4002 for storing an input uncompressed video signal, and a DCT that performs DCT processing on the uncompressed video signal and obtains a quantized value by dividing a DCT coefficient by a quantization table value. Compression means 4003, inverse DCT expansion means 4004 for returning the output of the DCT compression means 4003 to an uncompressed signal, a frame memory 4005 for storing the video signal restored to the uncompressed signal, and a video signal stored in the frame memory 4005 And a video signal stored in the input buffer 4002 to predict the motion of the image and obtain a difference between the motion vector and the pixel value, and a code for selecting whether to perform encoding using motion prediction Structure for generating MPEG format using selection means 4006, variable length coding means 4007 for variable length coding information passed from code selection means 4006, and variable length coded data output from variable length coding means 4007 Coding means 4008. The component signal converter 3000 uses the video signal converter shown in the first or second embodiment.

次に、この装置の動作を説明する。この装置の全体の処理は、図１１に示す流れに沿って行なわれる。   Next, the operation of this apparatus will be described. The entire processing of this apparatus is performed along the flow shown in FIG.

ステップ1100：最初に、入力手段1001より入力されたＤＶＣフォーマットの映像信号を映像復号部2000が復号して非圧縮の映像信号とし、 ステップ1200：復号された非圧縮映像信号の形式を、コンポーネント信号変換部3000が４：１：１から４：２：０に変換し、 ステップ1300：４：２：０に変換されたコンポーネント信号を、映像符号部4000がＭＰＥＧフォーマットに圧縮符号化し、出力手段1002を介して出力する。   Step 1100: First, the video decoding unit 2000 decodes the DVC format video signal input from the input means 1001 into an uncompressed video signal. Step 1200: The format of the decoded uncompressed video signal is changed to the component signal. The conversion unit 3000 converts the signal from 4: 1: 1 to 4: 2: 0, and the component signal converted to step 1300: 4: 2: 0 is compressed and encoded by the video encoding unit 4000 into the MPEG format. Output via.

また、上記の処理は、それぞれの処理（ステップ1100〜ステップ1300）を並行して行なうことも可能である。即ち、映像復号部2000が入力映像信号の全てを完全に復号する前に、復号が済んだ一部のデータを先にコンポーネント信号変換部3000が変換し、映像符号部4000がＭＰＥＧフォーマットに圧縮符号化することが可能である。   In addition, the above processing (steps 1100 to 1300) can be performed in parallel. That is, before the video decoding unit 2000 completely decodes all the input video signals, the component signal conversion unit 3000 first converts a part of the decoded data, and the video encoding unit 4000 compresses the encoded data to the MPEG format. It is possible to

次に、上記の処理のうち、映像の復号処理（ステップ1100）と映像の符号処理（ステップ1300）とについて詳しく説明する。   Next, among the above processes, the video decoding process (step 1100) and the video encoding process (step 1300) will be described in detail.

まず、映像の復号処理（ステップ1100）について詳しく説明する。最初に、ＤＶＣフォーマットについて簡単に説明する。ＤＶＣフォーマットは、４：１：１コンポーネント信号に対して８画素×８画素のブロックごとにＤＣＴを施し、ＤＣＴ係数を量子化し、これを可変長符号化した符号が記録されているフォーマットである。   First, the video decoding process (step 1100) will be described in detail. First, the DVC format will be briefly described. The DVC format is a format in which a DCT is applied to a 4: 1: 1 component signal for each block of 8 pixels × 8 pixels, a DCT coefficient is quantized, and a variable-length encoded code is recorded.

また、ＤＶＣフォーマットの１フレームは、４つの輝度信号のＤＣＴブロックとそれに対応する２つの色差信号のＤＣＴブロックとを組とするマクロブロック、さらに複数のマクロブロックの集合であるスーパーブロックの集合によって構成されている。そして、１フレーム内でマクロブロックやスーパーブロックの記録位置を本来のフレームの位置と変えるシャフリング処理が施されている。   One frame of the DVC format is composed of a macro block composed of four luminance signal DCT blocks and two corresponding color difference signal DCT blocks, and a super block set which is a set of a plurality of macro blocks. Has been. Then, a shuffling process is performed to change the recording position of the macro block or super block from the original frame position within one frame.

図１２は、この装置の映像の復号処理の流れを示すフローチャートである。この装置の映像復号部2000は、次の様に復号を行なう。   FIG. 12 is a flowchart showing the flow of the video decoding process of this apparatus. The video decoding unit 2000 of this apparatus performs decoding as follows.

ステップ1101：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1103：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求める。   Step 1101: The shuffling compressed signal is deshuffled by the preprocessing unit 2001, and information of all macroblocks is arranged at the original video position for each frame. Step 1102: The variable length decoding unit 2002 Variable length decoding is performed to convert the information into quantized values of DCT coefficients. Step 1103: Inverse quantization means 2003 inversely quantizes the variable length decoded information to obtain DCT coefficients.

ステップ1104：逆ＤＣＴ処理手段2004が、ＤＣＴ係数より各画素の画素値を求めて、非圧縮映像信号を生成する。   Step 1104: The inverse DCT processing means 2004 obtains the pixel value of each pixel from the DCT coefficient, and generates an uncompressed video signal.

次に、映像の符号処理（ステップ1300）について説明する。図１３は、この装置の映像の符号処理の流れを示すフローチャートである。この装置の映像符号部4000は、次の様にＭＰＥＧフォーマットの映像信号を生成する。   Next, the video encoding process (step 1300) will be described. FIG. 13 is a flowchart showing the flow of video encoding processing of this apparatus. The video encoder 4000 of this apparatus generates an MPEG format video signal as follows.

ステップ1301：最初に、ＤＣＴ圧縮手段4003が、入力バッファ4002より入力した非圧縮映像信号にＤＣＴ処理を施し、ＤＣＴ係数を量子化する。   Step 1301: First, the DCT compression means 4003 performs DCT processing on the uncompressed video signal input from the input buffer 4002, and quantizes the DCT coefficient.

ステップ1302：符号化制御手段4001が、ＤＣＴ圧縮手段4003で処理された信号のエンコードされるべきフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、選択されたタイプがＩピクチャであれば、符号選択手段4006は、ＤＣＴ圧縮手段4003が入力バッファ4002のデータについて処理した出力を可変長符号手段4006に渡す。（ステップ1306から処理を続ける）   Step 1302: The encoding control means 4001 selects the type of the frame to be encoded of the signal processed by the DCT compression means 4003, that is, any type of I picture, P picture, B picture, and the selected type If it is an I picture, the code selection means 4006 passes the output processed by the DCT compression means 4003 for the data in the input buffer 4002 to the variable length coding means 4006. (Continue processing from step 1306)

ステップ1303：選択されたタイプがＰピクチャまたはＢピクチャであれば、動き予測部4100は、フレームメモリ4004に格納された前フレームの映像信号と入力バッファ4002に格納された現フレームの映像信号とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した（またはＤＣＴ・量子化処理しない）差分情報とを符号選択手段4006に渡す。   Step 1303: If the selected type is a P picture or a B picture, the motion prediction unit 4100 uses the previous frame video signal stored in the frame memory 4004 and the current frame video signal stored in the input buffer 4002. Motion prediction is performed to obtain a motion vector and pixel value difference information. Then, the motion vector and the difference information DCT / quantized (or not DCT / quantized) by the DCT compression unit 4003 are passed to the code selection unit 4006.

ステップ1304：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。   Step 1304: Next, the inverse DCT expansion unit 4004 performs inverse quantization / inverse DCT processing on the output of the DCT compression unit 4003, and stores the uncompressed video signal reproduced in this frame in the frame memory 4005.

ステップ1305：符号選択手段4005は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。   Step 1305: The code selection means 4005 selects whether to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the motion prediction unit 4100 is used. If the motion prediction is not used when passing to the variable length coding unit 4007, the information of the corresponding macroblock in the output of the DCT compression unit 4002 processed for the data in the input buffer 4002 is passed to the variable length coding unit 4007.

ステップ1306：そして、可変長符号手段4007は、符号選択手段4005から渡された情報を可変長符号化する。   Step 1306: The variable length coding unit 4007 performs variable length coding on the information passed from the code selection unit 4005.

ステップ1307：最後に、可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。   Step 1307: Finally, the structure encoding means 4008 generates an MPEG format by adding a header necessary as MPEG data to the variable length code encoded by the variable length encoding means 4007.

この処理の流れによって、ＭＰＥＧ１及びＭＰＥＧ２のＭＰＥＧフォーマットを生成することが可能である。   Through this processing flow, it is possible to generate MPEG formats of MPEG1 and MPEG2.

次に、上記映像圧縮処理（ステップ1300）の内、動き予測処理（ステップ1303）における動きベクトル計算処理について詳しく説明する。   Next, the motion vector calculation process in the motion prediction process (step 1303) in the video compression process (step 1300) will be described in detail.

動きベクトルの計算には、該当するマクロブロックの画素値を探索範囲の全ての箇所の画素値と比較して、それぞれの箇所における画素値の平均誤差を求め、そのマクロブロックの元の位置と最も誤差の少ない箇所の位置との差を動きベクトルとする方法（全探索）を始めとして、種々の方法を用いることができる。この実施形態では、階層画像を用いた段階的な動き情報の探索による計算方法を説明する。   In calculating the motion vector, the pixel value of the corresponding macroblock is compared with the pixel values of all locations in the search range, and the average error of the pixel values at each location is obtained. Various methods can be used, including a method (full search) in which a difference from the position of a portion with a small error is used as a motion vector. In this embodiment, a calculation method based on stepwise motion information search using a hierarchical image will be described.

この計算方法は、対象画像フレームと参照する画像のフレームとの両方に対して、解像度を落とした（画素数を減らした）複数の画像を生成し、低い解像度の画像から粗い動きベクトルの情報を計算し、計算に用いる画像を順次解像度の高いものにして動きベクトルの精度を高める方法である。この実施形態では上記の解像度を落とした複数の画像を階層画像と呼ぶ。この計算方法は、自然画像において、大きい物体の動きに当たる粗い動きベクトルを最初に求め、それを基に段階的に精度の高い動きベクトルの計算を行なうため、精度の高い動きベクトルを得ることができ、ＭＰＥＧ符号化時に圧縮効率を上げることができ、結果として画質を向上させることができる方法である。   This calculation method generates a plurality of images with reduced resolution (reduced the number of pixels) for both the target image frame and the frame of the reference image, and obtains information on coarse motion vectors from the low resolution image. This is a method of increasing the accuracy of motion vectors by calculating and sequentially increasing the resolution of the images used for the calculation. In this embodiment, a plurality of images with the above-mentioned reduced resolution are called hierarchical images. This calculation method first obtains a coarse motion vector corresponding to the motion of a large object in a natural image, and calculates a highly accurate motion vector step by step based on the coarse motion vector. Therefore, a highly accurate motion vector can be obtained. In this method, compression efficiency can be increased during MPEG encoding, and as a result, image quality can be improved.

ここで、階層画像とその生成方法について簡単に説明する。図１４は、階層画像の例を示す図である。図１４において、最初に、入力される原画像10000から、間引き処理（ダウンサンプリング）により解像度を２分の１に下げた１／２画像が生成され、さらに１／２画像に対して同様のダウンサンプリングを行なう、という手順を繰り返すことで、階層画像が生成される。このとき、ダウンサンプリングとしては、低周波通過フィルタ（ＬＰＦ）で縦方向、横方向共に空間周波数帯域を２分の１にした後、１つおきに画素を間引く、という処理を用いることができる。   Here, a hierarchical image and a generation method thereof will be briefly described. FIG. 14 is a diagram illustrating an example of a hierarchical image. In FIG. 14, first, a half image with a resolution reduced to half is generated from the input original image 10000 by thinning-out processing (downsampling), and the same down is applied to the half image. By repeating the procedure of sampling, a hierarchical image is generated. At this time, as the downsampling, it is possible to use a process of decimating every other pixel after the spatial frequency band is halved in both the vertical and horizontal directions with a low-frequency pass filter (LPF).

この装置において、この計算方法を実現するための、動き予測部4100について詳しく説明する。   In this apparatus, the motion prediction unit 4100 for realizing this calculation method will be described in detail.

最初に、動き予測部4100の構成を図１５を用いて説明する。図１５に示すように、動き予測部4100は、階層画像を生成する階層画像生成手段4101と、生成された階層画像を格納する階層画像メモリ4102と、階層画像を用いて低い解像度から段階的に動きベクトルを検出する動き検出手段4103と、動き検出手段4103が検出した段階的な動きベクトルを格納する動き情報一時格納手段4104と、画像圧縮に用いる最終的な動きベクトルを生成する動きベクトル生成手段4105と、この動きベクトルを基に圧縮すべき画像信号のフレーム間差分を求める差分情報生成手段4106とを備えている。   First, the configuration of the motion prediction unit 4100 will be described with reference to FIG. As illustrated in FIG. 15, the motion prediction unit 4100 includes a hierarchical image generation unit 4101 that generates a hierarchical image, a hierarchical image memory 4102 that stores the generated hierarchical image, and stepwise from a low resolution using the hierarchical image. Motion detection means 4103 for detecting a motion vector, motion information temporary storage means 4104 for storing stepped motion vectors detected by the motion detection means 4103, and motion vector generation means for generating a final motion vector used for image compression 4105 and difference information generating means 4106 for obtaining the inter-frame difference of the image signal to be compressed based on this motion vector.

次に、動き予測部4100の処理について、図１６のフローチャートを基に説明する。   Next, the processing of the motion prediction unit 4100 will be described based on the flowchart of FIG.

ステップ2000：階層画像生成手段4101は、入力バッファ4002及びフレームメモリ4005から得た画像データを用いて、対象画像及び参照画像の階層画像を生成し、階層画像メモリ4102に格納する。   Step 2000: The hierarchical image generating means 4101 generates a hierarchical image of the target image and the reference image using the image data obtained from the input buffer 4002 and the frame memory 4005, and stores it in the hierarchical image memory 4102.

ステップ2100：動き検出手段4103は、先ず、対象画像における１／８画像の画素を縦１６画素×横１６画素の２５６画素ずつに分割して検索対象ブロックとし、検索対象ブロック毎に、参照画像における１／８画像とのマッチングを取り、動きベクトルを求める。求めた動きベクトルは動き情報一時格納手段4104に格納する。   Step 2100: First, the motion detecting means 4103 divides the pixels of the 1/8 image in the target image into 256 search pixels of 16 pixels in the vertical direction and 16 pixels in the horizontal direction, and sets the search target blocks for each search target block. Matching with 1/8 image to obtain a motion vector. The obtained motion vector is stored in the motion information temporary storage means 4104.

次に、動き検出手段4103は、対象の１／４画像を縦１６画素×横１６画素ずつに分割して検索対象ブロックとし、参照画像の１／４画像とのマッチングを取り、動きベクトルを求める。このとき、先に求めた１／８画像の対応するブロックの動きベクトルを動きベクトル候補として用い、動きベクトル候補周辺からマッチングを行なうことで、探索範囲を狭める。   Next, the motion detection unit 4103 divides the target quarter image into 16 pixels in the vertical direction and 16 pixels in the horizontal direction to obtain a search target block, matches the quarter image of the reference image, and obtains a motion vector. . At this time, the motion vector of the corresponding block of the 1/8 image obtained previously is used as a motion vector candidate, and matching is performed from around the motion vector candidate to narrow the search range.

動き検出手段4103は、このような階層的な動き予測を順次より大きい階層画像に対して行ない、最後に原画像に対する動きベクトルを求める。   The motion detection means 4103 performs such hierarchical motion prediction on sequentially larger hierarchical images, and finally obtains a motion vector for the original image.

ステップ2200：動きベクトル生成手段4105は、原画像に対して検出された動きベクトルを最終的な動きベクトルの値として設定する。   Step 2200: The motion vector generation means 4105 sets the motion vector detected for the original image as the final motion vector value.

ステップ2300：差分情報生成手段4106は、入力バッファ4002及びフレームメモリ4005から入力した画像データを基に、対象画像の各マクロブロックの画素値と、動きベクトルで示された対応する参照画像のブロックの画素値との差分を計算する。   Step 2300: The difference information generation means 4106, based on the image data input from the input buffer 4002 and the frame memory 4005, the pixel value of each macroblock of the target image and the corresponding reference image block indicated by the motion vector. The difference from the pixel value is calculated.

この階層画像を用いた動き予測によれば、動きベクトル導出に必要な計算量を効果的に削減することができる。また、粗い画像から順次動きベクトルの精度を上げているため、画像の大きな動きに忠実な、自然な動きを表現する動きベクトルを求めることができ、動きベクトルの精度を高めることができる。   According to motion prediction using this hierarchical image, the amount of calculation required for motion vector derivation can be effectively reduced. In addition, since the accuracy of the motion vector is sequentially increased from a rough image, a motion vector that expresses a natural motion faithful to a large motion of the image can be obtained, and the accuracy of the motion vector can be improved.

なお、動き予測部4100の動きベクトル導出処理としては、上記の例の他、既存の階層的な動きベクトル検出方法を用いることも可能である。   As the motion vector derivation process of the motion prediction unit 4100, an existing hierarchical motion vector detection method can be used in addition to the above example.

こうした処理により、精度の高い動きベクトルを検出することができ、結果として、生成するＭＰＥＧフォーマットの圧縮画像の画質を高めることができる。
以上説明したように、この装置によれば、ＤＶＣフォーマットの圧縮映像を、高画質なＭＰＥＧ１、あるいはＭＰＥＧ２のフォーマットに直接変換することができる。 By such processing, it is possible to detect a motion vector with high accuracy, and as a result, it is possible to improve the image quality of a compressed image in the MPEG format to be generated.
As described above, according to this apparatus, the compressed video in the DVC format can be directly converted into the high-quality MPEG1 or MPEG2 format.

（第４の実施の形態）
第４の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、ＤＶＣフォーマットの輝度信号のＤＣＴ係数を、ＭＰＥＧフォーマットの生成に利用する装置について説明する。 (Fourth embodiment)
The fourth embodiment is a video signal conversion apparatus that converts a digitally compressed video signal compressed by orthogonal transform such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format. An apparatus that uses the DCT coefficient of the format luminance signal to generate the MPEG format will be described.

この装置は、図１７に示すように、映像符号部4000が、映像復号部2000の逆量子化手段2003から送られた輝度信号のＤＣＴ係数を格納するＤＣＴ係数バッファ4009と、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数を処理して階層画像を生成する階層的逆ＤＣＴ手段4010とを備えている。また、映像符号部4000の動き予測部4100は、図１８に示すように、第３の実施形態の動き予測部（図１５）が有していた階層画像生成手段4101を備えていない。その他の構成は第３の実施形態（図１０）と変わりがない。   In this apparatus, as shown in FIG. 17, the video encoding unit 4000 stores the DCT coefficient of the luminance signal sent from the inverse quantization means 2003 of the video decoding unit 2000, and the DCT coefficient buffer 4009. And a hierarchical inverse DCT means 4010 for processing the stored DCT coefficients to generate a hierarchical image. Further, as shown in FIG. 18, the motion prediction unit 4100 of the video encoding unit 4000 does not include the hierarchical image generation unit 4101 included in the motion prediction unit (FIG. 15) of the third embodiment. Other configurations are the same as those of the third embodiment (FIG. 10).

次に、この装置の動作を説明する。この装置の動作の特徴は、輝度信号を、映像復号部2000がＤＣＴ係数のまま直接映像符号部4000に出力し、映像符号部4000の階層的逆ＤＣＴ手段4010が、そのＤＣＴ係数から階層画像を直接生成する点である。そのため、この装置では、第３の実施形態の装置で必要であったダウンサンプリングによる階層画像生成処理が不要になるため、処理時間の短縮を実現することができる。   Next, the operation of this apparatus will be described. The operation feature of this apparatus is that the video decoding unit 2000 outputs the luminance signal directly to the video coding unit 4000 as the DCT coefficient, and the hierarchical inverse DCT means 4010 of the video coding unit 4000 converts the hierarchical image from the DCT coefficient. It is a point to generate directly. Therefore, this apparatus eliminates the need for hierarchical image generation processing by downsampling, which is necessary for the apparatus of the third embodiment, and thus can shorten the processing time.

この装置における全体の処理の流れは、第３の実施形態の全体の処理の流れと同じである。即ち、この装置における全体の処理の流れは図１１のフローチャートの通りである。   The overall process flow in this apparatus is the same as the overall process flow of the third embodiment. That is, the overall processing flow in this apparatus is as shown in the flowchart of FIG.

この装置の処理が、第３の実施形態に示した処理と異なる点は、ＤＶＣフォーマットの復号処理（ステップ1100）とＭＰＥＧフォーマットの圧縮処理（ステップ1300）とである。   The processing of this apparatus is different from the processing shown in the third embodiment in DVC format decoding processing (step 1100) and MPEG format compression processing (step 1300).

図１９に、この装置における映像信号復号処理（ステップ1100）の処理の流れを示す。この装置の映像復号部2000は、図１９に示す流れでＤＶＣフォーマットの復号（伸長）を行なう。   FIG. 19 shows the flow of the video signal decoding process (step 1100) in this apparatus. The video decoding unit 2000 of this apparatus performs decoding (decompression) of the DVC format according to the flow shown in FIG.

ステップ1111：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1112：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1113：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求め、ステップ1114：処理中のＤＣＴブロックが輝度信号ならば、ステップ1115：逆量子化手段2003が、求めたＤＣＴ係数をＤＣＴ係数バッファ4009に格納する。   Step 1111: The pre-processing unit 2001 deshuffles the shuffled compressed signal and arranges all macroblock information at the original video position for each frame. Step 1112: The variable length decoding unit 2002 Variable length decoding is performed to convert the information into quantization value information of DCT coefficients. Step 1113: Inverse quantization means 2003 inversely quantizes the variable length decoded information to obtain DCT coefficients. Step 1114: DCT being processed If the block is a luminance signal, Step 1115: Inverse quantization means 2003 stores the obtained DCT coefficient in DCT coefficient buffer 4009.

ステップ1116：また、処理中のＤＣＴブロックが色差信号ならば、逆ＤＣＴ処理手段2004は、逆ＤＣＴによりＤＣＴ係数から各画素の画素値を求めて、非圧縮映像信号を生成する。   Step 1116: If the DCT block being processed is a color difference signal, the inverse DCT processing means 2004 obtains the pixel value of each pixel from the DCT coefficient by inverse DCT and generates an uncompressed video signal.

この非圧縮の色差信号は、コンポーネント信号変換部3000で形式が変換された後、映像符号部4000の入力バッファ4002に格納される。   The uncompressed color difference signal is converted in format by the component signal converter 3000 and then stored in the input buffer 4002 of the video encoder 4000.

図２０に、この装置における映像信号圧縮処理（ステップ1300）の流れを示す。この装置の映像符号部4000は、図２０の流れに沿ってＭＰＥＧフォーマットの生成を行なう。   FIG. 20 shows the flow of video signal compression processing (step 1300) in this apparatus. The video encoding unit 4000 of this apparatus generates an MPEG format along the flow of FIG.

ステップ1311：ＤＣＴ圧縮手段4003は、処理するＤＣＴブロックが、入力バッファ4002から入力した色差信号であれば、
ステップ1312：そのブロックのデータをＤＣＴ変換する。 Step 1311: If the DCT block to be processed is a color difference signal input from the input buffer 4002, the DCT compression means 4003
Step 1312: DCT transform the data of the block.

ステップ1313：次に、符号化制御手段4001が、エンコードするフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、ステップ1314：選択されたタイプがＩピクチャであれば、ＤＣＴ圧縮手段4003は、変換した色差信号のＤＣＴ係数及びＤＣＴ係数バッファ4009から読み出した輝度信号のＤＣＴ係数を量子化し、量子化された信号を符号選択手段4005が、可変長符号手段4006に渡す。（ステップ1319から処理を続ける）   Step 1313: Next, the encoding control means 4001 selects the type of frame to be encoded, that is, any type of I picture, P picture, and B picture. Step 1314: If the selected type is an I picture The DCT compression unit 4003 quantizes the DCT coefficient of the converted color difference signal and the DCT coefficient of the luminance signal read from the DCT coefficient buffer 4009, and the code selection unit 4005 passes the quantized signal to the variable length coding unit 4006. . (Continue processing from step 1319)

ステップ1315：選択されたタイプがＰピクチャまたはＢピクチャであれば、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数に対して、階層的逆ＤＣＴ処理手段4010が後で説明する階層的逆ＤＣＴ処理を行ない、階層画像を生成して動き予測部4100に渡す。   Step 1315: If the selected type is a P picture or a B picture, the hierarchical inverse DCT processing means 4010 performs a hierarchical inverse DCT process to be described later on the DCT coefficient stored in the DCT coefficient buffer 4009. The hierarchical image is generated and passed to the motion prediction unit 4100.

ステップ1316：動き予測部4100は、フレームメモリ4004に格納された映像信号と階層的逆ＤＣＴ処理手段4010から渡された階層画像とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した差分情報とを符号選択手段4006に渡す。   Step 1316: The motion prediction unit 4100 performs motion prediction from the video signal stored in the frame memory 4004 and the hierarchical image passed from the hierarchical inverse DCT processing means 4010, and obtains motion vector and pixel value difference information. . Then, the motion vector and the difference information DCT / quantized by the DCT compression unit 4003 are passed to the code selection unit 4006.

ステップ1317：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。   Step 1317: Next, the inverse DCT expansion means 4004 performs inverse quantization / inverse DCT processing on the output of the DCT compression means 4003, and stores the uncompressed video signal reproduced in this frame in the frame memory 4005.

ステップ1318：符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き補償を用いない場合は、入力バッファ4002及びＤＣＴ係数バッファ4009のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。   Step 1318: The code selection means 4006 selects whether or not to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the motion prediction unit 4100 is used. When the motion compensation is not used when the variable length coding unit 4007 is used, the information of the corresponding macroblock in the output of the DCT compression unit 4002 processed for the data of the input buffer 4002 and the DCT coefficient buffer 4009 is passed to the variable length coding unit 4007.

ステップ1319：可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。   Step 1319: The variable length coding unit 4007 performs variable length coding on the information passed from the code selection unit 4006.

ステップ1320：最後に、構造符号化手段4008が、可変長符号手段4007が符号化した可変長符号に対し、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。   Step 1320: Finally, the structure encoding means 4008 generates an MPEG format by adding a header necessary as MPEG data to the variable length code encoded by the variable length encoding means 4007.

ここで、階層的逆ＤＣＴ処理（ステップ1315）について説明する。   Here, the hierarchical inverse DCT processing (step 1315) will be described.

階層的逆ＤＣＴ処理とは、ＤＶＣフォーマットの信号に含まれるＤＣＴ係数に対して、低周波部分から段階的に逆ＤＣＴを施し、複数の解像度の画像を生成する処理である。これを図２１を用いて説明する。   Hierarchical inverse DCT processing is processing in which DCT coefficients included in a DVC format signal are subjected to inverse DCT in a stepwise manner from a low frequency portion to generate images with a plurality of resolutions. This will be described with reference to FIG.

図２１は、左側に、ＤＶＣフォーマットの信号に含まれるＤＣＴ係数の一部を抜き出したものを示し、右側に、復号された画像を示している。各ＤＣＴブロックの黒色部分が、その段階で逆ＤＣＴされるべき係数である。即ち、第１段階としてＤＣＴ係数の直流（０，０）成分のみを抜き出し、画像を復号する。ＤＣＴの直流成分はそのまま１／８画像10030を構成する。次に、左上、つまり低周波部分４画素を逆ＤＣＴして１／４画像10020を生成する。同様に、１／２画像10010、原画像10000を生成する。   FIG. 21 shows an extracted part of DCT coefficients included in a DVC format signal on the left side, and a decoded image on the right side. The black part of each DCT block is the coefficient to be inverse DCTed at that stage. That is, as a first step, only the direct current (0, 0) component of the DCT coefficient is extracted and the image is decoded. The DC component of the DCT constitutes the 1/8 image 10030 as it is. Next, the upper left, that is, the low-frequency portion of the four pixels is subjected to inverse DCT to generate a ¼ image 10020. Similarly, a half image 10010 and an original image 10000 are generated.

また、図２２に示すように、解像度の高い画像を生成する場合に、その一段階前の復号された画像を用い、その画像との差分、即ち図２２のＤＣＴ係数の黒色部分のみを逆ＤＣＴし、加えることで、さらに演算量を削減することも可能である。   Also, as shown in FIG. 22, when generating a high-resolution image, the decoded image of the previous stage is used, and only the difference from that image, that is, the black part of the DCT coefficient in FIG. In addition, the amount of calculation can be further reduced by adding.

動き予測部4100が、生成された階層画像を用いて、動きベクトルと画素値の差分情報とを求める動作は、第３の実施形態と変わりがない。   The operation of the motion prediction unit 4100 for obtaining the motion vector and the difference information of the pixel value using the generated hierarchical image is the same as that in the third embodiment.

以上説明したように、この実施形態の装置では、ＤＶＣフォーマットの輝度信号のＤＣＴ係数をＭＰＥＧフォーマットの作成に利用しているため、処理量の削減が可能となる。また、階層的逆ＤＣＴ処理では、ＤＶＣフォーマットの復号における逆ＤＣＴとほぼ同じ演算量で、ＭＰＥＧ符号時に必要となる階層画像を生成することができ、効果的に処理を削減することができる。   As described above, in the apparatus of this embodiment, the DCT coefficient of the luminance signal in the DVC format is used for creating the MPEG format, so that the processing amount can be reduced. In the hierarchical inverse DCT process, it is possible to generate a hierarchical image necessary for MPEG encoding with substantially the same amount of computation as the inverse DCT in the decoding of the DVC format, and the processing can be effectively reduced.

（第５の実施の形態）
第５の実施形態では、ＤＶＣフォーマットなどの直交変換圧縮されたデジタル圧縮映像信号を、ＭＰＥＧ２フォーマットなどの動き補償付き直交変換圧縮されたデジタル圧縮映像信号に変換する映像信号変換装置であって、動きベクトルの検出処理を少ない演算量で行なうことができる装置について説明する。 (Fifth embodiment)
The fifth embodiment is a video signal conversion apparatus that converts a digitally compressed video signal compressed by orthogonal transform such as DVC format into a digitally compressed video signal subjected to orthogonal transform compression with motion compensation such as MPEG2 format. An apparatus capable of performing vector detection processing with a small amount of calculation will be described.

この装置は、図２３に示すように、第４の実施形態の装置（図１７）と異なり、映像符号部4000が、階層的逆ＤＣＴ手段4010に代わり、１次元の逆ＤＣＴ処理を行なう１次元逆ＤＣＴ手段4011を備えている。また、映像符号部4000の動き予測部4100は、図２４に示すように、第４の実施形態（図１８）において具備していた階層画像メモリ4102を備えていない。その他の構成は第４の実施形態と変わりがない。   As shown in FIG. 23, this apparatus differs from the apparatus of the fourth embodiment (FIG. 17) in that the video encoding unit 4000 performs one-dimensional inverse DCT processing instead of the hierarchical inverse DCT means 4010. Inverse DCT means 4011 is provided. Further, as shown in FIG. 24, the motion prediction unit 4100 of the video encoding unit 4000 does not include the hierarchical image memory 4102 provided in the fourth embodiment (FIG. 18). Other configurations are the same as those of the fourth embodiment.

次に、この装置の動作について説明する。この装置では、動きベクトル検出処理の動作が、第４の実施形態と異なる。この装置では、ＤＶＣフォーマットに含まれる輝度信号のＤＣＴ係数に対して、縦方向、横方向それぞれに一次元の逆ＤＣＴ処理を施し、それぞれ一次元の画素のデータによる動きベクトルを検出し、それを組み合わせて２次元の動きベクトルを導出することにより、動きベクトルを検出している。   Next, the operation of this apparatus will be described. In this apparatus, the motion vector detection process is different from that of the fourth embodiment. In this apparatus, the DCT coefficient of the luminance signal included in the DVC format is subjected to a one-dimensional inverse DCT process in each of the vertical direction and the horizontal direction to detect a motion vector based on one-dimensional pixel data, and A motion vector is detected by deriving a two-dimensional motion vector in combination.

具体的な処理の流れを説明する。全体の処理の流れは、第３ないしは第４の実施形態と同様である。即ち、全体の処理の流れは、図１１に示すとおりである。また、映像復号処理（ステップ1100）は、第４の実施形態（図１９）と同じであり、映像符号処理（ステップ1300）のみが第４の実施形態と異なっている。この装置における映像符号処理（ステップ1300）の流れを図２５に示す。この装置の映像符号部4000は、図２５の流れに沿って映像符号処理を行なう。   A specific processing flow will be described. The overall processing flow is the same as in the third or fourth embodiment. That is, the overall processing flow is as shown in FIG. The video decoding process (step 1100) is the same as that of the fourth embodiment (FIG. 19), and only the video code process (step 1300) is different from that of the fourth embodiment. FIG. 25 shows the flow of video code processing (step 1300) in this apparatus. The video encoding unit 4000 of this apparatus performs video encoding processing along the flow of FIG.

ステップ1321：ＤＣＴ圧縮手段4003は、処理するＤＣＴブロックが、入力バッファ4002から入力した色差信号であれば、ステップ1322：そのブロックのデータをＤＣＴ変換する。   Step 1321: If the DCT block to be processed is a color difference signal input from the input buffer 4002, the step 1322: DCT transforms the data of that block.

ステップ1323：次に、符号化制御手段4001が、エンコードするフレームの種類、即ちＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかのタイプを選択し、ステップ1324：選択されたタイプがＩピクチャであれば、ＤＣＴ圧縮手段4003は、変換した色差信号のＤＣＴ係数及びＤＣＴ係数バッファ4009から読み出した輝度信号のＤＣＴ係数を量子化し、符号選択手段4005が、量子化された信号を可変長符号手段4006に渡す。（ステップ1329から処理を続ける）ステップ1325：選択されたタイプがＰピクチャまたはＢピクチャであれば、ＤＣＴ係数バッファ4009に格納されたＤＣＴ係数に対して、１次元逆ＤＣＴ処理手段4011が後で説明する一次元逆ＤＣＴ処理を行ない、生成した一次元情報を動き予測部4100に渡す。   Step 1323: Next, the encoding control means 4001 selects the type of frame to be encoded, that is, any type of I picture, P picture, and B picture. Step 1324: If the selected type is an I picture The DCT compression unit 4003 quantizes the DCT coefficient of the converted color difference signal and the DCT coefficient of the luminance signal read from the DCT coefficient buffer 4009, and the code selection unit 4005 passes the quantized signal to the variable length code unit 4006. . (Continue processing from step 1329) Step 1325: If the selected type is P picture or B picture, the one-dimensional inverse DCT processing means 4011 will explain the DCT coefficient stored in the DCT coefficient buffer 4009 later. The one-dimensional inverse DCT process is performed, and the generated one-dimensional information is passed to the motion prediction unit 4100.

ステップ1326：動き予測部4100は、フレームメモリ4005に格納された映像信号と１次元逆ＤＣＴ処理手段4011から渡された一次元情報とから動き予測を行ない、動きベクトルと画素値の差分情報とを求める。そして、動きベクトルと、ＤＣＴ圧縮手段4003でＤＣＴ・量子化処理した差分情報とを符号選択手段4006に渡す。   Step 1326: The motion prediction unit 4100 performs motion prediction from the video signal stored in the frame memory 4005 and the one-dimensional information passed from the one-dimensional inverse DCT processing means 4011, and obtains the motion vector and the difference information of the pixel value. Ask. Then, the motion vector and the difference information DCT / quantized by the DCT compression unit 4003 are passed to the code selection unit 4006.

ステップ1327：次に、逆ＤＣＴ伸張手段4004が、ＤＣＴ圧縮手段4003の出力を逆量子化・逆ＤＣＴ処理し、フレームメモリ4005に、このフレームの再現した非圧縮映像信号を格納する。   Step 1327: Next, the inverse DCT expansion means 4004 performs inverse quantization / inverse DCT processing on the output of the DCT compression means 4003, and stores the uncompressed video signal reproduced in this frame in the frame memory 4005.

ステップ1328：符号選択手段4006は、マクロブロック毎に動き予測を用いた符号化をするか否かを選択し、動き予測を用いる場合は、動き予測部4100から渡された該当マクロブロックの情報を可変長符号手段4007に渡し、動き予測を用いない場合は、入力バッファ4002及びＤＣＴ係数バッファ4009のデータについて処理したＤＣＴ圧縮手段4002の出力における該当マクロブロックの情報を可変長符号手段4007に渡す。   Step 1328: The code selection means 4006 selects whether or not to perform coding using motion prediction for each macroblock, and when using motion prediction, the information of the corresponding macroblock passed from the motion prediction unit 4100 is used. If the motion prediction is not used when passing to the variable length coding unit 4007, the information of the corresponding macroblock in the output of the DCT compression unit 4002 processed for the data in the input buffer 4002 and the DCT coefficient buffer 4009 is passed to the variable length coding unit 4007.

ステップ1329：可変長符号手段4007は、符号選択手段4006から渡された情報を可変長符号化する。   Step 1329: The variable length coding unit 4007 performs variable length coding on the information passed from the code selection unit 4006.

ステップ1330：最後に可変長符号手段4007が符号化した可変長符号に対し、構造符号化手段4008が、ＭＰＥＧデータとして必要なヘッダを付加するなどしてＭＰＥＧフォーマットを生成する。   Step 1330: Finally, the structure encoding unit 4008 generates an MPEG format by adding a header necessary as MPEG data to the variable length code encoded by the variable length encoding unit 4007.

ここで、一次元逆ＤＣＴ処理（ステップ1325）と、一次元情報による動き予測（ステップ1326）について説明する。この処理は、従来２次元の画像そのままで動き予測をしていたものを、２方向の１次元の情報を２次元画像を代表する情報として、動き予測に用いるものである。   Here, one-dimensional inverse DCT processing (step 1325) and motion prediction based on one-dimensional information (step 1326) will be described. In this process, what was conventionally predicted as a two-dimensional image as it is is used for motion prediction using one-dimensional information in two directions as information representing a two-dimensional image.

図２６は、１次元逆ＤＣＴと、この処理で得られた１次元情報を用いて行なう動き予測の方法について、概念的に簡単に示した図である。１次元逆ＤＣＴでは、個々のＤＣＴブロックに対して、ｘ方向のみの周波数成分とｙ方向のみの周波数成分とのそれぞれに、１次元の逆ＤＣＴを施し、１つのＤＣＴブロックのｘ方向及びｙ方向に対して、それぞれ１×８個の１次元の画素値を生成する。ここでは、これを１次元情報と呼ぶ。これをマクロブロック単位で組み合わせると、１マクロブロックは２×２個のブロックで構成されているから、ｘ方向及びｙ方向のそれぞれに対して、２×１６個の１次元の画素値が組み合わされた１マクロブロック分の１次元情報ができる。   FIG. 26 is a diagram conceptually simply showing a one-dimensional inverse DCT and a motion prediction method performed using the one-dimensional information obtained by this processing. In the one-dimensional inverse DCT, for each DCT block, one-dimensional inverse DCT is applied to each of the frequency component only in the x direction and the frequency component only in the y direction, and the x direction and the y direction of one DCT block. In contrast, 1 × 8 one-dimensional pixel values are generated. Here, this is called one-dimensional information. When this is combined in units of macroblocks, one macroblock is composed of 2 × 2 blocks, so 2 × 16 one-dimensional pixel values are combined for each of the x and y directions. One-dimensional information for one macroblock can be obtained.

同じように、１フレームを構成するブロックの１次元情報を組み合わせて、ｘ方向及びｙ方向の１フレーム分の１次元情報を作成する。   Similarly, one-dimensional information for one frame in the x direction and the y direction is created by combining the one-dimensional information of blocks constituting one frame.

次いで、ｘ方向ｙ方向のそれぞれにおいて、１マクロブロック分の１次元情報と１フレーム分の１次元情報とのパターンマッチングを行ない、１次元の動きベクトルを検出する。即ち、ｘ方向の１次元情報による動きベクトルは、ｘ方向の値のみを利用し、ｙ方向の１次元情報による動きベクトルは、ｙ方向の値のみを利用して、１マクロブロック分の一次元情報との平均誤差が最小となるフレーム位置を求め、そのマクロブロックの元の位置との差を検出する。   Next, in each of the x and y directions, pattern matching is performed between the one-dimensional information for one macroblock and the one-dimensional information for one frame to detect a one-dimensional motion vector. That is, the motion vector based on the one-dimensional information in the x direction uses only the value in the x direction, and the motion vector based on the one-dimensional information in the y direction uses only the value in the y direction. The frame position where the average error with the information is minimized is obtained, and the difference from the original position of the macroblock is detected.

そして、こうして求めたそれぞれの方向の動きベクトルを、動きベクトル候補とし、双方の動きベクトル候補における予測誤差（平均誤差）を比較して、予測誤差の少ない動きベクトルを選択する。   Then, the motion vectors in the respective directions thus obtained are used as motion vector candidates, and the prediction errors (average errors) in both motion vector candidates are compared, and a motion vector with a small prediction error is selected.

次いで、選択されなかった方向については、選択された方向の動きベクトルに対応した箇所に範囲を限定して、パターンマッチングを行ない、再度動きベクトルを検出する。こうして検出した２方向の動きベクトルを合成して、実際の動きベクトルとする。   Next, for the direction not selected, the range is limited to a portion corresponding to the motion vector in the selected direction, pattern matching is performed, and the motion vector is detected again. The detected motion vectors in the two directions are combined to obtain an actual motion vector.

この処理を用いると、パターンマッチングの際に必要な差分の絶対値を求める計算の回数を大幅に削減することが可能となる。例えば、１つのマクロブロックの１回のパターンマッチングにおいて、従来は１６画素×１６画素、即ち２５６画素について差分の絶対値を求める必要があったが、この処理によれば、各方向の動きベクトル候補の検出として、２画素×１６画素、即ち３２画素について差分の絶対値を求めるだけでよい。   If this process is used, the number of calculations for obtaining the absolute value of the difference necessary for pattern matching can be greatly reduced. For example, in one pattern matching of one macroblock, conventionally, it was necessary to obtain an absolute value of a difference for 16 pixels × 16 pixels, that is, 256 pixels. According to this processing, motion vector candidates in each direction In this case, it is only necessary to obtain the absolute value of the difference for 2 pixels × 16 pixels, that is, 32 pixels.

また、最終的な、選択されなかった方向についてのパターンマッチングは、範囲を限定した、一方向のみのパターンマッチングであるため、計算量は少ない。そのため、結果として、動きベクトル検出のパターンマッチングに要する計算量を１／８近くにまで削減することができる。   Further, since the final pattern matching for the unselected direction is a pattern matching for only one direction with a limited range, the amount of calculation is small. As a result, the amount of calculation required for pattern matching for motion vector detection can be reduced to nearly 1/8.

なお、この処理におけるパターンマッチングとして、全探索のほか、第３の実施形態のように階層的な処理など、２次元の動きベクトル検出で用いられている処理を用いることもできる。   As pattern matching in this processing, in addition to full search, processing used in two-dimensional motion vector detection, such as hierarchical processing as in the third embodiment, can be used.

以上説明したように、この実施形態によれば、ＤＶＣフォーマットに含まれるＤＣＴ係数を利用することにより、動きベクトル検出に要する計算量を大幅に削減することが可能となる。   As described above, according to this embodiment, the calculation amount required for motion vector detection can be greatly reduced by using the DCT coefficient included in the DVC format.

（第６の実施の形態）
第６の実施形態では、クライアントが要求するフォーマットの映像信号を提供する多フォーマット映像提供システムについて説明する。 (Sixth embodiment)
In the sixth embodiment, a multi-format video providing system that provides a video signal in a format requested by a client will be described.

このシステムは、コンピュータのクライアントサーバシステムであり、図２７に示すように、クライアントのコンピュータから成る映像再生端末5000と、映像提供用のサーバから成る映像提供部7000と、映像提供部7000に蓄積される映像を入力する映像入力部8000と、各部を結ぶネットワーク6000とを備えており、映像提供部7000は、映像を通信する通信手段7100と、映像を蓄積する映像蓄積手段7300と、映像信号のフォーマットを変換する映像信号変換手段7200と、各手段の動作を制御する制御手段7400とを備えている。映像提供部7000の映像信号変換手段7200には、第３乃至第５の実施形態の映像信号変換装置が使われる。   This system is a client server system of a computer. As shown in FIG. 27, the system is stored in a video playback terminal 5000 consisting of a client computer, a video providing unit 7000 consisting of a video providing server, and a video providing unit 7000. A video input unit 8000 that inputs video and a network 6000 that connects the units. The video providing unit 7000 includes a communication unit 7100 that communicates video, a video storage unit 7300 that stores video, and a video signal Video signal conversion means 7200 for converting the format and control means 7400 for controlling the operation of each means are provided. The video signal converter 7200 of the video providing unit 7000 uses the video signal converters of the third to fifth embodiments.

映像入力部8000は、ＤＶＣフォーマットの映像信号を入力し、映像提供部7000は、ＤＶＣ、ＭＰＥＧ１またはＭＰＥＧ２のいずれかのフォーマットの映像信号を出力する。   The video input unit 8000 inputs a video signal in the DVC format, and the video providing unit 7000 outputs a video signal in any one format of DVC, MPEG1, or MPEG2.

次に、このシステムの動作を説明する。図２８は、このシステムの映像提供部7000の処理動作手順を示しており、図２８（Ａ）は映像入力処理、図２８（Ｂ）は映像出力処理の流れを示すフローチャートである。   Next, the operation of this system will be described. FIG. 28 shows the processing operation procedure of the video providing unit 7000 of this system. FIG. 28A is a flowchart showing the flow of the video input process, and FIG.

映像の入力は、次に示す流れで行なわれる。   Video input is performed according to the following flow.

ステップ3000：制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ3100：映像入力部8000から、通信手段7100を介して入力されたＤＶＣフォーマットの映像信号を映像蓄積手段7300に蓄積する。   Step 3000: Upon receiving a video input request from the video input unit 8000 via the communication unit 7100, the control unit 7400 sends an input permission signal to the video input unit 8000. Step 3100: From the video input unit 8000, The DVC format video signal input via the communication unit 7100 is stored in the video storage unit 7300.

ステップ3200：制御手段7400は、映像信号変換手段7200に対して、映像信号のフォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、ＭＰＥＧ１及びＭＰＥＧ２のフォーマットに変換する。変換されたＭＰＥＧ１及びＭＰＥＧ２フォーマットの映像信号は、ＤＶＣフォーマットの映像信号とともに、映像蓄積手段7300に蓄積される。   Step 3200: The control means 7400 instructs the video signal conversion means 7200 to convert the format of the video signal. The video signal conversion means 7200 reads out the video signal stored in the video storage means 7300, and MPEG1 and Convert to MPEG2 format. The converted video signals in the MPEG1 and MPEG2 formats are stored in the video storage means 7300 together with the video signals in the DVC format.

また、映像提供部7000は、次の流れで映像を出力する。   Also, the video providing unit 7000 outputs the video in the following flow.

ステップ4000：制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ4100：映像蓄積手段7300に蓄積されている、要求されたフォーマットの映像信号を、通信手段7100を介して、映像再生端末5000に出力する。   Step 4000: Upon receiving a video output request from the video playback terminal 5000 via the communication unit 7100, the control unit 7400 sends an output permission signal to the video playback terminal 5000. Step 4100: The video is stored in the video storage unit 7300. The video signal of the requested format is output to the video playback terminal 5000 via the communication means 7100.

このシステムでは、ＤＶＣフォーマットなど、単一のフォーマットで入力された映像を、再生する端末に応じて、他のフォーマットで提供することが可能である。   In this system, video input in a single format such as the DVC format can be provided in other formats depending on the terminal to be played.

また、映像信号変換処理が実時間以上の速度で行なえる場合は、図２９に示す手順で映像入力処理及び映像出力処理を行なう。映像入力処理は、図２９（Ａ）に示すように、ステップ5000：制御手段7400は、通信手段7100を介して、映像入力部8000からの映像入力要求を受け付けると、入力許可信号を映像入力部8000に対して送り、ステップ5100：映像入力部8000から、通信手段7100を介して入力されたＤＶＣフォーマットの映像信号を映像蓄積手段7300に蓄積する。   When the video signal conversion process can be performed at a speed higher than the real time, the video input process and the video output process are performed according to the procedure shown in FIG. In the video input process, as shown in FIG. 29A, Step 5000: When the control means 7400 receives a video input request from the video input section 8000 via the communication means 7100, an input permission signal is sent to the video input section. Step 5100: The DVC format video signal input from the video input unit 8000 via the communication unit 7100 is stored in the video storage unit 7300.

また、映像出力処理は、図２９（Ｂ）に示すように、
ステップ6000：制御手段7400は、通信手段7100を介して、映像再生端末5000からの映像出力要求を受け付けると、出力許可信号を映像再生端末5000に送り、ステップ6100：要求された映像信号のフォーマットがＤＶＣフォーマットであれば、ステップ6300：映像蓄積手段7300に蓄積されている映像信号を、通信手段7100を介して、映像再生端末5000に出力する。 Also, the video output process is as shown in FIG.
Step 6000: Upon receiving a video output request from the video playback terminal 5000 via the communication means 7100, the control means 7400 sends an output permission signal to the video playback terminal 5000. Step 6100: The requested video signal format is If the format is the DVC format, Step 6300: The video signal stored in the video storage means 7300 is output to the video playback terminal 5000 via the communication means 7100.

また、ステップ6100において、要求された映像信号のフォーマットがＤＶＣフォーマット以外であれば、ステップ6200：制御手段7400は、映像信号変換手段7200に対して、フォーマットの変換を指示し、映像信号変換手段7200は、映像蓄積手段7300に蓄積された映像信号を読み出して、要求されたＭＰＥＧ１またはＭＰＥＧ２のフォーマットに変換する。   In step 6100, if the requested video signal format is other than the DVC format, step 6200: the control means 7400 instructs the video signal conversion means 7200 to convert the format, and the video signal conversion means 7200 Reads out the video signal stored in the video storage means 7300 and converts it into the requested MPEG1 or MPEG2 format.

ステップ6300：制御手段7400は、変換された映像信号を、通信手段7100を介して、映像再生端末5000に出力する。   Step 6300: The control means 7400 outputs the converted video signal to the video playback terminal 5000 via the communication means 7100.

このように、この場合には、映像出力時に、映像再生端末5000が要求したフォーマットの映像信号にリアルタイムで変換しながら出力する。この場合、映像信号変換手段7200は、通信手段7100とも直接接続されていることが望ましい。   Thus, in this case, at the time of video output, the video playback terminal 5000 outputs the video signal in the format requested in real time. In this case, it is desirable that the video signal conversion means 7200 is also directly connected to the communication means 7100.

（第７の実施の形態）
第７の実施形態では、復号処理の中間情報であるＤＣＴ係数を変換することにより、カラーコンポーネント形式の変換を行なう映像信号変換装置と、その映像信号変換方法について説明する。 (Seventh embodiment)
In the seventh embodiment, a video signal conversion apparatus that performs conversion of a color component format by converting DCT coefficients that are intermediate information of decoding processing, and a video signal conversion method thereof will be described.

この映像信号変換装置は、映像信号を非圧縮コンポーネント信号に復号してからカラーコンポーネント形式を変換する第３の実施形態の装置（図１０）と異なり、映像信号の復号化の過程で得られるＤＣＴ係数を用いてカラーコンポーネント形式を変換する。そのため、この装置では、図３５に示すように、コンポーネント信号変換部3000に代わるものとして、映像復号部2000に、コンポーネント形式の変換に合わせてＤＣＴ係数の配列を変更するＤＣＴ係数変換手段2005が設けられており、映像復号部2000からは、カラーコンポーネント形式が変換された非圧縮コンポーネント信号が出力される。その他の構成は第３の実施形態と変わりがない。   Unlike the apparatus of the third embodiment (FIG. 10) that converts the color component format after decoding the video signal into an uncompressed component signal, this video signal conversion apparatus is a DCT obtained in the process of decoding the video signal. Convert color component format using coefficients. Therefore, in this apparatus, as shown in FIG. 35, as an alternative to the component signal conversion unit 3000, the video decoding unit 2000 is provided with DCT coefficient conversion means 2005 for changing the arrangement of DCT coefficients in accordance with the conversion of the component format. The video decoding unit 2000 outputs an uncompressed component signal in which the color component format is converted. Other configurations are the same as those of the third embodiment.

次に、この装置の動作について説明する。この装置では、ＤＶＣフォーマットに含まれる色差信号のＤＣＴ係数を間引くことによって縦方向のＤＣＴ係数の解像度を半分にし、横方向に０を補間することによって横方向のＤＣＴ係数の解像度を２倍にし、こうして解像度を変えたＤＣＴ係数に逆ＤＣＴ処理を施して、ＭＰＥＧ２などのカラーコンポーネント形式に変換している。   Next, the operation of this apparatus will be described. In this apparatus, the resolution of the DCT coefficient in the vertical direction is halved by thinning out the DCT coefficient of the color difference signal included in the DVC format, and the resolution of the DCT coefficient in the horizontal direction is doubled by interpolating 0 in the horizontal direction. In this way, the inverse DCT process is performed on the DCT coefficient whose resolution has been changed to convert it into a color component format such as MPEG2.

具体的な処理の流れを説明する。図３６は、本装置の全体の処理の流れを示すフローチャートである。この内、映像符号処理（ステップ1300）は、第３の実施形態の動作（図１１のステップ1300）と同じであり、映像復号処理（ステップ1100）のみが第３の実施形態と異なっている。   A specific processing flow will be described. FIG. 36 is a flowchart showing the overall processing flow of the apparatus. Among these, the video code process (step 1300) is the same as the operation of the third embodiment (step 1300 in FIG. 11), and only the video decoding process (step 1100) is different from the third embodiment.

この装置における映像復号処理（ステップ1100）は、図３７に示す手順で行なわれる。この映像復号処理手順のうち、デシャッフル（ステップ1101）、可変長復号（ステップ1102）、逆量子化処理（ステップ1103）は、第３の実施形態の動作（図１２のステップ1101、1102、1103）と同じであり、ＤＣＴ係数変換処理（ステップ1105）及び逆ＤＣＴ処理（ステップ1106）のみが第３の実施形態と異なっている。この装置の映像復号部2000は、図３７の流れに沿って映像復号処理を行なう。   The video decoding process (step 1100) in this apparatus is performed according to the procedure shown in FIG. Among these video decoding processing procedures, the deshuffle (step 1101), variable length decoding (step 1102), and inverse quantization processing (step 1103) are the operations of the third embodiment (steps 1101, 1102, 1103 in FIG. 12). ), And only the DCT coefficient conversion process (step 1105) and the inverse DCT process (step 1106) are different from the third embodiment. The video decoding unit 2000 of this apparatus performs video decoding processing along the flow of FIG.

ステップ1101：シャフリングされた圧縮信号を、前処理手段2001がデシャッフリングし、フレームごとに、全てのマクロブロックの情報を本来の映像の位置に配置し、ステップ1102：可変長復号手段2002が、可変長復号してＤＣＴ係数の量子化値の情報に変換し、ステップ1103：逆量子化手段2003が、可変長復号された情報を逆量子化してＤＣＴ係数を求める。逆量子化手段2003は、求めた輝度信号のＤＣＴ係数を逆ＤＣＴ処理手段2004に出力し、求めた色差信号のＤＣＴ係数をＤＣＴ係数変換手段2005に出力する。   Step 1101: The shuffling compressed signal is deshuffled by the preprocessing unit 2001, and information of all macroblocks is arranged at the original video position for each frame. Step 1102: The variable length decoding unit 2002 Variable length decoding is performed to convert the information into quantized values of DCT coefficients. Step 1103: Inverse quantization means 2003 inversely quantizes the variable length decoded information to obtain DCT coefficients. The inverse quantization means 2003 outputs the obtained DCT coefficient of the luminance signal to the inverse DCT processing means 2004 and outputs the obtained DCT coefficient of the color difference signal to the DCT coefficient conversion means 2005.

ステップ1105：ＤＣＴ係数変換手段2005は、色差信号のＤＣＴ係数に対してＤＣＴ係数変換処理を施し、色差信号のＤＣＴブロックの縦の解像度を半分にし、横の解像度を２倍にする。   Step 1105: The DCT coefficient conversion means 2005 performs DCT coefficient conversion processing on the DCT coefficient of the color difference signal to halve the vertical resolution of the DCT block of the color difference signal and double the horizontal resolution.

ステップ1106：逆ＤＣＴ処理手段2004は、逆量子化手段2003から出力されたＤＣＴ係数により輝度信号に関する各画素の画素値を求め、また、ＤＣＴ係数変換手段2005から出力されたＤＣＴ係数により色差信号に関する各画素の画素値を求めて、非圧縮映像信号を生成する。   Step 1106: The inverse DCT processing means 2004 obtains the pixel value of each pixel relating to the luminance signal from the DCT coefficient output from the inverse quantization means 2003, and also relates to the color difference signal based on the DCT coefficient output from the DCT coefficient conversion means 2005. A pixel value of each pixel is obtained, and an uncompressed video signal is generated.

ここで、ＤＣＴ係数変換処理（ステップ1105）及び逆ＤＣＴ処理（ステップ1106）について説明する。この処理は、第３の実施形態の装置で非圧縮映像信号に対して行なっていたコンポーネント形式変換を、復号処理の中間情報であるＤＣＴ係数の段階で行なう処理である。   Here, the DCT coefficient conversion process (step 1105) and the inverse DCT process (step 1106) will be described. This process is a process in which the component format conversion performed on the uncompressed video signal in the apparatus of the third embodiment is performed at the stage of the DCT coefficient which is intermediate information of the decoding process.

図３８は、ＤＣＴ係数変換処理及び逆ＤＣＴ処理による、４：１：１形式から４：２：０形式へのコンポーネント形式変換について、概念的に簡単に示した図である。   FIG. 38 is a diagram conceptually simply showing component format conversion from the 4: 1: 1 format to the 4: 2: 0 format by DCT coefficient conversion processing and inverse DCT processing.

ＤＣＴ係数変換処理では、４：１：１形式の色差信号の横８×縦８のＤＣＴブロックから、縦方向に低周波部分の半分（横８×縦４）のＤＣＴ係数を抜き出すことで縦方向の解像度を半分にする。そして、横方向のＤＣＴ係数を２倍にし、新しく増やした横８×縦４のＤＣＴ係数の値を０にすることで、横方向の解像度を２倍にする。   In the DCT coefficient conversion process, the DCT coefficient of half of the low frequency part (8 × 4 in the vertical direction) is extracted in the vertical direction from the horizontal 8 × vertical 8 DCT block of the color difference signal in the 4: 1: 1 format. Halve the resolution. Then, the horizontal DCT coefficient is doubled, and the newly increased horizontal 8 × vertical 4 DCT coefficient is set to 0, thereby doubling the horizontal resolution.

逆ＤＣＴ処理では、ＤＣＴ係数変換処理により生成された横１６×縦４のＤＣＴ係数の集まりを１つの新たなＤＣＴブロックとして、縦１６×横４の２次元逆ＤＣＴ処理を行なう。この逆ＤＣＴ処理により生成された縦１６×横４の信号が、４：２：０形式の非圧縮色差信号となる。   In the inverse DCT processing, the collection of the horizontal 16 × vertical 4 DCT coefficients generated by the DCT coefficient conversion processing is used as one new DCT block, and the vertical 16 × horizontal 4 two-dimensional inverse DCT processing is performed. A 16 × 4 signal generated by the inverse DCT process becomes an uncompressed color difference signal in 4: 2: 0 format.

このように、このＤＣＴ係数変換処理では、４：１：１形式のＤＣＴブロックから、主要な色差情報の全てを含む低周波部分の横８×縦４のＤＣＴ係数をそのまま抜き出しているため、変換後の色の変化が滑らかであり、自然な画質の画像が得られる。また、横方向に増やした横８×縦４のＤＣＴ係数は、高周波部分に付け足しているため、その値を０にしても人の目にはそれ程目立たない。従って、このＤＣＴ係数変換処理により、違和感の無い変換後の画質が得られる。   In this way, in this DCT coefficient conversion process, since the DCT block of 8 × 4 in the low frequency part including all the main color difference information is extracted as it is from the DCT block in the 4: 1: 1 format, the conversion is performed as it is. The subsequent color change is smooth, and an image with natural image quality can be obtained. Further, since the horizontal 8 × vertical 4 DCT coefficients increased in the horizontal direction are added to the high frequency portion, even if the value is set to 0, it is not so noticeable to human eyes. Therefore, the converted image quality without any sense of incongruity can be obtained by this DCT coefficient conversion processing.

なお、輝度信号に対する逆ＤＣＴ処理は、第３の実施形態と同様に行なわれ、逆量子化手段2003から出力されたＤＣＴ係数に対して、縦８×横８のＤＣＴブロック単位で２次元逆ＤＣＴ処理が施され、縦８×横８の単位で非圧縮輝度信号が算出される。   Note that the inverse DCT processing for the luminance signal is performed in the same manner as in the third embodiment, and the DCT coefficient output from the inverse quantization means 2003 is two-dimensional inverse DCT in units of 8 × 8 DCT blocks. Processing is performed, and an uncompressed luminance signal is calculated in units of 8 × 8.

以上説明したように、この実施形態の映像信号変換では、ＤＶＣフォーマットに含まれるＤＣＴ係数を利用することにより、簡単な構成でカラーコンポーネント形式を変換することができ、また、自然な画質への変換が可能である。   As described above, in the video signal conversion of this embodiment, the color component format can be converted with a simple configuration by using the DCT coefficient included in the DVC format, and the conversion to a natural image quality is possible. Is possible.

なお、この実施の形態で説明した、ＤＣＴ係数変換処理と逆ＤＣＴ処理とは、第４あるいは第５の実施の形態の装置に適用することもできる。   Note that the DCT coefficient conversion processing and inverse DCT processing described in this embodiment can also be applied to the apparatus of the fourth or fifth embodiment.

第１の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal conversion apparatus according to the first embodiment; 第１の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、The flowchart which shows the flow of the whole process in the video signal converter of 1st Embodiment, 輝度信号（Ａ）とそれに対応する４：１：１形式の色差信号（Ｂ）と４：２：０形式の色差信号（Ｃ）の例、An example of a luminance signal (A), a corresponding color difference signal (B) in a 4: 1: 1 format, and a color difference signal (C) in a 4: 2: 0 format, ＤＶＣ形式の映像信号を生成するために入力する４：２：２コンポーネント信号と、生成される４：１：１コンポーネント信号の例、An example of a 4: 2: 2 component signal that is input to generate a DVC format video signal, and a generated 4: 1: 1 component signal, 第１の実施形態の映像信号変換装置への色差信号の第１の入力例とそれに対する出力結果、A first input example of a color difference signal to the video signal conversion apparatus of the first embodiment and an output result thereof; 第１の実施形態の映像信号変換装置への色差信号の第２の入力例とそれに対する出力結果、A second input example of the color difference signal to the video signal conversion apparatus of the first embodiment and the output result thereto; 第１の実施形態の映像信号変換装置への色差信号の第３の入力例とそれに対する出力結果、A third input example of the color difference signal to the video signal conversion apparatus of the first embodiment and an output result corresponding thereto; 第２の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal conversion apparatus of a second embodiment, 第２の実施形態の映像信号変換装置への色差信号の入力例とそれに対する出力結果、Example of input of color difference signal to video signal conversion apparatus of second embodiment and output result thereof 第３の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal conversion apparatus according to a third embodiment; 第３の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、The flowchart which shows the flow of the whole process in the video signal converter of 3rd Embodiment, 第３の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、The flowchart which shows the flow of the DVC decoding process in the video signal converter of 3rd Embodiment, 第３の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、10 is a flowchart showing the flow of MPEG code processing in the video signal conversion apparatus of the third embodiment; 階層画像の例、An example of a hierarchical image, 第３の実施形態の映像信号変換装置における動き予測部の機能ブロック図、The functional block diagram of the motion estimation part in the video signal converter of 3rd Embodiment, 前記動き予測処理の処理の流れを示すフローチャート、A flowchart showing a flow of the motion prediction process; 第４の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal converter of a fourth embodiment, 第４の実施形態の映像信号変換装置における動き予測部の機能ブロック図、The functional block diagram of the motion estimation part in the video signal converter of 4th Embodiment, 第４の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、The flowchart which shows the flow of the DVC decoding process in the video signal converter of 4th Embodiment, 第４の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、The flowchart which shows the flow of the MPEG code process in the video signal converter of 4th Embodiment, 第４の実施形態の映像信号変換装置における階層画像の作成方法を説明する図、The figure explaining the production method of the hierarchy image in the video signal converter of a 4th embodiment. 第４の実施形態の映像信号変換装置における階層画像の他の作成方法を説明する図、The figure explaining the other creation methods of the hierarchy image in the video signal converter of 4th Embodiment. 第５の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal converter of a fifth embodiment, 第５の実施形態の映像信号変換装置における動き予測部の機能ブロック図、The functional block diagram of the motion estimation part in the video signal converter of 5th Embodiment, 第５の実施形態の映像信号変換装置におけるＭＰＥＧ符号処理の流れを示すフローチャート、10 is a flowchart showing the flow of MPEG code processing in the video signal conversion apparatus of the fifth embodiment; 第５の実施形態の映像信号変換装置における動き予測処理の概念図、The conceptual diagram of the motion estimation process in the video signal converter of 5th Embodiment, 第６の実施形態の映像提供システムの構成図、The block diagram of the image | video provision system of 6th Embodiment, 第６の実施形態の映像提供システムにおける映像入力処理と映像提供処理の流れを示すフローチャート、The flowchart which shows the flow of the video input process in the video provision system of 6th Embodiment, and a video provision process, 第６の実施形態の映像提供システムにおける他の映像入力処理と映像提供処理の流れを示すフローチャート、The flowchart which shows the flow of the other video input process in the video provision system of 6th Embodiment, and a video provision process, ４：４：４カラーコンポーネント信号の説明図、4: 4: 4 color component signal explanatory diagram, ４：２：２カラーコンポーネント信号の説明図、Explanatory diagram of 4: 2: 2 color component signal, ４：２：０カラーコンポーネント信号の説明図、Explanatory diagram of 4: 2: 0 color component signal, ４：１：１カラーコンポーネント信号の説明図、4: 1: 1 color component signal explanatory diagram, 従来のＭＰＥＧデータ生成のための装置の構成図、Configuration diagram of a conventional apparatus for generating MPEG data, 第７の実施形態の映像信号変換装置の構成を示す機能ブロック図、A functional block diagram showing a configuration of a video signal conversion apparatus of a seventh embodiment, 第７の実施形態の映像信号変換装置における全体の処理の流れを示すフローチャート、The flowchart which shows the flow of the whole process in the video signal converter of 7th Embodiment, 第７の実施形態の映像信号変換装置におけるＤＶＣ復号処理の流れを示すフローチャート、The flowchart which shows the flow of the DVC decoding process in the video signal converter of 7th Embodiment, 第７の実施形態の映像信号変換装置におけるコンポーネント形式変換の方法を示す図である。It is a figure which shows the method of the component format conversion in the video signal converter of 7th Embodiment.

符号の説明Explanation of symbols

101 アナログビデオ機器
102 アナログ→デジタル変換器
103 デジタルビデオ機器
104 ＭＰＥＧエンコーダ
201 入力手段
202 出力手段
301 Ｙフレームメモリ
302 入力Ｃｒフレームメモリ
303 入力Ｃｂフレームメモリ
304 出力Ｃｒフレームメモリ
305 出力Ｃｂフレームメモリ
401 色差信号変換手段
402 Ｙ信号参照手段
1000 入出力部
1001 入力手段
1002 出力手段
2000 映像復号部
2001 前処理手段
2002 可変長符号手段
2003 逆量子化手段
2004 逆ＤＣＴ処理手段
2005 ＤＣＴ係数変換手段
3000 コンポーネント信号変換部
4000 映像符号部
4001 符号化制御手段
4002 入力バッファ
4003 ＤＣＴ圧縮手段
4004 逆ＤＣＴ伸長手段
4005 フレームメモリ
4006 符号選択手段
4007 可変長符号手段
4008 構造符号手段
4009 ＤＣＴ係数バッファ
4010 階層的逆ＤＣＴ処理手段
4011 １次元逆ＤＣＴ処理手段
4100 動き予測部
4101 階層画像生成手段
4102 階層画像メモリ
4103 動き検出手段
4104 動き情報一時格納手段
4105 動きベクトル生成手段
4106 差分情報生成手段
5000 映像再生端末
6000 ネットワーク
7000 映像提供部
7100 通信手段
7200 映像信号変換手段
7300 映像蓄積手段
7400 制御手段
8000 映像入力部
10000 原画像
10010 １／２画像
10020 １／４画像
10030 １／８画像 101 analog video equipment
102 Analog to digital converter
103 Digital video equipment
104 MPEG encoder
201 Input means
202 Output means
301 Y frame memory
302 input Cr frame memory
303 Input Cb frame memory
304 output Cr frame memory
305 Output Cb frame memory
401 Color difference signal conversion means
402 Y signal reference means
1000 I / O section
1001 Input means
1002 Output means
2000 Video decoder
2001 Pretreatment means
2002 Variable length code means
2003 Inverse quantization means
2004 Inverse DCT processing means
2005 DCT coefficient conversion means
3000 Component signal converter
4000 Video code part
4001 Encoding control means
4002 Input buffer
4003 DCT compression means
4004 Reverse DCT expansion means
4005 frame memory
4006 Code selection means
4007 Variable length code means
4008 Structure code means
4009 DCT coefficient buffer
4010 Hierarchical inverse DCT processing means
4011 One-dimensional inverse DCT processing means
4100 Motion prediction unit
4101 Hierarchical image generation means
4102 Hierarchical image memory
4103 Motion detection means
4104 Motion information temporary storage means
4105 Motion vector generation means
4106 Difference information generation means
5000 video playback terminal
6000 network
7000 video provider
7100 Communication means
7200 Video signal conversion means
7300 Video storage means
7400 Control means
8000 video input section
10000 original image
10010 1/2 images
10020 1/4 image
10030 1/8 picture

Claims (2)

ＤＣＴ処理が施された第１圧縮映像信号を、前記第１圧縮映像信号と異なる圧縮フォーマットにより圧縮された第２圧縮映像信号へ変換する映像信号変換装置であって、
前記第１圧縮映像信号を復号してＤＣＴ係数を導出し、前記ＤＣＴ係数に基づいて非圧縮映像信号を生成する映像復号部と、
前記非圧縮映像信号のコンポーネント信号形式を変換するコンポーネント信号変換部と、
前記映像復号部から取得されたＤＣＴ係数に含まれる第１のＤＣＴ係数成分に対して逆ＤＣＴを施すことで第１階層画像を生成し、前記第１のＤＣＴ係数成分を含む第２のＤＣＴ係数成分から前記第１のＤＣＴ係数成分を除いた係数成分に対して逆ＤＣＴを施すことで生成された画像と前記第１階層画像とを加算することで第２階層画像を生成する階層的逆ＤＣＴ処理部と、
映像信号に含まれる第１フレームの第１階層画像と第２フレームの第１階層画像とに基づいて第１動きベクトル探索を行い、前記第１動きベクトル探索の結果に応じて設定される探索範囲において、前記第１フレームの第２階層画像と前記第２フレームの第２階層画像とに基づいて第２動きベクトル探索を行い、前記第２動きベクトル探索の結果に応じて設定される探索範囲において、前記第１フレームの前記変換された非圧縮映像信号と前記第２フレームの前記変換された非圧縮映像信号とに基づいて動きベクトル及びフレーム間差分情報を導出する動き予測部と、
前記動き予測部から取得された前記動きベクトル及び前記フレーム間差分情報を符号化することで前記第２圧縮映像信号を生成する符号部と、
を備える映像信号変換装置。 A video signal converter for converting a first compressed video signal subjected to DCT processing into a second compressed video signal compressed by a compression format different from that of the first compressed video signal ,
A video decoding unit for decoding the first compressed video signal to derive a DCT coefficient and generating an uncompressed video signal based on the DCT coefficient ;
And component signal converting unit for converting a component signal format before Symbol uncompressed video signal,
The first DCT coefficient component included in the DCT coefficient acquired from the video decoding unit is subjected to inverse DCT to generate a first layer image, and the second DCT coefficient including the first DCT coefficient component A hierarchical inverse DCT that generates a second hierarchical image by adding an image generated by performing inverse DCT to a coefficient component obtained by removing the first DCT coefficient component from a component and the first hierarchical image A processing unit;
A search range set according to a result of the first motion vector search by performing a first motion vector search based on the first layer image of the first frame and the first layer image of the second frame included in the video signal. And performing a second motion vector search based on the second layer image of the first frame and the second layer image of the second frame, and in a search range set according to the result of the second motion vector search a motion prediction unit for deriving the motion vectors and inter-frame difference information on the basis of the non-compressed video signal in which the converted uncompressed video signal and the second frame which is pre-Symbol conversion of the first frame,
An encoding unit that generates the second compressed video signal by encoding the motion vector and the inter-frame difference information acquired from the motion prediction unit;
Ru comprising a video signal converter. ＤＣＴ処理が施された第１圧縮映像信号を、前記第１圧縮映像信号と異なる圧縮フォーマットにより圧縮された第２圧縮映像信号へ変換する映像信号変換方法であって、A video signal conversion method for converting a first compressed video signal subjected to DCT processing into a second compressed video signal compressed by a compression format different from the first compressed video signal,
前記第１圧縮映像信号を復号してＤＣＴ係数を導出し、前記ＤＣＴ係数に基づいて非圧縮映像信号を生成するステップと、Decoding the first compressed video signal to derive DCT coefficients and generating an uncompressed video signal based on the DCT coefficients;
前記非圧縮映像信号のコンポーネント信号形式を変換するステップと、Converting a component signal format of the uncompressed video signal;
前記ＤＣＴ係数に含まれる第１のＤＣＴ係数成分に対して逆ＤＣＴを施すことで第１階層画像を生成し、映像信号に含まれる第１フレームの第１階層画像と第２フレームの第１階層画像とに基づいて第１動きベクトル探索を行うステップと、A first layer image is generated by performing inverse DCT on the first DCT coefficient component included in the DCT coefficient, and the first layer image of the first frame and the first layer of the second frame included in the video signal. Performing a first motion vector search based on the image;
前記第１のＤＣＴ係数成分を含む第２のＤＣＴ係数成分から前記第１のＤＣＴ係数成分を除いた係数成分に対して逆ＤＣＴを施すことで生成された画像と前記第１階層画像とを加算することで第２階層画像を生成し、前記第１動きベクトル探索の結果に応じて設定される探索範囲において、前記第１フレームの第２階層画像と前記第２フレームの第２階層画像とに基づいて第２動きベクトル探索を行うステップと、The image generated by performing inverse DCT on the coefficient component obtained by removing the first DCT coefficient component from the second DCT coefficient component including the first DCT coefficient component is added to the first hierarchical image. To generate a second layer image, and in a search range set according to the result of the first motion vector search, the second layer image of the first frame and the second layer image of the second frame Performing a second motion vector search based on:
前記第２動きベクトル探索の結果に応じて設定される探索範囲において、前記第１フレームの前記変換された非圧縮映像信号と前記第２フレームの前記変換された非圧縮映像信号とに基づいて動きベクトル及びフレーム間差分情報を導出するステップと、Based on the converted uncompressed video signal of the first frame and the converted uncompressed video signal of the second frame in a search range set according to the result of the second motion vector search Deriving vector and interframe difference information;
前記動きベクトル及び前記フレーム間差分情報を符号化することで前記第２圧縮映像信号を生成するステップと、Generating the second compressed video signal by encoding the motion vector and the inter-frame difference information;
を備える映像信号変換方法。A video signal conversion method comprising:

Images