JP2006067098A - Information processing apparatus, information processing method, recording medium and program - Google Patents
Information processing apparatus, information processing method, recording medium and program Download PDFInfo
- Publication number
- JP2006067098A JP2006067098A JP2004245377A JP2004245377A JP2006067098A JP 2006067098 A JP2006067098 A JP 2006067098A JP 2004245377 A JP2004245377 A JP 2004245377A JP 2004245377 A JP2004245377 A JP 2004245377A JP 2006067098 A JP2006067098 A JP 2006067098A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- encoding
- compressed video
- picture
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, a recording medium, and a program, and more particularly, an information processing apparatus and information suitable for use when editing video data compressed using bidirectional inter-frame prediction. The present invention relates to a processing method, a recording medium, and a program.
MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。 In an image compression method represented by MPEG (Moving Picture Coding Experts Group / Moving Picture Experts Group) or the like, high compression efficiency is realized by compressing and encoding a video signal using inter-frame prediction.
ＭＰＥＧにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。 In MPEG, a compression coding method using bidirectional inter-frame prediction, which is composed of an I picture (I-Picture), a P picture (P-Picture), and a B picture (B-Picture), is Long GOP. This is called (Group of Picture) compression.
Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。 An I picture is an intra-frame (Intra) encoded image, which is a picture that is encoded independently of other screens. An image can be decoded using only this information. A P picture is an inter-frame (inter) forward predictive encoded image, and is a forward predictive encoded picture represented by a difference from a temporally previous (forward) frame. A B picture is a bi-directional predictive encoded image, and is based on motion-compensated interframe prediction using temporally forward (forward direction), backward (reverse direction), or front and back (bidirectional) pictures. A picture to be encoded.
ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。 Since the data amount of P pictures and B pictures is smaller than that of I pictures, if the GOP is lengthened (that is, the number of pictures constituting the Long GOP is increased), the video compression rate can be increased. Therefore, it is suitable for use in digital broadcasting and DVD (Digital Versatile Disk) video. However, if the GOP is too long, editing control with frame accuracy becomes difficult, and operational problems occur particularly in editing for business use.
これらの画像圧縮方式において、一般に、良好な画質を実現する方法として、固定の量子化値で入力素材を一旦エンコードして、その際の発生ビット量などのデータを収集し、その結果に基づいて、実際のエンコードを行う際に、可変レートエンコードのビットレートの割り当てを決定することができるようにした、いわゆる２パスエンコードと称される手法が知られている。しかしながら、この方法では、リアルタイムでデータをエンコードすることが不可能である。 In these image compression methods, in general, as a method for realizing good image quality, once the input material is encoded with a fixed quantization value, data such as the amount of generated bits is collected, and based on the result A so-called two-pass encoding method is known in which the bit rate assignment of variable rate encoding can be determined when actual encoding is performed. However, with this method, it is impossible to encode data in real time.
したがって、映像を編集するときに、編集点付近の素材映像の一部のみをデコードして接続し、再度エンコードを行って、圧縮符号化された編集映像データを得ることを考えた場合、２パスエンコード方式は、応答性の面で問題があり、適用することができない。 Therefore, when editing video, if you consider decoding and connecting only a part of the source video near the editing point and re-encoding to obtain compression-encoded edited video data, two passes The encoding method is problematic in terms of responsiveness and cannot be applied.
編集などのように、リアルタイム性を求められるエンコード処理に利用するために、例えば、簡易２パスと称される方法がある。この方式は、出力されるデータをエンコードするためのメインエンコーダ以外に、サブとなるエンコーダを用いる必要があり、供給されたデータを、サブとなるエンコーダにより固定量子化値でエンコードし、その情報をもとに、FIFOを使って遅延させられたデータを、メインエンコーダでエンコードするようになされているものである（例えば、特許文献１）。 For example, there is a method called simple two-pass for use in an encoding process that requires real-time properties, such as editing. In this method, it is necessary to use a sub-encoder in addition to the main encoder for encoding output data. The supplied data is encoded with a fixed quantization value by the sub-encoder, and the information is encoded. Originally, data delayed using a FIFO is encoded by a main encoder (for example, Patent Document 1).
図１を用いて、簡易２パスを適用したエンコーダ１について説明する。
An
エンコーダ１は、入力端子１１を介して映像データの供給を受けるエンコーダコントローラ１２と、映像データの動き予測を行う動き予測部１３と、動き予測部１３からエンコーダコントローラ１２を介して供給される動き予測処理後の映像データを選考してエンコードするサブのエンコーダであるエンコーダ１５と、エンコーダ１の全体の制御を司るＣＰＵ１６と、上記映像データを遅延させるためのＦＩＦＯ（First In First Out）メモリ１７と、ＦＩＦＯメモリ１７から読み出された映像データをＣＰＵ１６からのターゲットビット量データに基づいてエンコードし、エンコードした映像データを出力する、メインのエンコーダであるエンコーダ１８とで構成される。
The
エンコーダコントローラ１２は、ピクチャタイプデータＩＢＰを、動き予測部１３、および、ＣＰＵ１６に供給するとともに、Ｉピクチャはそのまま、ＢピクチャおよびＰピクチャの場合には、前の映像データとの差分をとり、その差分信号を算出し、エンコーダ１５およびＦＩＦＯメモリ１７に出力する。動き予測部１３は、エンコーダコントローラ１２からのピクチャタイプデータＩＢＰに基づいて、映像データのうち、ＢおよびＰピクチャに対し、動き検出および動き補償処理を施す。
The
エンコーダ１５は、供給されたデータを基に、ディフィカルティデータを求め、ＣＰＵ１６に供給する。ＣＰＵ１６は、エンコーダ１５からのディフィカルティデータと、エンコーダ１８から供給される発生ビット量データとに基づいて、ターゲットビット量データを求め、このターゲットビット量データを、エンコーダ１８に供給する。
The
また、エンコーダコントローラ１２からの映像データは、ＦＩＦＯメモリ１７に供給されて、所定時間だけ遅延される。この所定時間は、エンコーダ１５でディフィカルティデータが得られ、このディフィカルティデータを用いてＣＰＵ１６が演算を行ってターゲットビット量データを得、このターゲットビット量データを、エンコーダ１８に供給するまでの時間に略等しい。
The video data from the
エンコーダ１８は、ＦＩＦＯメモリ１７から供給された、所定時間だけ遅延された映像データを、ＣＰＵ１６から供給されるターゲットビット量データに基づいてエンコードして出力する。
The
このエンコーダ１においては、Ｌピクチャ分（Ｌは任意の整数）のディフィカルティデータを用いてターゲットビット量データが求められ、このターゲットビット量データに基づいて１つのピクチャが符号化される。つまり、ビット量のフィード・フォワード制御が行われる。
In the
この方法は、1GOPの処理にかかる時間程度(例えば0.5秒)の遅延が加わるものの、リアルタイムに高画質にエンコードを行うことができる、優れた方法である。 This method is an excellent method capable of encoding in high quality in real time, although a delay of about the time required for 1 GOP processing (for example, 0.5 seconds) is added.
しかしながら、図１を用いて説明したエンコーダ１は、エンコーダ１５およびエンコーダ１８の２つのエンコーダを設けなければならない。一般に、画像圧縮のためのエンコーダは、大規模の回路を必要とし、高価なものである。エンコーダを２つ搭載するエンコーダ１は、コスト、スペース効率、消費電力の点などにおいては、優れているとはいえない。
However, the
本発明はこのような状況に鑑みてなされたものであり、Long GOP方式の圧縮映像データ編集時に、２つ目のエンコーダを追加することなく、簡易２パスと同等の機能を実現することができるようにするものである。 The present invention has been made in view of such a situation, and a function equivalent to a simple two-pass can be realized without adding a second encoder when editing compressed video data of the Long GOP method. It is what you want to do.
本発明の第１の情報処理装置は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコード手段、または、デコード手段によりデコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。 The first information processing apparatus according to the present invention includes a decoding unit that decodes video data in a predetermined range near an editing point of the first compressed video data and the second compressed video data, and the first compressed video data The first uncompressed video signal generated by decoding by the decoding means and the second uncompressed video signal generated by decoding the second compressed video data by the decoding means are connected at the editing point. A connecting means for generating a third uncompressed video signal; an encoding means for encoding the third uncompressed video signal generated by being connected by the connecting means to generate third compressed video data; A first compressed video data in a predetermined range other than the vicinity of the point, a second compressed video data in a predetermined range other than the vicinity of the editing point, and a third pressure encoded and generated by the encoding means Edit video data generating means for connecting video data to generate compressed and encoded edited video data, and control for controlling processing executed by the decoding means, connection means, encoding means, and edited video data generating means And a control means for calculating a statistic for calculating the degree of difficulty of encoding executed by the encoding means, the first compressed video data before being decoded by the decoding means or the decoding means, and the second Encoding so that the degree of difficulty is calculated using the acquired statistics, and the amount of generated code executed by the encoding means is controlled based on the calculated degree of difficulty. The means is controlled.
エンコード手段には、エンコード手段によりエンコードされるピクチャの符号化条件がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御させるようにすることができる。 The encoding unit can control the generated code amount based on the calculated difficulty level when the encoding conditions of the picture encoded by the encoding unit match before and after encoding by the encoding unit.
符号化条件は、エンコードにおけるピクチャタイプおよび参照されるピクチャであるものとすることができる。 The encoding condition can be a picture type in encoding and a picture to be referenced.
制御手段には、エンコード手段によりエンコードされるピクチャのエンコード前のピクチャタイプに関する情報を取得させるようにすることができ、エンコード手段には、制御手段による制御に基づいて、第１の圧縮映像データおよび第２の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、第１の圧縮映像データおよび第２の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定させるようにすることができる。 The control means can acquire information related to the picture type before encoding of the picture encoded by the encoding means, and the encoding means includes the first compressed video data and the first compressed video data based on the control by the control means Compared with the second compressed video data, the picture type with the same reference image when encoded is the same picture type as the first compressed video data and the second compressed video data. Can be determined.
統計量は、ピクチャの符号量と、平均量子化スケールコードであるものとすることができ、難易度は、ピクチャの符号量と平均量子化スケールコードとの積であるものとすることができる。 The statistic may be a code amount of a picture and an average quantization scale code, and the difficulty level may be a product of the code amount of the picture and the average quantization scale code.
本発明の第１の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする。 A first information processing method according to the present invention calculates a decoding step for decoding video data in a predetermined range near an editing point of the first compressed video data and the second compressed video data, and the degree of difficulty of encoding. A statistic acquisition step for acquiring a statistic to perform, a difficulty calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and a first compressed video data decoding step The first uncompressed video signal decoded and generated by the process and the second uncompressed video signal generated by decoding the second compressed video data by the decoding step process are connected at the editing point. A connection step for generating a third non-compressed video signal, and a third non-compressed video signal generated by the connection in the connection step. The encoding step of generating the third compressed video data by controlling the generated code amount based on the difficulty calculated by the above, the first compressed video data in the predetermined range other than the vicinity of the editing point, and the editing Compressed and encoded edited video data is generated by connecting the second compressed video data in a predetermined range other than the point and the third compressed video data encoded and generated by the encoding step process. And an edited video data generation step.
本発明の第１の記録媒体に記録されているプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。 The program recorded on the first recording medium of the present invention includes a decoding step for decoding video data in a predetermined range in the vicinity of an editing point of the first compressed video data and the second compressed video data, A statistic acquisition step for acquiring a statistic for calculating the difficulty level of the image, a difficulty level calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and a first compressed video A first uncompressed video signal generated by decoding the data in the decoding step; and a second uncompressed video signal generated by decoding the second compressed video data in the decoding step. A connection step of connecting at an editing point and generating a third uncompressed video signal, and a third uncompressed video signal generated by being connected by the processing of the connection step, The encoding step of controlling the generated code amount based on the difficulty level calculated by the processing of the difficulty level calculation step to perform encoding to generate third compressed video data, and the first of a predetermined range other than the vicinity of the editing point The compressed video data and the second compressed video data in a predetermined range other than the vicinity of the editing point and the third compressed video data encoded and generated by the process of the encoding step are connected and compressed and encoded. And a edited video data generation step for generating the edited video data.
本発明の第１のプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。 The first program of the present invention calculates a decoding step for decoding video data in a predetermined range in the vicinity of an editing point of the first compressed video data and the second compressed video data, and the degree of difficulty of encoding. A statistic acquisition step for acquiring the statistic, a difficulty calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and the first compressed video data by the processing of the decoding step The first uncompressed video signal generated by decoding and the second uncompressed video signal generated by decoding the second compressed video data by the decoding step process are connected at the edit point, and the first A connection step for generating three uncompressed video signals, and a third uncompressed video signal generated by being connected by the processing of the connection step. The encoding step for generating the third compressed video data by controlling the generated code amount based on the difficulty calculated from the above, and the first compressed video data and the editing in a predetermined range other than the vicinity of the editing point Compressed and encoded edited video data is generated by connecting the second compressed video data in a predetermined range other than the point and the third compressed video data encoded and generated by the encoding step process. The computer is caused to execute a process including an edited video data generation step.
本発明の第１の情報処理装置および情報処理方法、並びに、プログラムにおいては、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データがデコードされ、エンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出され、第１の圧縮映像データがデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードされて生成された第２の非圧縮映像信号とが、編集点で接続され、第３の非圧縮映像信号が生成され、第３の非圧縮映像信号が、算出された難易度を基に制御される発生符号量でエンコードされ、第３の圧縮映像データが生成され、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、第３の圧縮映像データとが接続されて、圧縮符号化された編集映像データが生成される。 In the first information processing apparatus, the information processing method, and the program of the present invention, video data in a predetermined range in the vicinity of the editing point of the first compressed video data and the second compressed video data is decoded, A statistic for calculating the difficulty level of encoding is acquired, a difficulty level is calculated using the acquired statistic, and the first uncompressed video signal generated by decoding the first compressed video data and The second non-compressed video signal generated by decoding the second compressed video data is connected at the editing point to generate a third non-compressed video signal, and the third non-compressed video signal is Encoded with a generated code amount controlled based on the calculated difficulty level, third compressed video data is generated, and the first compressed video data in a predetermined range other than the vicinity of the editing point and the predetermined other than the vicinity of the editing point The range of the first The compressed video data, the third compressed video data and is connected to the compressed encoded edited image data is generated.
本発明の第２の情報処理装置は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段とを備えることを特徴とする。 According to the second information processing apparatus of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point and the second compressed video data are the editing point. The second non-compressed video signal generated by decoding within a predetermined range in the vicinity is encoded with the third non-compressed video signal generated by being connected at the editing point to obtain the third compressed video data. The encoding means to be generated and the statistics for calculating the difficulty level of the encoding executed by the encoding means are acquired from the first compressed video data and the second compressed video data before being decoded. Control that calculates the degree of difficulty using statistics, and controls the encoding process by the encoding means so that the amount of code generated by the encoding means is controlled based on the calculated difficulty level Characterized in that it comprises a stage.
本発明の第２の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップとを含むことを特徴とする。 According to the second information processing method of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point and the second compressed video data are edited. The second non-compressed video signal generated by decoding within a predetermined range in the vicinity is encoded with the third non-compressed video signal generated by being connected at the editing point to obtain the third compressed video data. Obtain and obtain from the first compressed video data and the first compressed video data before being decoded, the statistic for calculating the encoding step to be generated and the difficulty level of the encoding executed by the processing of the encoding step The difficulty level is calculated using the calculated statistics, and the encoding step process is performed so that the generated code amount of the encoding executed by the encoding step process is controlled based on the calculated difficulty level. Characterized in that it comprises a encoding control step of controlling an encoding process by.
本発明の第２の情報処理装置および情報処理方法においては、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号が、エンコードされて、第３の圧縮映像データが生成され、エンコードの難易度を算出するための統計量が、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得されて、取得された統計量を用いて難易度が算出され、算出された難易度を基に、エンコードの発生符号量が制御される。 In the second information processing apparatus and information processing method of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point, and the second compression The second uncompressed video signal generated by decoding the video data in a predetermined range near the editing point and the third uncompressed video signal generated by connecting at the editing point are encoded, 3 is generated, and a statistic for calculating the difficulty level of encoding is acquired from the first compressed video data and the second compressed video data before being decoded. The degree of difficulty is calculated using, and the generated code amount of encoding is controlled based on the calculated degree of difficulty.
本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、１つのエンコーダで簡易２パスと同等の処理を行うようにすることができる。 According to the present invention, it is possible to perform an editing process, and in particular, a statistic for calculating the difficulty level of encoding is acquired before the encoding process, and the difficulty level is obtained using the acquired statistic. Since the calculated code amount is controlled based on this difficulty level, it is possible to perform processing equivalent to the simple two-pass with one encoder.
また、他の本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、１つのエンコーダで簡易２パスと同等の処理を行うようにすることができる。 According to another aspect of the present invention, editing processing can be performed. In particular, the encoding difficulty level is calculated before the encoding processing, and the generated code amount at the time of encoding is calculated based on the difficulty level. Since it is controlled, it is possible to perform processing equivalent to simple two-pass with one encoder.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even though there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
請求項１に記載の情報処理装置（例えば、図２の編集装置５１）は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段（例えば、図２のデコーダ７２およびデコーダ７３）と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段（例えば、図２のエフェクト／スイッチ７６）と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ７７）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段（例えば、図２のストリームスプライサ７５）と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段（例えば、図２のＣＰＵ７０）とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコード手段、または、デコード手段によりデコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。
The information processing apparatus according to claim 1 (for example, the
エンコード手段は、エンコード手段によりエンコードされるピクチャの符号化条件（例えば、エンコードにおけるピクチャタイプおよび参照されるピクチャ）がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御することができる。 The encoding means is generated based on the calculated difficulty when the encoding conditions of the picture encoded by the encoding means (for example, the picture type in the encoding and the picture to be referred to) match before and after encoding by the encoding means. The code amount can be controlled.
請求項６に記載の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップ（例えば、図５のステップＳ５の処理）と、エンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を取得する統計量取得ステップ（例えば、図５のステップＳ６の処理）と、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップ（例えば、図５のステップＳ７の処理）と、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップ（例えば、図５のステップＳ８の処理）と、接続ステップの処理により接続されて生成された第３の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップ（例えば、図５のステップＳ９の処理）と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップ（例えば、図５のステップＳ１０の処理）とを含むことを特徴とする。 The information processing method according to claim 6 is a decoding step (for example, step S5 in FIG. 5) of decoding video data in a predetermined range near the editing point of the first compressed video data and the second compressed video data. Statistic acquisition for obtaining the statistic (for example, the code amount of the picture and the average quantization scale code) for calculating the encoding difficulty (for example, the encoding difficulty such as the global complexity measure) A difficulty level calculating step (for example, a process in step S7 in FIG. 5), a step (for example, a process in step S6 in FIG. 5), a difficulty level calculation step for calculating a difficulty level using the statistics acquired in the statistics amount acquisition process, , The first uncompressed video signal generated by decoding the first compressed video data by the decoding step process, and the second compressed video data of the decoding step A connection step of connecting the second uncompressed video signal decoded and generated by the process at an edit point to generate a third uncompressed video signal (for example, the process of step S8 in FIG. 5), and a connection The third uncompressed video signal connected and generated by the processing of the step is encoded by controlling the generated code amount based on the difficulty calculated by the processing of the difficulty level calculating step, and the third compressed video An encoding step for generating data (for example, the process of step S9 in FIG. 5), a first compressed video data in a predetermined range other than the vicinity of the editing point, and a second compressed video data in a predetermined range other than the vicinity of the editing point And the third compressed video data encoded and generated by the process of the encoding step, and the edited video data generation step for generating the compressed encoded video data is connected. (For example, step S10 in FIG. 5), characterized in that it comprises a.
また、請求項７に記載の記録媒体に記録されているプログラム、および、請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項６に記載の情報処理方法と同様である。
Further, in the program recorded on the recording medium according to
請求項９に記載の情報処理装置（例えば、図２の編集装置５１）は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段（例えば、図２のエンコーダ７７）と、エンコード手段により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段（例えば、図２のＣＰＵ７０）とを備えることを特徴とする。
The information processing apparatus according to claim 9 (for example, the
請求項１０に記載の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップ（例えば、図５のステップＳ９の処理）と、エンコードステップの処理により実行されるエンコードの難易度（例えば、global complexity measureなどの符号化難易度）を算出するための統計量（例えば、ピクチャの符号量と、平均量子化スケールコード）を、デコードされる前の第１の圧縮映像データおよび第２の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップ（例えば、図７を用いて説明した処理）とを含むことを特徴とする。
The information processing method according to
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図２は本発明を適用した編集装置５１のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram showing a hardware configuration of the
ＣＰＵ（Central Processing Unit）６１は、ノースブリッジ６２に接続され、例えば、ＨＤＤ（Hard disk Drive）６６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ７０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ６２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）６４に接続され、例えば、ＣＰＵ６１の制御に基づいて、サウスブリッジ６５を介して、ＨＤＤ６６に記憶されているデータの供給を受けて、ＰＣＩバス６４、ＰＣＩブリッジ６７を介して、メモリ６８に供給する。また、ノースブリッジ６２は、メモリ６３とも接続されており、ＣＰＵ６１の処理に必要なデータを授受する。
A CPU (Central Processing Unit) 61 is connected to the
メモリ６３は、ＣＰＵ６１が実行する処理に必要なデータを保存する。サウスブリッジ６５は、ＨＤＤ６６のデータの書き込みおよび読み出しを制御する。ＨＤＤ６６には、圧縮符号化された編集用の素材が記憶されている。
The
ＰＣＩブリッジ６７は、メモリ６８のデータの書き込みおよび読み出しを制御したり、デコーダ７２乃至７４、または、ストリームスプライサ７５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス６４およびコントロールバス６９のデータの授受を制御する。メモリ６８は、ＰＣＩブリッジ６７の制御に基づいて、ＨＤＤ６６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ７５から供給される編集後の圧縮符号化データを記憶する。
The
ＣＰＵ７０は、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ６１から供給されたコマンドにしたがって、ＰＣＩブリッジ６７、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７が実行する処理を制御する。メモリ７１は、ＣＰＵ７０の処理に必要なデータを記憶する。
The
デコーダ７２乃至デコーダ７４は、そして、デコーダ７２乃至デコーダ７４は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ７２乃至デコーダ７４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ７４が、独立した装置として設けられている場合、デコーダ７４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
The
エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、デコーダ７２またはデコーダ７３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ７７に供給する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ７５に出力する。
The effect /
次に、編集装置５１の動作について説明する。
Next, the operation of the
ＨＤＤ６６には、Long GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。
The
ＣＰＵ６１は、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。
The
ＣＰＵ７０は、ＣＰＵ６１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。
Based on the information indicating the editing point supplied from the
具体的には、ＣＰＵ７０は、圧縮素材映像１において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定する。
Specifically, in the
すなわち、ＣＰＵ７０は、例えば、図３に示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ１１０になるように、再エンコードする区間の開始点を、圧縮素材映像１において、Ｐピクチャ８５の次のＢピクチャ８６に決定する。換言すれば、ＣＰＵ７０は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。
That is, for example, as shown in FIG. 3, the
また、ＣＰＵ７０は、圧縮素材映像２において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定する。
Further, the
すなわち、ＣＰＵ７０は、例えば、図３に示されるように、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャ１１１になるように、再エンコードする区間の終了点を、圧縮素材映像２において、Ｉピクチャ９１の前のＢピクチャ９０に決定する。
That is, for example, as shown in FIG. 3, the
そして、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３６およびＢピクチャ３７をデコードするために参照する必要があるピクチャである、Ｉピクチャ８１、Ｐピクチャ８２、Ｐピクチャ８３、Ｐピクチャ８４、および、Ｐピクチャ８５のデータをデコーダ７２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ８９およびＢピクチャ９０をデコードするために参照する必要があるピクチャである、Ｉピクチャ９１のデータをデコーダ７３に供給させる。
Then, the
また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ７５に供給させる。
At this time, the
ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、供給された圧縮符号化されたデータをデコードさせる。
The
デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ７６に供給する。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図３においては、Ｂピクチャ９３およびＢピクチャ９４のエンコードに必要なＰピクチャ９２、および、Ｂピクチャ１０７およびＢピクチャ１０８のエンコードに必要なＩピクチャ１０９に対応する画像データ）とともに、エンコーダ７７に供給する。
The
また、デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、再エンコードするピクチャの符号化難易度を把握するための統計量と、デコード前のピクチャタイプを示す情報を抽出し、ＣＰＵ７０に供給する。
Further, the
デコーダ７２およびデコーダ７３は、符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、ＣＰＵ７０に供給する。ピクチャの符号量と平均量子化スケールコードの積は、画像の複雑さを示すパラメータである、例えば、global complexity measureなどとして、ＴＭ５などのレート制御でも用いられている。エンコーダ７７は、ＴＭ５などで使われている計算式などを用いることで、各ピクチャの目標発生符号量を決定することができる。
The
また、デコーダ７２およびデコーダ７３に代わって、ＣＰＵ６１が、サウスブリッジ６５を制御して、圧縮素材映像２のデータをＨＤＤ６６から読み出させ、ノースブリッジ６２に供給させたとき、ノースブリッジ６２の圧縮素材映像２のデータから符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、ＣＰＵ７０に供給することができるようにしてもよい。
Further, instead of the
本発明が適用された編集装置５１におけるレート制御と、ＴＭ５などのレート制御との異なる点は、ＴＭ５などが、一旦エンコードした結果得られた統計量をもとにして、それに引き続く画像のエンコード方法を調整するフィードバック型の制御であるのに対して、本発明は、エンコードする前に難易度を判定する統計量を算出する、フィードフォワード型の制御であることである。
The difference between the rate control in the
また、global complexity measureは、各ピクチャタイプ毎の画像の複雑さを示すパラメータであるので、再エンコードの前後でピクチャタイプが異なると、デコード時に取得されたglobal complexity measureの情報を、エンコード時に利用することができない。よって、再エンコードする際には、ピクチャタイプを再エンコードの前後でできる限り一致させるように決定する必要がある。また、再エンコードの前後で参照画が異なるピクチャも、再エンコードの前後で、エンコードの条件が異なるため、デコード前の圧縮素材映像からの情報が利用できない。圧縮素材映像１において、再エンコードの前後で参照画が異なるピクチャは、編集点以降のピクチャを参照していたピクチャであるので、編集点から前方に向かって最初に存在するＩピクチャまたはＰピクチャと編集点との間にあるＢピクチャであり、図３における場合では、Ｂピクチャ１００に対応するピクチャより後ろのピクチャを参照していたピクチャであるので、Ｂピクチャ９９およびＢピクチャ１００が、再エンコードの前後で参照画が異なるピクチャである。また、圧縮素材映像２において、再エンコードの前後で参照画が異なるピクチャは、編集点より前のピクチャを参照していたピクチャであるので、編集点とその次に最初に存在するピクチャまたはＰピクチャと、それらの間にあるＢピクチャであり、図３における場合では、Ｐピクチャ１０１、Ｂピクチャ１０２、および、Ｐピクチャ１０３が、再エンコードの前後で参照画が異なるピクチャである。
Moreover, since the global complexity measure is a parameter indicating the complexity of the image for each picture type, if the picture type is different before and after re-encoding, the information of the global complexity measure obtained at the time of decoding is used at the time of encoding. I can't. Therefore, when re-encoding is performed, it is necessary to determine that the picture types are matched as much as possible before and after re-encoding. Also, pictures from different reference pictures before and after re-encoding cannot use information from the compressed material video before decoding because the encoding conditions are different before and after re-encoding. In the
これらの理由から、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャにおいては、取得された統計量を利用してエンコードを行うことができる。換言すれば、ＣＰＵ７０は、参照画が再エンコード前後で同じピクチャは、ピクチャタイプが再エンコード前後で同じとなるように、エンコーダ７７のエンコード処理を制御する。
For these reasons, when the picture type is the same before and after re-encoding and the reference picture is also the same picture, encoding can be performed using the acquired statistics. In other words, the
また、編集点前後のピクチャは、デコード前の圧縮素材映像からの情報が利用できず、またシーンチェンジが発生しているため符号化難易度が高くなっていることが予想され、特別な目標符号量の配分が必要になる。 In addition, it is expected that pictures before and after the editing point cannot be used from the compressed material video before decoding, and because the scene change has occurred, the encoding difficulty level is expected to be high. A distribution of quantity is required.
ＣＰＵ７０は、デコーダ７２およびデコーダ７３から供給された統計量（ピクチャの符号量と平均量子化スケールコード）を基に、例えば、ＴＭ５などで使われている計算式などを用いることで、global complexity measureを算出してエンコーダ７７に供給する。エンコーダ７７は、global complexity measureを基に、各ピクチャの目標発生符号量を算出し、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャを、算出された目標発生符号量を用いてエンコードさせる。
The
すなわち、ＣＰＵ７０は、デコーダ７２およびデコーダ７３から、再エンコードが行われる部分の、デコード前の圧縮素材映像１および圧縮素材映像２のピクチャタイプに関する情報を取得して保存しておき、エンコーダ７７におけるエンコード処理において、参照画が同一となるピクチャは、同一のピクチャタイプでエンコードが行われるように、エンコーダ７７の処理を制御する。また、ＣＰＵ７０は、編集点後の最初のＩピクチャまたはＰピクチャは、ＩピクチャまたはＰピクチャとしてエンコードされるように制御する。なお、参照画が異なるピクチャは、上述したように、エンコード条件が異なるために、デコード前の圧縮素材映像からの情報を利用することができないので、参照画が異なるピクチャのピクチャタイプは、エンコーダ７７が任意に決めるようにすればよい。
That is, the
また、ＣＰＵ７０は、圧縮素材映像２のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するＢピクチャの枚数ｎの情報を取得する。再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Ｉピクチャになるように決定されているので、Ｂピクチャの枚数ｎは、すなわち、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャと、編集後にそのＩピクチャの直前に存在するＩピクチャまたはＰピクチャとの間にあるＢピクチャの枚数である。図３における場合では、Ｂピクチャの枚数ｎは、Ｂピクチャ１０７およびＢピクチャ１０８の２枚である。
Further, the
更に、ＣＰＵ７０は、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャ、換言すれば、再エンコードする範囲の最後に存在するＩピクチャまたはＰピクチャのピクチャタイプの情報を取得する。図３における場合では、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャは、Ｐピクチャ１０６である。
Further, the
そして、ＣＰＵ７０は、エンコーダ７７が実行する処理において、再エンコード終了点付近のＢピクチャの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるように、エンコーダ７７を制御する。また、ＣＰＵ７０は、Ｂピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像２と同一となるように制御すると好適である。
Then, in the processing executed by the encoder 77, the
すなわち、ＣＰＵ７０は、図３における場合では、編集前の圧縮素材映像２のＢピクチャ８９およびＢピクチャ９０と、再エンコードにおけるＢピクチャ１０７およびＢピクチャ１０８のピクチャタイプがそろい、再エンコードにおけるＢピクチャ１０７およびＢピクチャ１０８の直前がＰピクチャ１０６となるように、エンコーダ７７を制御する。
That is, in the case of FIG. 3, the
エンコーダ７７は、ＣＰＵ７０の制御に基づいて、エフェクト／スイッチ７６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
The encoder 77 encodes the uncompressed edited video signal for re-encoding supplied from the effect /
そして、エンコーダ７７において再エンコードされた映像データは、ストリームスプライサ７５に供給される。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ７７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
The video data re-encoded by the encoder 77 is supplied to the
具体的には、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１のＰピクチャ１１０とエンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９３とがディスプレイオーダで連続するように接続され、エンコーダ７７から供給されたエンコードされた映像データのＢピクチャ１０８と、ＰＣＩブリッジ６７から供給された、圧縮素材映像２のＩピクチャ１１１とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
Specifically, the
実際のエンコードはコーディングオーダで行われ、エンコーダ７７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図３を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図４に示す。 Actual encoding is performed in the coding order, and the compressed video encoded by the encoder 77 is also output in the coding order. Corresponding to the case described with reference to FIG. 3, FIG. 4 shows the arrangement of pictures in a compressed signal in coding order.
部分エンコードされた圧縮映像データのうち、再エンコードの前後で参照画が異なるピクチャ、すなわち、コーディングオーダで、Ｐピクチャ１０１、Ｂピクチャ９９、Ｂピクチャ１００、Ｐピクチャ１０３、および、Ｂピクチャ１０２においては、取得した統計量を利用してエンコードを行うことができない。ＣＰＵ７０は、デコーダ７２およびデコーダ７３から供給された、符号化難易度を算出するための統計量であるピクチャの符号量と平均量子化スケールコードを基に、コーディングオーダで、Ｉピクチャ９５乃至Ｂピクチャ９７、Ｐピクチャ１０６乃至Ｂピクチャ１０５、Ｂピクチャ１０７、および、Ｂピクチャ１０８のそれぞれのピクチャのエンコードのための難易度（global complexity measure）を算出し、エンコーダ７７に供給する。
Among the partially encoded compressed video data, the pictures having different reference pictures before and after re-encoding, that is, in the coding order, in the
エンコーダ７７は、再エンコードの前後で参照画が等しいピクチャにおいては、ＣＰＵ７０から供給された符号化難易度によって決まる発生符号量でエンコードを行い、エンコード済みの圧縮映像データを、ストリームスプライサ７５に供給する。
The encoder 77 performs encoding with the generated code amount determined by the encoding difficulty level supplied from the
ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データのＢピクチャ１０５と圧縮素材映像２のＩピクチャ１１１（再エンコードされていないＩピクチャ）とがコーディングオーダで連続するように接続され、圧縮素材映像２のＩピクチャ１１１と、エンコードされた映像データのＢピクチャ１０７とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでＢピクチャ１０７に続くＢピクチャ１０８と、圧縮素材映像２のＰピクチャ１１２とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
Based on the control of the
換言すれば、ストリームスプライサ７５は、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームをつなぎ合わせる。
In other words, the
そして、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ６７に供給して、メモリ６８に保存させるとともに、デコーダ７４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ７４が、独立した装置として構成されている場合、デコーダ７４に対応する装置は、図３および図４を用いて説明したようにして生成された、換言すれば、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように接続された、編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。
Under the control of the
次に、図５のフローチャートを参照して、編集処理について説明する。 Next, editing processing will be described with reference to the flowchart of FIG.
ステップＳ１において、ＣＰＵ６１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。
In step S1, the
ステップＳ２において、メモリ６８は、圧縮符号化された２つの編集素材データを取得する。
In step S2, the
ステップＳ３において、ＣＰＵ７０は、ＣＰＵ６１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャになり、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。
In step S3, the
ステップＳ４において、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ７２およびデコーダ７３にそれぞれ供給させる。また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給させる。ＰＣＩブリッジ６７は、ＣＰＵ７０の制御に基づいて、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ７２およびデコーダ７３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給する。
In step S4, the
ステップＳ５において、ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ７６に供給する。
In step S5, the
ステップＳ６において、ＣＰＵ７０は、デコーダ７２およびデコーダ７３から、符号化難易度を計算するための統計量として、ピクチャの符号量と平均量子化スケールコード、および、デコード前のピクチャタイプの情報を取得する。
In step S6, the
ステップＳ７において、ＣＰＵ７０は、ピクチャの符号量と平均量子化スケールコードの積、すなわち、画像の複雑さを示すパラメータ（global complexity measure）を、エンコーダ７７における符号化難易度として算出する。
In step S <b> 7, the
ステップＳ８において、ＣＰＵ７０は、エフェクト／スイッチ７６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ７７に供給する。
In step S8, the
ステップＳ９において、ＣＰＵ７０は、エンコーダ７７を制御して、編集点で接続された非圧縮の復号映像素材を再エンコードさせる。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされた圧縮符号化された映像データを、ストリームスプライサ７５に供給する。
In step S9, the
このとき、ＣＰＵ７０およびエンコーダ７７は、図６を用いて後述するピクチャタイプ決定処理によって、エンコードのピクチャタイプを決定するとともに、図７を用いて後述する統計量利用決定処理に基づいて、ステップＳ７において算出された符号化難易度を用いてエンコードを行うか否かを決定する。
At this time, the
そして、ステップＳ１０において、図８を用いて後述する接続処理が実行され、処理は終了される。 In step S10, a connection process described later with reference to FIG. 8 is executed, and the process ends.
このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。 By such processing, the vicinity of the edit point of the compressed video data of the Open GOP structure of Long GOP is partially decoded, and after the decoded uncompressed video signal is connected at a predetermined edit point, re-encoding is performed, By connecting to the compressed video data of the part that has not been decoded and re-encoded, editing of the compressed video data of the Long GOP Open GOP structure can be realized.
次に、図６のフローチャートを参照して、再エンコード実行（図５のステップＳ９の処理）時におけるピクチャタイプ決定処理について説明する。 Next, the picture type determination process at the time of re-encoding (the process of step S9 in FIG. 5) will be described with reference to the flowchart in FIG.
ステップＳ３１において、ＣＰＵ７０は、圧縮符号化された映像素材２のデータにおいて、ディスプレイオーダで、再エンコードされる部分の最後に連続するＢピクチャの数ｎを取得し、再エンコードされる部分の最後に連続するＢピクチャの数ｎを基に、エンコーダ７７によるエンコード処理を制御する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、エフェクト／スイッチ７６から供給された、編集点で接続された映像素材データのエンコードを開始する。
In step S31, the
ステップＳ３２において、エンコーダ７７は、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであるか否かを判断する。ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであると判断された場合、処理は、後述するステップＳ３６に進む。 In step S32, the encoder 77 determines whether or not the picture to be encoded is the first I picture or P picture after the editing point. If it is determined in step S32 that the picture to be encoded is the first I picture or P picture after the editing point, the process proceeds to step S36 described later.
ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャではないと判断された場合、ステップＳ３３において、エンコーダ７７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ＋１番目のピクチャ、すなわち、図３におけるＰピクチャ１０６に対応するピクチャであるか否かを判断する。ステップＳ３３において、最後からｎ＋１番目のピクチャであると判断された場合、処理は、後述するステップＳ３８に進む。
If it is determined in step S32 that the picture to be encoded is not the first I picture or P picture after the editing point, in step S33, the encoder 77 displays the picture to be encoded in the display order and is the (n + 1) th from the end. Whether the picture corresponds to the
ステップＳ３３において、最後からｎ＋１番目のピクチャではないと判断された場合、ステップＳ３４において、エンコーダ７７は、エンコードするピクチャは、ディスプレイオーダで、最後からｎ番目以降のピクチャ、すなわち、図３におけるＢピクチャ１０７またはＢピクチャ１０８に対応するピクチャであるか否かを判断する。ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャであると判断された場合、処理は、後述するステップＳ４１に進む。
If it is determined in step S33 that the picture is not the (n + 1) th picture from the last, in step S34, the encoder 77 encodes the picture to be encoded in the display order and the nth picture from the last, that is, the B picture in FIG. It is determined whether the picture corresponds to the
ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャではないと判断された場合、すなわち、エンコードするピクチャが、最後からｎ＋２番目以前のピクチャ（図３におけるＰピクチャ１０６より時間的に前のピクチャ）であると判断された場合、ステップＳ３５において、エンコーダ７７は、エンコードするピクチャの参照画は、再エンコード前と同一であるか否か、すなわち、図３におけるＢピクチャ９９、Ｂピクチャ１００、Ｐピクチャ１０１、Ｂピクチャ１０２、または、Ｐピクチャ１０３のうちのいずれかであるか否かを判断する。
If it is determined in step S34 that the picture to be encoded is not the nth or later picture from the end, that is, the picture to be encoded is the n + 2th previous picture from the last (before the
ステップＳ３２において、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであると判断された場合、または、ステップＳ３５において、エンコードするピクチャの参照画は、再エンコード前と同一であると判断された場合、ステップＳ３６において、エンコーダ３７は、エンコードするピクチャは、編集点の後の最初のＩピクチャまたはＰピクチャであること、もしくは、エンコードするピクチャの参照画は、再エンコード前と同一であることを、ＣＰＵ７０に通知する。ＣＰＵ７０は、これらのピクチャのデコード前のピクチャタイプに関する情報をエンコーダ７７に供給する。エンコーダ７７は、エンコードするピクチャのピクチャタイプをデコード前のピクチャタイプとし、処理は、後述するステップＳ４２に進む。
If it is determined in step S32 that the picture to be encoded is the first I picture or P picture after the editing point, or in step S35, the reference picture of the picture to be encoded is the same as before re-encoding. In step S36, the
ステップＳ３５において、エンコードするピクチャの参照画は、再エンコード前と同一ではないと判断された場合、ステップＳ３７において、エンコーダ７７は、エンコードするピクチャのピクチャタイプを通常のアルゴリズムにしたがって設定し、処理は、後述するステップＳ４２に進む。 If it is determined in step S35 that the reference picture of the picture to be encoded is not the same as that before re-encoding, in step S37, the encoder 77 sets the picture type of the picture to be encoded in accordance with a normal algorithm, Then, the process proceeds to step S42 described later.
ステップＳ３３において、エンコードするピクチャは、最後からｎ＋１番目のピクチャ、すなわち、図３におけるＰピクチャ１０６に対応するピクチャであると判断された場合、ステップＳ３８において、エンコーダ７７は、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったか否かを判断する。
If it is determined in step S33 that the picture to be encoded is the (n + 1) th picture from the end, that is, the picture corresponding to the
ステップＳ３８において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャであったと判断された場合、ステップＳ３９において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＩピクチャに設定し、処理は、後述するステップＳ４２に進む。 If it is determined in step S38 that the picture to be encoded is an I picture in the compression-encoded video material 2, the encoder 77 sets the picture type of the picture to be encoded to I picture in step S39. Then, the process proceeds to step S42 described later.
ステップＳ３８において、エンコードするピクチャは、圧縮符号化された映像素材２のデータにおいて、Ｉピクチャではなかった、すなわち、Ｐピクチャであったと判断された場合、ステップＳ４０において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＰピクチャに設定し、処理は、後述するステップＳ４２に進む。 If it is determined in step S38 that the picture to be encoded is not an I picture in the data of the compression-encoded video material 2, that is, it is a P picture, the encoder 77 in step S40 The picture type is set to P picture, and the process proceeds to step S42 described later.
ステップＳ３４において、エンコードするピクチャは、最後からｎ番目以降のピクチャすなわち、図３におけるＢピクチャ７２またはＢピクチャ７３に対応するピクチャであると判断された場合、ステップＳ４１において、エンコーダ７７は、エンコードするピクチャのピクチャタイプをＢピクチャに設定し、処理は、ステップＳ４２に進む。
If it is determined in step S34 that the picture to be encoded is a picture corresponding to the nth picture from the last, that is, the picture corresponding to the
ステップＳ３６、ステップＳ３７、ステップＳ３９、ステップＳ４０、または、ステップＳ４１の処理の終了後、ステップＳ４２において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。 After step S36, step S37, step S39, step S40, or step S41, the encoder 77 determines in step S42 whether or not the last picture has been processed.
ステップＳ４２において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ４２において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。 If it is determined in step S42 that the process for the last picture has not been completed, the process returns to step S32, and the subsequent processes are repeated. If it is determined in step S42 that the process for the last picture has been completed, the process ends.
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集したときに、できるだけ統計量を再利用することができるようにするために、再エンコード前後で可能な限りピクチャタイプが同一となるように再エンコード時のピクチャタイプを決定することが可能となる。したがって、編集後の映像データの画質が向上する。 Through this process, the data near the editing point in the OpenGOP compressed material video of LongGOP is decoded, connected at the editing point, re-encoded, and then connected to the compressed material video data that has not been re-encoded for editing. In order to make it possible to reuse the statistic as much as possible, it is possible to determine the picture type at the time of re-encoding so that the picture type is the same as possible before and after the re-encoding. Therefore, the image quality of the edited video data is improved.
次に、図７のフローチャートを参照して、再エンコード実行（図５のステップＳ９の処理）時における統計量利用決定処理について説明する。 Next, with reference to the flowchart of FIG. 7, the statistic usage determination process at the time of re-encoding execution (the process of step S9 of FIG. 5) will be described.
ステップＳ６１において、エンコーダ７７は、ＣＰＵ７０から、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を取得する。
In step S61, the encoder 77 acquires from the
ステップＳ６２において、エンコーダ７７は、次にエンコードするピクチャは、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいか否かを判断する。 In step S62, the encoder 77 determines whether or not the next picture to be encoded has the same encoding condition, that is, the picture type and the reference picture, before and after re-encoding.
ステップＳ６２において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しいと判断された場合、ステップＳ６３において、エンコーダ７７は、算出された符号化難易度を用いてエンコードを行う。 In step S62, when it is determined that the next encoding picture has the same encoding condition before and after re-encoding, in step S63, the encoder 77 performs encoding using the calculated encoding difficulty level.
ステップＳ６２において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しくないと判断された場合、ステップＳ６４において、エンコーダ７７は、算出された符号化難易度を用いずにエンコードを行う。 If it is determined in step S62 that the next encoding picture has the same encoding condition before and after re-encoding, in step S64, the encoder 77 performs encoding without using the calculated encoding difficulty level.
ステップＳ６３、または、ステップＳ６４の処理の終了後、ステップＳ６５において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。ステップＳ６５において、最後のピクチャの処理が終了されていないと判断された場合、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。ステップＳ６５において、最後のピクチャの処理が終了されたと判断された場合、処理は終了される。 After step S63 or step S64, the encoder 77 determines in step S65 whether or not the last picture has been processed. If it is determined in step S65 that the processing of the last picture has not been completed, the processing returns to step S62, and the subsequent processing is repeated. If it is determined in step S65 that the last picture has been processed, the process ends.
このような処理により、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を用いて発生符号量が制御されるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いて画像を劣化してしまうことを防ぐようにすることができる。 By such processing, only before and after re-encoding, encoding conditions, that is, only in pictures with the same picture type and reference picture, are generated using the encoding difficulty calculated from the statistics obtained from the picture before re-encoding. Since the code amount is controlled, it is possible to prevent image deterioration due to re-encoding of pictures with the same encoding condition before and after re-encoding, and there is a possibility that a scene change before and after the editing point has occurred. In extremely high pictures, it is possible to prevent the image from being deteriorated by using the statistics before re-encoding.
次に、図８のフローチャートを参照して、図５のステップＳ１０において実行される接続処理について説明する。 Next, the connection process executed in step S10 of FIG. 5 will be described with reference to the flowchart of FIG.
ステップＳ９１において、ストリームスプライサ７５は、ＰＣＩブリッジ６７から供給された、再エンコードしない部分の圧縮素材映像１のデータ、すなわち、図３における場合では、ディスプレイオーダにおいて時間的にＰピクチャ１１０以前となるピクチャのデータを取得する。
In step S91, the
ステップＳ９２において、ストリームスプライサ７５は、エンコーダ７７から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図３における場合では、ディスプレイオーダにおいてＰピクチャ９２乃至Ｉピクチャ１０９に対応するピクチャを取得する。
In step S92, the
ステップＳ９３において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分すなわち、図３における場合では、Ｐピクチャ９２およびＩピクチャ１０９に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像１のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図３における場合では、ストリームスプライサ７５は、Ｐピクチャ１１０とＢピクチャ９３とがディスプレイオーダで連続するように接続する。
In step S93, the
ステップＳ９４において、ストリームスプライサ７５は、ＰＣＩブリッジ６７から供給された、再エンコードしない部分の圧縮素材映像２のデータ、すなわち、図３における場合では、ディスプレイオーダにおいて時間的にＩピクチャ１１１以降となるピクチャのデータを取得する。
In step S94, the
ステップＳ９５において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からｎ＋１番目のピクチャ、すなわち、図４における場合では、Ｂピクチャ１０５に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図４における場合では、Ｉピクチャ１１１に対応するピクチャを接続する。
In step S95, the
ステップＳ９６において、ストリームスプライサ７５は、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図４における場合では、Ｉピクチャ１１１に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からｎ枚のＢピクチャ、すなわち、図４における場合では、Ｂピクチャ１０７およびＢピクチャ１０８を接続する。
In step S96, the
そして、ステップＳ９７において、ストリームスプライサ７５は、再エンコードされた編集点付近の圧縮映像データの最後のＢピクチャ、すなわち、図４における場合では、Ｂピクチャ１０８の次に、再エンコードしない部分の圧縮素材映像２の２番目のＩまたはＰピクチャ、すなわち、図４における場合では、Ｐピクチャ１１２を接続し、処理は、図５のステップＳ１０にもどり、処理が終了される。
In step S97, the
このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、再エンコード時のピクチャタイプが制御され、必要に応じてデコード前の統計量を用いて算出された符号化難易度を利用して発生符号量が制御されてエンコードされた再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。 With this process, when editing LongGOP OpenGOP compressed material video, the picture type at the time of re-encoding is controlled, and if necessary, the encoding difficulty calculated using the statistics before decoding is used. Thus, it becomes possible to connect the compression-encoded data of the re-encoded portion encoded with the generated code amount controlled and the compression-encoded data of the portion not re-encoded.
このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法の編集において、２つ目のエンコーダを利用することなく、２パスエンコード方式と同様にして、ピクチャタイプと参照画とが編集前後で等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御することができるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いてしまうことにより画像が劣化してしまうことを防ぐようにすることができる。すなわち、本発明を適用することにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、２パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。 In this way, by applying the present invention, video material compressed by the Long GOP Open GOP method is partially decoded and re-encoded without using a second encoder. Similar to the two-pass encoding method, the generated code amount can be controlled using the encoding difficulty calculated by the statistical amount before re-encoding only in the picture with the same picture type and reference image before and after editing. As a result, image degradation due to re-encoding of pictures with the same encoding conditions before and after re-encoding can be prevented, and re-encoding is possible in pictures that are highly likely to have scene changes before and after the edit point. By using the statistics before encoding, it is possible to prevent the image from being deteriorated. That is, by applying the present invention, it is possible to prevent image quality degradation due to re-encoding as in the case of the 2-pass encoding method with almost no increase in cost compared to a normal feedback encoder.
なお、ここでは、少なくともディスプレイオーダで、最後からｎ＋１番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のＩピクチャまたはＰピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。 Here, it has been described that the picture type of the picture after the (n + 1) -th picture from the last in the display order is controlled so as not to be changed before and after editing. However, a predetermined I in a range to be re-encoded is described. The present invention is also applicable when the picture type of a picture including a picture or a P picture is controlled so as not to be changed before and after editing.
また、ここでは、図３および図４を用いて説明したようにして、再エンコードされたピクチャと再エンコードされないピクチャが接続される場合について説明したが、本発明は、異なる方法で再エンコードされたピクチャと再エンコードされないピクチャが接続される場合についても適用可能である。すなわち、再エンコードされたピクチャと再エンコードされないピクチャとの接続方法にかかわらず、再エンコード前のデコード処理、または、デコード前の素材映像データより、デコード前の圧縮画像データに関する情報を抽出し、再エンコード前後でピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御するようにすることにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、２パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。 In addition, here, the case where the re-encoded picture and the non-re-encoded picture are connected as described with reference to FIGS. 3 and 4 has been described. However, the present invention is re-encoded in a different manner. The present invention can also be applied to a case where a picture and a picture that is not re-encoded are connected. That is, regardless of the connection method between the re-encoded picture and the non-re-encoded picture, information related to the compressed image data before decoding is extracted from the decoding process before re-encoding or the source video data before decoding, and re-encoded. Only in pictures where the picture type and reference picture are the same before and after encoding, the amount of generated code is controlled using the encoding difficulty calculated by the statistics before re-encoding, so that the normal feedback encoder As compared with the two-pass encoding method, image quality deterioration due to re-encoding can be prevented with almost no increase in cost.
なお、ここでは、統計量により算出された符号化難易度として、ピクチャの符号量と平均量子化スケールコードの積であり、画像の複雑さを示すパラメータであるglobal complexity measureを利用するものとして説明したが、符号化難易度には、例えば、ＭＥ残差やイントラＡＣ（イントラＭＡＤと称される場合もある）など、異なるパラメータを用いるようにしてもよいことはいうまでもない。 Here, the coding difficulty calculated by the statistics is described as a product of the code amount of the picture and the average quantization scale code, and a global complexity measure that is a parameter indicating the complexity of the image is used. However, it goes without saying that different parameters such as ME residual and intra AC (sometimes referred to as intra MAD) may be used for the encoding difficulty level.
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図４を用いて説明した編集装置５１は、図９に示されるようなパーソナルコンピュータ３０１により構成される。
The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer For example, it is installed from a recording medium. In this case, for example, the
図９において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 9, a CPU (Central Processing Unit) 311 performs various processes according to a program stored in a ROM (Read Only Memory) 312 or a program loaded from a
ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。
The
入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。
A
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
この記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。
As shown in FIG. 9, the recording medium is distributed to supply a program to the user separately from the main body of the apparatus, and includes a magnetic disk 331 (including a floppy disk) on which the program is stored, an optical disk 332 ( Package media including CD-ROM (compact disk-read only memory), DVD (including digital versatile disk), magneto-optical disk 333 (including MD (mini-disk) (trademark)), or
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
なお、上述の実施の形態においては、編集装置５１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１０に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。
In the above-described embodiment, the
このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
At this time, the
さらに、上述の実施の形態においては、デコーダ７２乃至７４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ７７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
Further, in the above-described embodiment, the
例えば、デコーダ７２乃至７４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ７７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
For example, when the
さらに、上述の実施の形態においては、デコーダ７２乃至７４が完全に復号したベースバンド信号を、エンコーダ７７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ７２乃至７４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ７７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
Further, in the above-described embodiment, when the encoder 77 encodes the baseband signal completely decoded by the
更に、図１０に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
Furthermore, the
例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。
For example, when the
更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。
Further, when the
更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ７５やエフェクト／スイッチ７６が実行可能な機能を有する編集装置が利用される場合などに用いられる。
Further, the encoding device 351 that performs such partial decoding (executes some of the decoding process steps) and performs partial encoding (executes some of the encoding process steps). The present invention can also be applied to the
さらに、上述の実施の形態においては、ＣＰＵ６１およびＣＰＵ７０がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ６３およびメモリ７１がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１において１つのメモリとして構成する形態も考えられる。
Furthermore, in the above-described embodiment, the
さらに、上述の実施の形態においては、ＨＤＤ６６、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
Furthermore, in the above-described embodiment, the
さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。 Furthermore, in the above-described embodiment, the case where the compressed editing material is stored in the HDD has been described. However, the present invention is not limited to this, and for example, an optical disk, a magneto-optical disk, a semiconductor memory, a magnetic memory The present invention can also be applied when editing processing is performed using editing materials recorded on various recording media such as disks.
さらに、上述の実施の形態においては、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
Further, in the above-described embodiment, the
本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化または復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。 The present invention can be applied to an information processing apparatus of a system having an encoding or decoding algorithm similar to the MPEG information processing apparatus.
５１ 編集装置， ６１ ＣＰＵ， ６６ ＨＤＤ， ７０ ＣＰＵ， ７２乃至７４ デコーダ， ７５ ストリームスプライサ， ７６ エフェクト／スイッチ， ７７ エンコーダ 51 Editing Device, 61 CPU, 66 HDD, 70 CPU, 72 to 74 Decoder, 75 Stream Splicer, 76 Effect / Switch, 77 Encoder
Claims (10)
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、
前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
前記接続手段により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、
前記デコード手段、前記接続手段、前記エンコード手段、および、前記編集映像データ生成手段が実行する処理を制御する制御手段と
を備え、
前記制御手段は、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、前記デコード手段、または、前記デコード手段によりデコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、
取得された前記統計量を用いて前記難易度を算出し、
算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段を制御する
ことを特徴とする情報処理装置。 In an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
Decoding means for decoding video data in a predetermined range near an edit point of the first compressed video data and the second compressed video data;
A first non-compressed video signal generated by decoding the first compressed video data by the decoding means, and a second non-compressed signal generated by decoding the second compressed video data by the decoding means A connection means for connecting a video signal at the editing point to generate a third uncompressed video signal;
Encoding means for generating third compressed video data by encoding the third uncompressed video signal generated by being connected by the connection means;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and the first compressed video data generated by being encoded by the encoding means. Edited video data generating means for connecting the compressed video data of No. 3 and generating compressed encoded video data;
Control means for controlling the processing executed by the decoding means, the connecting means, the encoding means, and the edited video data generating means,
The control means includes
Statistics for calculating the degree of difficulty of encoding executed by the encoding means are used as the first compressed video data and the second compressed video data before being decoded by the decoding means or the decoding means. Get from
Calculate the difficulty using the acquired statistics,
The information processing apparatus, wherein the encoding unit is controlled so that a generated code amount of encoding executed by the encoding unit is controlled based on the calculated difficulty level.
ことを特徴とする請求項１に記載の情報処理装置。 The encoding unit controls the generated code amount based on the calculated difficulty when encoding conditions of a picture encoded by the encoding unit match before and after encoding by the encoding unit. The information processing apparatus according to claim 1.
ことを特徴とする請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the encoding condition is a picture type in encoding and a picture to be referred to.
前記エンコード手段は、前記制御手段による制御に基づいて、前記第１の圧縮映像データおよび前記第２の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、前記第１の圧縮映像データおよび前記第２の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定する
ことを特徴とする請求項２に記載の情報処理装置。 The control means obtains information about a picture type before encoding of a picture encoded by the encoding means;
The encoding means compares the first compressed video data and the second compressed video data based on the control by the control means, and the picture having the same reference picture when encoded is the first picture. The information processing apparatus according to claim 2, wherein the picture type is determined so that the picture type is the same as that of the first compressed video data and the second compressed video data.
前記難易度は、前記ピクチャの符号量と前記平均量子化スケールコードとの積である
ことを特徴とする請求項１に記載の情報処理装置。 The statistics are a code amount of a picture and an average quantization scale code,
The information processing apparatus according to claim 1, wherein the difficulty level is a product of a code amount of the picture and the average quantization scale code.
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする情報処理方法。 In an information processing method of an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and generated by being encoded by the process of the encoding step, An information processing method comprising: an edited video data generating step of connecting the third compressed video data and generating compressed encoded video data.
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。 A program for causing a computer to perform processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and generated by being encoded by the process of the encoding step, An edited video data generating step of connecting the third compressed video data to generate compressed encoded video data; Medium on which various programs are recorded.
前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第３の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。 A program for causing a computer to perform processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and encoded and generated by the process of the encoding step, An edited video data generating step of connecting the third compressed video data and generating compressed encoded video data. A program for causing a computer to execute the processing.
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段よるエンコード処理を制御する制御手段と
を備えることを特徴とする情報処理装置。 In an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
The first non-compressed video signal generated by decoding the first compressed video data in a predetermined range near the edit point and the second compressed video data are decoded in a predetermined range near the edit point. Encoding means for generating third compressed video data by encoding the third non-compressed video signal generated by connecting the second uncompressed video signal generated at the editing point;
The statistic for calculating the difficulty level of encoding executed by the encoding means is acquired from the first compressed video data and the second compressed video data before being decoded, and the acquired statistic Control means for controlling the encoding process by the encoding means so that the difficulty level is calculated by using and the generated code amount of encoding executed by the encoding means is controlled based on the calculated difficulty level An information processing apparatus comprising:
前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、
前記エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第１の圧縮映像データおよび前記第２の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、前記エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップと
を含むことを特徴とする情報処理方法。 In an information processing method of an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
The first non-compressed video signal generated by decoding the first compressed video data in a predetermined range near the edit point and the second compressed video data are decoded in a predetermined range near the edit point. Encoding a third uncompressed video signal generated by connecting the second uncompressed video signal generated at the editing point to generate third compressed video data;
A statistic for calculating the difficulty level of encoding executed by the process of the encoding step is acquired from the first compressed video data and the second compressed video data before being decoded, and the acquired The degree of difficulty is calculated using a statistic, and based on the calculated degree of difficulty, the encoding amount generated by the encoding step is controlled so that the amount of generated code executed by the encoding step is controlled. An information processing method comprising: an encoding control step for controlling processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004245377A JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004245377A JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006067098A true JP2006067098A (en) | 2006-03-09 |
Family
ID=36113202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004245377A Withdrawn JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006067098A (en) |
-
2004
- 2004-08-25 JP JP2004245377A patent/JP2006067098A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4207072B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| JP4221676B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| KR101119685B1 (en) | Information processing apparatus, information processing method, and recording medium | |
| KR100834322B1 (en) | Image encoding apparatus, picture encoding method and image editing apparatus | |
| KR20160003342A (en) | Software video transcoder with gpu acceleration | |
| US7558465B2 (en) | Information processing apparatus and information processing method, recording medium, and program | |
| KR101450864B1 (en) | Information processing apparatus and method, and recording medium | |
| JP4342139B2 (en) | Signal processing device | |
| US20070263731A1 (en) | Moving Picture Re-Encoding Apparatus, Moving Picture Editing Apparatus, Program, and Recording Medium | |
| US6271774B1 (en) | Picture data processor, picture data decoder and picture data encoder, and methods thereof | |
| JP4224778B2 (en) | STREAM CONVERTING APPARATUS AND METHOD, ENCODING APPARATUS AND METHOD, RECORDING MEDIUM, AND PROGRAM | |
| JP2000197010A (en) | Picture data editing device | |
| JP2007235989A (en) | Image processing apparatus and image processing method, program, and recording medium | |
| JP2006067098A (en) | Information processing apparatus, information processing method, recording medium and program | |
| JP4333522B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| JPH114444A (en) | Image coder and its method | |
| JP2002300585A (en) | Compression coding apparatus | |
| JP2008066845A (en) | Information processing apparatus and method, recording medium, and program | |
| JPH11122580A (en) | Edit device for image signal, coder and decoder | |
| JP2010130516A (en) | Device and method for editing image | |
| JP2009049826A (en) | Coding device, coding method, program of coding method, and recording medium with program of coding method recorded thereon | |
| JP2000295567A (en) | Coded data editor | |
| JP2003309803A (en) | Video stream editor | |
| JPH11243525A (en) | Dynamic image editor and dynamic image editing method | |
| JP2008066846A (en) | Information processor and information processing method, recording medium, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |