JP4974583B2 - Image encoding apparatus and encoding method - Google Patents

Description

本発明は、映像情報、特には動画像情報を符号化する技術に関する。   The present invention relates to a technique for encoding video information, particularly moving image information.

近年、映像情報に対する高画質化のニーズは高まりつつあり、テレビ放送も従来の７２０×４８０画素のＳＤ（標準画質）から、１９２０×１０８０画素のＨＤ（高画質）に移行しつつある。   In recent years, there is an increasing need for high image quality for video information, and television broadcasting is also shifting from the conventional SD (standard image quality) of 720 × 480 pixels to HD (high image quality) of 1920 × 1080 pixels.

高画質化によりデータ量が増大するため、一層高能率な符号化アルゴリズムの開発が望まれている。そして、ＩＴＵ−Ｔ ＳＧ１６やＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１で、フレーム間予測を用いた圧縮符号化方式の標準化作業が進められている。   Since the amount of data increases as a result of higher image quality, development of a more efficient encoding algorithm is desired. In ITU-T SG16 and ISO / IEC JTC1 / SC29 / WG11, standardization work of a compression coding method using interframe prediction is in progress.

現状、最も高能率符号化を実現しているといわれる符号化方式に、Ｈ．２６４／ＡＶＣ（ＭＰＥＧ−４ ＰＡＲＴ１０）がある。この符号化方式において新たに導入された技術的な特徴の一つは、フレーム間予測符号化に用いる参照画像を、複数のフレームの中から選択可能である点である。つまり、時間的に離れた画像フレームでも、符号化効率の向上が見込まれるのなら参照画像に採用することが可能となる。
しかしながら、このような柔軟な参照画像の選択を許容したことによる高能率符号化の実現は、特殊再生時の問題を提起する（特許文献１参照）。 Currently, H.264 is an encoding method that is said to realize the most efficient encoding. H.264 / AVC (MPEG-4 PART10). One of the technical features newly introduced in this encoding method is that a reference image used for interframe predictive encoding can be selected from a plurality of frames. That is, even an image frame that is separated in time can be adopted as a reference image if an improvement in encoding efficiency is expected.
However, realization of high-efficiency coding by allowing such flexible reference image selection raises a problem during special reproduction (see Patent Document 1).

従来、動画像情報の符号化に広く用いられているＭＰＥＧ２方式においては、各画像フレームをフレーム内符号化、順方向のフレーム間符号化、双方向のフレーム間符号化のいずれかにより符号化する。そして、符号化フレームを、適用された符号化方式によってＩピクチャ、Ｐピクチャ及びＢピクチャと呼ぶ。   Conventionally, in the MPEG2 system widely used for encoding moving image information, each image frame is encoded by either intraframe encoding, forward interframe encoding, or bidirectional interframe encoding. . The encoded frames are referred to as I picture, P picture, and B picture depending on the applied encoding scheme.

ＭＰＥＧ２方式では、Ｐピクチャの参照画像は直前のＩピクチャ又はＰピクチャに限定されていた。そのため、ＩピクチャとＰピクチャだけを抜き出し、正しく復号化して再生することが可能であり、例えば高速再生を容易に実現することができた。   In the MPEG2 system, the reference picture of the P picture is limited to the immediately preceding I picture or P picture. Therefore, it is possible to extract only the I picture and the P picture and correctly decode and reproduce them. For example, high-speed reproduction can be easily realized.

しかし、Ｈ．２６４方式では、Ｐピクチャが複数の画像を参照画像とできるだけでなく、Ｂピクチャを参照画像とすることも許容している。従って、符号化画像ストリームからＩピクチャとＰピクチャだけを抜き出して再生しようとした場合、Ｂピクチャを参照画像としているＰピクチャは、正常な復号化を行なうことが困難となる。   However, H. In the H.264 system, not only a P picture can be used as a reference image but also a B picture can be used as a reference picture. Accordingly, when only the I picture and the P picture are extracted from the encoded image stream and reproduced, it is difficult to perform normal decoding on the P picture using the B picture as a reference image.

特許文献１では、高速再生を行なう場合、Ｉピクチャから次のＩピクチャの直前のピクチャまでの間は、Ｉピクチャから少なくとも１枚目のＰピクチャまでの、時間的に連続するフレーム群を復号化する。そして、復号化したフレーム群に含まれるＩピクチャとＰピクチャのみを再生している。   In Patent Document 1, when performing high-speed playback, a group of temporally continuous frames from an I picture to at least the first P picture is decoded between the I picture and the picture immediately before the next I picture. To do. Only the I picture and P picture included in the decoded frame group are reproduced.

特開２００４−３２８５１１号公報（段落［０１６６］、図１２及び段落［０１８７］）JP 2004-328511 A (paragraph [0166], FIG. 12 and paragraph [0187])

前述のように、Ｈ．２６４方式では、フレーム間符号化時の参照画像を柔軟に選択可能としたために、特殊再生に利用可能なピクチャは原則としてＩピクチャだけとなってしまった。   As mentioned above, H.M. In the H.264 system, since a reference image at the time of interframe coding can be flexibly selected, in principle, only pictures that can be used for special reproduction are I pictures.

なお、特許文献１では、ＩピクチャからＰピクチャまでのピクチャを抜き取れば、ＩピクチャとＰピクチャは復号できるように説明されている。しかし、Ｈ．２６４／ＡＶＣ標準では、Ｐピクチャに参照されるＢピクチャが、Ｉピクチャよりもさらに古いピクチャを参照することを許容しているので、Ｐピクチャが復号化できない可能性もある。特許文献１ではこのような場合の対策については開示していない。   Note that Patent Document 1 describes that if pictures from I picture to P picture are extracted, the I picture and the P picture can be decoded. However, H. In the H.264 / AVC standard, a B picture referred to by a P picture allows a picture older than an I picture to be referenced, and therefore there is a possibility that the P picture cannot be decoded. Patent Document 1 does not disclose a countermeasure for such a case.

また、ＭＰＥＧ方式においては、所定数の連続したピクチャからなるピクチャ群をグループオブピクチャ（ＧＯＰ）として管理し、ＧＯＰを単位として符号化を管理する。高能率な符号化を実現するためには、ＧＯＰを構成するピクチャ数を多くすることが望ましいが、特許文献１では、途中でＧＯＰ構造が変化した場合の特殊再生方法に関しても記載されていない。   In the MPEG system, a group of pictures composed of a predetermined number of consecutive pictures is managed as a group of pictures (GOP), and encoding is managed in units of GOPs. In order to realize high-efficiency encoding, it is desirable to increase the number of pictures constituting a GOP. However, Patent Document 1 does not describe a special reproduction method when the GOP structure changes during the process.

本発明はこのような従来技術の問題点に鑑みてなされたものである。そしてグループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法を提供することを目的とする。   The present invention has been made in view of such problems of the prior art. And even if the number of pictures constituting a group changes, an encoding device capable of performing encoding including encoded pictures that can easily perform special reproduction while suppressing a decrease in encoding efficiency An object of the present invention is to provide an encoding method.

すなわち、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるＩピクチャ、フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択手段と、選択手段が選択したピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化手段と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、（１）Ｉピクチャ、又は、（２）参照可能なピクチャがＩピクチャ又は所定のピクチャ間隔に対応する他の第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置によって達成される。 That is, the above-described object is to manage each picture constituting a moving picture in a plurality of groups, and to encode each picture using either an intra-frame predictive coding system or an inter-frame predictive coding system. an apparatus, the number of pictures included in each group, and determining means for determining possible variation in each group, for each picture, I picture to be encoded using intra-frame predictive coding, inter-frame The first P picture or B picture that is encoded using the predictive encoding scheme, and the first P picture that is encoded using the interframe predictive encoding scheme and the reference relationship during interframe prediction code selection means for selecting one among the second P-picture, each picture based on a coding scheme corresponding to the type of picture which the selection means has selected with no restrictions Encoding means for, even if changing the number of pictures in each group, over a plurality of groups, each given picture interval, (1) I-picture, or, (2) referable picture so it second P-picture that is limited to the other of the second P-picture corresponding to I-picture or predetermined picture interval, is selected, and control means for controlling by that election択動operation in selection means, It is achieved by an encoding device characterized by having

また、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、選択手段が、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるＩピクチャ、フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択工程と、符号化手段が、選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化工程と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、（１）Ｉピクチャ、又は、（２）参照可能なピクチャがＩピクチャ又は所定のピクチャ間隔に対応する他の第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、制御手段が選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法によっても達成される。 In addition, the above-described object is to perform encoding in which each picture constituting a moving image is managed by a plurality of groups, and each picture is encoded using either an intra-frame predictive encoding scheme or an inter-frame predictive encoding scheme. a method, determining means, the number of pictures included in each group, and determining step of determining to be varied for each group, the selection means, for each picture, using the frame prediction coding method codes I picture to be encoded, first P picture or B picture encoded using the inter-frame prediction encoding method, and reference relationship when inter-frame prediction is encoded using the inter-frame prediction encoding method the first selection step of selecting one among the second P-picture having no restriction on the P picture, coding means, corresponding to the type of picture which is selected in the selection step A coding step of coding each picture on the basis of Goka scheme, even if changing the number of pictures in each group, over a plurality of groups, each given picture interval, (1) I picture, or, (2) such that the second P-picture can be referred picture is limited to a second other P-pictures corresponding to the I-picture or predetermined picture interval, is selected, the control means selects and a control step of controlling that election択動work put into the process, also achieved by the encoding method characterized by having a.

このような構成により、本発明によれば、グループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法が実現できる。   With such a configuration, according to the present invention, even if the number of pictures constituting a group changes, the coded picture that can easily perform special reproduction is included while suppressing a decrease in coding efficiency. An encoding apparatus and an encoding method capable of performing encoding can be realized.

以下、図面を参照して本発明をその好適な実施形態に基づいて説明する。
＜第１の実施形態＞
図２は、本発明の第１の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラ（ＶＣＲ）の構成例を示すブロック図である。 Hereinafter, the present invention will be described based on preferred embodiments with reference to the drawings.
<First Embodiment>
FIG. 2 is a block diagram illustrating a configuration example of a video camera (VCR) as an example of an image encoding device and an image decoding device according to the first embodiment of the present invention.

図において、ＵＩ処理部１０は、スイッチ、ボタン、タッチパネル、ダイヤル等を有し、ユーザがビデオカメラに対して動作指示や設定を行なうために用いられる。ＵＩ処理部１０に対する操作は、制御部２０へ伝えられる。   In the figure, a UI processing unit 10 includes a switch, a button, a touch panel, a dial, and the like, and is used by a user to perform operation instructions and settings for a video camera. An operation on the UI processing unit 10 is transmitted to the control unit 20.

制御部２０は例えばマイクロコンピュータであり、例えば内部ＲＯＭに記憶された制御プログラムを実行して各部の動作を制御することにより、ビデオカメラ全体を制御する。映像入力部１００は、レンズや撮像素子、Ａ／Ｄコンバータ等を有し、被写体映像をディジタルデータに変換して出力する。符号化処理部２００は、映像入力部１００からのデジタル画像データを圧縮符号化する。   The control unit 20 is a microcomputer, for example, and controls the entire video camera by executing a control program stored in an internal ROM and controlling the operation of each unit, for example. The video input unit 100 includes a lens, an image sensor, an A / D converter, and the like, converts a subject video into digital data and outputs the digital data. The encoding processing unit 200 compresses and encodes the digital image data from the video input unit 100.

記録処理部３００は、符号化処理部２００で圧縮符号化されたデジタル画像データを、所定の記録方式でテープ、ディスク或いは半導体メモリ等の記録媒体４００に記録する。再生処理部５００は、記録媒体４００から符号化画像データを読み出す。復号化処理部６００は、再生処理部５００が読み出した符号化画像データを復号化する。映像出力部７００は、ＬＣＤ等の表示部を有し、復号された画像データや、設定画面等を表示する。   The recording processing unit 300 records the digital image data compressed and encoded by the encoding processing unit 200 on a recording medium 400 such as a tape, a disk, or a semiconductor memory by a predetermined recording method. The reproduction processing unit 500 reads encoded image data from the recording medium 400. The decoding processing unit 600 decodes the encoded image data read by the reproduction processing unit 500. The video output unit 700 includes a display unit such as an LCD, and displays decoded image data, a setting screen, and the like.

このような構成を有するビデオカメラの記録動作について説明する。
ユーザがＵＩ処理部１０を介して記録開始を指示すると、制御部２０は映像入力部１００、符号化処理部２００、記録処理部３００を制御して記録処理を開始する。記録時、被写体映像は映像入力部１００により撮影され、デジタル画像データとして出力される。画像データは、符号化処理部２００で符号化され、データ量を圧縮された符号化画像データとして出力される。なお、本実施形態においては、後述する特殊再生用ピクチャの処理も符号化処理部２００で行なう。符号化画像データは、記録処理部３００で記録媒体４００に適応した信号処理が施された後、記録媒体４００に記録される。 A recording operation of the video camera having such a configuration will be described.
When the user instructs to start recording via the UI processing unit 10, the control unit 20 controls the video input unit 100, the encoding processing unit 200, and the recording processing unit 300 to start the recording process. At the time of recording, the subject video is captured by the video input unit 100 and output as digital image data. The image data is encoded by the encoding processing unit 200 and output as encoded image data in which the data amount is compressed. In the present embodiment, the encoding processing unit 200 also performs special playback picture processing, which will be described later. The encoded image data is recorded on the recording medium 400 after the recording processing unit 300 performs signal processing suitable for the recording medium 400.

なお、本実施形態におけるビデオカメラは、映像入力部（カメラ）１００から入力される画像データだけでなく、図示しない外部入力端子を介して外部から入力される（ライン入力される）画像データを符号化、記録することが可能である。   The video camera according to the present embodiment encodes not only image data input from the video input unit (camera) 100 but also image data input from the outside (line input) via an external input terminal (not shown). Can be recorded.

次に、特殊再生動作に関して説明する。ユーザがＵＩ処理部１０を介して特殊再生の開始を指示すると、制御部２０は再生処理部５００、復号化処理部６００及び映像出力部７００を制御して特殊再生処理を開始する。 Next, the special reproduction operation will be described. When the user instructs the start of special playback via the UI processing unit 10, the control unit 20 controls the playback processing unit 500, the decoding processing unit 600, and the video output unit 700 to start the special playback processing.

再生処理部５００は、記録媒体４００に記録された符号化画像データの中から、後述する特殊再生ピクチャの符号化画像データを読み出し、復号化処理に適した信号処理を施す。読み出された特殊再生ピクチャの符号化画像データは、復号化処理部６００で画像データとして復号される。復号された画像データは逐次映像出力部７００で出力され、特殊再生表示が実現される。   The reproduction processing unit 500 reads out encoded image data of a special reproduction picture (to be described later) from the encoded image data recorded on the recording medium 400, and performs signal processing suitable for decoding processing. The encoded image data of the read special reproduction picture is decoded by the decoding processing unit 600 as image data. The decoded image data is sequentially output by the video output unit 700, and special reproduction display is realized.

（符号化処理）
次に、本実施形態の符号化処理部２００の構成及び動作について説明する。
図３は、本実施形態の符号化処理部２００の構成例を示すブロック図である。
図において、映像入力部１００が出力するデジタル画像データは、画像入力部２１０を介して供給される。減算器２１２は、入力画像データから、後述する予測画像情報を減算する。変換部（ＤＣＴ）２１４は、減算器２１２の出力する、画像の差分データ（予測誤差データ）に対して４×４の整数直交変換を適用する。 (Encoding process)
Next, the configuration and operation of the encoding processing unit 200 of this embodiment will be described.
FIG. 3 is a block diagram illustrating a configuration example of the encoding processing unit 200 of the present embodiment.
In the figure, digital image data output from the video input unit 100 is supplied via an image input unit 210. The subtractor 212 subtracts predicted image information described later from the input image data. The transform unit (DCT) 214 applies 4 × 4 integer orthogonal transform to the difference data (prediction error data) of the image output from the subtractor 212.

量子化部（Ｑ）２１６は、変換部２１４の出力する変換係数を、所定の量子化スケールで量子化する。エントロピー符号化部（ＥＣ）２１８は、量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮する。   The quantization unit (Q) 216 quantizes the transform coefficient output from the transform unit 214 with a predetermined quantization scale. The entropy encoding unit (EC) 218 performs entropy encoding processing on the quantized transform coefficient to compress the data.

逆量子化部（Ｉ−Ｑ）２３０は量子化された変換係数に対して逆量子化処理を施す。逆変換部（Ｉ−ＤＣＴ）２３２は、逆量子化された変換係数に逆整数直交変換を行ない、画像の差分データに戻す。加算器２３４は、復元された画像の差分データに、後述する予測画像データを加算する。   The inverse quantization unit (I-Q) 230 performs an inverse quantization process on the quantized transform coefficient. The inverse transform unit (I-DCT) 232 performs inverse integer orthogonal transform on the inversely quantized transform coefficient and returns the difference data of the image. The adder 234 adds predicted image data to be described later to the restored image difference data.

第１フレームメモリ（ＦＭ）２３６は、後述する予測画像データにより復元された画像データ（局所復号画像データ）を保持する。イントラ予測符号化部（Ｉｎｔｒａ）２４０は、第１フレームメモリ２３６に保持された画像データを所定のブロック単位に分割し、各ブロックの画像データをブロック周辺の画素から予測し、予測画像データを生成する。スイッチ部２６０は、ピクチャ制御部２８０の制御に従い、イントラ予測符号化部２４０と後述するインター予測符号化部２５６の一方の出力を予測画像データとして出力する。   The first frame memory (FM) 236 holds image data (local decoded image data) restored by predicted image data described later. The intra prediction encoding unit (Intra) 240 divides the image data held in the first frame memory 236 into predetermined block units, predicts the image data of each block from pixels around the block, and generates predicted image data. To do. The switch unit 260 outputs one output of the intra prediction encoding unit 240 and an inter prediction encoding unit 256 described later as predicted image data in accordance with the control of the picture control unit 280.

デブロッキングフィルタ（ＤＢＦ）２５０は、後述する予測画像データにより復元された画像データに対し、符号化単位ブロックの境界おける不連続性（所謂ブロックノイズ）を補正する。第２フレームメモリ２５２は、ブロック境界補正処理が行われた復元画像データを、後述する予測画像データの参照画像として利用するために保持する。   The deblocking filter (DBF) 250 corrects discontinuity (so-called block noise) at the boundary of the encoding unit block with respect to image data restored by predictive image data described later. The second frame memory 252 holds the restored image data on which the block boundary correction processing has been performed in order to use it as a reference image of predicted image data described later.

インター予測符号化部２５６は、画像入力部２１０から入力される現在の画像データと、第２フレームメモリ２５２に保持される参照画像とから動き情報を求め、現在の画像データの予測画像データを生成する。ピクチャ制御部２８０は、ピクチャ（フレーム）毎に、適用する予測符号化方法を決定する。   The inter prediction encoding unit 256 obtains motion information from the current image data input from the image input unit 210 and the reference image stored in the second frame memory 252 and generates predicted image data of the current image data. To do. The picture control unit 280 determines a predictive coding method to be applied for each picture (frame).

次に、符号化動作について説明する。
画像入力部２１０から入力された画像データは、減算器２１２で予測画像データを減算され、予測画像データとの差分データが得られる。差分データは、変換部２１４でＤＣＴ等の整数直交変換が施され、周波数成分データに変換される。各周波数成分に対応する変換係数は、量子化部２１６で所定のステップ幅で量子化される。量子化された変換係数データはエントロピー符号化部２１８で圧縮符号化される。さらに、エントロピー符号化部２１８では、後述する予測符号化ピクチャに関する情報も含め、多重化されて圧縮符号化される。 Next, the encoding operation will be described.
The image data input from the image input unit 210 is subtracted from the predicted image data by the subtractor 212 to obtain difference data from the predicted image data. The difference data is subjected to integer orthogonal transformation such as DCT in the transformation unit 214 and transformed into frequency component data. The transform coefficient corresponding to each frequency component is quantized by the quantization unit 216 with a predetermined step width. The quantized transform coefficient data is compression encoded by the entropy encoding unit 218. Furthermore, the entropy encoding unit 218 multiplexes and compresses and encodes information including information related to predictive encoded pictures described later.

次に、予測画像データの処理について説明する。予測画像データは、入力された予測符号化対象画像内を参照するイントラ予測符号化方式による生成方法と、入力された予測符号化対象画像以外を参照するインター予測符号化方式による生成方法がある。   Next, processing of predicted image data will be described. Predictive image data includes a generation method based on an intra-prediction encoding scheme that refers to the input prediction encoding target image, and a generation method based on an inter-prediction encoding scheme that refers to other than the input prediction encoding target image.

まず、イントラ符号化予測方式による予測画像情報の生成方法について説明する。
量子化部２１６で量子化された変換係数を逆量子化部２３０で逆量子化し、変換係数を復元する。復元された変換係数は、さらに逆整数直交変換部２３２で逆整数直交変換を行なうことで、入力画像データと予測画像データとの差分データとして復元される。復元された差分データに対し、加算器２３４で後述する予測画像データを加算することにより、入力画像の復元画像データ（局所復号画像データ）が得られる。 First, a method for generating predicted image information using an intra-coded prediction method will be described.
The transform coefficient quantized by the quantization unit 216 is inversely quantized by the inverse quantization unit 230 to restore the transform coefficient. The restored transform coefficient is further restored as difference data between the input image data and the predicted image data by performing inverse integer orthogonal transform in the inverse integer orthogonal transform unit 232. By adding predicted image data, which will be described later, to the restored difference data, an adder 234 provides restored image data (local decoded image data) of the input image.

この復元画像データを第１フレームメモリ２３６に記憶する。そして、この復元画像データに対し、イントラ予測符号化部２４０を用いてイントラ予測符号化を行なう。具体的には、復元画像データを所定サイズのブロック単位に分割し、各ブロック内の復元画像データを、ブロックの周辺画素値から予測する。予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、イントラ予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ａを選択させる。
このイントラ予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。 The restored image data is stored in the first frame memory 236. Then, intra prediction encoding is performed on the restored image data using the intra prediction encoding unit 240. Specifically, the restored image data is divided into blocks of a predetermined size, and the restored image data in each block is predicted from the peripheral pixel values of the block. The predicted image data is sent to the switch unit 260. The switch unit 260 is controlled by a control unit 280, which will be described later, and when outputting predicted image data based on the intra prediction encoding method, the control unit 280 causes the switch 260c to select 260a.
Predicted image data by this intra prediction encoding method is sent from the switch unit 260 to the subtractor 212 and the adder 234, and is used to generate predicted image difference data and restored image data.

次に、インター予測符号化方式による予測画像データ生成方法について説明する。
加算器２３４で復元画像データを得るまでは上述した通りであるため、説明を省略する。加算器２３４で得られた復元画像データは、後述するブロック単位の境界におけるデータの不連続性（ブロックひずみ）を排除するために、デブロッキングフィルタ部２５０に送られる。デブロッキングフィルタ部２５０では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。ただし、デブロッキングフィルタはオプションであり、復元画像データにおけるブロックひずみが十分に少ないと判断されるときは、フィルタ処理を行わなくてもよい。 Next, a prediction image data generation method using the inter prediction encoding method will be described.
The process until the restored image data is obtained by the adder 234 is the same as described above, and a description thereof will be omitted. The restored image data obtained by the adder 234 is sent to the deblocking filter unit 250 in order to eliminate data discontinuity (block distortion) at a block unit boundary, which will be described later. The deblocking filter unit 250 performs predetermined filter processing on the pixel data adjacent to the block boundary, and suppresses discontinuity of the data on the block boundary. However, the deblocking filter is an option, and when it is determined that the block distortion in the restored image data is sufficiently small, the filtering process may not be performed.

フィルタ処理された復元画像データは、第２フレームメモリ２５２に記憶する。なお、第２フレームメモリ２５２は複数フレーム（ピクチャ）分の復元画像データを保持可能な容量を有する。   The restored restored image data is stored in the second frame memory 252. The second frame memory 252 has a capacity capable of holding restored image data for a plurality of frames (pictures).

インター予測符号化部２５６では、画像入力部２１０から供給される予測符号化対象の入力画像と、第２フレームメモリ２５２に記憶された複数の復元画像データとの相関をブロック単位で求める。そして、符号化対象ブロックと、復元画像データ中のブロックのうち相関が最も高いブロックとの相対位置関係を動き情報として検出する。さらに、この動き情報と、復元画像データに基づく予測画像データとを生成する。   The inter prediction encoding unit 256 obtains a correlation between the input image to be predicted encoding supplied from the image input unit 210 and a plurality of restored image data stored in the second frame memory 252 in units of blocks. Then, the relative positional relationship between the encoding target block and the block having the highest correlation among the blocks in the restored image data is detected as motion information. Further, the motion information and predicted image data based on the restored image data are generated.

生成されたインター予測符号化方式による予測画像データは、スイッチ部２６０に送られる。スイッチ部２６０は後述する制御部２８０によって制御され、インター予測符号化方式による予測画像データを出力する場合には、制御部２８０がスイッチ２６０ｃに２６０ｂを選択させる。
このインター予測符号化方式による予測画像データは、スイッチ部２６０から減算器２１２や加算器２３４に送られ、予測画像差分データと復元画像データの生成に使われる。 The generated prediction image data by the inter prediction encoding method is sent to the switch unit 260. The switch unit 260 is controlled by a control unit 280, which will be described later. When outputting predicted image data based on the inter prediction encoding method, the control unit 280 causes the switch 260c to select 260b.
Predicted image data by this inter prediction encoding method is sent from the switch unit 260 to the subtractor 212 and the adder 234, and is used to generate predicted image difference data and restored image data.

制御部２８０は、予測符号化方式を選択する所定の方法によって、イントラ予測符号化方式（Ｉ）の場合は、スイッチ２６０ｃを２６０ａに、インター予測符号化方式（Ｐ，Ｂ）の場合は、スイッチ２６０ｃを２６０ｂに接続する。   The control unit 280 switches the switch 260c to 260a in the case of the intra-prediction coding method (I), and switches to 260a in the case of the inter-prediction coding method (P, B) according to a predetermined method for selecting the prediction coding method. Connect 260c to 260b.

さらに、制御部２８０は、インター予測符号化方式の場合は、インター予測符号化部２５６に対して、前方予測インター予測符号化方式（前方予測方式：Ｐ）か双方向予測インター符号化方式（双方向予測方式：Ｂ）かの指示をピクチャ単位に生成する。   Furthermore, in the case of the inter prediction encoding method, the control unit 280 makes a forward prediction inter prediction coding method (forward prediction method: P) or a bi-directional prediction inter coding method (both for the inter prediction coding unit 256). The direction prediction method: B) is generated for each picture.

前方予測方式とは、予測符号化に用いる参照画像データを、表示順で符号化対象ピクチャより前の１枚の画像から復元された復元画像データに制限するインター予測符号化方式である。一方、双方向予測方式は、このような表示順に関する制限がなく、最大２枚の画像から復元された復元画像データを参照して、予測符号化することが可能である。
制御部２８０においてピクチャ単位で選択された予測符号化方式（Ｉ，Ｐ，Ｂ）は、エントロピー符号化部２１８に送られ、符号化データに多重化される。 The forward prediction method is an inter prediction coding method in which reference image data used for predictive coding is limited to restored image data restored from one image before the encoding target picture in display order. On the other hand, the bi-directional prediction method is not limited with respect to such display order, and can be predictively encoded with reference to restored image data restored from a maximum of two images.
The predictive coding scheme (I, P, B) selected in units of pictures in the control unit 280 is sent to the entropy coding unit 218 and multiplexed into the coded data.

本実施形態においては、説明の簡略化のため、予測符号化方式をピクチャ単位で選択するものとしているが、画素ブロック単位で異なる予測符号化方式を適用することも可能である。例えば、Ｐピクチャを構成する画素ブロックに対しては、イントラ予測方式か前方予測方式が、Ｂピクチャを構成する画素ブロックに対してはイントラ予測方式、前方予測方式および双方向予測方式のいずれかを選択することができる。   In the present embodiment, for simplification of description, the predictive encoding method is selected in units of pictures, but different predictive encoding methods can be applied in units of pixel blocks. For example, an intra prediction method or a forward prediction method is used for a pixel block that forms a P picture, and an intra prediction method, a forward prediction method, or a bidirectional prediction method is used for a pixel block that forms a B picture. You can choose.

このような符号化方式の対応付けにより、ＩピクチャはＩピクチャの符号化データのみから復号が可能となり、ＰピクチャはＰピクチャの符号化データと１枚の参照画像の符号化データがあれば、復号可能となる。   With this encoding scheme association, an I picture can be decoded only from encoded data of an I picture, and a P picture has encoded data of a P picture and encoded data of one reference image. Decoding is possible.

以下、本実施形態における、予測符号化方式の選択方法に関して説明する。
図５は、図２の符号化処理部２００に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。 Hereinafter, a method for selecting a predictive coding method in the present embodiment will be described.
FIG. 5 shows a picture to be encoded input to the encoding processing unit 200 in FIG. 2 is a conceptual diagram illustrating an example of a reference relationship allowed in the H.264 encoding scheme. FIG.

図５において、Ｉ、Ｐ、Ｂは前述したイントラ予測符号化ピクチャ（Ｉピクチャ）、前方予測符号化ピクチャ（Ｐピクチャ）、双方向予測符号化ピクチャ（Ｂピクチャ）をそれぞれ表し、図の左側のピクチャから順に図２の符号化処理部２００に入力される。入力順は復号化された後の表示順に等しい。   In FIG. 5, I, P, and B represent the aforementioned intra prediction coded picture (I picture), forward predictive coded picture (P picture), and bidirectional predictive coded picture (B picture), respectively. The pictures are input to the encoding processing unit 200 in FIG. 2 in order from the picture. The input order is equal to the display order after decoding.

本実施形態においては、Ｉピクチャが１５ピクチャ間隔で設定されている。Ｉピクチャを最低１枚含む複数の符号化ピクチャ群を、グループオブピクチャ（ＧＯＰ）と呼び、別に管理する。図５において、Ｂ０〜Ｐ１４の１５枚のピクチャからなるピクチャ群１０００がひとつのＧＯＰである。   In this embodiment, I pictures are set at intervals of 15 pictures. A plurality of coded picture groups including at least one I picture are called a group of pictures (GOP) and managed separately. In FIG. 5, a picture group 1000 consisting of 15 pictures B0 to P14 is one GOP.

前述したように、Ｉピクチャは、Ｉピクチャの符号化データのみを用いて復号することが可能である。従って、各ＧＯＰでＩピクチャの位置を管理しておけば、符号化データの中からＩピクチャの符号化データを取り出し復号することが可能であり、本実施形態では１５ピクチャ間隔での復号表示が可能となる。各ＧＯＰから抜き出して復号したＩピクチャを通常のフレームレートで表示すれば、１５倍速相当の特殊再生表示を実現することができる。   As described above, an I picture can be decoded using only encoded data of the I picture. Therefore, if the position of the I picture is managed in each GOP, the encoded data of the I picture can be extracted from the encoded data and decoded. In this embodiment, the decoded display is performed at intervals of 15 pictures. It becomes possible. If the I picture extracted from each GOP and decoded is displayed at a normal frame rate, special reproduction display equivalent to 15 × speed can be realized.

また、図５において、Ｉ、Ｐ、Ｂに続く数字０〜１４は、ＧＯＰ単位での、図２の符号化処理部２００に入力する順を示している。
さらに、図中の矢印は、インター予測符号化ピクチャ（ＰピクチャあるいはＢピクチャ）が用いる参照画像データを示している。すなわち、本例において、ピクチャＰ５は、前ＧＯＰのピクチャＰ１４を参照している。ピクチャＰ１１は、ピクチャＰ５を参照している。ピクチャＰ８は、ピクチャＩ２を参照している。ピクチャＰ１４は、ピクチャＰ８を参照している。一方、ピクチャＢ０はピクチャＰ１４とＢ１を参照している。ピクチャＢ１はピクチャＰ１４とＩ２を参照している。 In FIG. 5, numerals 0 to 14 following I, P, and B indicate the order of input to the encoding processing unit 200 of FIG. 2 in units of GOP.
Furthermore, the arrows in the figure indicate reference image data used by inter prediction coded pictures (P pictures or B pictures). That is, in this example, the picture P5 refers to the picture P14 of the previous GOP. The picture P11 refers to the picture P5. The picture P8 refers to the picture I2. The picture P14 refers to the picture P8. On the other hand, picture B0 refers to pictures P14 and B1. Picture B1 refers to pictures P14 and I2.

このように、Ｈ．２６４方式では、Ｐピクチャが直近でないＩピクチャやＰピクチャを参照することも可能であり、さらには、図示していないがＢピクチャの参照も許容されている。また、Ｂピクチャが他のＢピクチャを参照したり、直近のＩピクチャやＰピクチャよりも時間的に離れたピクチャを参照することも許容されている。このような、柔軟な参照ピクチャの選択を許容することで、最も相関の高いピクチャを参照画像として選択することが可能となり、結果として、高能率な符号化を可能としている。   In this way, H.C. In the H.264 system, it is also possible to refer to an I picture or a P picture that is not the closest to the P picture, and further, although not shown, reference to a B picture is allowed. Also, it is allowed for a B picture to refer to another B picture, or to refer to a picture temporally separated from the most recent I picture or P picture. By allowing such flexible reference picture selection, it is possible to select a picture with the highest correlation as a reference image, and as a result, highly efficient encoding is possible.

しかしながら、図５のように自由な参照を許容すると、上述したように、特殊再生時、特には高速再生する場合、Ｉピクチャのみを抜き出して再生する方法を取らざるを得なくなるという弊害が発生する。すなわち、図５においては１ＧＯＰが１５ピクチャで構成されているが、ＧＯＰを構成するピクチャの数は固定でない。例えば、より一層の高能率符号化を実現するため、さらに多いピクチャ（例えば３０枚）でＧＯＰを構成する場合もある。ＧＯＰ内のＩピクチャを抜き出して高速再生する場合、ＧＯＰを構成するピクチャ数の変化は、再生速度の変動を生じさせる。   However, if free reference as shown in FIG. 5 is allowed, as described above, there is a problem in that it is necessary to take a method of extracting and reproducing only the I picture at the time of special reproduction, particularly when reproducing at high speed. . That is, in FIG. 5, 1 GOP is composed of 15 pictures, but the number of pictures constituting the GOP is not fixed. For example, a GOP may be configured with a larger number of pictures (for example, 30 pictures) in order to realize higher efficiency coding. When an I picture in a GOP is extracted and played back at high speed, a change in the number of pictures constituting the GOP causes a change in playback speed.

次に、本実施形態における制御部２８０が符号化予測方式を選択する原理について、図６を用いて説明する。
図６において、２５００〜２５０４はＧＯＰ、２６００〜２６０４はＩピクチャ、２６５０と２７００〜２７１１と２８００〜２８１１はＰピクチャをそれぞれ表している。図６において、ＧＯＰ２５００、２５０１、２５０３、２５０４はいずれも１５ピクチャから、ＧＯＰ２５０２は３０ピクチャから構成される。 Next, the principle by which the control unit 280 in the present embodiment selects the encoding prediction method will be described with reference to FIG.
In FIG. 6, 2500 to 2504 represent GOP, 2600 to 2604 represent I pictures, and 2650, 2700 to 2711, and 2800 to 2811 represent P pictures, respectively. In FIG. 6, GOPs 2500, 2501, 2503, and 2504 are all composed of 15 pictures, and GOP 2502 is composed of 30 pictures.

ここで、Ｐピクチャ２７００は、同一ＧＯＰ２５００内のＩピクチャ２６００を参照し、Ｐピクチャ２７０１は同一ＧＯＰ２５００内のＰピクチャ２７００を参照している。Ｐピクチャ２７０２は同一ＧＯＰ２５０１内のＩピクチャ２６０１を参照し、Ｐピクチャ２７０３は同一ＧＯＰ２５０１内のＰピクチャ２７０２を参照している。Ｐピクチャ２７０４は同一ＧＯＰ２５０２内のＩピクチャ２６０２を参照し、Ｐピクチャ２７０５は同一ＧＯＰ２５０２内のＰピクチャ２７０４を参照している。   Here, the P picture 2700 refers to the I picture 2600 in the same GOP 2500, and the P picture 2701 refers to the P picture 2700 in the same GOP 2500. The P picture 2702 refers to the I picture 2601 in the same GOP 2501, and the P picture 2703 refers to the P picture 2702 in the same GOP 2501. The P picture 2704 refers to the I picture 2602 in the same GOP 2502, and the P picture 2705 refers to the P picture 2704 in the same GOP 2502.

ここで、Ｐピクチャ２６５０は同一ＧＯＰ２５０２内のＰピクチャ２７０５を参照している。次のＰピクチャ２７０６は同一ＧＯＰ２５０２内のＰピクチャ２６５０を参照し、Ｐピクチャ２７０７は同一ＧＯＰ２５０２内のＰピクチャ２７０６を参照している。以降、ＧＯＰ２５０３、２５０４のＰピクチャ２７０８、２７０９、２７１０、２７１１は、ＧＯＰ２５００、２５０１と同様の参照関係とされている。   Here, the P picture 2650 refers to the P picture 2705 in the same GOP 2502. The next P picture 2706 refers to the P picture 2650 in the same GOP 2502, and the P picture 2707 refers to the P picture 2706 in the same GOP 2502. Thereafter, the P pictures 2708, 2709, 2710, and 2711 of the GOPs 2503 and 2504 have the same reference relationship as that of the GOPs 2500 and 2501.

ここで、各ＧＯＰ２５００〜２５０４の基準ピクチャはＩピクチャ２６００〜２６０４となる。しかしながら、Ｉピクチャ２６０３は、その前のＩピクチャ２６０２から３０ピクチャ目に出現し、１５ピクチャ毎にＩピクチャが現れる他のＧＯＰとは異なっている。これは、ＧＯＰ２５０２が符号化効率の関係から３０枚のピクチャから構成されるように切り替えられていることに起因する。つまり、ＧＯＰ構成枚数を変更しなければ、本来Ｉピクチャである符号化ピクチャがＰピクチャ２６５０に変更されていることによる。   Here, the reference pictures of each GOP 2500 to 2504 are I pictures 2600 to 2604. However, the I picture 2603 appears in the 30th picture from the previous I picture 2602, and is different from other GOPs in which the I picture appears every 15 pictures. This is because the GOP 2502 is switched so as to be composed of 30 pictures because of the encoding efficiency. In other words, if the number of GOP constituents is not changed, the encoded picture that is originally an I picture is changed to a P picture 2650.

そこで、本実施形態では、ＧＯＰを構成する最小のピクチャ枚数毎に配置されたＩピクチャとＰピクチャを、Ｉピクチャ２６００〜２６０４とＰピクチャ２６５０を第１の制限付符号化ピクチャとして管理する。換言すれば、第１の制限付符号化ピクチャは、そのピクチャが含まれるＧＯＰが最小ピクチャ数で構成されている場合はフレーム内予測符号化方式で符号化する。そして、より多いピクチャ数で構成されるＧＯＰに含まれる第１の制限付符号化ピクチャは、直近の第１の制限付符号化ピクチャから直前の符号化ピクチャまでの符号化データのみから復号化可能なピクチャを参照するよう、参照先を制限する。以後、この、参照先を制限した符号化方式を、第１の制限付符号化方式と呼ぶ。   Therefore, in the present embodiment, I pictures and P pictures arranged for each minimum number of pictures constituting a GOP are managed as I pictures 2600 to 2604 and P pictures 2650 as first limited encoded pictures. In other words, the first limited coded picture is coded by the intra-frame predictive coding method when the GOP including the picture is configured with the minimum number of pictures. The first restricted coded picture included in the GOP composed of a larger number of pictures can be decoded only from the coded data from the most recent first restricted coded picture to the immediately preceding coded picture. The reference destination is limited to refer to a correct picture. Hereinafter, this encoding method in which the reference destination is limited is referred to as a first limited encoding method.

具体的には、図６の例では、ＧＯＰを構成する最小ピクチャ数が１５である。そして、ＧＯＰ２５００の３ピクチャ目がＩピクチャ２６００であり、ここから１５×ｎ（ｎは自然数）枚目となる以下のピクチャが第１の制限付符号化ピクチャ群を構成する。
Ｉピクチャ２６００
Ｉピクチャ２６０１
Ｉピクチャ２６０２
Ｐピクチャ２６５０
Ｉピクチャ２６０３
Ｉピクチャ２６０４
： Specifically, in the example of FIG. 6, the minimum number of pictures constituting the GOP is 15. The third picture of the GOP 2500 is the I picture 2600, and the following pictures which are 15 × n (n is a natural number) from here constitute the first limited coded picture group.
I picture 2600
I picture 2601
I picture 2602
P picture 2650
I picture 2603
I picture 2604
:

ここで、ＧＯＰ２５０２は最小構成枚数よりも多いピクチャで構成されるため、Ｉピクチャ２６０２から１５枚目のピクチャは、Ｐピクチャ２６５０である。   Here, since the GOP 2502 includes more pictures than the minimum number of constituents, the 15th picture from the I picture 2602 is a P picture 2650.

この場合、フレーム間予測符号化を行うＰピクチャ２６５０が参照可能なピクチャは、直近の第１の制限付符号化ピクチャであるＩピクチャ２６０２から、直前のピクチャであるＢピクチャ２６４０までの符号化データのみから復号化可能なピクチャに制限される。従って、Ｐピクチャ２６５０を、Ｉピクチャ２６０２、Ｐピクチャ２７０４及び２７０５の１つ以上を参照画像とするフレーム間符号化方式で符号化する。図６の例では、Ｐピクチャ２６５０は、Ｐピクチャ２７０５を参照している。   In this case, pictures that can be referred to by the P picture 2650 that performs interframe predictive coding are coded data from the I picture 2602 that is the most recent first restricted coded picture to the B picture 2640 that is the immediately preceding picture. The picture is limited to a picture that can be decoded. Therefore, the P picture 2650 is encoded by the inter-frame encoding method in which one or more of the I picture 2602 and the P pictures 2704 and 2705 are reference images. In the example of FIG. 6, the P picture 2650 refers to the P picture 2705.

さらに、本実施形態においては、第１の制限付符号化ピクチャを基準ピクチャとして、ＧＯＰを構成する最小ピクチャ数よりも小さい所定枚数（ここでは６枚）毎に、第２の制限付符号化ピクチャを設ける。具体的には、同一ＧＯＰ内に含まれる第１の制限付符号化ピクチャ、もしくは同一ＧＯＰ内に含まれる他の特殊再生用ピクチャを参照先とするＰピクチャを、第２の制限付符号化ピクチャとして設ける。   Furthermore, in the present embodiment, with the first limited coded picture as a reference picture, the second limited coded picture is used for every predetermined number of pictures (here, 6 pictures) smaller than the minimum number of pictures constituting the GOP. Is provided. Specifically, a first restricted encoded picture included in the same GOP or a P picture that is referred to by another special reproduction picture included in the same GOP is referred to as a second restricted encoded picture. Provide as.

図６においては、Ｉピクチャ２６００から６ピクチャ毎に存在するＰピクチャ２７００〜２７１１が、第２の制限付符号化ピクチャである。このように、Ｉピクチャ２６００を先頭とする６ピクチャ毎のピクチャ群は、ＧＯＰを構成するピクチャの枚数の変動とは無関係に配置されている。しかも、これらのピクチャ群は、第１の制限付符号化ピクチャ群さえ復号化されれば、全て復号化可能である。つまり、第１の制限付符号化ピクチャ及び第２の制限付符号化ピクチャを抜き出すことにより、ＧＯＰを構成するピクチャの枚数とは無関係に、６枚毎のピクチャが必ず復号可能となる。従って、これら６枚毎のピクチャを通常のフレームレートで表示すれば、ＧＯＰを構成するピクチャの枚数が変更されても６倍速を維持した再生表示が実現可能である。   In FIG. 6, P pictures 2700 to 2711 existing every 6 pictures from the I picture 2600 are the second restricted encoded pictures. In this way, the picture group for every six pictures starting from the I picture 2600 is arranged irrespective of the change in the number of pictures constituting the GOP. Moreover, these picture groups can all be decoded as long as only the first limited coded picture group is decoded. That is, by extracting the first restricted coded picture and the second restricted coded picture, every six pictures can be surely decoded regardless of the number of pictures constituting the GOP. Therefore, if these six pictures are displayed at a normal frame rate, it is possible to realize reproduction display that maintains 6 × speed even if the number of pictures constituting the GOP is changed.

次に、図１のフローチャートを用い、本実施形態における符号化処理部２００における符号化処理について説明する。
画像データの符号化処理が開始されるとまず、符号化対象ピクチャカウンタｋの値を１にリセットする（Ｓ２９００）。そして、ＧＯＰを構成するピクチャの数（ＧＯＰ構成枚数）の確認を行うとともに、ＧＯＰ内ピクチャカウンタｊの値を１にリセットする（Ｓ２９０１）。 Next, the encoding process in the encoding processing unit 200 in the present embodiment will be described using the flowchart of FIG.
When the encoding process of image data is started, first, the value of the encoding target picture counter k is reset to 1 (S2900). Then, the number of pictures constituting the GOP (GOP constituting number) is confirmed, and the value of the intra-GOP picture counter j is reset to 1 (S2901).

ここで、図７に示すフローチャートを用い、本実施形態におけるＧＯＰ構成枚数の設定方法について説明する。ＧＯＰ構成枚数の設定が開始されると、まず、符号化する画像データ（符号化対象ピクチャ）がカメラから入力されるかどうかを確認する（Ｓ３００１）。上述のように、本実施形態のビデオカメラにおいて、符号化対象ピクチャは、カメラ入力（映像入力部１００からの入力）又はライン入力（ＵＳＢやＩＥＥＥ１３９４等の外部入力端子からの入力）として与えられる。   Here, a method for setting the number of GOP components in the present embodiment will be described using the flowchart shown in FIG. When the setting of the number of GOP constituents is started, it is first checked whether or not image data to be encoded (encoding target picture) is input from the camera (S3001). As described above, in the video camera of this embodiment, the encoding target picture is given as camera input (input from the video input unit 100) or line input (input from an external input terminal such as USB or IEEE1394).

Ｓ３００１において、符号化対象ピクチャがライン入力されると判断された場合は、Ｓ３００６に進む。一方、カメラ入力されると判断されたならば、記録モードが高画質記録モードに設定されているかどうかを判断する（Ｓ３００２）。   If it is determined in S3001 that the encoding target picture is input as a line, the process proceeds to S3006. On the other hand, if it is determined that the input is from the camera, it is determined whether the recording mode is set to the high image quality recording mode (S3002).

本実施形態において、記録モードには、高いデータレートで画質を重視する高画質記録モードと、高画質記録モードよりも低いデータレートとするかわりに、高画質記録モードよりも長時間記録可能な長時間記録モードがある。そして、長時間記録モードが設定されている場合はＳ３００６に進む。   In this embodiment, the recording mode includes a high-quality recording mode that emphasizes image quality at a high data rate and a data rate that can be recorded for a longer time than the high-quality recording mode, instead of a lower data rate than the high-quality recording mode. There is a time recording mode. If the long-time recording mode is set, the process proceeds to S3006.

一方、高画質記録モードが設定されている場合は、記録媒体がディスクかどうか判断する（Ｓ３００３）。本実施形態において記録先として利用可能な記録媒体には、大容量記録に向いたディスク（ＤＶＤ−Ｒ等）と、扱い易いが大容量記録には向いていないメモリカードがあり、メモリカードの場合はＳ３００６に進む。ディスクへの記録ならば、記録媒体の空き容量を確認する（Ｓ３００４）。予め定めた値以上の空き容量が残っていなければ、Ｓ３００６に進む。一方、記録媒体に予め定めた値以上の空き容量が残っている場合には、Ｓ３００５に進む。Ｓ３００５では、ＧＯＰ構成枚数を最小構成枚数ｍ（ここでは１５枚とする）に設定する。一方、Ｓ３００６では、ＧＯＰ構成枚数を最小構成枚数の２倍、この場合は３０枚に設定する。   On the other hand, if the high-quality recording mode is set, it is determined whether the recording medium is a disc (S3003). In the present embodiment, the recording medium that can be used as a recording destination includes a disk (DVD-R, etc.) suitable for large-capacity recording and a memory card that is easy to handle but not suitable for large-capacity recording. Advances to S3006. If recording to a disc, the free space of the recording medium is confirmed (S3004). If there is no remaining free space equal to or greater than the predetermined value, the process proceeds to S3006. On the other hand, if there is a remaining free space of a predetermined value or more on the recording medium, the process proceeds to S3005. In S3005, the GOP configuration number is set to the minimum configuration number m (here, 15). On the other hand, in S3006, the GOP configuration number is set to twice the minimum configuration number, in this case 30.

一般に、ＧＯＰ構成枚数が大きいほど、符号量の多いＩピクチャの枚数が減るので、符号化効率は向上する。ライン入力画像は比較的安定した映像であることが多く、ピクチャ間の相関も強い傾向があるので、ＧＯＰ構成枚数を多くすることで、高能率符号化を実現することができる。また、長時間記録モードでは、Ｉピクチャの出現確率を減らすことによる符号化効率の向上により、さらなる長時間記録を実現することができる。また、メモリカードは容量あたりの価格が高いため、容量を効率良く利用するため、ＧＯＰ構成枚数を多くしている。さらに、ディスク記録媒体であっても、空き容量が十分でなくなった場合は、ＧＯＰ構成枚数を多くしている。
以上のような手順により、ＧＯＰ構成枚数が、図２の制御部２０で設定され、符号化処理部２００に送られて、ＧＯＰ構成枚数の設定は終了する（Ｓ３００７）。 In general, the larger the number of GOP constituents, the smaller the number of I pictures with a large code amount, so that the coding efficiency is improved. Since the line input image is often a relatively stable image and the correlation between pictures tends to be strong, high-efficiency encoding can be realized by increasing the number of GOPs. In the long-time recording mode, it is possible to realize further long-time recording by improving the encoding efficiency by reducing the appearance probability of the I picture. Further, since the price per capacity of the memory card is high, the number of GOPs is increased in order to efficiently use the capacity. Furthermore, even if it is a disk recording medium, when the free space becomes insufficient, the number of GOPs is increased.
With the above procedure, the GOP configuration number is set by the control unit 20 in FIG. 2 and sent to the encoding processing unit 200, and the setting of the GOP configuration number is completed (S3007).

図１に戻り、上述の手順で設定されたＧＯＰ構成枚数を確認し、ＧＯＰ内カウンタをリセットしたら（Ｓ２９０１）、Ｓ２９０３に進み符号化対象ピクチャを入力する。次に、
ＧＯＰ内カウンタｊの値の、ＧＯＰの最小構成枚数ｍを法とした際の剰余（j mod m）が３であるかどうかを調べる（Ｓ２９０５）。 Returning to FIG. 1, after confirming the number of GOP components set in the above-described procedure and resetting the GOP counter (S2901), the process proceeds to S2903 to input a picture to be encoded. next,
It is checked whether or not the remainder (j mod m) of the value in the GOP counter j modulo the minimum GOP configuration number m is 3 (S2905).

ここで、j mod mの値が３でない場合には、Ｓ２９０７へ進み、符号化対象ピクチャカウンタｋの値の、６を法とした際の剰余（|k-3| mod 6）が０かどうかを調べる。本実施形態においては、先頭のＧＯＰの３番目のピクチャをＩピクチャとし、そこから６ピクチャ毎に特殊再生用のＰピクチャを含める。そのため、入力された符号化対象ピクチャを、特殊再生用ピクチャとして符号化すべきかどうかをこの計算によって判定する。   If the value of j mod m is not 3, the process advances to step S2907 to check whether the remainder (| k-3 | mod 6) of the value of the encoding target picture counter k modulo 6 is 0. Check out. In the present embodiment, the third picture of the first GOP is set as an I picture, and a special reproduction P picture is included every six pictures. Therefore, it is determined by this calculation whether or not the input encoding target picture should be encoded as a special reproduction picture.

|k-3| mod 6=0でなければ、Ｓ２９０９へ進み、通常の符号化方式によって符号化処理を行う。この場合、符号化対象ピクチャは前方予測符号化方式又は双予測符号化方式によって符号化される。   If | k−3 | mod 6 = 0 is not satisfied, the process advances to step S2909 to perform encoding processing using a normal encoding method. In this case, the encoding target picture is encoded by the forward prediction encoding method or the bi-predictive encoding method.

一方、Ｓ２９０７で、|k-3| mod 6=0であった場合には、Ｓ２９１１において、符号化対象ピクチャを、第２の制限付符号化方式によって符号化する。第２の制限付符号化方式は、参照先を制限した前方予測符号化方式である。具体的には、ピクチャストリームにおいて、時間的に先行するピクチャであって、Ｉピクチャもしくは第２の制限付符号化方式
で符号化された他のピクチャを参照先とする前方予測符号化方式（インタ予測符号化方式）を用いる。従って、Ｉピクチャと、第２の制限付符号化方式を用いて符号化されたＰピクチャ（第２の制限付ピクチャ）から構成されるピクチャ群は、そのピクチャ群内のデータのみを用いて復号化することが可能である。これにより、本実施形態によって生成された符号化データには、６ピクチャ毎に復号可能なピクチャが含まれ、６倍速表示を容易に行うことが可能となる。 On the other hand, if | k−3 | mod 6 = 0 in S2907, the encoding target picture is encoded by the second restricted encoding method in S2911. The second limited encoding method is a forward predictive encoding method in which reference destinations are limited. Specifically, a forward predictive coding scheme (inter-interface) that is a picture that precedes in the picture stream and that is referred to as an I picture or another picture coded by the second restricted coding scheme. Predictive coding method) is used. Therefore, a picture group composed of an I picture and a P picture (second restricted picture) encoded using the second restricted coding method is decoded using only data in the picture group. It is possible to As a result, the encoded data generated according to the present embodiment includes a picture that can be decoded every 6 pictures, and 6-speed display can be easily performed.

Ｓ２９０５において、j mod m=3である場合には、Ｓ２９１３に進み、ＧＯＰ内カウンタｊの値を確認する。そして、ｊ＝３であるかどうかをさらに確認する（Ｓ２９１３）。ｊ＝３、すなわち、符号化対象ピクチャがＧＯＰの３番目のピクチャである場合、本実施形態においてはＩピクチャとする。そのため、ｊ＝３の場合には、Ｓ２９１７に進んでイントラ符号化方式により符号化を行う。   If it is determined in step S2905 that j mod m = 3, the process advances to step S2913 to check the value of the GOP counter j. Then, it is further confirmed whether j = 3 (S2913). When j = 3, that is, when the encoding target picture is the third picture of the GOP, it is set as an I picture in this embodiment. Therefore, when j = 3, the process proceeds to S2917 to perform encoding by the intra encoding method.

一方、ｊ＝３でない場合、符号化対象ピクチャは図６のピクチャ２６５０のような、ＧＯＰ内で（３＋ｍ＊ｎ）番目（ｎは自然数）に当たるピクチャである。そのため、上述した第１の制限付符号化方式を用いて符号化を行う（Ｓ２９１５）。   On the other hand, when j = 3 is not true, the encoding target picture is a picture corresponding to the (3 + m * n) th (n is a natural number) in the GOP, such as the picture 2650 in FIG. Therefore, encoding is performed using the first limited encoding method described above (S2915).

このようにして、入力された各符号化対象ピクチャは、Ｓ２９０９，Ｓ２９１１，Ｓ２９１７及びＳ２９１５のいずれかにおいて符号化される。そして、用いられた符号化方式に関する情報は、各ピクチャの符号化データに、エントロピー符号化部２１８で多重される。   In this way, each input encoding target picture is encoded in any one of S2909, S2911, S2917, and S2915. Then, the information on the used encoding method is multiplexed by the entropy encoding unit 218 on the encoded data of each picture.

Ｓ２９１９では、ＧＯＰ内カウンタｊ及び符号化対象ピクチャカウンタｋの値をそれぞれ１インクリメントする。Ｓ２９２１では、引き続き符号化処理を続けるかどうかを確認し、終了ならば処理を終了する。終了でない場合、Ｓ２９２３で、ＧＯＰが終了したかどうかを調べる。具体的には、Ｓ２９０１で確認したＧＯＰ構成枚数と、ＧＯＰ内カウンタｊの値とを用いて判定することができる。   In S2919, the values of the GOP counter j and the encoding target picture counter k are each incremented by one. In S2921, it is confirmed whether or not the encoding process is to be continued. If it is not finished, it is checked in step S2923 if the GOP is finished. Specifically, the determination can be made using the number of GOP components confirmed in S2901 and the value of the GOP counter j.

ｊの値がＧＯＰ構成枚数以下である場合には、ＧＯＰは終了していないため、Ｓ２９０３に戻って次の符号化対象ピクチャの入力を行う。また、ｊの値がＧＯＰ構成枚数を超えた場合には、符号化したピクチャがＧＯＰ内の最後のピクチャであるため、ＧＯＰ終了としてＳ２９０１へ戻り、次のＧＯＰの構成枚数の確認及びＧＯＰ内カウンタのリセットを行う。   If the value of j is less than or equal to the number of GOPs, the GOP has not ended, and the process returns to S2903 to input the next encoding target picture. On the other hand, if the value of j exceeds the GOP constituent number, the encoded picture is the last picture in the GOP, so the process returns to S2901 as the end of the GOP, confirms the constituent number of the next GOP, and the GOP counter Reset.

このようにして、本実施形態では、入力される符号化対象ピクチャ群に対して、第１の制限付ピクチャを含めることで、ＧＯＰの構成枚数が変化しても、高速再生時の再生速度が変動することを抑制することができる。さらに、第２の制限付ピクチャを含めることで、符号化効率がイントラ符号化よりも高いインタ符号化を用いながら、高速再生を容易に行うことが可能な符号化データを生成することができる。   In this way, in the present embodiment, by including the first restricted picture in the input encoding target picture group, even when the number of constituent GOPs changes, the playback speed during high-speed playback is increased. Fluctuation can be suppressed. Furthermore, by including the second restricted picture, it is possible to generate encoded data that can be easily reproduced at high speed while using inter-encoding with higher encoding efficiency than intra-encoding.

図４は、図２の復号化処理部６００の構成例を示すブロック図である。
再生処理部５００からの符号化データは、データ入力部６１０から入力される。また、システム全体の制御部（図２の２０）からの復号化処理の指示は、制御入力部６１１を介して入力される。エントロピー復号化処理部６１２は、エントロピー符号化された符号化データに対して復号化処理を行ってデータ伸長する。エントロピー復号化処理部６１２では、符号化データに多重化された動き情報等のメタデータも生成する。 FIG. 4 is a block diagram illustrating a configuration example of the decoding processing unit 600 of FIG.
The encoded data from the reproduction processing unit 500 is input from the data input unit 610. In addition, an instruction for decoding processing from the control unit (20 in FIG. 2) of the entire system is input via the control input unit 611. The entropy decoding processing unit 612 performs a decoding process on the entropy-encoded encoded data to decompress the data. The entropy decoding processing unit 612 also generates metadata such as motion information multiplexed on the encoded data.

逆量子化処理部（Ｉ−Ｑ）６１４は、エントロピー復号化処理されたデジタルデータに対し、所定の量子化スケールで逆量子化して整数変換係数を算出する。逆整数変換部（Ｉ−ＤＣＴ）６１６は、算出された整数変換係数に対して逆整数変換を施し、画像データを復元する。加算器６１８は復元された画像データに対し、後述する予測画像データを加算する。   The inverse quantization processing unit (IQ) 614 calculates the integer transform coefficient by performing inverse quantization on the digital data subjected to the entropy decoding process with a predetermined quantization scale. The inverse integer transform unit (I-DCT) 616 performs inverse integer transform on the calculated integer transform coefficient to restore the image data. An adder 618 adds predicted image data, which will be described later, to the restored image data.

スイッチ部６３５は予測方式制御部６８０により制御され、加算器６１８の出力（復号された画像データ）を、第３フレームメモリ（ＦＭ）６３６又はデブロッキングフィルタ部（ＤＢＦ）６５０のいずれかへ出力する。第３フレームメモリ６３６は、スイッチ部６３５から供給される、復号された画像データを保持する。イントラ予測復号化部６４０は、第３フレームメモリ６３６に保持された画像データを用いて、復号化処理されるブロックの周辺画素からブロック内の画像データを予測する。スイッチ部６６０は、予測方式制御部６８０により制御され、イントラ予測復号化部６４０又はインター予測復号化部６５６のいずれかの出力を加算器６１８へ出力する。 The switch unit 635 is controlled by the prediction method control unit 680, and outputs the output (decoded image data) of the adder 618 to either the third frame memory (FM) 636 or the deblocking filter unit (DBF) 650. . The third frame memory 636 holds the decoded image data supplied from the switch unit 635. The intra prediction decoding unit 640 uses the image data held in the third frame memory 636 to predict the image data in the block from the peripheral pixels of the block to be decoded. The switch unit 660 is controlled by the prediction scheme control unit 680 and outputs the output of either the intra prediction decoding unit 640 or the inter prediction decoding unit 656 to the adder 618.

デブロッキングフィルタ部６５０は、復号された画像データに対してブロック境界の不連続性を補正する。第４フレームメモリ６５２は、ブロック境界補正処理が行われた局所復号画像データを参照画像として保持する。   The deblocking filter unit 650 corrects block boundary discontinuity for the decoded image data. The fourth frame memory 652 holds the locally decoded image data that has undergone the block boundary correction processing as a reference image.

インター予測復号化部６５６は、第４フレームメモリに保持された複数の参照画像と、エントロピー復号化処理で生成された動き情報等のメタデータを用いて、予測画像データを生成する。
予測方式制御部６８０は、エントロピー復号化処理部６１２で生成された動き情報等の予測符号化に関するメタデータに従って、ピクチャ単位で予測復号化処理方法を制御する。 The inter prediction decoding unit 656 generates predicted image data using a plurality of reference images held in the fourth frame memory and metadata such as motion information generated by the entropy decoding process.
The prediction scheme control unit 680 controls the prediction decoding processing method on a picture-by-picture basis in accordance with metadata relating to prediction encoding such as motion information generated by the entropy decoding processing unit 612.

図４を参照して、本実施形態における特殊再生処理について説明する。ここでは、特殊再生の例として、上述の符号化処理で生成した符号化データを用いた６倍速再生処理を説明する。   With reference to FIG. 4, the special reproduction process in this embodiment is demonstrated. Here, as an example of special reproduction, a 6 × speed reproduction process using the encoded data generated by the above encoding process will be described.

データ入力部６１０から入力された符号化データは、エントロピー復号化処理部６１２でエントロピー復号され、画像データと、符号化データに多重化されたメタデータとに分けられる。メタデータは、動き情報や符号化方式に関する情報を示すデータである。６倍速再生処理を行う場合、メタデータを参照して、Ｉピクチャあるいは第２の制限付ピクチャの画像データのみを復号化する。   The encoded data input from the data input unit 610 is entropy decoded by the entropy decoding processing unit 612, and is divided into image data and metadata multiplexed into the encoded data. Metadata is data indicating information related to motion information and an encoding method. When the 6 × speed reproduction process is performed, only the image data of the I picture or the second restricted picture is decoded with reference to the metadata.

まず、逆量子化部６１４で、エントロピー復号化された画像データを所定の量子化スケールで逆量子化し、整数変換係数を生成する。この整数変換係数に対して逆整数変換部６１６で逆整数変換を施すことで、画素データが復元される。復元された画素データは後述する予測画像データを加算器６１８で加算して、最終的な復号結果である画像データを生成する。この復号画像データは、出力部６２０から出力される。 First, the inverse quantization unit 614 inversely quantizes the entropy-decoded image data with a predetermined quantization scale to generate integer transform coefficients. The inverse integer transform unit 616 performs inverse integer transform on the integer transform coefficient, thereby restoring the pixel data. The restored pixel data is added with predicted image data, which will be described later, by an adder 618 to generate image data as a final decoding result. The decoded image data is output from the output unit 620 .

また、復号された画像データは、その後の復号化処理で用いられる参照画像データとしてスイッチ部６３５に送られる。一方、エントロピー復号化処理部６１２で生成された予測符号化方式に関するメタデータは、予測方式制御部６８０に送られる。予測方式制御部６８０では、制御入力部６１１を介してシステム全体の制御部２０から特殊再生の指示を受けているかどうかと、メタデータとに基づいて、スイッチ部６３５を制御する。   The decoded image data is sent to the switch unit 635 as reference image data used in the subsequent decoding process. On the other hand, the metadata related to the prediction encoding method generated by the entropy decoding processing unit 612 is sent to the prediction method control unit 680. The prediction method control unit 680 controls the switch unit 635 based on whether or not a special reproduction instruction is received from the control unit 20 of the entire system via the control input unit 611 and the metadata.

即ち、特殊再生指示（この場合は６倍速再生指示）がある場合は、メタデータを参照してＩピクチャまたは第２の制限付ピクチャのみを選別し、Ｉピクチャの場合はスイッチ６３５ｃと６３５ａを接続し、第２の制限付ピクチャの場合はスイッチ６３５ｃと６３５ｂを接続する。これにより、Ｉピクチャの復号画像は第３フレームメモリ６３６に格納され、イントラ予測復号化部６４０が、周辺の復号された画像データから、イントラ予測復号化された予測画像データを生成し、スイッチ部６６０に送る。Ｉピクチャの場合、予測方式制御部６８０の指示によりスイッチ６６０ａと６６０ｃが接続され、予測画像データが加算器６１８に送られる。   That is, when there is a special reproduction instruction (in this case, a 6 × speed reproduction instruction), only the I picture or the second restricted picture is selected with reference to the metadata, and in the case of the I picture, the switches 635c and 635a are connected. In the case of the second restricted picture, the switches 635c and 635b are connected. As a result, the decoded picture of the I picture is stored in the third frame memory 636, and the intra prediction decoding unit 640 generates predicted image data that has been intra prediction decoded from the peripheral decoded image data, and the switch unit Send to 660. In the case of an I picture, the switches 660 a and 660 c are connected according to an instruction from the prediction method control unit 680, and predicted image data is sent to the adder 618.

一方、第２の制限付ピクチャの場合、復号された画像データはブロック境界補正をデブロッキングフィルタ部６５０で処理された後、第４フレームメモリ６５２に保持される。保持された画像データは、参照先が制限された他のＰピクチャの参照画像として保持され、このデータと、エントロピー復号化処理部６１２で生成された予測符号化に関するメタデータとから、インター予測復号化部６５６が予測画像データを生成する。予測画像データは、スイッチ部６６０に送られる。スイッチ部６６０では、予測方式制御部６８０によりスイッチ６６０ｂと６６０ｃが接続され、予測画像データは加算器６１８に送られて画像データの復号化処理に使われる。   On the other hand, in the case of the second restricted picture, the decoded image data is subjected to block boundary correction by the deblocking filter unit 650 and then held in the fourth frame memory 652. The stored image data is stored as a reference image of another P picture whose reference destination is limited, and inter-prediction decoding is performed from this data and metadata related to predictive encoding generated by the entropy decoding processing unit 612. The generating unit 656 generates predicted image data. The predicted image data is sent to the switch unit 660. In the switch unit 660, the switches 660b and 660c are connected by the prediction method control unit 680, and the predicted image data is sent to the adder 618 and used for the decoding process of the image data.

このように、本実施形態によれば、特殊再生の指示がなされた場合、復号化処理部６００はＩピクチャあるいは第２の制限付ピクチャのみを復号することが可能となり、特殊再生をスムーズに行うことができる。   As described above, according to this embodiment, when an instruction for special reproduction is given, the decoding processing unit 600 can decode only the I picture or the second restricted picture, and performs special reproduction smoothly. be able to.

また、特殊再生に用いるＩピクチャあるいは第２の制限付ピクチャは、所定ピクチャ数毎かつ等間隔に含まれるように符号化することで、所定数倍速の特殊再生を容易に実現することが可能となる。   In addition, by encoding the I picture or the second restricted picture used for special reproduction so as to be included in every predetermined number of pictures and at equal intervals, special reproduction at a predetermined several times speed can be easily realized. Become.

なお、ここでは第２の制限付ピクチャを用いた６倍速再生処理を中心として説明した。しかし、第１の制限付ピクチャについても合わせて復号化することにより、各ＧＯＰに含まれるＩピクチャと、第１の制限付ピクチャとから、ＧＯＰの最小構成枚数に対応した高速再生（例えば、最小構成枚数が１５の際には１５倍速再生）を行うことが可能である。上述したように、本実施形態では、ＧＯＰの構成枚数が大きくなっても、ＧＯＰ内の最小構成枚数毎に第１の制限付ピクチャを含めて符号化している。そのため、ＧＯＰの構成枚数が変動しても、安定した再生速度で、かつ容易に高速再生を行うことが可能である。   Here, the description has focused on the 6 × speed reproduction process using the second restricted picture. However, by decoding the first restricted picture together, high-speed playback corresponding to the minimum number of constituent GOPs (for example, the minimum number of pictures) can be performed from the I picture included in each GOP and the first restricted picture. When the number of components is 15, 15 × speed reproduction) can be performed. As described above, in the present embodiment, even when the number of constituent GOPs increases, encoding is performed including the first restricted picture for each minimum constituent number in the GOP. Therefore, even if the number of constituent GOPs varies, it is possible to easily perform high-speed playback at a stable playback speed.

（他の実施形態）
上述の実施形態では、インター予測方式を利用したビデオカメラに本発明を適用した場合について説明した。しかし、本発明は、インター予測方式を利用したビデオプレーヤやビデオレコーダなど、他の機器においても同様に適用可能である。そして、本発明を適用することにより、符号化効率の低下を抑制しながら、特殊再生を容易に行うことが可能となる。 (Other embodiments)
In the above-described embodiment, the case where the present invention is applied to a video camera using an inter prediction method has been described. However, the present invention can be similarly applied to other devices such as a video player and a video recorder using an inter prediction method. By applying the present invention, special reproduction can be easily performed while suppressing a decrease in encoding efficiency.

上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。   The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.).

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。   Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。   The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto.

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。   A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。   As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code.

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。 Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers.
That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。   In addition, a storage medium in which a computer program for realizing the above-described embodiment is encrypted and stored is distributed to the user, and key information for decrypting is supplied to the user who satisfies a predetermined condition, and the user's computer It is also possible to enable installation on Windows. The key information can be supplied by being downloaded from a homepage via the Internet, for example.

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。 Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer.
Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.

本発明の第１の実施形態に係る符号化処理部における符号化処理動作を説明するフローチャートである。It is a flowchart explaining the encoding process operation in the encoding process part which concerns on the 1st Embodiment of this invention. 本発明の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラの構成例を示すブロック図である。It is a block diagram which shows the structural example of the video camera as an example of the image coding apparatus which concerns on embodiment of this invention, and an image decoding apparatus. 本発明の実施形態に係る符号化処理部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the encoding process part which concerns on embodiment of this invention. 本発明の実施形態に係る復号化処理部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the decoding process part which concerns on embodiment of this invention. 図２の符号化処理部に入力される符号化対象ピクチャと、Ｈ．２６４符号化方式で許容される参照関係の例を説明する概念図である。The encoding target picture input to the encoding processing unit in FIG. 2 is a conceptual diagram illustrating an example of a reference relationship allowed in the H.264 encoding scheme. FIG. 本発明の第１の実施形態における符号化予測方式の選択方法を説明する図である。It is a figure explaining the selection method of the encoding prediction system in the 1st Embodiment of this invention. 図１のＳ２９０１において行われるＧＯＰ構成枚数の確認処理の詳細を説明するフローチャートである。12 is a flowchart for explaining the details of the GOP configuration number confirmation process performed in S2901 of FIG.

Claims (5)

動画像を構成する各ピクチャを複数のグループで管理するとともに、前記各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、
各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、
前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるＩピクチャ、前記フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択手段と、
前記選択手段が選択したピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化手段と、
前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、（１）前記Ｉピクチャ、又は、（２）参照可能なピクチャが前記Ｉピクチャ又は前記所定のピクチャ間隔に対応する他の前記第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、前記選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置。 An encoding device that manages each picture constituting a moving image in a plurality of groups and encodes each picture using either an intra-frame prediction encoding scheme or an inter-frame prediction encoding scheme,
A determining means for determining the number of pictures included in each group so that the number of pictures can be varied for each group;
The For each picture, I picture to be encoded using the intra-frame predictive coding scheme, the first P-picture or B-picture that is coded using a predictive coding method between the frames, and the frame Selecting means for selecting one of the second P pictures encoded using the inter prediction encoding method and having a reference relationship at the time of inter-frame prediction that does not exist in the first P picture ;
Encoding means for encoding each picture based on an encoding scheme corresponding to the type of picture selected by the selection means;
Even when the number of pictures is changed for each group, (1) the I picture or (2) a picture that can be referred to is the I picture at predetermined picture intervals over the plurality of groups. as the second P-picture that is limited picture or in addition to the second P picture corresponding to the predetermined picture interval, are selected, and control means for controlling by that election択動operation to said selection means And an encoding device. 前記決定手段が、前記動画像の入力元の種類、記録データレート、符号化データの記録媒体の種類、前記記録媒体の空き容量の少なくとも１つに基づいて、符号化効率を向上させる必要があると判断されない場合には第１の数を、符号化効率を向上させる必要があると判断される場合には前記第１の数よりも多い第２の数を、前記各グループを構成するピクチャの数に決定することを特徴とする請求項１記載の符号化装置。   The determination means needs to improve the encoding efficiency based on at least one of the input source type of the moving image, the recording data rate, the type of the recording medium of the encoded data, and the free capacity of the recording medium. If it is determined that the encoding efficiency needs to be improved, the second number greater than the first number is set to the number of pictures constituting each group. The encoding apparatus according to claim 1, wherein the encoding apparatus determines the number. 動画像を構成する各ピクチャを複数のグループで管理するとともに、前記各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、
決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、
選択手段が、前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるＩピクチャ、前記フレーム間予測符号化方式を用いて符号化される第１のＰピクチャ又はＢピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第１のＰピクチャには無い制限を有する第２のＰピクチャの中の１種類を選択する選択工程と、
符号化手段が、前記選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化工程と、
前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、（１）前記Ｉピクチャ、又は、（２）参照可能なピクチャが前記Ｉピクチャ又は前記所定のピクチャ間隔に対応する他の前記第２のＰピクチャに制限された第２のＰピクチャ、が選択されるように、制御手段が前記選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法。 An encoding method for managing each picture constituting a moving image in a plurality of groups, and encoding each picture using either an intra-frame prediction encoding scheme or an inter-frame prediction encoding scheme,
A determining step in which the determining means determines the number of pictures included in each group to be variable for each group;
Selection means, the For each picture, I picture to be encoded using the intra-frame predictive coding scheme, the first P-picture or B-picture that is coded using a predictive coding method between the frames, And a selection to select one of the second P pictures encoded using the inter-frame prediction encoding method and having a restriction that the first P picture does not have in the reference relationship at the time of inter-frame prediction. Process,
An encoding step in which an encoding means encodes each picture based on an encoding scheme corresponding to the type of picture selected in the selection step;
Even when the number of pictures is changed for each group, (1) the I picture or (2) a picture that can be referred to is the I picture at predetermined picture intervals over the plurality of groups. as the second P-picture that is limited picture or in addition to the second P picture corresponding to the predetermined picture interval, is selected, the control means controls the put that election択動operation in the selection step And a control step. コンピュータを、請求項１または２に記載の符号化装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the encoding apparatus of Claim 1 or 2. 請求項４記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium storing the program according to claim 4.

Images