JP4974583B2 - Image encoding apparatus and encoding method - Google Patents
Image encoding apparatus and encoding method Download PDFInfo
- Publication number
- JP4974583B2 JP4974583B2 JP2006130883A JP2006130883A JP4974583B2 JP 4974583 B2 JP4974583 B2 JP 4974583B2 JP 2006130883 A JP2006130883 A JP 2006130883A JP 2006130883 A JP2006130883 A JP 2006130883A JP 4974583 B2 JP4974583 B2 JP 4974583B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- encoding
- pictures
- image data
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像情報、特には動画像情報を符号化する技術に関する。 The present invention relates to a technique for encoding video information, particularly moving image information.
近年、映像情報に対する高画質化のニーズは高まりつつあり、テレビ放送も従来の720×480画素のSD(標準画質)から、1920×1080画素のHD(高画質)に移行しつつある。 In recent years, there is an increasing need for high image quality for video information, and television broadcasting is also shifting from the conventional SD (standard image quality) of 720 × 480 pixels to HD (high image quality) of 1920 × 1080 pixels.
高画質化によりデータ量が増大するため、一層高能率な符号化アルゴリズムの開発が望まれている。そして、ITU−T SG16やISO/IEC JTC1/SC29/WG11で、フレーム間予測を用いた圧縮符号化方式の標準化作業が進められている。 Since the amount of data increases as a result of higher image quality, development of a more efficient encoding algorithm is desired. In ITU-T SG16 and ISO / IEC JTC1 / SC29 / WG11, standardization work of a compression coding method using interframe prediction is in progress.
現状、最も高能率符号化を実現しているといわれる符号化方式に、H.264/AVC(MPEG−4 PART10)がある。この符号化方式において新たに導入された技術的な特徴の一つは、フレーム間予測符号化に用いる参照画像を、複数のフレームの中から選択可能である点である。つまり、時間的に離れた画像フレームでも、符号化効率の向上が見込まれるのなら参照画像に採用することが可能となる。
しかしながら、このような柔軟な参照画像の選択を許容したことによる高能率符号化の実現は、特殊再生時の問題を提起する(特許文献1参照)。
Currently, H.264 is an encoding method that is said to realize the most efficient encoding. H.264 / AVC (MPEG-4 PART10). One of the technical features newly introduced in this encoding method is that a reference image used for interframe predictive encoding can be selected from a plurality of frames. That is, even an image frame that is separated in time can be adopted as a reference image if an improvement in encoding efficiency is expected.
However, realization of high-efficiency coding by allowing such flexible reference image selection raises a problem during special reproduction (see Patent Document 1).
従来、動画像情報の符号化に広く用いられているMPEG2方式においては、各画像フレームをフレーム内符号化、順方向のフレーム間符号化、双方向のフレーム間符号化のいずれかにより符号化する。そして、符号化フレームを、適用された符号化方式によってIピクチャ、Pピクチャ及びBピクチャと呼ぶ。 Conventionally, in the MPEG2 system widely used for encoding moving image information, each image frame is encoded by either intraframe encoding, forward interframe encoding, or bidirectional interframe encoding. . The encoded frames are referred to as I picture, P picture, and B picture depending on the applied encoding scheme.
MPEG2方式では、Pピクチャの参照画像は直前のIピクチャ又はPピクチャに限定されていた。そのため、IピクチャとPピクチャだけを抜き出し、正しく復号化して再生することが可能であり、例えば高速再生を容易に実現することができた。 In the MPEG2 system, the reference picture of the P picture is limited to the immediately preceding I picture or P picture. Therefore, it is possible to extract only the I picture and the P picture and correctly decode and reproduce them. For example, high-speed reproduction can be easily realized.
しかし、H.264方式では、Pピクチャが複数の画像を参照画像とできるだけでなく、Bピクチャを参照画像とすることも許容している。従って、符号化画像ストリームからIピクチャとPピクチャだけを抜き出して再生しようとした場合、Bピクチャを参照画像としているPピクチャは、正常な復号化を行なうことが困難となる。 However, H. In the H.264 system, not only a P picture can be used as a reference image but also a B picture can be used as a reference picture. Accordingly, when only the I picture and the P picture are extracted from the encoded image stream and reproduced, it is difficult to perform normal decoding on the P picture using the B picture as a reference image.
特許文献1では、高速再生を行なう場合、Iピクチャから次のIピクチャの直前のピクチャまでの間は、Iピクチャから少なくとも1枚目のPピクチャまでの、時間的に連続するフレーム群を復号化する。そして、復号化したフレーム群に含まれるIピクチャとPピクチャのみを再生している。
In
前述のように、H.264方式では、フレーム間符号化時の参照画像を柔軟に選択可能としたために、特殊再生に利用可能なピクチャは原則としてIピクチャだけとなってしまった。 As mentioned above, H.M. In the H.264 system, since a reference image at the time of interframe coding can be flexibly selected, in principle, only pictures that can be used for special reproduction are I pictures.
なお、特許文献1では、IピクチャからPピクチャまでのピクチャを抜き取れば、IピクチャとPピクチャは復号できるように説明されている。しかし、H.264/AVC標準では、Pピクチャに参照されるBピクチャが、Iピクチャよりもさらに古いピクチャを参照することを許容しているので、Pピクチャが復号化できない可能性もある。特許文献1ではこのような場合の対策については開示していない。
Note that
また、MPEG方式においては、所定数の連続したピクチャからなるピクチャ群をグループオブピクチャ(GOP)として管理し、GOPを単位として符号化を管理する。高能率な符号化を実現するためには、GOPを構成するピクチャ数を多くすることが望ましいが、特許文献1では、途中でGOP構造が変化した場合の特殊再生方法に関しても記載されていない。
In the MPEG system, a group of pictures composed of a predetermined number of consecutive pictures is managed as a group of pictures (GOP), and encoding is managed in units of GOPs. In order to realize high-efficiency encoding, it is desirable to increase the number of pictures constituting a GOP. However,
本発明はこのような従来技術の問題点に鑑みてなされたものである。そしてグループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法を提供することを目的とする。 The present invention has been made in view of such problems of the prior art. And even if the number of pictures constituting a group changes, an encoding device capable of performing encoding including encoded pictures that can easily perform special reproduction while suppressing a decrease in encoding efficiency An object of the present invention is to provide an encoding method.
すなわち、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化装置であって、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるIピクチャ、フレーム間予測符号化方式を用いて符号化される第1のPピクチャ又はBピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第1のPピクチャには無い制限を有する第2のPピクチャの中の1種類を選択する選択手段と、選択手段が選択したピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化手段と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、(1)Iピクチャ、又は、(2)参照可能なピクチャがIピクチャ又は所定のピクチャ間隔に対応する他の第2のPピクチャに制限された第2のPピクチャ、が選択されるように、選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置によって達成される。 That is, the above-described object is to manage each picture constituting a moving picture in a plurality of groups, and to encode each picture using either an intra-frame predictive coding system or an inter-frame predictive coding system. an apparatus, the number of pictures included in each group, and determining means for determining possible variation in each group, for each picture, I picture to be encoded using intra-frame predictive coding, inter-frame The first P picture or B picture that is encoded using the predictive encoding scheme, and the first P picture that is encoded using the interframe predictive encoding scheme and the reference relationship during interframe prediction code selection means for selecting one among the second P-picture, each picture based on a coding scheme corresponding to the type of picture which the selection means has selected with no restrictions Encoding means for, even if changing the number of pictures in each group, over a plurality of groups, each given picture interval, (1) I-picture, or, (2) referable picture so it second P-picture that is limited to the other of the second P-picture corresponding to I-picture or predetermined picture interval, is selected, and control means for controlling by that election択動operation in selection means, It is achieved by an encoding device characterized by having
また、上述の目的は、動画像を構成する各ピクチャを複数のグループで管理するとともに、各ピクチャをフレーム内予測符号化方式、フレーム間予測符号化方式のいずれかを用いて符号化する符号化方法であって、決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、選択手段が、各ピクチャに対し、フレーム内予測符号化方式を用いて符号化されるIピクチャ、フレーム間予測符号化方式を用いて符号化される第1のPピクチャ又はBピクチャ、及び、フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に第1のPピクチャには無い制限を有する第2のPピクチャの中の1種類を選択する選択工程と、符号化手段が、選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて各ピクチャを符号化する符号化工程と、グループ毎にピクチャの数を変化させる場合であっても、複数のグループに渡って、所定のピクチャ間隔毎に、(1)Iピクチャ、又は、(2)参照可能なピクチャがIピクチャ又は所定のピクチャ間隔に対応する他の第2のPピクチャに制限された第2のPピクチャ、が選択されるように、制御手段が選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法によっても達成される。 In addition, the above-described object is to perform encoding in which each picture constituting a moving image is managed by a plurality of groups, and each picture is encoded using either an intra-frame predictive encoding scheme or an inter-frame predictive encoding scheme. a method, determining means, the number of pictures included in each group, and determining step of determining to be varied for each group, the selection means, for each picture, using the frame prediction coding method codes I picture to be encoded, first P picture or B picture encoded using the inter-frame prediction encoding method, and reference relationship when inter-frame prediction is encoded using the inter-frame prediction encoding method the first selection step of selecting one among the second P-picture having no restriction on the P picture, coding means, corresponding to the type of picture which is selected in the selection step A coding step of coding each picture on the basis of Goka scheme, even if changing the number of pictures in each group, over a plurality of groups, each given picture interval, (1) I picture, or, (2) such that the second P-picture can be referred picture is limited to a second other P-pictures corresponding to the I-picture or predetermined picture interval, is selected, the control means selects and a control step of controlling that election択動work put into the process, also achieved by the encoding method characterized by having a.
このような構成により、本発明によれば、グループを構成するピクチャの数が変化する場合であっても、符号化効率の低下を抑制しながら、特殊再生が容易に行える符号化ピクチャを含めた符号化を行うことが可能な符号化装置及び符号化方法が実現できる。 With such a configuration, according to the present invention, even if the number of pictures constituting a group changes, the coded picture that can easily perform special reproduction is included while suppressing a decrease in coding efficiency. An encoding apparatus and an encoding method capable of performing encoding can be realized.
以下、図面を参照して本発明をその好適な実施形態に基づいて説明する。
<第1の実施形態>
図2は、本発明の第1の実施形態に係る画像符号化装置かつ画像復号化装置の一例としてのビデオカメラ(VCR)の構成例を示すブロック図である。
Hereinafter, the present invention will be described based on preferred embodiments with reference to the drawings.
<First Embodiment>
FIG. 2 is a block diagram illustrating a configuration example of a video camera (VCR) as an example of an image encoding device and an image decoding device according to the first embodiment of the present invention.
図において、UI処理部10は、スイッチ、ボタン、タッチパネル、ダイヤル等を有し、ユーザがビデオカメラに対して動作指示や設定を行なうために用いられる。UI処理部10に対する操作は、制御部20へ伝えられる。
In the figure, a
制御部20は例えばマイクロコンピュータであり、例えば内部ROMに記憶された制御プログラムを実行して各部の動作を制御することにより、ビデオカメラ全体を制御する。映像入力部100は、レンズや撮像素子、A/Dコンバータ等を有し、被写体映像をディジタルデータに変換して出力する。符号化処理部200は、映像入力部100からのデジタル画像データを圧縮符号化する。
The
記録処理部300は、符号化処理部200で圧縮符号化されたデジタル画像データを、所定の記録方式でテープ、ディスク或いは半導体メモリ等の記録媒体400に記録する。再生処理部500は、記録媒体400から符号化画像データを読み出す。復号化処理部600は、再生処理部500が読み出した符号化画像データを復号化する。映像出力部700は、LCD等の表示部を有し、復号された画像データや、設定画面等を表示する。
The
このような構成を有するビデオカメラの記録動作について説明する。
ユーザがUI処理部10を介して記録開始を指示すると、制御部20は映像入力部100、符号化処理部200、記録処理部300を制御して記録処理を開始する。記録時、被写体映像は映像入力部100により撮影され、デジタル画像データとして出力される。画像データは、符号化処理部200で符号化され、データ量を圧縮された符号化画像データとして出力される。なお、本実施形態においては、後述する特殊再生用ピクチャの処理も符号化処理部200で行なう。符号化画像データは、記録処理部300で記録媒体400に適応した信号処理が施された後、記録媒体400に記録される。
A recording operation of the video camera having such a configuration will be described.
When the user instructs to start recording via the
なお、本実施形態におけるビデオカメラは、映像入力部(カメラ)100から入力される画像データだけでなく、図示しない外部入力端子を介して外部から入力される(ライン入力される)画像データを符号化、記録することが可能である。 The video camera according to the present embodiment encodes not only image data input from the video input unit (camera) 100 but also image data input from the outside (line input) via an external input terminal (not shown). Can be recorded.
次に、特殊再生動作に関して説明する。ユーザがUI処理部10を介して特殊再生の開始を指示すると、制御部20は再生処理部500、復号化処理部600及び映像出力部700を制御して特殊再生処理を開始する。
Next, the special reproduction operation will be described. When the user instructs the start of special playback via the
再生処理部500は、記録媒体400に記録された符号化画像データの中から、後述する特殊再生ピクチャの符号化画像データを読み出し、復号化処理に適した信号処理を施す。読み出された特殊再生ピクチャの符号化画像データは、復号化処理部600で画像データとして復号される。復号された画像データは逐次映像出力部700で出力され、特殊再生表示が実現される。
The
(符号化処理)
次に、本実施形態の符号化処理部200の構成及び動作について説明する。
図3は、本実施形態の符号化処理部200の構成例を示すブロック図である。
図において、映像入力部100が出力するデジタル画像データは、画像入力部210を介して供給される。減算器212は、入力画像データから、後述する予測画像情報を減算する。変換部(DCT)214は、減算器212の出力する、画像の差分データ(予測誤差データ)に対して4×4の整数直交変換を適用する。
(Encoding process)
Next, the configuration and operation of the
FIG. 3 is a block diagram illustrating a configuration example of the
In the figure, digital image data output from the
量子化部(Q)216は、変換部214の出力する変換係数を、所定の量子化スケールで量子化する。エントロピー符号化部(EC)218は、量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮する。
The quantization unit (Q) 216 quantizes the transform coefficient output from the
逆量子化部(I−Q)230は量子化された変換係数に対して逆量子化処理を施す。逆変換部(I−DCT)232は、逆量子化された変換係数に逆整数直交変換を行ない、画像の差分データに戻す。加算器234は、復元された画像の差分データに、後述する予測画像データを加算する。
The inverse quantization unit (I-Q) 230 performs an inverse quantization process on the quantized transform coefficient. The inverse transform unit (I-DCT) 232 performs inverse integer orthogonal transform on the inversely quantized transform coefficient and returns the difference data of the image. The
第1フレームメモリ(FM)236は、後述する予測画像データにより復元された画像データ(局所復号画像データ)を保持する。イントラ予測符号化部(Intra)240は、第1フレームメモリ236に保持された画像データを所定のブロック単位に分割し、各ブロックの画像データをブロック周辺の画素から予測し、予測画像データを生成する。スイッチ部260は、ピクチャ制御部280の制御に従い、イントラ予測符号化部240と後述するインター予測符号化部256の一方の出力を予測画像データとして出力する。
The first frame memory (FM) 236 holds image data (local decoded image data) restored by predicted image data described later. The intra prediction encoding unit (Intra) 240 divides the image data held in the
デブロッキングフィルタ(DBF)250は、後述する予測画像データにより復元された画像データに対し、符号化単位ブロックの境界おける不連続性(所謂ブロックノイズ)を補正する。第2フレームメモリ252は、ブロック境界補正処理が行われた復元画像データを、後述する予測画像データの参照画像として利用するために保持する。
The deblocking filter (DBF) 250 corrects discontinuity (so-called block noise) at the boundary of the encoding unit block with respect to image data restored by predictive image data described later. The
インター予測符号化部256は、画像入力部210から入力される現在の画像データと、第2フレームメモリ252に保持される参照画像とから動き情報を求め、現在の画像データの予測画像データを生成する。ピクチャ制御部280は、ピクチャ(フレーム)毎に、適用する予測符号化方法を決定する。
The inter
次に、符号化動作について説明する。
画像入力部210から入力された画像データは、減算器212で予測画像データを減算され、予測画像データとの差分データが得られる。差分データは、変換部214でDCT等の整数直交変換が施され、周波数成分データに変換される。各周波数成分に対応する変換係数は、量子化部216で所定のステップ幅で量子化される。量子化された変換係数データはエントロピー符号化部218で圧縮符号化される。さらに、エントロピー符号化部218では、後述する予測符号化ピクチャに関する情報も含め、多重化されて圧縮符号化される。
Next, the encoding operation will be described.
The image data input from the
次に、予測画像データの処理について説明する。予測画像データは、入力された予測符号化対象画像内を参照するイントラ予測符号化方式による生成方法と、入力された予測符号化対象画像以外を参照するインター予測符号化方式による生成方法がある。 Next, processing of predicted image data will be described. Predictive image data includes a generation method based on an intra-prediction encoding scheme that refers to the input prediction encoding target image, and a generation method based on an inter-prediction encoding scheme that refers to other than the input prediction encoding target image.
まず、イントラ符号化予測方式による予測画像情報の生成方法について説明する。
量子化部216で量子化された変換係数を逆量子化部230で逆量子化し、変換係数を復元する。復元された変換係数は、さらに逆整数直交変換部232で逆整数直交変換を行なうことで、入力画像データと予測画像データとの差分データとして復元される。復元された差分データに対し、加算器234で後述する予測画像データを加算することにより、入力画像の復元画像データ(局所復号画像データ)が得られる。
First, a method for generating predicted image information using an intra-coded prediction method will be described.
The transform coefficient quantized by the
この復元画像データを第1フレームメモリ236に記憶する。そして、この復元画像データに対し、イントラ予測符号化部240を用いてイントラ予測符号化を行なう。具体的には、復元画像データを所定サイズのブロック単位に分割し、各ブロック内の復元画像データを、ブロックの周辺画素値から予測する。予測画像データは、スイッチ部260に送られる。スイッチ部260は後述する制御部280によって制御され、イントラ予測符号化方式による予測画像データを出力する場合には、制御部280がスイッチ260cに260aを選択させる。
このイントラ予測符号化方式による予測画像データは、スイッチ部260から減算器212や加算器234に送られ、予測画像差分データと復元画像データの生成に使われる。
The restored image data is stored in the
Predicted image data by this intra prediction encoding method is sent from the
次に、インター予測符号化方式による予測画像データ生成方法について説明する。
加算器234で復元画像データを得るまでは上述した通りであるため、説明を省略する。加算器234で得られた復元画像データは、後述するブロック単位の境界におけるデータの不連続性(ブロックひずみ)を排除するために、デブロッキングフィルタ部250に送られる。デブロッキングフィルタ部250では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。ただし、デブロッキングフィルタはオプションであり、復元画像データにおけるブロックひずみが十分に少ないと判断されるときは、フィルタ処理を行わなくてもよい。
Next, a prediction image data generation method using the inter prediction encoding method will be described.
The process until the restored image data is obtained by the
フィルタ処理された復元画像データは、第2フレームメモリ252に記憶する。なお、第2フレームメモリ252は複数フレーム(ピクチャ)分の復元画像データを保持可能な容量を有する。
The restored restored image data is stored in the
インター予測符号化部256では、画像入力部210から供給される予測符号化対象の入力画像と、第2フレームメモリ252に記憶された複数の復元画像データとの相関をブロック単位で求める。そして、符号化対象ブロックと、復元画像データ中のブロックのうち相関が最も高いブロックとの相対位置関係を動き情報として検出する。さらに、この動き情報と、復元画像データに基づく予測画像データとを生成する。
The inter
生成されたインター予測符号化方式による予測画像データは、スイッチ部260に送られる。スイッチ部260は後述する制御部280によって制御され、インター予測符号化方式による予測画像データを出力する場合には、制御部280がスイッチ260cに260bを選択させる。
このインター予測符号化方式による予測画像データは、スイッチ部260から減算器212や加算器234に送られ、予測画像差分データと復元画像データの生成に使われる。
The generated prediction image data by the inter prediction encoding method is sent to the
Predicted image data by this inter prediction encoding method is sent from the
制御部280は、予測符号化方式を選択する所定の方法によって、イントラ予測符号化方式(I)の場合は、スイッチ260cを260aに、インター予測符号化方式(P,B)の場合は、スイッチ260cを260bに接続する。
The
さらに、制御部280は、インター予測符号化方式の場合は、インター予測符号化部256に対して、前方予測インター予測符号化方式(前方予測方式:P)か双方向予測インター符号化方式(双方向予測方式:B)かの指示をピクチャ単位に生成する。
Furthermore, in the case of the inter prediction encoding method, the
前方予測方式とは、予測符号化に用いる参照画像データを、表示順で符号化対象ピクチャより前の1枚の画像から復元された復元画像データに制限するインター予測符号化方式である。一方、双方向予測方式は、このような表示順に関する制限がなく、最大2枚の画像から復元された復元画像データを参照して、予測符号化することが可能である。
制御部280においてピクチャ単位で選択された予測符号化方式(I,P,B)は、エントロピー符号化部218に送られ、符号化データに多重化される。
The forward prediction method is an inter prediction coding method in which reference image data used for predictive coding is limited to restored image data restored from one image before the encoding target picture in display order. On the other hand, the bi-directional prediction method is not limited with respect to such display order, and can be predictively encoded with reference to restored image data restored from a maximum of two images.
The predictive coding scheme (I, P, B) selected in units of pictures in the
本実施形態においては、説明の簡略化のため、予測符号化方式をピクチャ単位で選択するものとしているが、画素ブロック単位で異なる予測符号化方式を適用することも可能である。例えば、Pピクチャを構成する画素ブロックに対しては、イントラ予測方式か前方予測方式が、Bピクチャを構成する画素ブロックに対してはイントラ予測方式、前方予測方式および双方向予測方式のいずれかを選択することができる。 In the present embodiment, for simplification of description, the predictive encoding method is selected in units of pictures, but different predictive encoding methods can be applied in units of pixel blocks. For example, an intra prediction method or a forward prediction method is used for a pixel block that forms a P picture, and an intra prediction method, a forward prediction method, or a bidirectional prediction method is used for a pixel block that forms a B picture. You can choose.
このような符号化方式の対応付けにより、IピクチャはIピクチャの符号化データのみから復号が可能となり、PピクチャはPピクチャの符号化データと1枚の参照画像の符号化データがあれば、復号可能となる。 With this encoding scheme association, an I picture can be decoded only from encoded data of an I picture, and a P picture has encoded data of a P picture and encoded data of one reference image. Decoding is possible.
以下、本実施形態における、予測符号化方式の選択方法に関して説明する。
図5は、図2の符号化処理部200に入力される符号化対象ピクチャと、H.264符号化方式で許容される参照関係の例を説明する概念図である。
Hereinafter, a method for selecting a predictive coding method in the present embodiment will be described.
FIG. 5 shows a picture to be encoded input to the
図5において、I、P、Bは前述したイントラ予測符号化ピクチャ(Iピクチャ)、前方予測符号化ピクチャ(Pピクチャ)、双方向予測符号化ピクチャ(Bピクチャ)をそれぞれ表し、図の左側のピクチャから順に図2の符号化処理部200に入力される。入力順は復号化された後の表示順に等しい。
In FIG. 5, I, P, and B represent the aforementioned intra prediction coded picture (I picture), forward predictive coded picture (P picture), and bidirectional predictive coded picture (B picture), respectively. The pictures are input to the
本実施形態においては、Iピクチャが15ピクチャ間隔で設定されている。Iピクチャを最低1枚含む複数の符号化ピクチャ群を、グループオブピクチャ(GOP)と呼び、別に管理する。図5において、B0〜P14の15枚のピクチャからなるピクチャ群1000がひとつのGOPである。
In this embodiment, I pictures are set at intervals of 15 pictures. A plurality of coded picture groups including at least one I picture are called a group of pictures (GOP) and managed separately. In FIG. 5, a
前述したように、Iピクチャは、Iピクチャの符号化データのみを用いて復号することが可能である。従って、各GOPでIピクチャの位置を管理しておけば、符号化データの中からIピクチャの符号化データを取り出し復号することが可能であり、本実施形態では15ピクチャ間隔での復号表示が可能となる。各GOPから抜き出して復号したIピクチャを通常のフレームレートで表示すれば、15倍速相当の特殊再生表示を実現することができる。 As described above, an I picture can be decoded using only encoded data of the I picture. Therefore, if the position of the I picture is managed in each GOP, the encoded data of the I picture can be extracted from the encoded data and decoded. In this embodiment, the decoded display is performed at intervals of 15 pictures. It becomes possible. If the I picture extracted from each GOP and decoded is displayed at a normal frame rate, special reproduction display equivalent to 15 × speed can be realized.
また、図5において、I、P、Bに続く数字0〜14は、GOP単位での、図2の符号化処理部200に入力する順を示している。
さらに、図中の矢印は、インター予測符号化ピクチャ(PピクチャあるいはBピクチャ)が用いる参照画像データを示している。すなわち、本例において、ピクチャP5は、前GOPのピクチャP14を参照している。ピクチャP11は、ピクチャP5を参照している。ピクチャP8は、ピクチャI2を参照している。ピクチャP14は、ピクチャP8を参照している。一方、ピクチャB0はピクチャP14とB1を参照している。ピクチャB1はピクチャP14とI2を参照している。
In FIG. 5,
Furthermore, the arrows in the figure indicate reference image data used by inter prediction coded pictures (P pictures or B pictures). That is, in this example, the picture P5 refers to the picture P14 of the previous GOP. The picture P11 refers to the picture P5. The picture P8 refers to the picture I2. The picture P14 refers to the picture P8. On the other hand, picture B0 refers to pictures P14 and B1. Picture B1 refers to pictures P14 and I2.
このように、H.264方式では、Pピクチャが直近でないIピクチャやPピクチャを参照することも可能であり、さらには、図示していないがBピクチャの参照も許容されている。また、Bピクチャが他のBピクチャを参照したり、直近のIピクチャやPピクチャよりも時間的に離れたピクチャを参照することも許容されている。このような、柔軟な参照ピクチャの選択を許容することで、最も相関の高いピクチャを参照画像として選択することが可能となり、結果として、高能率な符号化を可能としている。 In this way, H.C. In the H.264 system, it is also possible to refer to an I picture or a P picture that is not the closest to the P picture, and further, although not shown, reference to a B picture is allowed. Also, it is allowed for a B picture to refer to another B picture, or to refer to a picture temporally separated from the most recent I picture or P picture. By allowing such flexible reference picture selection, it is possible to select a picture with the highest correlation as a reference image, and as a result, highly efficient encoding is possible.
しかしながら、図5のように自由な参照を許容すると、上述したように、特殊再生時、特には高速再生する場合、Iピクチャのみを抜き出して再生する方法を取らざるを得なくなるという弊害が発生する。すなわち、図5においては1GOPが15ピクチャで構成されているが、GOPを構成するピクチャの数は固定でない。例えば、より一層の高能率符号化を実現するため、さらに多いピクチャ(例えば30枚)でGOPを構成する場合もある。GOP内のIピクチャを抜き出して高速再生する場合、GOPを構成するピクチャ数の変化は、再生速度の変動を生じさせる。 However, if free reference as shown in FIG. 5 is allowed, as described above, there is a problem in that it is necessary to take a method of extracting and reproducing only the I picture at the time of special reproduction, particularly when reproducing at high speed. . That is, in FIG. 5, 1 GOP is composed of 15 pictures, but the number of pictures constituting the GOP is not fixed. For example, a GOP may be configured with a larger number of pictures (for example, 30 pictures) in order to realize higher efficiency coding. When an I picture in a GOP is extracted and played back at high speed, a change in the number of pictures constituting the GOP causes a change in playback speed.
次に、本実施形態における制御部280が符号化予測方式を選択する原理について、図6を用いて説明する。
図6において、2500〜2504はGOP、2600〜2604はIピクチャ、2650と2700〜2711と2800〜2811はPピクチャをそれぞれ表している。図6において、GOP2500、2501、2503、2504はいずれも15ピクチャから、GOP2502は30ピクチャから構成される。
Next, the principle by which the
In FIG. 6, 2500 to 2504 represent GOP, 2600 to 2604 represent I pictures, and 2650, 2700 to 2711, and 2800 to 2811 represent P pictures, respectively. In FIG. 6,
ここで、Pピクチャ2700は、同一GOP2500内のIピクチャ2600を参照し、Pピクチャ2701は同一GOP2500内のPピクチャ2700を参照している。Pピクチャ2702は同一GOP2501内のIピクチャ2601を参照し、Pピクチャ2703は同一GOP2501内のPピクチャ2702を参照している。Pピクチャ2704は同一GOP2502内のIピクチャ2602を参照し、Pピクチャ2705は同一GOP2502内のPピクチャ2704を参照している。
Here, the
ここで、Pピクチャ2650は同一GOP2502内のPピクチャ2705を参照している。次のPピクチャ2706は同一GOP2502内のPピクチャ2650を参照し、Pピクチャ2707は同一GOP2502内のPピクチャ2706を参照している。以降、GOP2503、2504のPピクチャ2708、2709、2710、2711は、GOP2500、2501と同様の参照関係とされている。
Here, the
ここで、各GOP2500〜2504の基準ピクチャはIピクチャ2600〜2604となる。しかしながら、Iピクチャ2603は、その前のIピクチャ2602から30ピクチャ目に出現し、15ピクチャ毎にIピクチャが現れる他のGOPとは異なっている。これは、GOP2502が符号化効率の関係から30枚のピクチャから構成されるように切り替えられていることに起因する。つまり、GOP構成枚数を変更しなければ、本来Iピクチャである符号化ピクチャがPピクチャ2650に変更されていることによる。
Here, the reference pictures of each
そこで、本実施形態では、GOPを構成する最小のピクチャ枚数毎に配置されたIピクチャとPピクチャを、Iピクチャ2600〜2604とPピクチャ2650を第1の制限付符号化ピクチャとして管理する。換言すれば、第1の制限付符号化ピクチャは、そのピクチャが含まれるGOPが最小ピクチャ数で構成されている場合はフレーム内予測符号化方式で符号化する。そして、より多いピクチャ数で構成されるGOPに含まれる第1の制限付符号化ピクチャは、直近の第1の制限付符号化ピクチャから直前の符号化ピクチャまでの符号化データのみから復号化可能なピクチャを参照するよう、参照先を制限する。以後、この、参照先を制限した符号化方式を、第1の制限付符号化方式と呼ぶ。
Therefore, in the present embodiment, I pictures and P pictures arranged for each minimum number of pictures constituting a GOP are managed as I pictures 2600 to 2604 and
具体的には、図6の例では、GOPを構成する最小ピクチャ数が15である。そして、GOP2500の3ピクチャ目がIピクチャ2600であり、ここから15×n(nは自然数)枚目となる以下のピクチャが第1の制限付符号化ピクチャ群を構成する。
Iピクチャ2600
Iピクチャ2601
Iピクチャ2602
Pピクチャ2650
Iピクチャ2603
Iピクチャ2604
:
Specifically, in the example of FIG. 6, the minimum number of pictures constituting the GOP is 15. The third picture of the
I picture 2600
I picture 2601
I picture 2602
I picture 2603
I picture 2604
:
ここで、GOP2502は最小構成枚数よりも多いピクチャで構成されるため、Iピクチャ2602から15枚目のピクチャは、Pピクチャ2650である。
Here, since the
この場合、フレーム間予測符号化を行うPピクチャ2650が参照可能なピクチャは、直近の第1の制限付符号化ピクチャであるIピクチャ2602から、直前のピクチャであるBピクチャ2640までの符号化データのみから復号化可能なピクチャに制限される。従って、Pピクチャ2650を、Iピクチャ2602、Pピクチャ2704及び2705の1つ以上を参照画像とするフレーム間符号化方式で符号化する。図6の例では、Pピクチャ2650は、Pピクチャ2705を参照している。
In this case, pictures that can be referred to by the
さらに、本実施形態においては、第1の制限付符号化ピクチャを基準ピクチャとして、GOPを構成する最小ピクチャ数よりも小さい所定枚数(ここでは6枚)毎に、第2の制限付符号化ピクチャを設ける。具体的には、同一GOP内に含まれる第1の制限付符号化ピクチャ、もしくは同一GOP内に含まれる他の特殊再生用ピクチャを参照先とするPピクチャを、第2の制限付符号化ピクチャとして設ける。 Furthermore, in the present embodiment, with the first limited coded picture as a reference picture, the second limited coded picture is used for every predetermined number of pictures (here, 6 pictures) smaller than the minimum number of pictures constituting the GOP. Is provided. Specifically, a first restricted encoded picture included in the same GOP or a P picture that is referred to by another special reproduction picture included in the same GOP is referred to as a second restricted encoded picture. Provide as.
図6においては、Iピクチャ2600から6ピクチャ毎に存在するPピクチャ2700〜2711が、第2の制限付符号化ピクチャである。このように、Iピクチャ2600を先頭とする6ピクチャ毎のピクチャ群は、GOPを構成するピクチャの枚数の変動とは無関係に配置されている。しかも、これらのピクチャ群は、第1の制限付符号化ピクチャ群さえ復号化されれば、全て復号化可能である。つまり、第1の制限付符号化ピクチャ及び第2の制限付符号化ピクチャを抜き出すことにより、GOPを構成するピクチャの枚数とは無関係に、6枚毎のピクチャが必ず復号可能となる。従って、これら6枚毎のピクチャを通常のフレームレートで表示すれば、GOPを構成するピクチャの枚数が変更されても6倍速を維持した再生表示が実現可能である。
In FIG. 6,
次に、図1のフローチャートを用い、本実施形態における符号化処理部200における符号化処理について説明する。
画像データの符号化処理が開始されるとまず、符号化対象ピクチャカウンタkの値を1にリセットする(S2900)。そして、GOPを構成するピクチャの数(GOP構成枚数)の確認を行うとともに、GOP内ピクチャカウンタjの値を1にリセットする(S2901)。
Next, the encoding process in the
When the encoding process of image data is started, first, the value of the encoding target picture counter k is reset to 1 (S2900). Then, the number of pictures constituting the GOP (GOP constituting number) is confirmed, and the value of the intra-GOP picture counter j is reset to 1 (S2901).
ここで、図7に示すフローチャートを用い、本実施形態におけるGOP構成枚数の設定方法について説明する。GOP構成枚数の設定が開始されると、まず、符号化する画像データ(符号化対象ピクチャ)がカメラから入力されるかどうかを確認する(S3001)。上述のように、本実施形態のビデオカメラにおいて、符号化対象ピクチャは、カメラ入力(映像入力部100からの入力)又はライン入力(USBやIEEE1394等の外部入力端子からの入力)として与えられる。 Here, a method for setting the number of GOP components in the present embodiment will be described using the flowchart shown in FIG. When the setting of the number of GOP constituents is started, it is first checked whether or not image data to be encoded (encoding target picture) is input from the camera (S3001). As described above, in the video camera of this embodiment, the encoding target picture is given as camera input (input from the video input unit 100) or line input (input from an external input terminal such as USB or IEEE1394).
S3001において、符号化対象ピクチャがライン入力されると判断された場合は、S3006に進む。一方、カメラ入力されると判断されたならば、記録モードが高画質記録モードに設定されているかどうかを判断する(S3002)。 If it is determined in S3001 that the encoding target picture is input as a line, the process proceeds to S3006. On the other hand, if it is determined that the input is from the camera, it is determined whether the recording mode is set to the high image quality recording mode (S3002).
本実施形態において、記録モードには、高いデータレートで画質を重視する高画質記録モードと、高画質記録モードよりも低いデータレートとするかわりに、高画質記録モードよりも長時間記録可能な長時間記録モードがある。そして、長時間記録モードが設定されている場合はS3006に進む。 In this embodiment, the recording mode includes a high-quality recording mode that emphasizes image quality at a high data rate and a data rate that can be recorded for a longer time than the high-quality recording mode, instead of a lower data rate than the high-quality recording mode. There is a time recording mode. If the long-time recording mode is set, the process proceeds to S3006.
一方、高画質記録モードが設定されている場合は、記録媒体がディスクかどうか判断する(S3003)。本実施形態において記録先として利用可能な記録媒体には、大容量記録に向いたディスク(DVD−R等)と、扱い易いが大容量記録には向いていないメモリカードがあり、メモリカードの場合はS3006に進む。ディスクへの記録ならば、記録媒体の空き容量を確認する(S3004)。予め定めた値以上の空き容量が残っていなければ、S3006に進む。一方、記録媒体に予め定めた値以上の空き容量が残っている場合には、S3005に進む。S3005では、GOP構成枚数を最小構成枚数m(ここでは15枚とする)に設定する。一方、S3006では、GOP構成枚数を最小構成枚数の2倍、この場合は30枚に設定する。 On the other hand, if the high-quality recording mode is set, it is determined whether the recording medium is a disc (S3003). In the present embodiment, the recording medium that can be used as a recording destination includes a disk (DVD-R, etc.) suitable for large-capacity recording and a memory card that is easy to handle but not suitable for large-capacity recording. Advances to S3006. If recording to a disc, the free space of the recording medium is confirmed (S3004). If there is no remaining free space equal to or greater than the predetermined value, the process proceeds to S3006. On the other hand, if there is a remaining free space of a predetermined value or more on the recording medium, the process proceeds to S3005. In S3005, the GOP configuration number is set to the minimum configuration number m (here, 15). On the other hand, in S3006, the GOP configuration number is set to twice the minimum configuration number, in this case 30.
一般に、GOP構成枚数が大きいほど、符号量の多いIピクチャの枚数が減るので、符号化効率は向上する。ライン入力画像は比較的安定した映像であることが多く、ピクチャ間の相関も強い傾向があるので、GOP構成枚数を多くすることで、高能率符号化を実現することができる。また、長時間記録モードでは、Iピクチャの出現確率を減らすことによる符号化効率の向上により、さらなる長時間記録を実現することができる。また、メモリカードは容量あたりの価格が高いため、容量を効率良く利用するため、GOP構成枚数を多くしている。さらに、ディスク記録媒体であっても、空き容量が十分でなくなった場合は、GOP構成枚数を多くしている。
以上のような手順により、GOP構成枚数が、図2の制御部20で設定され、符号化処理部200に送られて、GOP構成枚数の設定は終了する(S3007)。
In general, the larger the number of GOP constituents, the smaller the number of I pictures with a large code amount, so that the coding efficiency is improved. Since the line input image is often a relatively stable image and the correlation between pictures tends to be strong, high-efficiency encoding can be realized by increasing the number of GOPs. In the long-time recording mode, it is possible to realize further long-time recording by improving the encoding efficiency by reducing the appearance probability of the I picture. Further, since the price per capacity of the memory card is high, the number of GOPs is increased in order to efficiently use the capacity. Furthermore, even if it is a disk recording medium, when the free space becomes insufficient, the number of GOPs is increased.
With the above procedure, the GOP configuration number is set by the
図1に戻り、上述の手順で設定されたGOP構成枚数を確認し、GOP内カウンタをリセットしたら(S2901)、S2903に進み符号化対象ピクチャを入力する。次に、
GOP内カウンタjの値の、GOPの最小構成枚数mを法とした際の剰余(j mod m)が3であるかどうかを調べる(S2905)。
Returning to FIG. 1, after confirming the number of GOP components set in the above-described procedure and resetting the GOP counter (S2901), the process proceeds to S2903 to input a picture to be encoded. next,
It is checked whether or not the remainder (j mod m) of the value in the GOP counter j modulo the minimum GOP configuration number m is 3 (S2905).
ここで、j mod mの値が3でない場合には、S2907へ進み、符号化対象ピクチャカウンタkの値の、6を法とした際の剰余(|k-3| mod 6)が0かどうかを調べる。本実施形態においては、先頭のGOPの3番目のピクチャをIピクチャとし、そこから6ピクチャ毎に特殊再生用のPピクチャを含める。そのため、入力された符号化対象ピクチャを、特殊再生用ピクチャとして符号化すべきかどうかをこの計算によって判定する。 If the value of j mod m is not 3, the process advances to step S2907 to check whether the remainder (| k-3 | mod 6) of the value of the encoding target picture counter k modulo 6 is 0. Check out. In the present embodiment, the third picture of the first GOP is set as an I picture, and a special reproduction P picture is included every six pictures. Therefore, it is determined by this calculation whether or not the input encoding target picture should be encoded as a special reproduction picture.
|k-3| mod 6=0でなければ、S2909へ進み、通常の符号化方式によって符号化処理を行う。この場合、符号化対象ピクチャは前方予測符号化方式又は双予測符号化方式によって符号化される。
If | k−3 |
一方、S2907で、|k-3| mod 6=0であった場合には、S2911において、符号化対象ピクチャを、第2の制限付符号化方式によって符号化する。第2の制限付符号化方式は、参照先を制限した前方予測符号化方式である。具体的には、ピクチャストリームにおいて、時間的に先行するピクチャであって、Iピクチャもしくは第2の制限付符号化方式
で符号化された他のピクチャを参照先とする前方予測符号化方式(インタ予測符号化方式)を用いる。従って、Iピクチャと、第2の制限付符号化方式を用いて符号化されたPピクチャ(第2の制限付ピクチャ)から構成されるピクチャ群は、そのピクチャ群内のデータのみを用いて復号化することが可能である。これにより、本実施形態によって生成された符号化データには、6ピクチャ毎に復号可能なピクチャが含まれ、6倍速表示を容易に行うことが可能となる。
On the other hand, if | k−3 |
S2905において、j mod m=3である場合には、S2913に進み、GOP内カウンタjの値を確認する。そして、j=3であるかどうかをさらに確認する(S2913)。j=3、すなわち、符号化対象ピクチャがGOPの3番目のピクチャである場合、本実施形態においてはIピクチャとする。そのため、j=3の場合には、S2917に進んでイントラ符号化方式により符号化を行う。 If it is determined in step S2905 that j mod m = 3, the process advances to step S2913 to check the value of the GOP counter j. Then, it is further confirmed whether j = 3 (S2913). When j = 3, that is, when the encoding target picture is the third picture of the GOP, it is set as an I picture in this embodiment. Therefore, when j = 3, the process proceeds to S2917 to perform encoding by the intra encoding method.
一方、j=3でない場合、符号化対象ピクチャは図6のピクチャ2650のような、GOP内で(3+m*n)番目(nは自然数)に当たるピクチャである。そのため、上述した第1の制限付符号化方式を用いて符号化を行う(S2915)。
On the other hand, when j = 3 is not true, the encoding target picture is a picture corresponding to the (3 + m * n) th (n is a natural number) in the GOP, such as the
このようにして、入力された各符号化対象ピクチャは、S2909,S2911,S2917及びS2915のいずれかにおいて符号化される。そして、用いられた符号化方式に関する情報は、各ピクチャの符号化データに、エントロピー符号化部218で多重される。
In this way, each input encoding target picture is encoded in any one of S2909, S2911, S2917, and S2915. Then, the information on the used encoding method is multiplexed by the
S2919では、GOP内カウンタj及び符号化対象ピクチャカウンタkの値をそれぞれ1インクリメントする。S2921では、引き続き符号化処理を続けるかどうかを確認し、終了ならば処理を終了する。終了でない場合、S2923で、GOPが終了したかどうかを調べる。具体的には、S2901で確認したGOP構成枚数と、GOP内カウンタjの値とを用いて判定することができる。 In S2919, the values of the GOP counter j and the encoding target picture counter k are each incremented by one. In S2921, it is confirmed whether or not the encoding process is to be continued. If it is not finished, it is checked in step S2923 if the GOP is finished. Specifically, the determination can be made using the number of GOP components confirmed in S2901 and the value of the GOP counter j.
jの値がGOP構成枚数以下である場合には、GOPは終了していないため、S2903に戻って次の符号化対象ピクチャの入力を行う。また、jの値がGOP構成枚数を超えた場合には、符号化したピクチャがGOP内の最後のピクチャであるため、GOP終了としてS2901へ戻り、次のGOPの構成枚数の確認及びGOP内カウンタのリセットを行う。 If the value of j is less than or equal to the number of GOPs, the GOP has not ended, and the process returns to S2903 to input the next encoding target picture. On the other hand, if the value of j exceeds the GOP constituent number, the encoded picture is the last picture in the GOP, so the process returns to S2901 as the end of the GOP, confirms the constituent number of the next GOP, and the GOP counter Reset.
このようにして、本実施形態では、入力される符号化対象ピクチャ群に対して、第1の制限付ピクチャを含めることで、GOPの構成枚数が変化しても、高速再生時の再生速度が変動することを抑制することができる。さらに、第2の制限付ピクチャを含めることで、符号化効率がイントラ符号化よりも高いインタ符号化を用いながら、高速再生を容易に行うことが可能な符号化データを生成することができる。 In this way, in the present embodiment, by including the first restricted picture in the input encoding target picture group, even when the number of constituent GOPs changes, the playback speed during high-speed playback is increased. Fluctuation can be suppressed. Furthermore, by including the second restricted picture, it is possible to generate encoded data that can be easily reproduced at high speed while using inter-encoding with higher encoding efficiency than intra-encoding.
図4は、図2の復号化処理部600の構成例を示すブロック図である。
再生処理部500からの符号化データは、データ入力部610から入力される。また、システム全体の制御部(図2の20)からの復号化処理の指示は、制御入力部611を介して入力される。エントロピー復号化処理部612は、エントロピー符号化された符号化データに対して復号化処理を行ってデータ伸長する。エントロピー復号化処理部612では、符号化データに多重化された動き情報等のメタデータも生成する。
FIG. 4 is a block diagram illustrating a configuration example of the
The encoded data from the
逆量子化処理部(I−Q)614は、エントロピー復号化処理されたデジタルデータに対し、所定の量子化スケールで逆量子化して整数変換係数を算出する。逆整数変換部(I−DCT)616は、算出された整数変換係数に対して逆整数変換を施し、画像データを復元する。加算器618は復元された画像データに対し、後述する予測画像データを加算する。
The inverse quantization processing unit (IQ) 614 calculates the integer transform coefficient by performing inverse quantization on the digital data subjected to the entropy decoding process with a predetermined quantization scale. The inverse integer transform unit (I-DCT) 616 performs inverse integer transform on the calculated integer transform coefficient to restore the image data. An
スイッチ部635は予測方式制御部680により制御され、加算器618の出力(復号された画像データ)を、第3フレームメモリ(FM)636又はデブロッキングフィルタ部(DBF)650のいずれかへ出力する。第3フレームメモリ636は、スイッチ部635から供給される、復号された画像データを保持する。イントラ予測復号化部640は、第3フレームメモリ636に保持された画像データを用いて、復号化処理されるブロックの周辺画素からブロック内の画像データを予測する。スイッチ部660は、予測方式制御部680により制御され、イントラ予測復号化部640又はインター予測復号化部656のいずれかの出力を加算器618へ出力する。
The
デブロッキングフィルタ部650は、復号された画像データに対してブロック境界の不連続性を補正する。第4フレームメモリ652は、ブロック境界補正処理が行われた局所復号画像データを参照画像として保持する。
The
インター予測復号化部656は、第4フレームメモリに保持された複数の参照画像と、エントロピー復号化処理で生成された動き情報等のメタデータを用いて、予測画像データを生成する。
予測方式制御部680は、エントロピー復号化処理部612で生成された動き情報等の予測符号化に関するメタデータに従って、ピクチャ単位で予測復号化処理方法を制御する。
The inter
The prediction
図4を参照して、本実施形態における特殊再生処理について説明する。ここでは、特殊再生の例として、上述の符号化処理で生成した符号化データを用いた6倍速再生処理を説明する。 With reference to FIG. 4, the special reproduction process in this embodiment is demonstrated. Here, as an example of special reproduction, a 6 × speed reproduction process using the encoded data generated by the above encoding process will be described.
データ入力部610から入力された符号化データは、エントロピー復号化処理部612でエントロピー復号され、画像データと、符号化データに多重化されたメタデータとに分けられる。メタデータは、動き情報や符号化方式に関する情報を示すデータである。6倍速再生処理を行う場合、メタデータを参照して、Iピクチャあるいは第2の制限付ピクチャの画像データのみを復号化する。
The encoded data input from the
まず、逆量子化部614で、エントロピー復号化された画像データを所定の量子化スケールで逆量子化し、整数変換係数を生成する。この整数変換係数に対して逆整数変換部616で逆整数変換を施すことで、画素データが復元される。復元された画素データは後述する予測画像データを加算器618で加算して、最終的な復号結果である画像データを生成する。この復号画像データは、出力部620から出力される。
First, the
また、復号された画像データは、その後の復号化処理で用いられる参照画像データとしてスイッチ部635に送られる。一方、エントロピー復号化処理部612で生成された予測符号化方式に関するメタデータは、予測方式制御部680に送られる。予測方式制御部680では、制御入力部611を介してシステム全体の制御部20から特殊再生の指示を受けているかどうかと、メタデータとに基づいて、スイッチ部635を制御する。
The decoded image data is sent to the
即ち、特殊再生指示(この場合は6倍速再生指示)がある場合は、メタデータを参照してIピクチャまたは第2の制限付ピクチャのみを選別し、Iピクチャの場合はスイッチ635cと635aを接続し、第2の制限付ピクチャの場合はスイッチ635cと635bを接続する。これにより、Iピクチャの復号画像は第3フレームメモリ636に格納され、イントラ予測復号化部640が、周辺の復号された画像データから、イントラ予測復号化された予測画像データを生成し、スイッチ部660に送る。Iピクチャの場合、予測方式制御部680の指示によりスイッチ660aと660cが接続され、予測画像データが加算器618に送られる。
That is, when there is a special reproduction instruction (in this case, a 6 × speed reproduction instruction), only the I picture or the second restricted picture is selected with reference to the metadata, and in the case of the I picture, the
一方、第2の制限付ピクチャの場合、復号された画像データはブロック境界補正をデブロッキングフィルタ部650で処理された後、第4フレームメモリ652に保持される。保持された画像データは、参照先が制限された他のPピクチャの参照画像として保持され、このデータと、エントロピー復号化処理部612で生成された予測符号化に関するメタデータとから、インター予測復号化部656が予測画像データを生成する。予測画像データは、スイッチ部660に送られる。スイッチ部660では、予測方式制御部680によりスイッチ660bと660cが接続され、予測画像データは加算器618に送られて画像データの復号化処理に使われる。
On the other hand, in the case of the second restricted picture, the decoded image data is subjected to block boundary correction by the
このように、本実施形態によれば、特殊再生の指示がなされた場合、復号化処理部600はIピクチャあるいは第2の制限付ピクチャのみを復号することが可能となり、特殊再生をスムーズに行うことができる。
As described above, according to this embodiment, when an instruction for special reproduction is given, the
また、特殊再生に用いるIピクチャあるいは第2の制限付ピクチャは、所定ピクチャ数毎かつ等間隔に含まれるように符号化することで、所定数倍速の特殊再生を容易に実現することが可能となる。 In addition, by encoding the I picture or the second restricted picture used for special reproduction so as to be included in every predetermined number of pictures and at equal intervals, special reproduction at a predetermined several times speed can be easily realized. Become.
なお、ここでは第2の制限付ピクチャを用いた6倍速再生処理を中心として説明した。しかし、第1の制限付ピクチャについても合わせて復号化することにより、各GOPに含まれるIピクチャと、第1の制限付ピクチャとから、GOPの最小構成枚数に対応した高速再生(例えば、最小構成枚数が15の際には15倍速再生)を行うことが可能である。上述したように、本実施形態では、GOPの構成枚数が大きくなっても、GOP内の最小構成枚数毎に第1の制限付ピクチャを含めて符号化している。そのため、GOPの構成枚数が変動しても、安定した再生速度で、かつ容易に高速再生を行うことが可能である。 Here, the description has focused on the 6 × speed reproduction process using the second restricted picture. However, by decoding the first restricted picture together, high-speed playback corresponding to the minimum number of constituent GOPs (for example, the minimum number of pictures) can be performed from the I picture included in each GOP and the first restricted picture. When the number of components is 15, 15 × speed reproduction) can be performed. As described above, in the present embodiment, even when the number of constituent GOPs increases, encoding is performed including the first restricted picture for each minimum constituent number in the GOP. Therefore, even if the number of constituent GOPs varies, it is possible to easily perform high-speed playback at a stable playback speed.
(他の実施形態)
上述の実施形態では、インター予測方式を利用したビデオカメラに本発明を適用した場合について説明した。しかし、本発明は、インター予測方式を利用したビデオプレーヤやビデオレコーダなど、他の機器においても同様に適用可能である。そして、本発明を適用することにより、符号化効率の低下を抑制しながら、特殊再生を容易に行うことが可能となる。
(Other embodiments)
In the above-described embodiment, the case where the present invention is applied to a video camera using an inter prediction method has been described. However, the present invention can be similarly applied to other devices such as a video player and a video recorder using an inter prediction method. By applying the present invention, special reproduction can be easily performed while suppressing a decrease in encoding efficiency.
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。 The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.).
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。 Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。 The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto.
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。 A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。 As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code.
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers.
That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体をユーザに配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを可能とすることも可能である。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。 In addition, a storage medium in which a computer program for realizing the above-described embodiment is encrypted and stored is distributed to the user, and key information for decrypting is supplied to the user who satisfies a predetermined condition, and the user's computer It is also possible to enable installation on Windows. The key information can be supplied by being downloaded from a homepage via the Internet, for example.
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer.
Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.
Claims (5)
各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定手段と、
前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるIピクチャ、前記フレーム間予測符号化方式を用いて符号化される第1のPピクチャ又はBピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第1のPピクチャには無い制限を有する第2のPピクチャの中の1種類を選択する選択手段と、
前記選択手段が選択したピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化手段と、
前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、(1)前記Iピクチャ、又は、(2)参照可能なピクチャが前記Iピクチャ又は前記所定のピクチャ間隔に対応する他の前記第2のPピクチャに制限された第2のPピクチャ、が選択されるように、前記選択手段による選択動作を制御する制御手段と、を有することを特徴とする符号化装置。 An encoding device that manages each picture constituting a moving image in a plurality of groups and encodes each picture using either an intra-frame prediction encoding scheme or an inter-frame prediction encoding scheme,
A determining means for determining the number of pictures included in each group so that the number of pictures can be varied for each group;
The For each picture, I picture to be encoded using the intra-frame predictive coding scheme, the first P-picture or B-picture that is coded using a predictive coding method between the frames, and the frame Selecting means for selecting one of the second P pictures encoded using the inter prediction encoding method and having a reference relationship at the time of inter-frame prediction that does not exist in the first P picture ;
Encoding means for encoding each picture based on an encoding scheme corresponding to the type of picture selected by the selection means;
Even when the number of pictures is changed for each group, (1) the I picture or (2) a picture that can be referred to is the I picture at predetermined picture intervals over the plurality of groups. as the second P-picture that is limited picture or in addition to the second P picture corresponding to the predetermined picture interval, are selected, and control means for controlling by that election択動operation to said selection means And an encoding device.
決定手段が、各グループに含まれるピクチャの数を、グループ毎に変動可能に決定する決定工程と、
選択手段が、前記各ピクチャに対し、前記フレーム内予測符号化方式を用いて符号化されるIピクチャ、前記フレーム間予測符号化方式を用いて符号化される第1のPピクチャ又はBピクチャ、及び、前記フレーム間予測符号化方式を用いて符号化され、フレーム間予測時の参照関係に前記第1のPピクチャには無い制限を有する第2のPピクチャの中の1種類を選択する選択工程と、
符号化手段が、前記選択工程で選択されたピクチャの種類に対応する符号化方式に基づいて前記各ピクチャを符号化する符号化工程と、
前記グループ毎にピクチャの数を変化させる場合であっても、前記複数のグループに渡って、所定のピクチャ間隔毎に、(1)前記Iピクチャ、又は、(2)参照可能なピクチャが前記Iピクチャ又は前記所定のピクチャ間隔に対応する他の前記第2のPピクチャに制限された第2のPピクチャ、が選択されるように、制御手段が前記選択工程における選択動作を制御する制御工程と、を有することを特徴とする符号化方法。 An encoding method for managing each picture constituting a moving image in a plurality of groups, and encoding each picture using either an intra-frame prediction encoding scheme or an inter-frame prediction encoding scheme,
A determining step in which the determining means determines the number of pictures included in each group to be variable for each group;
Selection means, the For each picture, I picture to be encoded using the intra-frame predictive coding scheme, the first P-picture or B-picture that is coded using a predictive coding method between the frames, And a selection to select one of the second P pictures encoded using the inter-frame prediction encoding method and having a restriction that the first P picture does not have in the reference relationship at the time of inter-frame prediction. Process,
An encoding step in which an encoding means encodes each picture based on an encoding scheme corresponding to the type of picture selected in the selection step;
Even when the number of pictures is changed for each group, (1) the I picture or (2) a picture that can be referred to is the I picture at predetermined picture intervals over the plurality of groups. as the second P-picture that is limited picture or in addition to the second P picture corresponding to the predetermined picture interval, is selected, the control means controls the put that election択動operation in the selection step And a control step.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006130883A JP4974583B2 (en) | 2006-05-09 | 2006-05-09 | Image encoding apparatus and encoding method |
US11/743,473 US8279928B2 (en) | 2006-05-09 | 2007-05-02 | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
CN2007101011770A CN101072345B (en) | 2006-05-09 | 2007-05-09 | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
US13/599,231 US20120320977A1 (en) | 2006-05-09 | 2012-08-30 | Encoding/decoding apparatus, imaging apparatus, and methods for controlling therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006130883A JP4974583B2 (en) | 2006-05-09 | 2006-05-09 | Image encoding apparatus and encoding method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007306161A JP2007306161A (en) | 2007-11-22 |
JP2007306161A5 JP2007306161A5 (en) | 2009-06-18 |
JP4974583B2 true JP4974583B2 (en) | 2012-07-11 |
Family
ID=38839752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006130883A Expired - Fee Related JP4974583B2 (en) | 2006-05-09 | 2006-05-09 | Image encoding apparatus and encoding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4974583B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308628A (en) * | 1992-04-30 | 1993-11-19 | Olympus Optical Co Ltd | Moving image encoder |
JP2882294B2 (en) * | 1994-11-14 | 1999-04-12 | 松下電器産業株式会社 | Video signal encoding device |
EP2348715B1 (en) * | 2004-07-01 | 2015-01-28 | Mitsubishi Electric Corporation | Randomly accessible video information recording method and playback device |
WO2006030694A1 (en) * | 2004-09-13 | 2006-03-23 | Sharp Kabushiki Kaisha | Image encoding apparatus, image decoding apparatus, image encoding program and image decoding program |
-
2006
- 2006-05-09 JP JP2006130883A patent/JP4974583B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007306161A (en) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8279928B2 (en) | Image encoding apparatus and encoding method, image decoding apparatus and decoding method | |
JP3493872B2 (en) | Image data processing method and apparatus | |
JP5242719B2 (en) | Image coding method | |
JP5090158B2 (en) | VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM | |
JPH10145798A (en) | System for processing digital coding signal | |
JP2000278692A (en) | Compressed data processing method, processor and recording and reproducing system | |
KR19990072968A (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
JP4810298B2 (en) | Image encoding apparatus, encoding method, image decoding apparatus, and decoding method | |
KR101915079B1 (en) | Dynamic image predictive encoding and decoding device, method, and program | |
JP4585919B2 (en) | Image coding apparatus and image coding method | |
JP2007318615A (en) | Moving image reproducing device, moving image reproduction method and program | |
US8306110B2 (en) | Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy | |
JP4806888B2 (en) | Decoding device and decoding method | |
JP2012015603A (en) | Image processor and image video processing method | |
JP5387520B2 (en) | Information processing apparatus and information processing method | |
JP4974583B2 (en) | Image encoding apparatus and encoding method | |
JP3501521B2 (en) | Digital video signal reproducing apparatus and reproducing method | |
JPH11252566A (en) | Image signal decoding method, decoder, image signal coding method, coder and image signal processing method and processing system | |
JP3897684B2 (en) | Image recording method | |
JP4574530B2 (en) | Image coding apparatus and image coding method | |
JPH0888854A (en) | Moving picture encoding system | |
JP4765961B2 (en) | Digital video recording device | |
JP2005303487A (en) | Moving image decoding apparatus and moving image decoding program | |
JP3685780B2 (en) | Digital video signal recording apparatus, recording method, reproducing apparatus, and reproducing method | |
JPH09298711A (en) | Device for generating compressed image data for editing for image information recording and reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090430 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090430 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100903 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110815 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4974583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |