JP2006041876A - Moving image encoding device - Google Patents
Moving image encoding device Download PDFInfo
- Publication number
- JP2006041876A JP2006041876A JP2004218353A JP2004218353A JP2006041876A JP 2006041876 A JP2006041876 A JP 2006041876A JP 2004218353 A JP2004218353 A JP 2004218353A JP 2004218353 A JP2004218353 A JP 2004218353A JP 2006041876 A JP2006041876 A JP 2006041876A
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- prediction information
- image candidate
- image
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、参照画像用として複数の復号画像を保存することができる動画像符号化装置に関する。 The present invention relates to a moving image encoding apparatus capable of storing a plurality of decoded images for a reference image.
近年、動画像データを伝送、記録するために様々な画像圧縮方式が用いられているが、高圧縮率を実現する手段の一つとして、例えば、入力画像内のブロックと相関性の高いブロック(参照画像)を復号画像メモリ内の復号画像の中から選択し、これらの差分を伝送する、いわゆるフレーム間予測がある(例えば、特許文献1参照)。 In recent years, various image compression methods have been used to transmit and record moving image data. As one of means for realizing a high compression ratio, for example, a block having a high correlation with a block in an input image ( There is so-called inter-frame prediction in which a reference image) is selected from decoded images in a decoded image memory, and the difference between these is transmitted (see, for example, Patent Document 1).
ここに、例えば、MPEG−2のフレーム間予測処理では、フレーム間予測に使用するために、2枚の復号画像を保存することができたが、近年の高圧縮率への要求を実現するために、より多くの復号画像を保存することができるH.264のような動画像符号化方式が登場した。
多数の復号画像を保存できる動画像符号化方式で低ビットレートを実現するためには、入力画像内のブロックの符号化に用いる参照画像を決定する動きベクトル検出処理を、保存している全ての復号画像の全領域を対象として行うことが望ましい。しかし、このようにすると、時間的、回路的リソースが、保存している復号画像の枚数に比例して増加してしまうという問題点がある。 In order to realize a low bit rate with a moving image coding method capable of storing a large number of decoded images, a motion vector detection process for determining a reference image used for coding a block in an input image is performed. It is desirable to perform the process on the entire area of the decoded image. However, if this is done, there is a problem in that time and circuit resources increase in proportion to the number of stored decoded images.
本発明は、かかる点に鑑み、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができるようにした動画像符号化装置を提供することを目的とする。 In view of this point, the present invention has an object to provide a moving image encoding apparatus that can suppress an increase in time and circuit resources required for motion vector detection processing and can realize a low bit rate. And
本発明の動画像符号化装置は、復号画像を記憶する復号画像メモリと、復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、復号画像メモリ内の所定の復号画像から、入力ブロックと相関性の高い画像領域を参照画像候補領域として探し出した後、予測情報を用いた参照画像候補領域の復号画像からの探し出しを繰り返し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う動き検出部を有するものである。 The moving image coding apparatus according to the present invention includes a decoded image memory that stores a decoded image, a prediction information memory that stores prediction information used when obtaining the decoded image, and a predetermined decoded image in the decoded image memory. After finding an image area highly correlated with a block as a reference image candidate area, it repeatedly searches for a reference image candidate area from the decoded image using prediction information, and motion vector detection is performed for a plurality of searched reference image candidate areas. A motion detection unit that performs processing is included.
本発明によれば、動き検出部は、復号画象メモリ内の複数の復号画像の全領域を対象として動きベクトル検出処理を行うことはせず、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う。したがって、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができる。 According to the present invention, the motion detection unit does not perform motion vector detection processing for all regions of a plurality of decoded images in the decoded image memory, and performs motion on the plurality of searched reference image candidate regions. Perform vector detection processing. Therefore, an increase in time and circuit resources required for the motion vector detection process can be suppressed, and a low bit rate can be realized.
図1は本発明の一実施形態の要部のブロック回路図である。図1中、1は入力画像内のブロックと、後述する予測画像生成部から出力される予測画像との差分である予測誤差信号を生成する予測誤差信号生成部、2は予測誤差信号生成部1から出力される予測誤差信号に直交変換を施して直交変換係数を出力する直交変換部である。
FIG. 1 is a block circuit diagram of a main part of one embodiment of the present invention. In FIG. 1, 1 is a prediction error signal generation unit that generates a prediction error signal that is a difference between a block in an input image and a prediction image that is output from a prediction image generation unit described later, and 2 is a prediction error
3は直交変換部2から出力される直交変換係数を量子化して量子化直交変換係数を出力する量子化部、4は量子化部3から出力される量子化直交変換係数を動きベクトル等と共にエントロピー符号化して符号化データを出力するエントロピー符号化部である。
Reference numeral 3 denotes a quantization unit that quantizes the orthogonal transformation coefficient output from the
5は量子化部3から出力される量子化直交変換係数を逆量子化して直交変換係数を出力する逆量子化部、6は逆量子化部5から出力される直交変換係数に逆直交変換を施して予測誤差信号を復元する逆直交変換部である。 5 is an inverse quantization unit that inversely quantizes the quantized orthogonal transform coefficient output from the quantization unit 3 and outputs an orthogonal transform coefficient, and 6 is an inverse orthogonal transform applied to the orthogonal transform coefficient output from the inverse quantization unit 5. It is an inverse orthogonal transform unit that performs the reconstruction of the prediction error signal.
7は逆直交変換部6から出力される予測誤差信号と、後述する予測画像生成部から出力される予測画像を加算して入力ブロックの復号画像を生成する復号画像生成部、8は復号画像生成部7から出力される復号画像を記憶する復号画像メモリである。 7 is a decoded image generating unit that generates a decoded image of an input block by adding a prediction error signal output from the inverse orthogonal transform unit 6 and a predicted image output from a predicted image generating unit described later, and 8 is a decoded image generating unit. 7 is a decoded image memory that stores the decoded image output from the unit 7.
9は入力ブロックに対応する参照画像候補領域を復号画像メモリ8内の復号画像から探し出し、探し出した参照画像候補領域に対して動きベクトル検出処理を行う動き検出部、10は復号画像メモリ8から選択された参照画像と動き検出部9から出力される動きベクトルから予測画像を生成する予測画像生成部である。 9 is a motion detection unit that searches for a reference image candidate area corresponding to the input block from the decoded image in the decoded image memory 8, performs a motion vector detection process on the found reference image candidate area, and 10 is selected from the decoded image memory 8. This is a predicted image generation unit that generates a predicted image from the generated reference image and the motion vector output from the motion detection unit 9.
11は入力ブロックを符号化する際に使用した予測情報(参照したフレーム又はフィールド単位の復号画像及び動きベクトルを示す情報)、即ち、入力ブロックに対応する復号画像を得る際に用いた予測情報を記憶する予測情報メモリである。なお、予測情報は動き検出部9で生成される。 11 is prediction information used when encoding the input block (information indicating a decoded image and a motion vector in units of frames or fields referred to), that is, prediction information used when obtaining a decoded image corresponding to the input block. This is a prediction information memory to be stored. Note that the prediction information is generated by the motion detection unit 9.
図2は動き検出部9で行われる処理を示すフローチャートである。即ち、動き検出部9では、例えば、画像内の全領域内を検索する方法を使用し、入力ブロックと相関性の高い画像領域を、参照画像候補領域として、復号画像メモリ8内に存在する最後に復号化された画像(最新の復号画像)から探し出し、探し出した参照画像候補領域を参照画像候補領域リストに載せる(ステップS1)。 FIG. 2 is a flowchart showing processing performed by the motion detection unit 9. That is, the motion detection unit 9 uses, for example, a method of searching all regions in an image, and uses an image region having a high correlation with the input block as a reference image candidate region. The reference image candidate area searched out from the image (latest decoded image) decoded in (5) is put on the reference image candidate area list (step S1).
次に、ステップS1で探し出した参照画像候補領域又はこれと重なるブロックのうち、重なっている割合が最も大きいブロックの予測情報を予測情報メモリ11から取得し、予測情報を取得した参照画像候補領域又はブロックがフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断する(ステップS2)。
Next, the prediction information of the block with the largest overlapping ratio among the reference image candidate areas found in step S1 or the overlapping blocks is acquired from the
ここに、予測情報を取得した参照画像候補領域又はブロックがフレーム間予測で符号化されている場合には、予測情報が示す画像領域が復号画像メモリ8に存在しているか否かを判断し(ステップS3)、存在している場合は、これを新たに参照画像候補領域とし、参照画像候補領域リストに追加し(ステップS4)、ステップS2に戻る。 Here, when the reference image candidate region or block from which the prediction information is acquired is encoded by inter-frame prediction, it is determined whether or not the image region indicated by the prediction information exists in the decoded image memory 8 ( In step S3), if it exists, this is newly set as a reference image candidate area, added to the reference image candidate area list (step S4), and the process returns to step S2.
以下、予測情報の取得及び参照画像候補領域の探し出し、探し出した参照画像候補領域の参照画像候補領域リストへの追加を繰り返す。これによって、入力ブロックと相関性の高い画像領域を、参照画像候補領域として、参照画像候補領域リストに列挙することができる。 Thereafter, obtaining prediction information, searching for a reference image candidate area, and adding the found reference image candidate area to the reference image candidate area list are repeated. As a result, image areas having high correlation with the input block can be listed as reference image candidate areas in the reference image candidate area list.
そして、ステップS2で予測情報を取得した参照画像候補領域又はブロックがフレーム内予測で符号化されていると判断した場合又はステップS3で予測情報が示す画像領域が復号画像メモリ8に存在していない(既に消去されている)と判断した場合には、参照画像候補領域リストに列挙されている参照画像候補領域に対して動きベクトル検出処理を行い、動きベクトルの中で最も符号化効率の高くなるものが選択される(ステップS5)。 When it is determined that the reference image candidate region or block from which the prediction information is acquired in step S2 is encoded by intra-frame prediction, or the image region indicated by the prediction information does not exist in the decoded image memory 8 in step S3. If it is determined (already erased), the motion vector detection process is performed on the reference image candidate areas listed in the reference image candidate area list, and the coding efficiency is the highest among the motion vectors. A thing is selected (step S5).
なお、この場合、動き検出部9が予測情報から探し出した参照画像候補領域については、これを拡張して、より相関性の高い参照画像候補領域を探し出し、この新たに探し出した参照画像候補領域を拡張前の参照画像候補領域に代えて、動きベクトル検出処理を行うようにしても良い。 In this case, the reference image candidate area searched out from the prediction information by the motion detection unit 9 is expanded to search for a reference image candidate area having a higher correlation, and the newly searched reference image candidate area is set as the reference image candidate area. Instead of the reference image candidate area before expansion, motion vector detection processing may be performed.
図3は動き検出部9で行われる処理例を示す図である。図3中、12は入力画像、13は入力ブロック、14−1〜14−3は復号画像メモリ8内のフレーム又はフィールド単位の復号画像、15−1〜15−3は探し出された参照画像候補領域、16−1〜16−3は予測情報メモリ11内の予測情報であり、16−1は参照画像候補領域15−1の予測情報、16−2は参照画像候補領域15−2の予測情報、16−3は参照画像候補領域15−3の予測情報である。
FIG. 3 is a diagram illustrating an example of processing performed by the motion detection unit 9. In FIG. 3, 12 is an input image, 13 is an input block, 14-1 to 14-3 are decoded images in units of frames or fields in the decoded image memory 8, and 15-1 to 15-3 are searched reference images. Candidate areas, 16-1 to 16-3 are prediction information in the
図3の処理例では、入力ブロック13と相関性の高い画像領域を復号画像メモリ8に存在する最後に復号化された画像(最新の復号画像)14−1から探し出し、これを参照画像候補領域15−1としている(ステップS1)。
In the processing example of FIG. 3, an image region having a high correlation with the
次に、参照画像候補領域15−1の予測情報16−1を予測情報メモリ11から取得し、参照画像候補領域15−1がフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断している(ステップS2)。
Next, the prediction information 16-1 of the reference image candidate area 15-1 is acquired from the
そして、参照画像候補領域15−1がフレーム間予測で符号化されていること、及び、予測情報16−1が示す画像領域が復号画像メモリ8の復号画像14−2に存在していることを確認し(ステップS3)、予測情報16−1が示す画像領域を参照画像候補領域15−2として探し出している(ステップS4)。 The reference image candidate area 15-1 is encoded by inter-frame prediction, and the image area indicated by the prediction information 16-1 is present in the decoded image 14-2 of the decoded image memory 8. After confirming (step S3), the image area indicated by the prediction information 16-1 is searched for as a reference image candidate area 15-2 (step S4).
次に、参照画像候補領域15−2の予測情報16−2を予測情報メモリ11から取得し、参照画像候補領域15−2がフレーム間予測で符号化されているか、フレーム内予測で符号化されているかを判断している(ステップS2)。
Next, the prediction information 16-2 of the reference image candidate area 15-2 is acquired from the
そして、参照画像候補領域15−2がフレーム間予測で符号化されていること、及び、予測情報16−2が示す画像領域が復号画像メモリ8の復号画像14−3に存在していることを確認し(ステップS3)、予測情報16−2が示す画像領域を参照画像候補領域15−3として探し出している(ステップS4)。 The reference image candidate area 15-2 is encoded by inter-frame prediction, and the image area indicated by the prediction information 16-2 is present in the decoded image 14-3 of the decoded image memory 8. After confirming (step S3), the image area indicated by the prediction information 16-2 is searched for as a reference image candidate area 15-3 (step S4).
このようにして、入力ブロック13と相関性の高い画像領域を参照画像候補領域15−1〜15−3として復号画像メモリ8に保存されている復号画像14−1〜14−3の中から探し出している。したがって、この場合には、参照画像候補領域15−1〜15−3に対して動きベクトル検出処理が行われることになる(ステップS5)。
In this way, an image area having a high correlation with the
なお、探し出した参照画像候補領域が、予測情報が付与される単位ブロックと一致するとは限らない。そこで、本実施形態では、探し出した参照画像候補領域又はこれと重なるブロックのうち、重なっている割合が最も大きいブロックの予測情報を予測情報メモリ11から取得するとしているが、この代わりに、入力ブロックを分割し(例えば、参照画像候補領域がまたがるブロックの分割に従うように入力ブロックを分割し)、それぞれに対して、以後の予測情報の参照と、参照画像候補領域の探し出しを行うようにしても良い。
Note that the searched reference image candidate region does not always match the unit block to which the prediction information is assigned. Therefore, in the present embodiment, the prediction information of the block with the largest overlapping ratio among the searched reference image candidate regions or the overlapping blocks is obtained from the
以上のように、本実施形態によれば、動き検出部9は、復号画象メモリ8内の複数の復号画像の全領域を対象として動きベクトル検出処理を行うことはせず、入力ブロックと相関性の高い複数の参照画像候補領域を探し出し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行うとしているので、動きベクトル検出処理に要する時間的、回路的リソースの増加を小さく抑え、低ビットレートを実現することができる。 As described above, according to the present embodiment, the motion detection unit 9 does not perform the motion vector detection process for all the regions of the plurality of decoded images in the decoded image memory 8, and correlates with the input block. Since a plurality of highly reliable reference image candidate areas are found and motion vector detection processing is performed on the plurality of searched reference image candidate areas, an increase in time and circuit resources required for the motion vector detection process is suppressed to a small level. A low bit rate can be realized.
1…予測誤差信号生成部
2…直交変換部
3…量子化部
4…エントロピー符号化部
5…逆量子化部
6…逆直交変換部
7…復号画像生成部
8…復号画像メモリ
9…動き検出部
10…予測画像生成部
11…予測情報メモリ
12…入力画像
13…入力ブロック
14−1〜14−3…復号画像
15−1〜15−3…参照画像候補領域
16−1〜16−3…予測情報
DESCRIPTION OF
Claims (4)
前記復号画像を得る際に用いた予測情報を記憶する予測情報メモリと、
前記復号画像メモリ内の所定の復号画像から、入力ブロックと相関性の高い画像領域を参照画像候補領域として探し出した後、前記予測情報を用いた参照画像候補領域の復号画像からの探し出しを繰り返し、探し出した複数の参照画像候補領域に対して動きベクトル検出処理を行う動き検出部を有することを特徴とする動画像符号化装置。 A decoded image memory for storing the decoded image;
A prediction information memory for storing prediction information used when obtaining the decoded image;
After searching an image area having a high correlation with the input block as a reference image candidate area from a predetermined decoded image in the decoded image memory, the search from the decoded image of the reference image candidate area using the prediction information is repeated, A moving image coding apparatus comprising: a motion detection unit that performs a motion vector detection process on a plurality of searched reference image candidate regions.
The motion detection unit divides the input block when the searched reference image candidate region does not match the unit block to which the prediction information is given, and searches for a reference image candidate region for each of the divided blocks. The moving picture encoding apparatus according to claim 1, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004218353A JP4507742B2 (en) | 2004-07-27 | 2004-07-27 | Video encoding device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004218353A JP4507742B2 (en) | 2004-07-27 | 2004-07-27 | Video encoding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006041876A true JP2006041876A (en) | 2006-02-09 |
JP4507742B2 JP4507742B2 (en) | 2010-07-21 |
Family
ID=35906404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004218353A Expired - Fee Related JP4507742B2 (en) | 2004-07-27 | 2004-07-27 | Video encoding device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4507742B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04127689A (en) * | 1990-09-19 | 1992-04-28 | Hitachi Ltd | Predictive encoding system for moving image |
JPH0767116A (en) * | 1993-07-16 | 1995-03-10 | Daewoo Electron Co Ltd | Method and apparatus for detection of motion vector of frame-decimating video encoder |
JPH10341440A (en) * | 1997-06-06 | 1998-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding method and device therefor |
JP2001036909A (en) * | 1999-07-23 | 2001-02-09 | Oki Electric Ind Co Ltd | Motion vector detector |
JP2003259377A (en) * | 2002-03-06 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Moving picture encoding method, moving picture decoding method, and code string format |
-
2004
- 2004-07-27 JP JP2004218353A patent/JP4507742B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04127689A (en) * | 1990-09-19 | 1992-04-28 | Hitachi Ltd | Predictive encoding system for moving image |
JPH0767116A (en) * | 1993-07-16 | 1995-03-10 | Daewoo Electron Co Ltd | Method and apparatus for detection of motion vector of frame-decimating video encoder |
JPH10341440A (en) * | 1997-06-06 | 1998-12-22 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding method and device therefor |
JP2001036909A (en) * | 1999-07-23 | 2001-02-09 | Oki Electric Ind Co Ltd | Motion vector detector |
JP2003259377A (en) * | 2002-03-06 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Moving picture encoding method, moving picture decoding method, and code string format |
Also Published As
Publication number | Publication date |
---|---|
JP4507742B2 (en) | 2010-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6336170B2 (en) | Video coding and decoding with improved error resilience | |
US8254456B2 (en) | Method and apparatus for encoding video and method and apparatus for decoding video | |
JP6726340B2 (en) | Image predictive decoding method | |
US8542734B2 (en) | Multi-view video encoding apparatus and method | |
JP4993676B2 (en) | Image coding apparatus and image coding method | |
JP2010081465A (en) | Moving image encoding method and moving image decoding method | |
JP2005354528A (en) | Device and method for detecting motion vector | |
JP6280679B2 (en) | Frame thinning device, frame interpolation device, video encoding device, video decoding device, and programs thereof | |
JP2012129756A (en) | Encoder, decoder, encoding method, decoding method, encoding program, and decoding program | |
JP4507742B2 (en) | Video encoding device | |
JP4184389B2 (en) | Motion vector decoding apparatus and decoding method | |
JP2007208543A (en) | Moving image encoder | |
JP2006324888A (en) | Dynamic-image coding equipment | |
JP2011166207A (en) | Motion vector prediction method, motion vector prediction device, and motion vector prediction program | |
JP6862522B2 (en) | Moving image coding device and moving image decoding device | |
JP6514307B2 (en) | Video coding apparatus and method | |
JP2010021892A (en) | Motion vector search device and control method thereof, and moving image imaging apparatus | |
JP2006262198A (en) | Moving picture compressing and encoding device | |
JP4231097B2 (en) | Motion vector decoding apparatus and decoding method | |
JP4184388B2 (en) | Motion vector encoding apparatus and encoding method | |
JP2014068368A (en) | Moving image decoding method | |
CA2838467A1 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, video encoding program, and video decoding program | |
RU2020137784A (en) | METHOD AND DEVICE FOR VIDEO SIGNAL PROCESSING | |
JP2005318106A (en) | Moving image encoding device and program | |
JP2016067044A (en) | Moving image decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100426 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |