JP2004266489A

JP2004266489A - Moving image encoder

Info

Publication number: JP2004266489A
Application number: JP2003053649A
Authority: JP
Inventors: Hitoshi Naito; 整内藤; Atsushi Koike; 淳小池; Masahiro Wada; 正裕和田; Shuichi Matsumoto; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-02-28
Filing date: 2003-02-28
Publication date: 2004-09-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving image encoder capable of improving the performance of encoding by adaptively selecting frame type and field type. <P>SOLUTION: A delay part 1 delays an inputted image (a) by the time required for processing of a preprocessing part 2. The preprocessing part 2 stores the inputted image (a) by unit of frame, predicts by which type of the field type and the frame type encoding processing performance improvement can be expected and notifies a JPEG (joint picture experts group) 2000 encoding part 3 of its prediction result. A switching part 30 selects a field signal input part 31 when a field signal is selected from the preprocessing part 2 and selects a frame signal input part 32 when a frame signal is selected from the preprocessing part 2. The preprocessing part 2 compares the size of encoding efficiency by using at least one of feature quantity, for example, a vertical correlational coefficient and a distribution value of an image signal of encoding target data at the time of frame encoding and field encoding. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は動画像符号化装置に関し、特に高精細静止画符号化方式の国際標準であるＪＰＥＧ２０００をテレビジョン信号系の動画像に適用する場合の動画像符号化装置に関する。
【０００２】
【従来の技術】
インタレース信号をＪＰＥＧ２０００で扱う場合、符号化タイプとしてフレームタイプとフィールドタイプのいずれかが選択可能である。一般に、符号化効率の高さから、フレームタイプが固定的に割り当てられている。
【０００３】
なお、本発明に関連する従来技術として、例えば２００１年画像符号化シンポジウム（ＰＣＳＪ２００１）、２００１年１１月発行、第７５〜７６頁「Ｐ−５．０２ＭｏｔｉｏｎＪＰＥＧ２０００におけるＶｉｓｕａｌｗｅｉｇｈｔｉｎｇを用いた画質改善の検討」、および同第８３〜８４頁「Ｐ−５．０６ＱＣＩＦ動画像符号化へのＪＰＥＧ２０００の効果的適用法」がある。
【０００４】
前者の論文は、ＭｏｔｉｏｎＪＰＥＧ２０００のデコード画像中に発生する符号化歪みの特徴を分析し、その歪みを低減するためのエンコード手法が提案され、また、ウェーブレット係数分布を分析し、Ｖｉｓｕａｌｗｅｉｇｈｔｉｎｇの技術を用いることで、インタレース画像に対しても画質の改善を行うことが開示されている。
【０００５】
一方、後者の論文には、ＱＣＩＦ動画像をＪＰＥＧ２０００に基づいて効果的に符号化するための手法が開示され、また複数のフレームを１つの大きな画像とし、動画像の時間的相関を空間に適応することで、符号化効率を向上することが開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記フレームタイプでは、再生時刻が１フィールド間隔離れた２つのフィールドをマージし、一括して符号化処理を行うため、高速な動きを伴う素材に対しては、性能でフィールドタイプを下回る場合があるという問題があった。
【０００７】
本発明は前記した従来技術に鑑みてなされたものであり、その目的は、フレームタイプとフィールドタイプを適応的に選択することにより、符号化の性能を改善することができる動画像符号化装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、フレーム内、フィールド内適応符号化処理を行う動画像符号化装置において、入力画像をフレーム符号化またはフィールド符号化する符号化処理部と、該符号化処理部に、フレーム符号化およびフィールド符号化のいずれの符号化方法を選択するかの指示を行う前処理部とを具備し、該前処理部は、入力画像をフレーム単位で蓄積し、入力画像の符号化方法を、前記フレーム符号化およびフィールド符号化で符号化した場合の符号化効率の大小を比較し、その大きい方の符号化タイプに決定するようにした点に特徴がある。
【０００９】
この特徴によれば、符号化効率が大きくなるように、フレームタイプとフィールドタイプを適応的に選択できるようになる。
【００１０】
また、本発明は、前記決定された符号化タイプの符号化のレート制御において、前記特徴量を基に、周波数成分毎のビット配分を行うようにした点に他の特徴がある。
【００１１】
この特徴によれば、符号化タイプの適応的選択による符号化効率の向上に加えて、レート制御による符号化効率の向上をも図ることができるようになる。
【００１２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の構成を示すブロック図である。
【００１３】
入力画像ａは、遅延部１と前処理部２に入力する。該遅延部１は、該前処理部２の処理に要する時間だけ、入力画像ａを遅延する。一方、前処理部２は、入力画像をフレーム単位で蓄積し、図２に関して後述するように、フィールドタイプとフレームタイプのいずれのタイプの符号化処理が性能改善を期待できるかを予測し、その予測結果をＪＰＥＧ２０００符号化部３へ通知する。
【００１４】
該ＪＰＥＧ２０００符号化部３は、スイッチング部３０、遅延部１からフィールド信号を読み込むフィールド信号入力部３１、遅延部１からフレーム信号を読み込むフレーム信号入力部３２、ウェーブレット変換部３３，３４、２値算術符号化部３５、およびレート制御部３６から構成されている。該ＪＰＥＧ２０００符号化部３は、前記前処理部２からの指示に従ってスイッチング部３０を切り替え、フィールド信号入力部３１の系列またはフレーム信号入力部３２の系列を選択する。なお、ウェーブレット変換部３３，３４、２値算術符号化部３５、およびレート制御部３６は、ＪＰＥＧ２０００符号化装置が有する周知の構成であるので、詳細な説明は省略する。
【００１５】
次に、前記前処理部２の動作を図２のフローチャートを参照して説明する。ステップＳ１では、１フレーム分の入力画像ａを取得する。ステップＳ２では、該１フレーム分の入力画像ａから、フレーム処理の場合の特徴量Ｃ_ｖｒとフィールド処理の場合の特徴量Ｃ_ｖｉを、例えば下記の（１）式、（２）式から算出する。
【００１６】
【数１】

【００１７】
ここに、Ｉ（ｘ，ｙ）は（ｘ，ｙ）位置における画素の輝度信号、Ｎ_ｘ、Ｎ_ｙはそれぞれｘ、ｙ方向の画素数を示す。したがって、Ｃ_ｖｒはフレーム信号の輝度信号の垂直相関、Ｃ_ｖｉはフィールド信号の輝度信号の垂直相関を示す。
【００１８】
ステップＳ３では、下記の（３）式の条件が満たされるか否かを判断する。
Ｃ_ｖｉ＞Ｗ_ｒ×Ｃ_ｖｒ・・・（３）
ここに、Ｗ_ｒは重み係数であり、Ｗ_ｒ＞１である。これは、符号化データの伝送には、フィールドおよびフレームのそれぞれにサイド情報すなわちヘッダが付けられ、フィールドタイプの符号化データの伝送にはフレームタイプの符号化データの伝送に比べて、ほぼ２倍のヘッダ情報符号化ビット量を必要とするからである。
【００１９】
図２のステップＳ３の判断が肯定の場合には、フィールドタイプの特徴量がフレームタイプのそれよりも大きい、すなわち垂直相関が大きく符号化時の符号量が少ないと考えられるから、ステップＳ４に進んで、フィールドタイプの通知が行われる。一方、ステップＳ３の判断が否定の時には、ステップＳ５に進んで、フレームタイプの通知がなされる。
【００２０】
フィールドタイプの通知がなされると、図１のスイッチング部３０はフィールド信号入力部３１を選択し、一方フレームタイプの通知がなされると、スイッチング部３０はフレーム信号入力部３２を選択する。
【００２１】
フィールドタイプが選択された場合には、入力画像のフィールド信号がウェーブレット変換部３３で変換され、２値算術符号化部３５，レート制御部３６を経て、出力される。遅延部１には、フィールド信号が２フィールド分蓄積されているため、以上の処理を第１フィールド、第２フィールドに対して順次行う。一方、フレームタイプが選択された場合には、入力画像のフレーム信号がウェーブレット変換部３４で変換され、２値算術符号化部３５，レート制御部３６を経て、符号化データとして出力される。
【００２２】
なお、該実施形態では、ステップＳ２の特徴量を画像信号の垂直相関係数としたが、本発明はこれに限定されず、画像信号の分散値を用いてもよい。この場合、分散値の小さい方の符号化タイプを選択する。
【００２３】
図３は、本実施形態の性能評価の結果、すなわちテスト画像“Ｗｈａｌｅｓｈｏｗ”に対して取得したＰＳＮＲを示す。横軸はフレーム番号である。図３から、本実施形態によれば、フレームタイプおよびフィールドタイプを固定的に割り当てた場合に比べて、高いＰＳＮＲゲインが得られることが確認された。
【００２４】
次に、本発明の第２実施形態を、図４に示す。この実施形態は、前処理部２で選択した符号化タイプの特徴量、例えば垂直相関をレート制御部３６に送り、周波数成分毎のビット配分に反映させるようにしたものである。例えば、垂直相関が大きければ垂直成分のビット配分を小さく、逆に垂直相関が小さければ垂直成分のビット配分を大きくする。１枚の画像に割り当てられている符号化ビット量は一定であるので、上記のようにビット配分を適応的に行うことにより、符号化効率の向上を図ることができる。
【００２５】
【発明の効果】
以上の説明から明らかなように、請求項１〜４の発明によれば、符号化効率が大きくなるように、フレームタイプとフィールドタイプを適応的に選択できるので、符号化効率の向上を図ることができる。
【００２６】
また、請求項５の発明によれば、前記請求項１〜４の発明の効果に加えて、レート制御による符号化効率の向上をも図ることができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１の前処理部の動作を示すフローチャートである。
【図３】本発明の効果の説明図である。
【図４】本発明の第２実施形態の構成を示すブロック図である。
【符号の説明】
１・・・遅延部、２・・・前処理部、３・・・ＪＰＥＧ２０００符号化部、３０・・・スイッチング部、３１・・・フィールド信号入力部、３２・・・フレーム信号入力部、３３，３４・・・ウェーブレット変換部、３５・・・２値算術符号化部、３６・・・レート制御部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving picture coding apparatus, and more particularly to a moving picture coding apparatus when JPEG2000, which is an international standard for high-definition still picture coding, is applied to moving pictures of a television signal system.
[0002]
[Prior art]
When an interlace signal is handled by JPEG2000, either a frame type or a field type can be selected as an encoding type. Generally, a frame type is fixedly assigned from the viewpoint of high coding efficiency.
[0003]
As a related art related to the present invention, for example, a method of improving image quality using Visual weighting in P-5.02 Motion JPEG2000, pp. 75-76, pp. 75-76, 2001 Image Coding Symposium (PCSJ2001), November 2001. Investigation ", and pages 83-84," Effective Application of JPEG2000 to P-5.06 QCIF Video Coding ".
[0004]
The former paper analyzes the characteristics of coding distortion generated in a decoded image of Motion JPEG2000, proposes an encoding method for reducing the distortion, analyzes the wavelet coefficient distribution, and uses the technique of Visual weighting. It is disclosed that the image quality can be improved for an interlaced image by using it.
[0005]
On the other hand, the latter paper discloses a method for effectively encoding a QCIF moving image based on JPEG2000, and a plurality of frames are made into one large image, and a temporal correlation of the moving image is adapted to space. It is disclosed that by doing so, the coding efficiency is improved.
[0006]
[Problems to be solved by the invention]
However, in the above-mentioned frame type, two fields whose playback time is separated by one field interval are merged and the encoding process is performed collectively. There was a problem that there is.
[0007]
The present invention has been made in view of the above-described related art, and an object of the present invention is to provide a video encoding device capable of improving encoding performance by adaptively selecting a frame type and a field type. To provide.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a video encoding device that performs intra-frame and intra-field adaptive encoding processing, wherein an encoding processing unit that encodes an input image by frame encoding or field encoding; A pre-processing unit that instructs which encoding method, frame encoding or field encoding, to be selected, the pre-processing unit accumulates input images in frame units, The method is characterized in that the coding method of an image is compared with the coding efficiency in the case of coding by the frame coding and the field coding, and is determined to be the larger coding type.
[0009]
According to this feature, the frame type and the field type can be adaptively selected so as to increase the coding efficiency.
[0010]
Further, the present invention has another feature in that, in the rate control of the coding of the determined coding type, bits are allocated for each frequency component based on the feature amount.
[0011]
According to this feature, the coding efficiency can be improved by the rate control in addition to the improvement of the coding efficiency by the adaptive selection of the coding type.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the configuration of one embodiment of the present invention.
[0013]
The input image a is input to the delay unit 1 and the preprocessing unit 2. The delay unit 1 delays the input image a by the time required for the processing of the preprocessing unit 2. On the other hand, the preprocessing unit 2 accumulates the input image in units of frames, and predicts which type of encoding processing, the field type or the frame type, can expect performance improvement as described later with reference to FIG. The prediction result is notified to the JPEG2000 encoding unit 3.
[0014]
The JPEG2000 encoding unit 3 includes a switching unit 30, a field signal input unit 31 for reading a field signal from the delay unit 1, a frame signal input unit 32 for reading a frame signal from the delay unit 1,

wavelet transform units

33 and 34, and binary arithmetic. It comprises an encoding unit 35 and a rate control unit 36. The JPEG2000 encoding unit 3 switches the switching unit 30 in accordance with an instruction from the preprocessing unit 2, and selects a sequence of the field signal input unit 31 or a sequence of the frame signal input unit 32. Note that the

wavelet transform units

33 and 34, the binary arithmetic encoding unit 35, and the rate control unit 36 have a well-known configuration included in the JPEG2000 encoding device, and a detailed description thereof will be omitted.
[0015]
Next, the operation of the pre-processing unit 2 will be described with reference to the flowchart of FIG. In step S1, an input image a for one frame is obtained. In step S2, from the input image a for one frame, a feature amount C _{vr in} the case of frame processing and a feature amount C _vi in the case of field processing are calculated from, for example, the following equations (1) and (2). .
[0016]
(Equation 1)

[0017]
Here, I (x, y) is (x, y) indicates a luminance signal of the pixel at the _position, N x, _{N y,} respectively x, the number of pixels y-direction. Therefore, C _vr indicates the vertical correlation of the luminance signal of the frame signal, and C _vi indicates the vertical correlation of the luminance signal of the field signal.
[0018]
In step S3, it is determined whether or not the condition of the following expression (3) is satisfied.
C _vi > W _r × C _vr (3)
Here, W _r is a weight coefficient, and W _r > 1. This is because transmission of encoded data has side information or a header attached to each of a field and a frame, and transmission of field-type encoded data is almost twice as large as transmission of frame-type encoded data. This is because the header information encoding bit amount of the above is required.
[0019]
If the determination in step S3 in FIG. 2 is affirmative, it is considered that the feature amount of the field type is larger than that of the frame type, that is, it is considered that the vertical correlation is large and the code amount at the time of encoding is small, and the process proceeds to step S4. The notification of the field type is performed. On the other hand, if the determination in step S3 is negative, the process proceeds to step S5, and a notification of the frame type is made.
[0020]
When the field type is notified, the switching unit 30 in FIG. 1 selects the field signal input unit 31, and when the frame type is notified, the switching unit 30 selects the frame signal input unit 32.
[0021]
When the field type is selected, the field signal of the input image is transformed by the wavelet transform unit 33 and output via the binary arithmetic coding unit 35 and the rate control unit 36. Since the field signal is accumulated in the delay unit 1 for two fields, the above processing is sequentially performed on the first field and the second field. On the other hand, when the frame type is selected, the frame signal of the input image is converted by the wavelet transform unit 34 and output as encoded data via the binary arithmetic encoding unit 35 and the rate control unit 36.
[0022]
In this embodiment, the feature value in step S2 is the vertical correlation coefficient of the image signal. However, the present invention is not limited to this, and the variance of the image signal may be used. In this case, the coding type with the smaller variance value is selected.
[0023]
FIG. 3 shows the result of the performance evaluation of the present embodiment, that is, the PSNR obtained for the test image “Whale show”. The horizontal axis is the frame number. From FIG. 3, it has been confirmed that according to the present embodiment, a higher PSNR gain can be obtained than in the case where the frame type and the field type are fixedly assigned.
[0024]
Next, a second embodiment of the present invention is shown in FIG. In this embodiment, the feature amount of the encoding type selected by the pre-processing unit 2, for example, the vertical correlation is sent to the rate control unit 36 and reflected on the bit allocation for each frequency component. For example, if the vertical correlation is large, the bit allocation of the vertical component is small, and if the vertical correlation is small, the bit allocation of the vertical component is large. Since the amount of coded bits allocated to one image is constant, coding efficiency can be improved by adaptively allocating bits as described above.
[0025]
【The invention's effect】
As is apparent from the above description, according to the first to fourth aspects of the present invention, the frame type and the field type can be adaptively selected so as to increase the coding efficiency. Can be.
[0026]
According to the fifth aspect of the present invention, in addition to the effects of the first to fourth aspects of the present invention, it is possible to improve the coding efficiency by rate control.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of a preprocessing unit in FIG. 1;
FIG. 3 is an explanatory diagram of an effect of the present invention.
FIG. 4 is a block diagram showing a configuration of a second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Delay part, 2 ... Preprocessing part, 3 ... JPEG2000 encoding part, 30 ... Switching part, 31 ... Field signal input part, 32 ... Frame signal input part, 33 , 34... Wavelet transform unit, 35... Binary arithmetic coding unit, 36.

Claims

フレーム内、フィールド内適応符号化処理を行う動画像符号化装置において、
入力画像をフレーム符号化またはフィールド符号化する符号化処理部と、
該符号化処理部に、フレーム符号化およびフィールド符号化のいずれの符号化方法を選択するかの指示を行う前処理部とを具備し、
該前処理部は、入力画像をフレーム単位で蓄積し、入力画像の符号化方法を、前記フレーム符号化およびフィールド符号化で符号化した場合の符号化効率の大小を比較し、その大きい方の符号化タイプに決定することを特徴とする動画像符号化装置。In a moving image encoding apparatus that performs intra-frame and intra-field adaptive encoding processing,
An encoding processing unit that performs frame encoding or field encoding on the input image,
The encoding processing unit, comprising a preprocessing unit for instructing which encoding method to select between frame encoding and field encoding,
The preprocessing unit accumulates the input image in frame units, compares the encoding method of the input image with the encoding efficiency when encoding by the frame encoding and the field encoding, and compares A moving picture coding apparatus characterized in that the coding type is determined.

請求項１に記載の動画像符号化装置において、
前記符号化効率の大小の比較を前記フレーム符号化およびフィールド符号化時の符号化対象データの特徴量で行い、該特徴量として、画像信号の垂直相関係数および分散値の少なくとも一方を用いることを特徴とする動画像符号化装置。The moving picture encoding device according to claim 1,
The magnitude of the encoding efficiency is compared with the feature amount of the data to be encoded at the time of the frame encoding and the field encoding, and at least one of a vertical correlation coefficient and a variance value of an image signal is used as the feature amount. A video encoding device characterized by the above-mentioned.

請求項２に記載の動画像符号化装置において、
前記画像信号の垂直相関係数および分散値は、画像信号の輝度信号の垂直相関係数および分散値であることを特徴とする動画像符号化装置。The moving picture coding apparatus according to claim 2,
The moving picture coding apparatus according to claim 1, wherein the vertical correlation coefficient and the variance of the image signal are a vertical correlation coefficient and a variance of a luminance signal of the image signal.

請求項２または３に記載の動画像符号化装置において、
前記フレーム符号化時とフィールド符号化時に発生するサイド情報の符号化ビット数を考慮に入れて前記符号化効率の大小の比較を行うことを特徴とする動画像符号化装置。The video encoding device according to claim 2 or 3,
A moving picture coding apparatus, wherein the coding efficiency is compared in consideration of the number of coding bits of side information generated during the frame coding and the field coding.

請求項２に記載の動画像符号化装置において、
前記決定された符号化タイプの符号化のレート制御において、前記特徴量を基に、周波数成分毎のビット配分を行うことを特徴とする動画像符号化装置。The moving picture coding apparatus according to claim 2,
A moving picture coding apparatus, characterized in that, in the rate control of the coding of the determined coding type, bit allocation is performed for each frequency component based on the feature amount.