JP2006295852A

JP2006295852A - Image coder, image coding method, imaging apparatus, and program

Info

Publication number: JP2006295852A
Application number: JP2005117577A
Authority: JP
Inventors: Takao Suzuki; 隆夫鈴木; Ichiro Tanji; 一郎丹治
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-14
Filing date: 2005-04-14
Publication date: 2006-10-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology capable of predicting an upper limit of a produced information amount by avoiding coding applied to information in excess of a target information amount. <P>SOLUTION: When a bit rate is infinitely allocated to an image in response to the quality of the image on the basis of variable bit rate control, it is not recognized how many hours of moving pictures can be stored on one disk acting like a storage medium. The technology disclosed herein controls an actual storage capacity in a decreasing direction with respect to a predicted storage capacity to avoid coding from being applied to the information in excess of the target information amount and a user can predict the upper limit of the produced information amount. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は，可変ビットレート制御を行うことが可能な画像符号化装置，画像符号化方法，撮像装置およびプログラムに関する。 The present invention relates to an image encoding device, an image encoding method, an imaging device, and a program capable of performing variable bit rate control.

被写体を撮像して記憶媒体に記憶する撮像装置は，画像処理能力，例えばＣＰＵやその他のデバイスの性能向上により高度かつ用途の広い撮像を行えるようになった。 An image pickup apparatus that picks up an image of a subject and stores it in a storage medium can perform high-level and versatile image pickup by improving the image processing capability, for example, the performance of a CPU and other devices.

その機能の一つとして，撮像した画像信号を圧縮して記憶する技術が知られている。かかる技術は，撮像部から得られたアナログの画像信号を単純にデジタル信号に変換した場合と比べて，発生する情報量を少なくすることができ，長時間の撮像が可能となる。 As one of the functions, a technique for compressing and storing captured image signals is known. Such a technique can reduce the amount of information generated compared to a case where an analog image signal obtained from an imaging unit is simply converted into a digital signal, and enables long-time imaging.

上記の画像信号の符号化に関する標準化技術としてＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）がある。このＭＰＥＧは，人の目の特性（視覚特性）を勘案し，最終的な画像に対して影響の少ない信号部分を間引くことによって，発生情報量を少なくしている。 There is MPEG (Motion Picture Expert Group) as a standardization technique related to the encoding of the image signal. This MPEG reduces the amount of generated information by thinning out signal portions that have little influence on the final image in consideration of the characteristics (visual characteristics) of the human eye.

また，撮像した画像を一定の質が維持されるように表現すると，撮像したフレーム毎に情報量を増減する必要が生じる。このように画像の質に応じてビットレートを変更する可変ビットレート制御は，固定ビットレート制御と比較して，一定の画質を維持しつつ，情報量を少なくすることができる。 In addition, if the captured image is expressed so as to maintain a certain quality, the amount of information needs to be increased or decreased for each captured frame. As described above, the variable bit rate control that changes the bit rate according to the quality of the image can reduce the amount of information while maintaining a constant image quality as compared with the fixed bit rate control.

上記の可変ビットレート制御に基づく，例えば，２パス符号化制御では，視覚特性に拘わらず，量子化スケールを固定して画質を一定に保っていた。しかし，かかる技術では，適切なビット割り当てが行われない。そこで，画像の質，例えば画質の劣化可能性の大小に応じて量子化スケールを変更し，適切な情報量の割り当てを行う技術（例えば，特許文献１）が生み出された。 In, for example, two-pass coding control based on the above variable bit rate control, the image quality is kept constant by fixing the quantization scale regardless of visual characteristics. However, this technique does not perform proper bit allocation. Therefore, a technique (for example, Patent Document 1) has been created in which the quantization scale is changed according to the quality of the image, for example, the possibility of deterioration of the image quality, and an appropriate amount of information is allocated.

しかし，かかる技術では，画質の劣化可能性の大小に基づいて単純に量子化スケールを変更している。従って，劣化が目立ちやすい画像において量子化スケールが限りなくゼロに近くなり，過剰なビットが割り当てられ，情報量が著しく大きくなるといった問題が生じていた。 However, in such a technique, the quantization scale is simply changed based on the possibility of image quality degradation. Therefore, there is a problem that the quantization scale is almost zero in an image that is easily deteriorated, excessive bits are allocated, and the amount of information is remarkably increased.

特開平９−３７２４２号公報JP-A-9-37242

本発明は，従来の画像符号化方法が有する上記問題点に鑑みてなされたものであり，本発明の目的は，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能な，新規かつ改良された画像符号化装置，画像符号化方法，撮像装置およびプログラムを提供することである。 The present invention has been made in view of the above problems of the conventional image encoding method, and the object of the present invention is to avoid encoding exceeding the target information amount and to predict the upper limit of the generated information amount. It is an object of the present invention to provide a new and improved image encoding device, image encoding method, imaging device, and program capable of stably encoding an image.

画像の質に応じて無制限にビットレートを割り当てると，記憶媒体としての１枚のディスクに何時間分の動画像が記憶できるかが分からない。本発明は，その記憶容量の予測値に対して，実際の記憶容量を少なく押さえる方向に制御することを特徴としている。従って，ディスクの記憶時間も延ばす方向に働くこととなる。 If an unlimited bit rate is assigned according to the quality of the image, it is not known how many hours of moving images can be stored on one disk as a storage medium. The present invention is characterized in that the control is performed in such a way as to reduce the actual storage capacity with respect to the predicted value of the storage capacity. Therefore, it works in the direction of extending the storage time of the disk.

上記課題を解決するために，本発明のある観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化装置であって：目標情報量を決定する情報量決定部と；１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン（ＤＣＴ）変換を行う離散コサイン変換部と；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；上記スケール決定部で決定された量子化スケールを制限するスケール制限部と；上記離散コサイン変換された信号を，上記スケール制限部で制限された量子化スケールで量子化する量子化部と；を備えることを特徴とする，画像符号化装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, an image signal is encoded based on variable bit rate control that changes a bit rate according to image quality, and an information amount corresponding to a target information amount An image encoding apparatus that generates a coded signal of: an information amount determination unit that determines a target information amount; a frame of an image is divided into a plurality of macroblocks, and a discrete cosine (DCT) for each macroblock A discrete cosine transform unit for transforming; a quantization scale for each macroblock using the already quantized information amount and the target information amount in order to match the generated information amount of one frame to the target information amount A scale determining unit that determines the quantization scale determined by the scale determining unit; and the scale limiting unit for the discrete cosine transformed signal. A quantization unit for quantizing in a limited quantization scale; characterized in that it comprises an image encoding apparatus is provided.

ここで，離散コサイン（ＤＣＴ）変換は，離散フーリエ変換の一種で，例えば８×８ピクセルのデータの周波数分解を行う変換である。ここでは，人間の目の特性を勘案して，画像の高周波成分のデータを削っている。 Here, the discrete cosine (DCT) transform is a kind of discrete Fourier transform, and is a transform that performs frequency decomposition of 8 × 8 pixel data, for example. Here, the high-frequency component data of the image is deleted in consideration of the characteristics of the human eye.

本発明の特徴は，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を上回らないところにある。その結果，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。 The feature of the present invention is that, for example, when adjusting the amount of generated information in two-pass encoding control or the like, the generated information amount approaches the target information amount and the quantization scale is limited so that the generated information amount is the target information amount. It is in a place not exceeding. As a result, the upper limit of the generated information amount can be predicted, and stable image encoding can be performed.

上記スケール制限部における量子化スケールの制限は，所定の数値による下限であるとしても良い。 The limit of the quantization scale in the scale limiting unit may be a lower limit by a predetermined numerical value.

例えば，量子化スケールの範囲が０〜Ｎ，下限が０〜Ｎの間のＭの値をとるとき，０〜Ｍの量子化スケールは強制的にＭに変更され，Ｍ〜Ｎの量子化スケールはそのままの数値が維持される。 For example, when the quantization scale range is 0 to N and the lower limit is 0 to N, the 0 to M quantization scale is forcibly changed to M, and the M to N quantization scale is set. Is maintained as is.

上記量子化スケールは，下限としての上記数値から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限されているとしても良い。 The quantization scale may be smoothly limited from a numerical value as a lower limit to a maximum value by a non-linear curve whose second derivative is positive or only zero.

上述したように，本発明では，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を上回らないようにしている。量子化スケールが徐々に制限されることで，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。 As described above, in the present invention, while the generated information amount is brought close to the target information amount, the quantization scale is limited so that the generated information amount does not exceed the target information amount. By gradually limiting the quantization scale, image quality deterioration due to the fact that the quantization scale cannot be lowered becomes inconspicuous, and coding without a sense of incongruity can be achieved.

上記量子化スケールは，下限としての上記数値から最大値まで，制限される値が比例するとしても良い。 The quantization scale may have a limited value proportional to the lower limit from the above numerical value to the maximum value.

例えば，量子化スケールの範囲が０〜Ｎ，下限がＭ，制限される前の量子化スケールをＬとすると，制限後の量子化スケールは，（Ｎ―Ｍ）／Ｎ×Ｌ＋Ｍで表される。量子化スケールが線形的に制限されることで，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。 For example, if the quantization scale range is 0 to N, the lower limit is M, and the quantization scale before restriction is L, the quantization scale after restriction is represented by (NM) / N × L + M. . Since the quantization scale is linearly limited, the deterioration of the image quality due to the fact that the quantization scale cannot be lowered becomes inconspicuous, and coding without a sense of incongruity can be achieved.

上記情報量決定部は，上記動画像信号のフレーム毎に，該フレームのみに着目して目標情報量を決定するとしても良い。 The information amount determination unit may determine the target information amount for each frame of the moving image signal by paying attention to only the frame.

従来，かかる画像の符号化においては，１フレームの発生情報量が前後のフレームや記憶可能な残りの情報量といった消費情報量の進捗に応じて決定されていた。この場合，残りの情報量に余裕があるとビットレートを高くすることができるが，余裕がないと必然的にビットレートを下げなくてはならない。このような状況下では，同じ画像を符号化してもその符号化した時間の隔たりによって発生情報量が相違する結果となる。 Conventionally, in the encoding of such an image, the amount of generated information for one frame is determined according to the progress of the amount of consumed information such as previous and subsequent frames and the remaining amount of information that can be stored. In this case, the bit rate can be increased if there is a surplus in the amount of information remaining, but the bit rate must be lowered if there is no surplus. Under such circumstances, even if the same image is encoded, the amount of generated information differs depending on the time interval of the encoding.

かかる１フレームの情報のみに着目して目標情報量を決定することで，前後の画像に影響されない安定した発生情報量を維持することができ，情報量の消費進捗による画質変動を防止できる。 By determining the target information amount by paying attention to only one frame of information, it is possible to maintain a stable generated information amount that is not affected by the preceding and succeeding images, and to prevent image quality fluctuations due to the progress of consumption of the information amount.

上記目標情報量は上限が設けられるとしても良い。 The target information amount may be provided with an upper limit.

従来，かかる画像の符号化，例えば，２パス符号化制御においては，劣化が目立ちやすい画像には高い目標情報量が割り当てられ，劣化が目立ち難い画像には低い情報量が割り当てられていた。かかる目標情報量に上限を設けることによって，劣化が目立ちやすい画像には上限以下の高い目標情報量が割り当てられ，劣化が目立ち難い画像には，さらに低い情報量が割り当てられるので，発生情報量は必然的に頭打ちになる。 Conventionally, in such image coding, for example, two-pass coding control, a high target information amount is assigned to an image that is easily noticeable, and a low information amount is assigned to an image that is not easily noticeable. By setting an upper limit on the target information amount, an image whose deterioration is conspicuous is assigned a high target information amount below the upper limit, and an image whose deterioration is not conspicuous is assigned a lower information amount. Inevitably, it reaches a peak.

こうして所望の目標情報量を上回る符号化を回避し，安定した発生情報量を維持することができる。従って，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。 Thus, encoding exceeding a desired target information amount can be avoided, and a stable generated information amount can be maintained. Therefore, the user can predict the upper limit of the generated information amount, and can stably encode an image.

また，上記画像符号化装置として機能するプログラムやそのプログラムを記憶した記憶媒体も提供される。 Also provided are a program that functions as the image encoding device and a storage medium that stores the program.

上記課題を解決するために，本発明の別の観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化方法であって：目標情報量を決定する情報量決定ステップと；１フレームの画像を複数のマクロブロックに分割する画像分割ステップと；該分割されたマクロブロック毎に，離散コサイン変換を行う離散コサイン変換ステップと；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定ステップと；上記スケール決定ステップで決定された量子化スケールを制限するスケール制限ステップと；上記離散コサイン変換された信号を，上記制限された量子化スケールで量子化する量子化ステップと；を含むことを特徴とする，画像符号化方法が提供される。 In order to solve the above problems, according to another aspect of the present invention, an image signal is encoded based on variable bit rate control that changes a bit rate according to the quality of an image, and information corresponding to a target information amount is obtained. An image encoding method for generating an amount of encoded signals: an information amount determining step for determining a target information amount; an image dividing step for dividing an image of one frame into a plurality of macroblocks; A discrete cosine transform step for performing discrete cosine transform for each block; using the information amount already quantized and the target information amount to match the generated information amount of the one frame with the target information amount, A scale determining step for determining a quantization scale for each block; a scale limiting step for limiting the quantization scale determined in the scale determining step; The discrete cosine transformed signal, a quantization step of quantizing the above limited quantization scale; characterized in that it comprises a picture encoding method is provided.

かかる構成により，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。 With such a configuration, encoding exceeding the target information amount is avoided, and the upper limit of the generated information amount can be predicted, so that stable image encoding can be performed.

上述した画像符号化装置において従属している構成は，当該画像符号化方法においても適用することが可能である。 The configuration dependent on the above-described image encoding device can also be applied to the image encoding method.

上記課題を解決するために，本発明の別の観点によれば，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，撮像した画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する撮像装置であって：撮像によって画像を得る撮像部と；上記撮像された画像の目標情報量を決定する情報量決定部と；１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；上記１フレームの発生情報量を上記目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；上記スケール決定部で決定された量子化スケールを制限するスケール制限部と；上記離散コサイン変換された信号を，上記スケール制限部で制限された量子化スケールで量子化する量子化部と；上記量子化された符号化信号を記憶媒体に記憶する信号記憶部と；を備えることを特徴とする，撮像装置が提供される。 In order to solve the above problems, according to another aspect of the present invention, a captured image signal is encoded based on variable bit rate control that changes the bit rate according to the quality of the image, and corresponds to the target information amount. An imaging device that generates an encoded signal of an amount of information that includes: an imaging unit that obtains an image by imaging; an information amount determination unit that determines a target information amount of the captured image; and a plurality of images of one frame A discrete cosine transform unit that divides the data into macroblocks and performs discrete cosine transform for each macroblock; an information amount that has already been quantized and the target information in order to match the generated information amount of the one frame with the target information amount A scale determining unit that determines a quantization scale for each macroblock using a quantity; a scale limiting unit that limits the quantization scale determined by the scale determining unit; A quantization unit that quantizes the cosine-transformed signal with a quantization scale limited by the scale limiting unit; and a signal storage unit that stores the quantized encoded signal in a storage medium. A featured imaging device is provided.

このようにして上述した画像符号化装置の構成を，被写体を撮像して記憶媒体に記憶する撮像装置に適用することができる。従って上記画像符号化装置において従属している構成は，当該画像符号化方法においても適用することが可能である。 In this way, the configuration of the image encoding device described above can be applied to an imaging device that captures an image of a subject and stores it in a storage medium. Therefore, the subordinate configuration in the image coding apparatus can also be applied to the image coding method.

かかる画像符号化装置や撮像装置における各構成要素は，各々独立した複数の装置で構成することも可能である。 Each component in the image encoding device or the imaging device can be configured by a plurality of independent devices.

以上説明したように本発明によれば，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を超えないようにすることができる。こうして所望の目標情報量を上回る符号化を回避し，その結果，ユーザは，発生情報量の上限を予測することが可能となる。 As described above, according to the present invention, for example, when adjusting the amount of generated information in two-pass encoding control or the like, the generated information amount is set close to the target information amount and the quantization scale is limited. It is possible to prevent the amount from exceeding the target information amount. Thus, encoding exceeding the desired target information amount is avoided, and as a result, the user can predict the upper limit of the generated information amount.

以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.

（第１の実施形態：撮像装置）
まず，本発明の画像符号化装置を適用することが可能な撮像装置について詳細に説明する。なお，以下では，本実施形態にかかる撮像装置として静止画像及び／又は動画像をカラー撮像可能なビデオカメラの例を挙げて説明するが，当該実施形態に限定されるものではない。 (First embodiment: imaging device)
First, an imaging apparatus to which the image coding apparatus of the present invention can be applied will be described in detail. In the following, an example of a video camera capable of color-capturing still images and / or moving images will be described as an imaging apparatus according to the present embodiment, but the present invention is not limited to this embodiment.

図１は，第１の実施形態における撮像装置１００を概略的に示したブロック図である。かかる撮像装置１００は，レンズ部１１０と，プリズム部１１２と，ＣＣＤ部１１４と，Ａ／Ｄコンバータ部１１６と，リニアマトリクス回路１１８と，イメージ強調部１２０と，加算器１２２と，ニー回路１２４と，ガンマ回路１２６と，クリップ回路１２８と，Ｙマトリクス回路１３０と，ＭＰＥＧエンコーダ１３２と，バッファメモリ１３４と，フォーマッタ１３６と，ディスク部１３８と，ＭＰＥＧデコーダ１４０と，再生表示部１４２とを含んで構成される。 FIG. 1 is a block diagram schematically showing an imaging apparatus 100 according to the first embodiment. The imaging apparatus 100 includes a lens unit 110, a prism unit 112, a CCD unit 114, an A / D converter unit 116, a linear matrix circuit 118, an image enhancement unit 120, an adder 122, a knee circuit 124, and the like. , A gamma circuit 126, a clip circuit 128, a Y matrix circuit 130, an MPEG encoder 132, a buffer memory 134, a formatter 136, a disk unit 138, an MPEG decoder 140, and a reproduction display unit 142. Is done.

上記レンズ部１１０は，被写体の光学像を撮像デバイスの感光面上に結像させる光学部品を含んで構成される。当該撮像装置１００において，被写体からの光がレンズ部１１０を通して入射され，例えば光学ローパスフィルタ（ＬＰＦ），赤外カットフィルタ及びカラーフィルタ（いずれも図示せず。）などを通じて，プリズム部１１２に出力される。また，マイクロコントローラ（図示せず）は，レンズ部１１０の絞りを制御して入射光量を調整する。 The lens unit 110 includes an optical component that forms an optical image of a subject on the photosensitive surface of the imaging device. In the imaging apparatus 100, light from the subject enters through the lens unit 110, and is output to the prism unit 112 through, for example, an optical low-pass filter (LPF), an infrared cut filter, and a color filter (all not shown). The A microcontroller (not shown) controls the aperture of the lens unit 110 to adjust the amount of incident light.

上記プリズム部１１２は，例えば三角柱のガラス等により形成され，レンズに入射された入射光を，波長毎の単色光に分解する。この単色光は他のプリズム部１１２を使ったとしても，さらに多くの光に分解することはできない。ここでは，特に，Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅといった光の３原色に分解される。かかるプリズム部１１２を通過した後，色信号毎にＤＣクランプ，ゲイン調整を行うとしても良い。 The prism unit 112 is formed of, for example, triangular prism glass or the like, and decomposes incident light incident on the lens into monochromatic light for each wavelength. Even if the other prism portion 112 is used, the monochromatic light cannot be decomposed into more light. Here, in particular, it is separated into three primary colors of light such as Red, Green, and Blue. After passing through the prism portion 112, DC clamping and gain adjustment may be performed for each color signal.

上記ＣＣＤ部１１４は，レンズ部１１０によって結像された光学像を電気信号に変換するための撮像デバイスである。かかるＣＣＤ部１１４は，タイミングジェネレータ（図示せず。）により駆動され，光電変換された電気信号である画像信号を随時読み出す。このタイミングジェネレータのシャッタースピードは，上述したマイクロコントローラによって制御される。また，本実施形態では，上記プリズム部１１２によって分光された３原色それぞれにＣＣＤ部１１４が準備され，各原色に関して光電変換が行われる。 The CCD unit 114 is an imaging device for converting an optical image formed by the lens unit 110 into an electric signal. The CCD unit 114 is driven by a timing generator (not shown) and reads out an image signal that is an electrical signal photoelectrically converted as needed. The shutter speed of the timing generator is controlled by the above-described microcontroller. In this embodiment, the CCD unit 114 is prepared for each of the three primary colors dispersed by the prism unit 112, and photoelectric conversion is performed for each primary color.

上記レンズ部１１０，プリズム部１１２，ＣＣＤ部１１４は，本実施形態における撮像部として機能するが，撮像部はかかる構成に限られず，例えば，撮像デバイスとして補色単板ＣＣＤを用いるとしても良いし，ＣＭＯＳを利用しても良い。 The lens unit 110, the prism unit 112, and the CCD unit 114 function as an imaging unit in the present embodiment, but the imaging unit is not limited to such a configuration. For example, a complementary single-plate CCD may be used as an imaging device. CMOS may be used.

上記Ａ／Ｄ（アナログ／デジタル）コンバータ１１６は，ＣＣＤ部１１４により得られたアナログ電気信号を，デジタル処理するためのデジタル信号に変換し，変換したデジタル信号を後段の回路に伝達する。 The A / D (analog / digital) converter 116 converts the analog electric signal obtained by the CCD unit 114 into a digital signal for digital processing, and transmits the converted digital signal to a subsequent circuit.

上記リニアマトリクス回路１１８は，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色に分解した後の色信号の漏れを，リニア領域におけるマトリクス演算によって補正する。 The linear matrix circuit 118 corrects the leakage of the color signal after separation into the three primary colors of the optical system obtained from the A / D converter unit 116 by matrix calculation in the linear region.

上記イメージ強調部１２０は，リニアマトリクス回路１１８の前段，即ち，Ａ／Ｄコンバータ部１１６から得られた光学系の３原色の細かい部分を強調して各色信号に関するディテイル信号を生成する。 The image enhancement unit 120 enhances the fine portions of the three primary colors of the optical system obtained from the previous stage of the linear matrix circuit 118, that is, the A / D converter unit 116, and generates a detail signal for each color signal.

上記加算器１２２は，リニアマトリクス回路１１８からの色信号とイメージ強調部１２０からのディテイル信号を加算し，後段の回路に伝達する。 The adder 122 adds the color signal from the linear matrix circuit 118 and the detail signal from the image enhancement unit 120, and transmits the result to a subsequent circuit.

上記ニー回路１２４は，最終的な映像の表示における高輝度領域の再現性を高めるため，ニーカーブの特性を利用して高輝度域を圧縮する。かかるニーカーブにおいては，高輝度領域の信号レベルを制限する変換を行うことによって，映像の高輝度領域における再現性を確保している。 The knee circuit 124 compresses the high luminance region by using the characteristics of the knee curve in order to improve the reproducibility of the high luminance region in the final video display. In such a knee curve, the reproducibility in the high-brightness region of the video is ensured by performing conversion that limits the signal level in the high-brightness region.

上記ガンマ回路１２６は，逆ガンマ特性によりブラウン管モニタ等の映像再生表示部の映像が変化するのを，ガンマ特性を利用して防止し，最終的な映像のリニアな表示を実現する。ガンマ特性を有するガンマカーブにおいては，任意領域の信号レベルを非線形に増幅する変換を行っている。 The gamma circuit 126 uses the gamma characteristic to prevent the image on the video reproduction display unit such as a cathode ray tube monitor from changing due to the inverse gamma characteristic, thereby realizing the final linear display of the video. In a gamma curve having a gamma characteristic, conversion is performed to nonlinearly amplify the signal level in an arbitrary region.

上記クリップ回路１２８は，後段の回路において，処理することができない，もしくは無視される領域の信号レベルをカットする。上記の領域は，取扱可能な信号レベルの最大値以上，もしくは最小値以下の信号であり，上記カットは，例えば，バンドパスフィルタ（ＢＰＦ）等により実現可能である。 The clip circuit 128 cuts the signal level in an area that cannot be processed or ignored in the subsequent circuit. The above region is a signal that is greater than or equal to the maximum signal level that can be handled or less than the minimum value, and the cut can be realized by, for example, a band pass filter (BPF).

上記Ｙマトリクス回路１３０は，クリップ回路１２８を通過した３つの色信号からＹ（輝度）信号を生成する。このとき，同時にＰｂ／Ｐｒ（色差）信号を生成するとしても良い。 The Y matrix circuit 130 generates a Y (luminance) signal from the three color signals that have passed through the clip circuit 128. At this time, a Pb / Pr (color difference) signal may be generated at the same time.

上記ＭＰＥＧエンコーダ１３２は，画像を圧縮処理するエンコーダの一つであり，Ｙマトリクス回路１３０で生成されたＹ信号およびＰｂ／Ｐｒ信号を受信し，情報量を圧縮する手段としてのＭＰＥＧエンコード処理を行い，１つのＭＰＥＧストリーム信号を生成する。 The MPEG encoder 132 is one of the encoders for compressing images. The MPEG encoder 132 receives the Y signal and the Pb / Pr signal generated by the Y matrix circuit 130 and performs MPEG encoding processing as means for compressing the information amount. , One MPEG stream signal is generated.

上記バッファメモリ１３４は，ＳＲＡＭ，ＤＲＡＭ，ＤＰＲＡＭ，ＥＥＰＲＯＭ等のスタティックなメモリで構成され，ＭＰＥＧエンコーダ１３２によるＭＰＥＧストリーム信号を一旦保持する。 The buffer memory 134 is composed of static memory such as SRAM, DRAM, DPRAM, EEPROM or the like, and temporarily holds an MPEG stream signal from the MPEG encoder 132.

上記フォーマッタ１３６は，バッファメモリ１３４に保持されたＭＰＥＧストリーム信号を，ディスク部１３８に格納されるディスク形態の記憶媒体に記憶するためのフォーマットに変換し，変換後のＭＰＥＧストリーム信号を，ディスク部１３８のアクセスタイミングに応じてディスク部１３８に出力する。 The formatter 136 converts the MPEG stream signal held in the buffer memory 134 into a format for storing in a disk-type storage medium stored in the disk unit 138, and converts the converted MPEG stream signal into the disk unit 138. Is output to the disk unit 138 in accordance with the access timing.

上記ディスク部１３８は，回転により記憶位置が移動するディスク形態の記憶媒体，例えば光ディスク，磁気ディスク，ブルーレイディスクといったディスクを回転支持して，その記憶媒体にフォーマッタ１３６でフォーマットされたＭＰＥＧストリーム信号を書き込みおよび／または読み出しする。 The disk unit 138 supports a disk-type storage medium whose storage position moves by rotation, such as an optical disk, a magnetic disk, or a Blu-ray disk, and writes an MPEG stream signal formatted by the formatter 136 to the storage medium. And / or read.

上記ＭＰＥＧデコーダ１４０は，ディスク部１３８の記憶媒体に記憶されたＭＰＥＧストリーム信号をディスク部１３８のアクセスタイミングで読み出し，フォーマット変換を行い，その信号からＹ信号およびＰｂ／Ｐｒ信号を生成して再生表示部１４２に伝送する。 The MPEG decoder 140 reads the MPEG stream signal stored in the storage medium of the disk unit 138 at the access timing of the disk unit 138, performs format conversion, generates Y signals and Pb / Pr signals from the signals, and reproduces and displays them. The data is transmitted to the unit 142.

上記再生表示部１４２は，液晶等の表示装置で形成することができ，ＭＰＥＧデコーダ１４０から受信したＹ信号およびＰｂ／Ｐｒ信号によって，記憶媒体に記憶された画像を表示（再生）することができる。 The reproduction display unit 142 can be formed by a display device such as a liquid crystal display, and can display (reproduce) the image stored in the storage medium by the Y signal and the Pb / Pr signal received from the MPEG decoder 140. .

上述した撮像装置により，本発明を実施するための基本的な機能が実現可能となる。かかる撮像装置において説明されたＭＰＥＧエンコーダ１３２は，本発明の画像符号化装置として適用することができる。以下に，本発明による実施形態の具体的な機能を説明する。 With the above-described imaging apparatus, basic functions for carrying out the present invention can be realized. The MPEG encoder 132 described in such an image pickup apparatus can be applied as the image encoding apparatus of the present invention. The specific functions of the embodiment according to the present invention will be described below.

（第２の実施形態：画像符号化装置２００）
上述したようにＭＰＥＧエンコーダ１３２は，標準化技術としてのＭＰＥＧに基づいて，画像を圧縮処理（符号化）する。かかるＭＰＥＧは，人の目の特性（視覚特性）を利用し，例えば，画像の細かい信号部分を間引くことによって発生情報量を少なくしている。人の目には，画像の細かい部分には鈍感という特性がある。従って，ＭＰＥＧでは，目につきにくい高周波成分は粗く量子化（ビットレートを低く）し，目につきやすい低周波成分は細かく量子化（ビットレートを高く）している。 (Second Embodiment: Image Encoding Device 200)
As described above, the MPEG encoder 132 compresses (encodes) an image based on MPEG as a standardization technique. Such MPEG uses the characteristics (visual characteristics) of the human eye, and reduces the amount of generated information by thinning out fine signal portions of an image, for example. The human eye has a characteristic that it is insensitive to the fine parts of the image. Therefore, in MPEG, high-frequency components that are difficult to see are roughly quantized (low bit rate), and low-frequency components that are easily noticeable are finely quantized (high bit rate).

このように画像の質に応じてビットレートを変更し，撮像した画像の質を一定に維持する可変ビットレート制御を以下でも取りあげる。 The variable bit rate control that changes the bit rate according to the quality of the image and keeps the quality of the captured image constant will be described below.

２パス符号化制御では，予め符号化するフレームの解析を行い，画像の質，例えば画質の劣化可能性の大小に応じて量子化スケールを変更し，適切な情報量の割り当てを行っている。ここでは，画質の劣化可能性の大小に基づいて単純に量子化スケールを変更しているので，劣化が目立ちやすい画像においては量子化スケールが限りなくゼロに近くなり，情報量が過剰に大きくなる。 In the two-pass encoding control, a frame to be encoded is analyzed in advance, the quantization scale is changed according to the quality of the image, for example, the possibility of deterioration of the image quality, and an appropriate amount of information is allocated. Here, the quantization scale is simply changed based on the possibility of degradation of image quality, so the quantization scale is almost zero in an image where degradation is conspicuous, and the amount of information becomes excessively large. .

本実施形態では，例えば，２パス符号化制御等における発生情報量の調整を行う際，発生情報量を目標情報量に近づけつつ，量子化スケールに制限を設けて発生情報量が目標情報量を超えないようにしている。こうして所望の目標情報量を上回る符号化を回避している。その結果，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。 In the present embodiment, for example, when adjusting the amount of generated information in two-pass encoding control or the like, the generated information amount is reduced to the target information amount by limiting the quantization scale while bringing the generated information amount close to the target information amount. I do not exceed it. Thus, encoding exceeding the desired target information amount is avoided. As a result, the user can predict the upper limit of the generated information amount, and can stably encode an image.

図２は，第２の実施形態における画像符号化装置２００の概略的な構成を示したブロック図である。かかる画像符号化装置２００は，情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８とを含んで構成される。 FIG. 2 is a block diagram illustrating a schematic configuration of an image encoding device 200 according to the second embodiment. The image encoding apparatus 200 includes an information amount determining unit 210, a discrete cosine transform unit 212, a scale determining unit 214, a scale limiting unit 216, and a quantizing unit 218.

上記情報量決定部２１０は，与えられたビットレート，ピクチャータイプおよび入力された１フレーム分の画像の難しさに応じて，そのフレームの発生情報量の目標値，即ち，目標情報量を決定する。ここでは，画像の質，例えば画質の劣化可能性の大小に応じて適切な目標情報量を割り当てる。かかる劣化可能性の判断は，画像の難しさを画像の難易度パラメータとして表し，直前にエンコードされた画像の難易度パラメータと比較して決定されるとしても良い。 The information amount determination unit 210 determines the target value of the generated information amount of the frame, that is, the target information amount, according to the given bit rate, picture type, and difficulty of the input image for one frame. . Here, an appropriate amount of target information is assigned according to the quality of the image, for example, the degree of possibility of degradation of the image quality. The determination of the possibility of deterioration may be determined by expressing the difficulty of the image as an image difficulty parameter and comparing it with the difficulty parameter of the image encoded immediately before.

そもそも可変ビットレート制御は，目につきにくい高周波成分は粗く量子化（ビットレートを低く）し，目につきやすい低周波成分は細かく量子化（ビットレートを高く）することを目的としている。従って，水平線上の青空といった低周波成分で構成される画像に対しては，目標情報量が大きく設定され，オフィス街での人混みといった高周波成分で構成される画像に対しては，目標情報量が小さく設定される。 In the first place, the variable bit rate control aims to coarsely quantize high-frequency components that are difficult to see (low bit rate) and finely quantize low-frequency components that are easily noticeable (high bit rate). Therefore, the target information amount is set large for images composed of low-frequency components such as the blue sky on the horizon, and the target information amount is defined for images composed of high-frequency components such as crowds in the office district. Set small.

また，本実施形態における情報量決定部２１０は，目標情報量に上限を設けている。 In addition, the information amount determination unit 210 in this embodiment sets an upper limit on the target information amount.

従来，かかる画像の符号化，例えば，２パス符号化制御においては，単に，劣化が目立ちやすい画像には高い目標情報量が割り当てられ，劣化が目立ち難い画像には低い情報量が割り当てられていた。本実施形態では，目標情報量に上限を設けているので，劣化が目立ちやすい画像には高い目標情報量が割り当てられるがその情報量は無制限ではなく，所定の上限によって制限される。また，劣化が目立ち難い画像には，従来通りの低い情報量が割り当てられる。 Conventionally, in such image coding, for example, two-pass coding control, a high target information amount is simply assigned to an image that is easily noticeable, and a low information amount is assigned to an image that is not easily noticeable. . In the present embodiment, since an upper limit is set for the target information amount, a high target information amount is assigned to an image that is easily deteriorated, but the information amount is not unlimited and is limited by a predetermined upper limit. In addition, a conventional low amount of information is assigned to an image whose deterioration is not noticeable.

このように発生情報量を頭打ちすることにより，発生情報量を一定量以下に収めることが可能となる。従って，ユーザは，発生情報量の上限を予測することができ，安定した画像の符号化が可能となる。かかる実施形態では，発生情報量の予測値を下回ることは考えられるが，予測値を超すことがないので，その画像を記憶するために記憶容量に余裕を見て記憶媒体を準備する必要がなくなる。 By peaking the amount of generated information in this way, the amount of generated information can be kept below a certain amount. Therefore, the user can predict the upper limit of the generated information amount, and can stably encode an image. In such an embodiment, it is conceivable that the amount of generated information is lower than the predicted value, but the predicted value is not exceeded, so that it is not necessary to prepare a storage medium with a sufficient storage capacity to store the image. .

さらに，本実施形態における情報量決定部２１０は，該フレームのみに着目して目標情報量を決定している。 Furthermore, the information amount determination unit 210 in the present embodiment determines the target information amount by paying attention only to the frame.

従来，かかる画像の符号化においては，１フレームの発生情報量が前後のフレームや記憶可能な残情報量といった消費情報量の進捗に応じて決定されていた。このような状況下では，同画像を符号化してもその符号化した時間の隔たりによって発生情報量が相違する結果となる。例えば，動画像を符号化する場合に，初期には，記憶媒体の容量も余裕があったので発生情報量を大きくとっていたが，その後も目標情報量を大きくとる画像が連続したため記憶媒体に余裕がなくなり，終端において同一の画像を撮像したとしても目標情報量が小さくなるといった状況が起こり得る。 Conventionally, in the encoding of such an image, the amount of generated information for one frame is determined according to the progress of the amount of consumed information such as the previous and subsequent frames and the amount of remaining information that can be stored. Under such circumstances, even if the same image is encoded, the amount of generated information differs depending on the time interval of the encoding. For example, when encoding a moving image, the amount of generated information was initially large because the capacity of the storage medium was sufficient, but after that images with a large target information amount continued, There may be a situation in which there is no room and the target information amount is small even if the same image is captured at the end.

上記の動画像は，全体を連続して再生する場合あまり問題にならない。しかし，クリップの任意の場所，例えば初期の画像と終端の画像とを編集によってつなげた場合，その画質が変化しているのが分かってしまう。 The above moving image is not a problem when the whole is reproduced continuously. However, if an arbitrary location of the clip, for example, an initial image and an end image are connected by editing, it is understood that the image quality has changed.

本実施形態では，動画像信号のフレーム毎に，その１フレームの情報のみに着目して目標情報量を決定しているので，消費情報量の進捗に影響されない安定した発生情報量を維持することができる。上記の例においても，初期の画像と終端の画像の目標情報量は等しくなり，発生情報量もほぼ等しくなる。従って，その画像編集において両画像をつなげたとしても，画質の変化を確認できない。 In this embodiment, for each frame of the moving image signal, the target information amount is determined by paying attention only to the information of one frame, so that a stable generated information amount that is not affected by the progress of the consumption information amount is maintained. Can do. Also in the above example, the target information amount of the initial image and the end image is equal, and the generated information amount is also substantially equal. Therefore, even if both images are connected in the image editing, a change in image quality cannot be confirmed.

また，こうした目標情報量は，上述した目標情報量の上限以下において設定されるため，所望の目標情報量を上回る符号化を回避し，安定した発生情報量を維持することができる。 Moreover, since such target information amount is set below the upper limit of the target information amount described above, encoding exceeding the desired target information amount can be avoided, and a stable generated information amount can be maintained.

上記離散コサイン変換部２１２は，１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う。 The discrete cosine transform unit 212 divides an image of one frame into a plurality of macro blocks, and performs a discrete cosine transform for each macro block.

図３は，離散コサイン変換部２１２によるマクロブロックへの分割を説明するための説明図である。まず，離散コサイン変換部２１２は，画像２５０を複数のマクロブロック，例えば，水平方向に１６０，垂直方向に９６に分割する。その後の離散コサイン変換は，かかるマクロブロック２５２単位で，例えば，マクロブロックの１ライン目の１ブロック，２ブロック，…，２ライン目の１ブロック，…１６０ライン目の９６ブロックといった順番で行われる。 FIG. 3 is an explanatory diagram for explaining division into macroblocks by the discrete cosine transform unit 212. First, the discrete cosine transform unit 212 divides the image 250 into a plurality of macro blocks, for example, 160 in the horizontal direction and 96 in the vertical direction. Subsequent discrete cosine transform is performed in units of such macroblocks 252 in the order of, for example, the first block of the first line of the macroblock, the second block,..., The first block of the second line,. .

上記離散コサイン変換は，例えば，マクロブロック２５２をさらに８画素２５４×８ライン２５６の２次元マトリクスの乗算で実施され，変換の結果として，マクロブロック２５２内の画素数と同じ数（６４個）の変換係数が得られる。かかる変換係数の（０，０）成分は直流成分計数と呼ばれ，マクロブロック２５２内の画素値の平均を示し，残りは交流成分と呼ばれる。かかる離散コサイン変換は従来から知られている様々な方法を適用することができる。従って，ここでは詳細な説明を省略する。 The discrete cosine transform is performed, for example, by multiplying the macro block 252 by a two-dimensional matrix of 8 pixels 254 × 8 lines 256, and as a result of the transformation, the same number (64) of pixels as the macro block 252 is obtained. A conversion factor is obtained. The (0, 0) component of such a conversion coefficient is called a DC component count, indicates the average of the pixel values in the macroblock 252, and the rest is called an AC component. Various methods conventionally known can be applied to the discrete cosine transform. Therefore, detailed description is omitted here.

上記スケール決定部２１４は，１フレームの発生情報量を，情報量決定部２１０で決定された目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定する。 The scale determining unit 214 uses the already quantized information amount and the target information amount to match the generated information amount of one frame with the target information amount determined by the information amount determining unit 210. Determine the quantization scale for each block.

上記量子化スケールは，後述する量子化部２１８で符号化信号を得るために利用される。上述した離散コサイン変換単独では，データの圧縮はできず，データの圧縮は，離散コサイン変換により生じた変換係数のエネルギ分布の偏りを利用して行われる。ここでは，上記変換係数を単に量子化スケールで除算することによって量子化が行われる。 The quantization scale is used for obtaining an encoded signal by a quantization unit 218 described later. The above-described discrete cosine transform alone cannot compress data, and data compression is performed using the bias of the energy distribution of transform coefficients generated by the discrete cosine transform. Here, quantization is performed by simply dividing the transform coefficient by a quantization scale.

人間の視覚は，ローパスフィルタの特性を有しており，高周波成分のＡＣ係数に対しては，多少粗い量子化スケールで量子化しても，主観的にあまり劣化が目立つことはない。例えば，量子化スケールを小さくすれば復号画像の品質は良くなるが，発生情報量は大きくなる。逆に，量子化スケールを大きくすると発生情報量は少なくなるが，復号画像の品質は低下する。 Human vision has the characteristics of a low-pass filter, and the AC coefficients of high-frequency components are not significantly degraded subjectively even if they are quantized on a somewhat coarse quantization scale. For example, if the quantization scale is reduced, the quality of the decoded image is improved, but the amount of generated information is increased. Conversely, when the quantization scale is increased, the amount of generated information decreases, but the quality of the decoded image decreases.

従って，本実施形態においては，一旦情報量決定部２１０で決定された目標情報量に発生情報量を合わせるため，目標情報量と既に量子化されている情報量との差分から，あとどのくらいの情報量を発生することが可能であるか計算し，その範囲内で許される量子化スケールを当該マクロブロックの画質に応じて決定する。 Therefore, in this embodiment, in order to match the generated information amount to the target information amount once determined by the information amount determination unit 210, how much information is remaining from the difference between the target information amount and the already quantized information amount. It is calculated whether it is possible to generate a quantity, and the quantization scale allowed within the range is determined according to the image quality of the macroblock.

図４は，上記で挙げたマクロブロックの画質と量子化スケールとの関係を説明するための説明図である。図４には，１フレーム分の画像２７０が示され，その中の２つのマクロブロック２７２，２７４が例として挙げられている。 FIG. 4 is an explanatory diagram for explaining the relationship between the image quality of the macroblocks mentioned above and the quantization scale. FIG. 4 shows an image 270 for one frame, and two macroblocks 272 and 274 are shown as examples.

例えば，マクロブロック２７２は，動特性が少なく，全体的に同一の画素，即ち低周波成分で構成されるで，量子化スケールを小さくとり，その情報量を増やさなければならない。それに対して，マクロブロック２７４は，マクロブロック内で変化の大きい，即ち高周波成分で構成されるので，量子化スケールを大きくすることができ，情報量も少なくて済む。 For example, the macro block 272 has a small dynamic characteristic and is composed of the same pixel, that is, a low frequency component as a whole, so that the quantization scale must be reduced to increase the amount of information. On the other hand, since the macroblock 274 is composed of a high-frequency component having a large change within the macroblock, the quantization scale can be increased and the amount of information can be reduced.

このようにして，劣化が目立ちやすい画像には大きな情報量が割り当てられる。しかし，量子化スケールを無制限に小さくすると，かかる情報量も無制限に大きくなる。従って，目標情報量に対して発生情報量が超えてしまう問題が生じる。 In this way, a large amount of information is assigned to an image that is prone to degradation. However, when the quantization scale is reduced to an unlimited amount, the amount of information increases without limitation. Therefore, there arises a problem that the generated information amount exceeds the target information amount.

図５は，目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。かかる図５の横軸３１０は，処理が完了したマクロブロックの数であり，縦軸３１２は，その処理毎の発生情報量の積算値を示している。 FIG. 5 is an explanatory diagram for explaining the transition of the quantization scale and the information amount with respect to the target information amount. The horizontal axis 310 in FIG. 5 indicates the number of macro blocks that have been processed, and the vertical axis 312 indicates the integrated value of the amount of generated information for each process.

かかる量子化では，発生情報量を目標情報量に近づけることを目的とする。従って，マクロブロック処理の進捗に対する発生情報量の蓄積値は，波線３１４に示した軌跡を辿るのが理想であるが，実際は，そのマクロブロック毎の画質により曲線３１６のような不安定な軌跡を描く。 The purpose of such quantization is to bring the generated information amount close to the target information amount. Therefore, it is ideal that the accumulated value of the generated information amount with respect to the progress of the macroblock processing follows the locus shown by the wavy line 314. However, actually, an unstable locus such as the curve 316 depends on the image quality of each macroblock. Draw.

例えば，３８４０個目のマクロブロック３１８の量子化スケールは，目標情報量と既に量子化されている情報量Ａとの差分からあとどのくらいの情報量を発生することが可能であるか計算され，その範囲内で当該マクロブロックの画質に応じて決定される。このようにして曲線３１６を描きつつ目標情報量に近い発生情報量３２０を生成する。 For example, the quantization scale of the 3840th macroblock 318 is calculated from the difference between the target information amount and the already quantized information amount A, and how much information amount can be generated. It is determined in accordance with the image quality of the macroblock within the range. In this way, the generated information amount 320 close to the target information amount is generated while the curve 316 is drawn.

しかし，図５において理解されるように，上記最終的な発生情報量３２０は目標情報量を超している。これは，ユーザの予測した総情報量を少なくとも上回る可能性があることを示し，故にユーザは，予測値より多い情報量を記憶できる記憶媒体を準備する必要が生じる。かかる問題は，以下のスケール制限部２１６により解決される。 However, as understood in FIG. 5, the final generated information amount 320 exceeds the target information amount. This indicates that there is a possibility that the total amount of information predicted by the user is at least exceeded, and thus the user needs to prepare a storage medium that can store an amount of information larger than the predicted value. Such a problem is solved by the scale limiter 216 described below.

上記スケール制限部２１６は，スケール決定部２１４で決定された量子化スケールを制限する。このように量子化スケールを制限することにより，後述の量子化において極端に大きな情報量が発生することを回避でき，最終的な発生情報量を目標情報量以下に抑えることができる。以下に，かかる制限の方法を３種類上げているが，本実施形態はこれに限られず，様々な方法で実施することができる。また，上記制限は，複数の次数を有する関数によっても制限可能である。 The scale limiting unit 216 limits the quantization scale determined by the scale determining unit 214. By restricting the quantization scale in this way, it is possible to avoid an extremely large amount of information from being generated in the quantization described later, and it is possible to suppress the final generated information amount to be equal to or less than the target information amount. In the following, there are three types of restriction methods, but the present embodiment is not limited to this, and can be implemented in various ways. The above limitation can also be limited by a function having a plurality of orders.

図６は，単純に量子化スケールに下限を設定した場合の量子化スケールを表した説明図である。かかる図６において，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。 FIG. 6 is an explanatory diagram showing the quantization scale when the lower limit is simply set in the quantization scale. In FIG. 6, the horizontal axis 410 is the quantization scale input to the scale limiting unit 216, and the vertical axis 412 is the quantization scale output from the scale limiting unit 216.

図６においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合に，その範囲内のＭの下限が設けられる。この下限を有した曲線４２０により，スケール制限部２１６に入力された量子化スケールは，０〜Ｍの範囲で，強制的にＭに変更され，Ｍ〜Ｎの範囲で，そのままの数値が維持される。 In FIG. 6, when the range of the quantization scale determined by the scale determination unit 214 is 0 to N, the lower limit of M within the range is provided. With the curve 420 having this lower limit, the quantization scale input to the scale limiting unit 216 is forcibly changed to M in the range of 0 to M, and the numerical value is maintained as it is in the range of M to N. The

かかる構成により，マクロブロックの画質が，劣化の目立つ低周波成分の多い画質であったとしても，量子化スケールが著しく小さくなることがないので，量子化された情報量が極端に大きくならない。 With such a configuration, even if the image quality of the macroblock is an image quality with many low-frequency components that are conspicuously deteriorated, the quantization scale is not significantly reduced, so that the amount of quantized information does not become extremely large.

図７は，下限から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限される場合の量子化スケールを表した説明図である。かかる図７においても，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。 FIG. 7 is an explanatory diagram showing the quantization scale when the second derivative is smoothly limited from a lower limit to a maximum value by a non-linear curve with only positive or zero. Also in FIG. 7, the horizontal axis 410 is the quantization scale input to the scale limiting unit 216, and the vertical axis 412 is the quantization scale output from the scale limiting unit 216.

図７においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合にＭの下限が設けられている。図７と図６とを比較すると，その制限が下限値に向かう滑らかな曲線４５０で表されているところが相違している。この下限により，スケール制限部２１６に入力された量子化スケールは，低くなるほど制限を受ける形になる。 In FIG. 7, the lower limit of M is provided when the quantization scale range determined by the scale determination unit 214 is 0 to N. When FIG. 7 and FIG. 6 are compared, the place where the restriction is represented by a smooth curve 450 toward the lower limit value is different. Due to this lower limit, the quantization scale input to the scale limiting unit 216 is limited as it decreases.

かかる量子化スケールが徐々に制限される構成により，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。 With such a configuration in which the quantization scale is gradually limited, deterioration in image quality due to the fact that the quantization scale cannot be lowered becomes inconspicuous, and coding without a sense of incongruity can be achieved.

図８は，下限から最大値まで，制限される値が比例する場合の量子化スケールを表した説明図である。かかる図８においても，横軸４１０は，スケール制限部２１６に入力される量子化スケールであり，縦軸４１２は，スケール制限部２１６から出力される量子化スケールである。 FIG. 8 is an explanatory diagram showing the quantization scale when the restricted values are proportional from the lower limit to the maximum value. Also in FIG. 8, the horizontal axis 410 is the quantization scale input to the scale limiting unit 216, and the vertical axis 412 is the quantization scale output from the scale limiting unit 216.

図８においては，スケール決定部２１４で決定された量子化スケールの範囲が０〜Ｎである場合に，Ｍの下限が設けられている。かかる下限Ｍを有する直線４７０は，制限される前の量子化スケール，即ち入力量子化スケールがＬであった場合，（Ｎ―Ｍ）／Ｎ×Ｌ＋Ｍで表される。 In FIG. 8, when the range of the quantization scale determined by the scale determination unit 214 is 0 to N, a lower limit of M is provided. The straight line 470 having the lower limit M is represented by (NM) / N × L + M when the quantization scale before the restriction, that is, the input quantization scale is L.

かかる量子化スケールが線形的に制限される構成により，量子化スケールを下げられないことによる画質の劣化が目立たなくなり，違和感のない符号化を達成することができる。 With such a configuration in which the quantization scale is linearly limited, deterioration in image quality due to the fact that the quantization scale cannot be lowered becomes inconspicuous, and coding without a sense of incongruity can be achieved.

上記のように量子化スケールに下限を設けることによって，画像１フレーム分の発生情報量を，目標情報量を超えない値に制限することができる。このような目標情報量と発生情報量との関係を以下に説明する。 By providing a lower limit on the quantization scale as described above, the amount of generated information for one frame of an image can be limited to a value that does not exceed the target information amount. The relationship between such target information amount and generated information amount will be described below.

図９は，本実施形態における目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。かかる図９の横軸３１０は，図５同様に処理が完了したマクロブロックの数であり，縦軸３１２は，その処理毎の発生情報量の積算値を示している。 FIG. 9 is an explanatory diagram for explaining the transition of the quantization scale and the information amount with respect to the target information amount in the present embodiment. The horizontal axis 310 in FIG. 9 indicates the number of macro blocks that have been processed as in FIG. 5, and the vertical axis 312 indicates the integrated value of the generated information amount for each process.

かかる量子化でも図５同様に，発生情報量を目標情報量に近づけることを目的とする。従って，マクロブロック処理の進捗に対する発生情報量の蓄積値は，波線３１４に示した軌跡に近い曲線４８０のような不安定な軌跡を描く。 The purpose of such quantization is to bring the generated information amount close to the target information amount, as in FIG. Therefore, the accumulated value of the generated information amount with respect to the progress of the macroblock process draws an unstable locus such as a curve 480 close to the locus shown by the dashed line 314.

例えば，３８４０個目のマクロブロック４８２の量子化スケールは，目標情報量と既に量子化されている情報量Ｂとの差分から，残りどのくらいの情報量を発生することが可能であるか計算され，その範囲内で当該マクロブロックの画質に応じて決定される。このようにして曲線４８０を描きつつ目標情報量に近い情報量を生成する。 For example, the quantization scale of the 3840th macroblock 482 is calculated from the difference between the target information amount and the already quantized information amount B to determine how much information can be generated. Within this range, it is determined according to the image quality of the macroblock. In this way, an information amount close to the target information amount is generated while the curve 480 is drawn.

かかる図９は，最終的な発生情報量４８４が必ず目標情報量以下になる点で図５の場合と相違する。これは，上記スケール制限部２１６が量子化スケールを制限することで達成される。ただし，エンコードノイズが目立ちやすい部分に関しては補正を行う。これは，ユーザの予測した総情報量と等しいかもしくは下回ることを示し，故にユーザは，予測値より多い情報量を記憶できる記憶媒体を準備する必要がない。 9 is different from the case of FIG. 5 in that the final generated information amount 484 is always equal to or less than the target information amount. This is achieved by the scale limiting unit 216 limiting the quantization scale. However, correction is performed for areas where encoding noise is conspicuous. This indicates that the total amount of information predicted by the user is equal to or lower than the total amount of information predicted by the user, and thus the user does not need to prepare a storage medium that can store an amount of information larger than the predicted value.

上記量子化部２１８は，離散コサイン変換された信号を，スケール制限部２１６で制限された量子化スケールで量子化する。かかる量子化は，量子化スケールによる除算で実行可能である。 The quantization unit 218 quantizes the discrete cosine transformed signal with a quantization scale limited by the scale limiting unit 216. Such quantization can be performed by division by a quantization scale.

また，上記画像符号化装置として機能するプログラムおよびそのプログラムが記憶された記憶媒体も提供される。 Also provided are a program functioning as the image encoding device and a storage medium storing the program.

（第３の実施形態：撮像装置５００）
画像符号化装置２００は，上述したように撮像装置にも適用し得る。 (Third embodiment: imaging apparatus 500)
The image encoding device 200 can also be applied to an imaging device as described above.

図１０は，第３の実施形態における撮像装置５００の概略的な構成を示したブロック図である。かかる撮像装置５００は，撮像部５１０と，情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８と，信号記憶部５１２と，表示部５１４とを含んで構成される。 FIG. 10 is a block diagram illustrating a schematic configuration of an imaging apparatus 500 according to the third embodiment. The imaging apparatus 500 includes an imaging unit 510, an information amount determination unit 210, a discrete cosine transform unit 212, a scale determination unit 214, a scale limiting unit 216, a quantization unit 218, a signal storage unit 512, a display Part 514.

第２の実施形態における構成要素として既に述べた情報量決定部２１０と，離散コサイン変換部２１２と，スケール決定部２１４と，スケール制限部２１６と，量子化部２１８とは，実質的に機能が同一なので重複説明を省略し，ここでは，新たな機能を有す撮像部５１０と，信号記憶部５１２と，表示部５１４とを主に説明する。 The information amount determining unit 210, the discrete cosine transform unit 212, the scale determining unit 214, the scale limiting unit 216, and the quantizing unit 218, which have already been described as constituent elements in the second embodiment, substantially function. Since the description is the same, repeated description is omitted, and here, the imaging unit 510, the signal storage unit 512, and the display unit 514 having a new function will be mainly described.

上記撮像部５１０は，第１の実施形態で説明したレンズ部１１０，プリズム部１１２，ＣＣＤ部１１４等を含んで構成され，被写体を撮像することによって画像を得る。この撮像された画像は画素単位でシリアル転送される。また，必要に応じて，第１の実施形態で説明したＡ／Ｄコンバータ部，リニアマトリクス回路，イメージ強調部，加算器，ニー回路，ガンマ回路，クリップ回路，Ｙマトリクス回路等を含んで構成することもできる。 The imaging unit 510 includes the lens unit 110, the prism unit 112, the CCD unit 114, and the like described in the first embodiment, and obtains an image by imaging a subject. The captured image is serially transferred in units of pixels. If necessary, the A / D converter unit, linear matrix circuit, image enhancement unit, adder, knee circuit, gamma circuit, clip circuit, Y matrix circuit, etc. described in the first embodiment are included. You can also

上記信号記憶部５１２は，上記量子化された符号化信号を，外部から挿入されたもしくは既存の記憶媒体２３０に記憶する。ここで，記憶媒体２３０は，書き込み位置もしくは読み出し位置が回転移動するディスク形態であるとしても良く，信号記憶部５１２は，削減画像を一旦保持し，記憶媒体２３０へのアクセス（書き込みもしくは読み出し）タイミングで出力するディスクバッファ（図示せず）を備えることもできる。 The signal storage unit 512 stores the quantized encoded signal in an external storage medium 230 inserted from the outside. Here, the storage medium 230 may be in the form of a disk in which the writing position or the reading position rotates, and the signal storage unit 512 temporarily holds the reduced image and accesses (writes or reads) timing to the storage medium 230. It is also possible to provide a disk buffer (not shown) that outputs the data.

上記表示部５１４は，撮像部５１０による撮像中の画像確認のため，液晶ディスプレイ等の表示装置に，撮像部５１０で撮像されている画像を直接表示する。かかる表示部５１４によって被写体のピント合わせや露光調整等も行うことができる。 The display unit 514 directly displays an image captured by the imaging unit 510 on a display device such as a liquid crystal display in order to confirm an image being captured by the imaging unit 510. The display unit 514 can also perform subject focusing, exposure adjustment, and the like.

かかる撮像装置５００の構成により，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。 With the configuration of the imaging apparatus 500, it is possible to avoid the encoding exceeding the target information amount and to predict the upper limit of the generated information amount, thereby enabling stable image encoding.

（第４の実施形態：画像符号化方法）
続いて，上述した画像符号化装置２００を利用して実現可能な画像符号化方法を説明する。 (Fourth Embodiment: Image Encoding Method)
Next, an image encoding method that can be realized using the above-described image encoding device 200 will be described.

図１１は，第４の実施形態における画像符号化方法の流れを示したフローチャートである。ここでは，画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成している。 FIG. 11 is a flowchart showing the flow of the image encoding method according to the fourth embodiment. Here, the image signal is encoded based on variable bit rate control that changes the bit rate according to the quality of the image, and an encoded signal having an information amount corresponding to the target information amount is generated.

先ず，画像符号化装置２００において，１フレーム分の画像を読み出し（Ｓ６００），その画像の質に応じて目標情報量を決定する（Ｓ６０２）。続いて，読み出した１フレームの画像を複数のマクロブロック，例えば，水平方向に１６０，垂直方向に９６に分割する（Ｓ６０４）。以下では，かかる分割されたマクロブロック毎に処理が行われる。 First, the image coding apparatus 200 reads an image for one frame (S600), and determines a target information amount according to the quality of the image (S602). Subsequently, the read image of one frame is divided into a plurality of macroblocks, for example, 160 in the horizontal direction and 96 in the vertical direction (S604). In the following, processing is performed for each of the divided macro blocks.

分割されたマクロブロックの１つを読み出し，さらにそのマクロブロックを，例えば８画素×８ラインに分割し，離散コサイン変換を行う（Ｓ６１０）。次に，読み出した１フレームの画像における発生情報量を，情報量決定ステップ（Ｓ６０２）で決定された目標情報量に合わせるため，既に量子化されている情報量と上記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定する（Ｓ６１２）。そして，そのスケール決定ステップ（Ｓ６１２）で決定された量子化スケールを，特に所定の数値による下限によって制限する（Ｓ６１４）。 One of the divided macro blocks is read out, and further, the macro block is divided into, for example, 8 pixels × 8 lines, and discrete cosine transform is performed (S610). Next, in order to match the generated information amount in the read image of one frame with the target information amount determined in the information amount determination step (S602), the already quantized information amount and the target information amount are used. , The quantization scale for each macroblock is determined (S612). Then, the quantization scale determined in the scale determination step (S612) is limited by a lower limit based on a predetermined numerical value (S614).

次に，離散コサイン変換ステップ（Ｓ６１０）によって離散コサイン変換された信号を，スケール制限ステップ（Ｓ６１２）で制限された量子化スケールによって量子化する（Ｓ６１６）。ここで，エンコードノイズが目立ちやすい部分に関しては補正を行う。こうして符号化された信号は，記憶媒体２３０に記憶される（Ｓ６１８）。このとき画像分割ステップ（Ｓ６０４）で分割されたマクロブロック全てに関して処理が終わっているか確認され（Ｓ６２０），全て終わっていれば当該画像符号化方法を終了し，次のフレームを読み出す。 Next, the signal subjected to the discrete cosine transform in the discrete cosine transform step (S610) is quantized using the quantization scale limited in the scale limiting step (S612) (S616). Here, correction is performed for portions where encoding noise is conspicuous. The encoded signal is stored in the storage medium 230 (S618). At this time, it is confirmed whether all the macroblocks divided in the image division step (S604) have been processed (S620). If all the macroblocks have been completed, the image encoding method is terminated and the next frame is read.

かかる画像符号化方法においても，目標情報量を上回る符号化を回避し，発生情報量の上限を予測可能とすることで安定した画像の符号化が可能となる。 In such an image encoding method, encoding exceeding the target information amount is avoided, and the upper limit of the generated information amount can be predicted, so that stable image encoding can be performed.

当該撮像方法や画像符号化方法における各ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むとしても良い。 The steps in the imaging method and the image encoding method do not necessarily have to be processed in chronological order according to the order described in the flowchart, but are executed in parallel or individually (for example, parallel processing or object processing). ) May also be included.

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明は係る例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are of course within the technical scope of the present invention. Understood.

例えば，上記の実施形態においては，スケール制限部が固定された下限値を有しているが，かかる場合に限られず，画像の質やビットレートに応じて下限値が変動するとしても良い。このような構成により，ビットレートが高くなるときは下限を上げ，ビットレートが低いときは下限を低く，もしくは下限を設けないとする処理を行うことができ，より効率的な発生情報量を生成できる。 For example, in the above embodiment, the scale limiter has a fixed lower limit value, but the present invention is not limited to this, and the lower limit value may vary depending on the quality of the image and the bit rate. With this configuration, when the bit rate is high, the lower limit is raised, when the bit rate is low, the lower limit is lowered, or the lower limit is not set. it can.

また，上記の実施形態においては，スケール制限部が下限を有している場合のみ説明されているが，かかる場合に限られず，例えば，ディスク等の記憶媒体に無制限に記憶することができる場合，逆に上限を設けることにより発生情報量を意図的に増やすことも可能である。 Further, in the above embodiment, only the case where the scale limiting unit has a lower limit has been described. However, the present invention is not limited to such a case, and for example, when it can be stored in a storage medium such as a disk without limitation, Conversely, the amount of generated information can be intentionally increased by providing an upper limit.

また，上記の実施形態においては，ディスク形態の記憶媒体への画像の記憶を基本に説明したが，かかる場合に限られず，ストレージやＨＤＤ等他の記憶媒体を用いることもできる。 Further, in the above embodiment, the description has been made on the basis of image storage in a disk-type storage medium. However, the present invention is not limited to this, and other storage media such as storage and HDD can also be used.

第１の実施形態における撮像装置を概略的に示したブロック図である。1 is a block diagram schematically illustrating an imaging apparatus according to a first embodiment. 第２の実施形態における画像符号化装置の概略的な構成を示したブロック図である。It is the block diagram which showed schematic structure of the image coding apparatus in 2nd Embodiment. 離散コサイン変換部によるマクロブロックへの分割を説明するための説明図である。It is explanatory drawing for demonstrating the division | segmentation into a macroblock by a discrete cosine transform part. マクロブロックの画質と量子化スケールとの関係を説明するための説明図である。It is explanatory drawing for demonstrating the relationship between the image quality of a macroblock, and a quantization scale. 目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。It is explanatory drawing for demonstrating transition of the quantization scale with respect to target information amount, and information amount. 単純に量子化スケールに下限を設定した場合の量子化スケールを表した説明図である。It is explanatory drawing showing the quantization scale at the time of setting a minimum to a quantization scale simply. 下限から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限される場合の量子化スケールを表した説明図である。It is explanatory drawing showing the quantization scale in case a 2nd derivative is smoothly restrict | limited by the nonlinear curve of only positive or 0 from a minimum to a maximum value. 下限から最大値まで，制限される値が比例する場合の量子化スケールを表した説明図である。It is explanatory drawing showing the quantization scale in case the value restrict | limited from a lower limit to a maximum value is proportional. 第３の施形態における目標情報量に対する量子化スケールおよび情報量の推移を説明するための説明図である。It is explanatory drawing for demonstrating transition of the quantization scale with respect to the target information amount in 3rd Embodiment, and information amount. 第３の実施形態における撮像装置の概略的な構成を示したブロック図である。It is the block diagram which showed the schematic structure of the imaging device in 3rd Embodiment. 第４の実施形態における画像符号化方法の流れを示したフローチャートである。It is the flowchart which showed the flow of the image coding method in 4th Embodiment.

符号の説明Explanation of symbols

１００，５００撮像装置
２１０情報量決定部
２１２離散コサイン変換部
２１４スケール決定部
２１６スケール制限部
２１８量子化部
５１０撮像部
５１２信号記憶部
５１４表示部
Ｓ６０２情報量決定ステップ
Ｓ６０４画像分割ステップ
Ｓ６１０離散コサイン変換ステップ
Ｓ６１２スケール決定ステップ
Ｓ６１４スケール制限ステップ
Ｓ６１６量子化ステップ 100,500 Imaging device 210 Information amount determining unit 212 Discrete cosine transform unit 214 Scale determining unit 216 Scale limiting unit 218 Quantizing unit 510 Imaging unit 512 Signal storage unit 514 Display unit S602 Information amount determining step S604 Image dividing step S610 Discrete cosine transform Step S612 Scale determination step S614 Scale limit step S616 Quantization step

Claims

画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化装置であって：
目標情報量を決定する情報量決定部と；
１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
を備えることを特徴とする，画像符号化装置。 An image encoding device that encodes an image signal and generates an encoded signal having an information amount corresponding to a target information amount based on variable bit rate control that changes the bit rate according to the image quality:
An information amount determination unit for determining a target information amount;
A discrete cosine transform unit that divides an image of one frame into a plurality of macro blocks and performs a discrete cosine transform for each macro block;
A scale determination unit that determines a quantization scale for each macroblock using the already quantized information amount and the target information amount in order to match the generated information amount of one frame with the target information amount;
A scale limiting unit for limiting the quantization scale determined by the scale determining unit;
A quantization unit for quantizing the discrete cosine transformed signal with a quantization scale limited by the scale limiting unit;
An image encoding device comprising:

前記スケール制限部における量子化スケールの制限は，所定の数値による下限であることを特徴とする，請求項１に記載の画像符号化装置。 The image encoding apparatus according to claim 1, wherein the limit of the quantization scale in the scale limiting unit is a lower limit by a predetermined numerical value.

前記量子化スケールは，下限としての前記数値から最大値まで，２次導関数が正または０のみの非線形曲線によって滑らかに制限されていることを特徴とする，請求項２に記載の画像符号化装置。 The image coding according to claim 2, wherein the quantization scale is smoothly limited by a non-linear curve whose second derivative is positive or only 0 from the numerical value as a lower limit to a maximum value. apparatus.

前記量子化スケールは，下限としての前記数値から最大値まで，制限される値が比例することを特徴とする，請求項２に記載の画像符号化装置。 The image encoding apparatus according to claim 2, wherein the quantization scale is proportional to a limited value from the numerical value as a lower limit to a maximum value.

前記情報量決定部は，前記動画像信号のフレーム毎に，該フレームのみに着目して目標情報量を決定することを特徴とする，請求項１に記載の画像符号化装置。 2. The image encoding apparatus according to claim 1, wherein the information amount determination unit determines a target information amount for each frame of the moving image signal while paying attention to only the frame.

前記目標情報量は上限が設けられていることを特徴とする，請求項１に記載の画像符号化装置。 The image coding apparatus according to claim 1, wherein an upper limit is set for the target information amount.

画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成するプログラムであって：
コンピュータを，
目標情報量を決定する情報量決定部と；
１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
して機能させることを特徴とする，プログラム。 A program that encodes an image signal based on variable bit rate control that changes the bit rate according to the quality of the image, and generates an encoded signal having an information amount corresponding to the target information amount:
Computer
An information amount determination unit for determining a target information amount;
A discrete cosine transform unit that divides an image of one frame into a plurality of macro blocks and performs a discrete cosine transform for each macro block;
A scale determination unit that determines a quantization scale for each macroblock using the already quantized information amount and the target information amount in order to match the generated information amount of one frame with the target information amount;
A scale limiting unit for limiting the quantization scale determined by the scale determining unit;
A quantization unit for quantizing the discrete cosine transformed signal with a quantization scale limited by the scale limiting unit;
A program characterized by making it function.

画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する画像符号化方法であって：
目標情報量を決定する情報量決定ステップと；
１フレームの画像を複数のマクロブロックに分割する画像分割ステップと；
該分割されたマクロブロック毎に，
離散コサイン変換を行う離散コサイン変換ステップと；
前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定ステップと；
前記スケール決定ステップで決定された量子化スケールを制限するスケール制限ステップと；
前記離散コサイン変換された信号を，前記制限された量子化スケールで量子化する量子化ステップと；
を含むことを特徴とする，画像符号化方法。 An image encoding method that encodes an image signal based on variable bit rate control that changes the bit rate according to image quality, and generates an encoded signal having an information amount corresponding to a target information amount:
An information amount determining step for determining a target information amount;
An image dividing step of dividing an image of one frame into a plurality of macroblocks;
For each divided macroblock,
A discrete cosine transform step for performing a discrete cosine transform;
A scale determination step for determining a quantization scale for each macroblock using the already quantized information amount and the target information amount in order to match the generated information amount of one frame with the target information amount;
A scale limiting step for limiting the quantization scale determined in the scale determining step;
A quantization step for quantizing the discrete cosine transformed signal at the limited quantization scale;
An image encoding method comprising:

画像の質に応じてビットレートを変更する可変ビットレート制御に基づいて，撮像した画像信号を符号化し，目標情報量に相当する情報量の符号化信号を生成する撮像装置であって：
撮像によって画像を得る撮像部と；
前記撮像された画像の目標情報量を決定する情報量決定部と；
１フレームの画像を複数のマクロブロックに分割し，該マクロブロック毎に離散コサイン変換を行う離散コサイン変換部と；
前記１フレームの発生情報量を前記目標情報量に合わせるため，既に量子化されている情報量と前記目標情報量とを用いて，マクロブロック毎の量子化スケールを決定するスケール決定部と；
前記スケール決定部で決定された量子化スケールを制限するスケール制限部と；
前記離散コサイン変換された信号を，前記スケール制限部で制限された量子化スケールで量子化する量子化部と；
前記量子化された符号化信号を記憶媒体に記憶する信号記憶部と；
を備えることを特徴とする，撮像装置。
An imaging device that encodes a captured image signal based on variable bit rate control that changes the bit rate according to the quality of the image, and generates an encoded signal having an information amount corresponding to the target information amount:
An imaging unit for obtaining an image by imaging;
An information amount determination unit for determining a target information amount of the captured image;
A discrete cosine transform unit that divides an image of one frame into a plurality of macro blocks and performs a discrete cosine transform for each macro block;
A scale determination unit that determines a quantization scale for each macroblock using the already quantized information amount and the target information amount in order to match the generated information amount of one frame with the target information amount;
A scale limiting unit for limiting the quantization scale determined by the scale determining unit;
A quantization unit for quantizing the discrete cosine transformed signal with a quantization scale limited by the scale limiting unit;
A signal storage unit for storing the quantized encoded signal in a storage medium;
An imaging apparatus comprising: