JP2014158130A

JP2014158130A - Image encoder

Info

Publication number: JP2014158130A
Application number: JP2013027296A
Authority: JP
Inventors: Kimio Shiozawa; 公男塩澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-15
Filing date: 2013-02-15
Publication date: 2014-08-28

Abstract

PROBLEM TO BE SOLVED: To make the access to storage means, for temporarily storing an image to be encoded and an image being referred in the encoding, less likely to be collapsed even when a frame rate increases.SOLUTION: An image to be encoded and an image being referred in the encoding are stored temporarily in a DRAM 142. A frame rate monitoring section 14 monitors the frame rate of an imaging section 110, and notifies an encoding section 116 of the up/down thereof. When the frame rate is up, the encoding section 116 narrows the motion search range of a motion search compensation section 134 for inter-frame prediction encoding, and expands the motion search range of the motion search compensation section 134 when the frame rate is down.

Description

本発明は、可変フレームレートの動画に対応する画像符号化装置に関する。 The present invention relates to an image encoding apparatus corresponding to a moving image having a variable frame rate.

動画撮影時に、被写体の動きや撮影状況に応じてフレームレートを変化させて撮像することが可能な撮像装置が知られている（特許文献１参照）。記録された動画を所定の表示レートに変換して再生することで、スローモーション再生やハイスピード再生が可能となり、被写体の動きに応じた映像表現が可能となる。 2. Description of the Related Art An imaging device that can capture images while changing the frame rate according to the movement of the subject and the shooting situation during moving image shooting is known (see Patent Document 1). By converting the recorded moving image to a predetermined display rate and playing it back, slow motion playback and high speed playback are possible, and video representation according to the movement of the subject is possible.

動画圧縮方式として、ＭＰＥＧ２とＨ．２６４／ＡＶＣが広く採用されている。これらの符号化方式で、フレームレートに応じてＧＯＰ（Group of Picture）構造を適応的に変化させる方法が知られている（特許文献２参照）。ＧＯＰは動き補償予測符号化の単位であり、符号化エラーの伝搬を防ぐ機能を果たす。 As a video compression system, MPEG2 and H.264 are used. H.264 / AVC is widely adopted. A method of adaptively changing the GOP (Group of Picture) structure according to the frame rate with these encoding methods is known (see Patent Document 2). GOP is a unit of motion compensation predictive coding, and functions to prevent propagation of coding errors.

特開平７−２９８１１２号公報JP 7-298112 A 特開２００１−０２５０１１号公報JP 2001-025011 A

従来技術では、符号化対象の原画像又は動き補償又は予測符号化のための参照画像を一時的に保持するメモリ（通常、ＤＲＡＭ）のバス帯域が、符号化処理の制約要因となる。 In the prior art, the bus band of a memory (usually DRAM) that temporarily stores an original image to be encoded or a reference image for motion compensation or predictive encoding is a limiting factor of the encoding process.

特許文献１に記載の技術では、単位時間あたりの符号化すべきフレーム数の増加数によっては、バス帯域を圧迫して符号化処理が破綻してしまうという懸念がある。また、特許文献２に記載の技術では、フレーム数の増加に対して、バス帯域を特に必要とするフレーム間符号化ピクチャであるＢピクチャ数を増加させるので、バス帯域を圧迫して符号化処理が破綻してしまうおそれがある。 With the technique described in Patent Document 1, there is a concern that the encoding process may fail due to the bus bandwidth being pressed depending on the increase in the number of frames to be encoded per unit time. In the technique described in Patent Document 2, the number of B pictures, which are inter-frame coded pictures that particularly require a bus band, is increased as the number of frames is increased. May collapse.

ワーストケースを想定したバス帯域を有するメモリを用いることで帯域への余裕度が上がるが、通常の処理に対してかなり余剰なバス帯域を有していることになり、効率的ではない。 The use of a memory having a bus bandwidth assuming the worst case increases the margin to the bandwidth, but it has a considerably excessive bus bandwidth for normal processing and is not efficient.

本発明は、バス帯域の破綻耐性が強い画像符号化装置を提示することを目的とする。 It is an object of the present invention to provide an image encoding device that has a high tolerance for bus band failure.

上記目的を達成するために、本発明に係る画像符号化装置は、符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、前記記憶手段から読み出した符号化すべき画像の動きを探索する動き探索手段と、前記動き探索手段の動き探索結果を使って、前記記憶手段から読み出した符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、前記画像のフレームレートに従い、前記動き探索手段の動き探索を制御する制御手段とを有することを特徴とする。 In order to achieve the above object, an image encoding apparatus according to the present invention includes an image to be encoded and an image to be encoded read out from the storage unit, a storage unit that temporarily stores an image to be encoded and an image that is referred to at the time of encoding. Using the motion search means for searching for the motion of the image and the motion search result of the motion search means, the image to be encoded read from the storage means is encoded by an encoding method including intra-frame encoding and inter-frame encoding. It has an encoding means and a control means for controlling the motion search of the motion search means in accordance with the frame rate of the image.

本発明によれば、フレームレートの変化に対して記憶手段のバス帯域が破綻しにくくなり、より広いフレームレート範囲で効率的な符号化を実現できる。 According to the present invention, the bus band of the storage means is less likely to fail due to a change in frame rate, and efficient encoding can be realized in a wider frame rate range.

本発明の第１実施例の概略構成ブロック図である。It is a schematic block diagram of the first embodiment of the present invention. フレームレートによるピクチャ遷移の一例である。It is an example of the picture transition by a frame rate. 本実施例の動き探索制御のフローチャートである。It is a flowchart of the motion search control of a present Example. 本実施例による動き探索範囲の変化例である。It is an example of a change of the motion search range by a present Example. 本発明の第２実施例の概略構成ブロック図である。It is a schematic block diagram of the second embodiment of the present invention. 図５に示す実施例の動き探索制御のフローチャートである。It is a flowchart of the motion search control of the Example shown in FIG. 本発明の第３実施例の概略構成ブロック図である。It is a schematic block diagram of the third embodiment of the present invention.

以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図３は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。 FIG. 3 shows a schematic block diagram of an embodiment of an image encoding device according to the present invention.

撮像部１１０は撮影レンズの光学像を画像信号に変換する撮像素子からなり、撮像部１１０は撮影レンズによる光学像に対応する画像信号をカメラ信号処理部１１２に出力する。また、撮像素子はフレームレート可変であり、撮像部１１０は、撮影状況及び主被写体の情報に応じて、撮像素子からの読み出し周期を撮影中に変更できる。撮像部１１０は現在のフレームレート情報（又は変更後のフレームレート情報）をフレームレート監視部１１４に出力する。 The imaging unit 110 includes an imaging element that converts an optical image of the photographing lens into an image signal. The imaging unit 110 outputs an image signal corresponding to the optical image by the photographing lens to the camera signal processing unit 112. Further, the image pickup element has a variable frame rate, and the image pickup unit 110 can change the readout cycle from the image pickup element during shooting according to the shooting situation and main subject information. The imaging unit 110 outputs current frame rate information (or changed frame rate information) to the frame rate monitoring unit 114.

カメラ信号処理部１１２は、撮像部１１０から出力されるアナログ画像信号をデジタル信号に変換し、ガンマ補正等の信号処理を行い、メモリ制御部１４０を介して原画像データとしてＤＲＡＭ１４２に格納する。ＤＲＡＭ１４２は、符号化すべき画像と、その符号化で参照する参照画像を一時記憶する記憶手段である。フレームレート監視部１１４は、撮像部１１０からのフレームレート情報を、符号化部１１６が符号化する際のフレームレート情報として、カメラ信号処理部１１２が出力する原画像データと対応させて出力する。 The camera signal processing unit 112 converts the analog image signal output from the imaging unit 110 into a digital signal, performs signal processing such as gamma correction, and stores the original image data in the DRAM 142 via the memory control unit 140. The DRAM 142 is a storage unit that temporarily stores an image to be encoded and a reference image that is referred to by the encoding. The frame rate monitoring unit 114 outputs the frame rate information from the imaging unit 110 in correspondence with the original image data output from the camera signal processing unit 112 as frame rate information when the encoding unit 116 encodes.

符号化部１１６は、ＤＲＡＭ１４２の符号化すべき原画像データをフレーム内符号化とフレーム間符号を含む符号化方式で符号化する手段である。より具体的には、原画像データをフレームレート監視部１１４からのフレームレート情報に従うフレームレートで符号化する。 The encoding unit 116 is means for encoding the original image data to be encoded in the DRAM 142 by an encoding method including intraframe encoding and interframe encoding. More specifically, the original image data is encoded at a frame rate according to the frame rate information from the frame rate monitoring unit 114.

ブロック化部１１８は、カメラ信号処理部１１２からＤＲＡＭ１４２に出力された原画像データを符号化ピクチャ順に読み出し、所定数の画素から構成されるマクロブロックとよばれる単位で画面の水平方向及び垂直方向に分割する。減算器１２０は、ブロック化部１１８から出力される原画像データから予測画像データを減算し、この減算の差分値を画像残差データとして直交変換部１２２に出力する。 The blocking unit 118 reads the original image data output from the camera signal processing unit 112 to the DRAM 142 in the order of encoded pictures, and in the horizontal direction and the vertical direction of the screen in units called macroblocks composed of a predetermined number of pixels. To divide. The subtractor 120 subtracts the predicted image data from the original image data output from the blocking unit 118, and outputs the difference value of the subtraction to the orthogonal transform unit 122 as image residual data.

直交変換部１２２は、減算器１２０から出力される画像残差データを直交変換（例えば、離散コサイン変換（ＤＣＴ））を行い、変換係数（ＤＣＴ係数）を量子化部１２４に出力する。量子化部１２４は、符号量制御部１２６から設定される量子化パラメータに従い、直交変換部１２２から出力されるＤＣＴ係数を量子化し、エントロピー符号化部１３６に出力する。符号量制御部１２６は、エントロピー符号化部１３６からの発生符号量情報に従い、当該発生符号量が目標符号量に沿うような量子化パラメータを次のブロック用に算出し、量子化部１２４に設定する。 The orthogonal transform unit 122 performs orthogonal transform (for example, discrete cosine transform (DCT)) on the image residual data output from the subtractor 120 and outputs a transform coefficient (DCT coefficient) to the quantization unit 124. The quantization unit 124 quantizes the DCT coefficient output from the orthogonal transform unit 122 according to the quantization parameter set from the code amount control unit 126 and outputs the quantized unit to the entropy encoding unit 136. The code amount control unit 126 calculates a quantization parameter for the next block according to the generated code amount information from the entropy encoding unit 136 for the next block, and sets the quantization parameter in the quantization unit 124. To do.

エントロピー符号化部１３６は、量子化部１２４の出力データをエントロピー符号化してストリームデータを生成し、メモリ制御部１４０を介してＤＲＡＭ１４２に格納する。ＤＲＡＭ１４２に格納されたストリームデータは、目標ビットレートに従ったビットレートで符号化データとして外部装置に読み出される。 The entropy encoding unit 136 entropy encodes the output data of the quantization unit 124 to generate stream data, and stores the stream data in the DRAM 142 via the memory control unit 140. The stream data stored in the DRAM 142 is read to the external device as encoded data at a bit rate according to the target bit rate.

予測画像データの生成用に、量子化部１２４により量子化されたＤＣＴ係数は、逆量子化部１２８にも供給される。逆量子化部１２８は、量子化部１２４で量子化されたＤＣＴ係数を逆量子化し、ＤＣＴ係数の代表値を出力する。逆直交変換部１３０は、逆量子化部１２８の出力（ＤＣＴ係数の代表値）を逆直交変換する。逆直交変換部１３０は、減算器１２０の出力する画像残差データに対応するローカルデコード値である。加算器１３２は、逆直交変換部１３０の出力に予測画像データを加算する。これにより、画像データが復元される。加算器１３２から出力されるローカルデコード画像データは、メモリ制御部１４０を介してＤＲＡＭ１４２に格納される。 The DCT coefficient quantized by the quantization unit 124 is also supplied to the inverse quantization unit 128 for generating predicted image data. The inverse quantization unit 128 inversely quantizes the DCT coefficient quantized by the quantization unit 124 and outputs a representative value of the DCT coefficient. The inverse orthogonal transform unit 130 performs inverse orthogonal transform on the output (representative value of the DCT coefficient) of the inverse quantization unit 128. The inverse orthogonal transform unit 130 is a local decode value corresponding to the image residual data output from the subtracter 120. The adder 132 adds the predicted image data to the output of the inverse orthogonal transform unit 130. Thereby, the image data is restored. Local decoded image data output from the adder 132 is stored in the DRAM 142 via the memory control unit 140.

動き探索補償部１３４は、ＤＲＡＭ１４２に格納された原画像データとローカルデコード画像データとから、フレーム内予測による予測画像データ及びフレーム間予測の予測画像データを生成する。具体的には、動き探索補償部１３４は、原画像データの、ローカルデコード画像データに対するマクロブロック毎の動きベクトルを検出し、フレーム間予測の予測画像データを生成する。動き探索補償部１３４はまた、ＤＲＡＭ１４２に格納された原画像データからフレーム内予測による予測画像データを生成する。 The motion search compensation unit 134 generates predicted image data based on intra-frame prediction and predicted image data for inter-frame prediction from the original image data and local decoded image data stored in the DRAM 142. Specifically, the motion search compensation unit 134 detects a motion vector for each macroblock with respect to local decoded image data in the original image data, and generates predicted image data for inter-frame prediction. The motion search compensation unit 134 also generates predicted image data based on intra-frame prediction from the original image data stored in the DRAM 142.

メモリ制御部１４０は、各ブロックからのＤＲＡＭ１４２へのアクセスを調停し、ＤＲＡＭ１４２へのデータ書込みとデータ読出しを制御する。ＤＲＡＭ１４２は、上述の通り各画像データの一時的な保存先として用いられる。 The memory control unit 140 arbitrates access to the DRAM 142 from each block, and controls data writing and data reading to the DRAM 142. As described above, the DRAM 142 is used as a temporary storage destination of each image data.

図２は、ＭＰＥＧ２におけるＧＯＰ（Group Of Pictures）構成を示す模式図を示す。ＭＰＥＧ２では、各フレーム（又はフィールド）をＩピクチャ、Ｐピクチャ及びＢピクチャの３種類に分類する。Ｉピクチャは、フレーム内符号化されるフレームであり、他のフレームの情報を必要とせずに単独で符号化可能であるが、発生符号量が多い。Ｐピクチャは、時間的に先行するＩピクチャ又はＰピクチャから動き補償予測したフレームとの差分を符号化するフレームであり、Ｉピクチャに比べて符号量を大幅に減らすことが可能である。Ｂピクチャは、時間的に先行するＩ、Ｐピクチャからの動き補償予測と、時間的に後続するＩ、Ｐピクチャからの動き補償予測を併用するフレームであり、Ｐピクチャよりさらに符号量を削減できる。 FIG. 2 is a schematic diagram showing a GOP (Group Of Pictures) configuration in MPEG2. In MPEG2, each frame (or field) is classified into three types: I picture, P picture, and B picture. An I picture is a frame that is intra-coded, and can be encoded independently without requiring information of other frames, but the amount of generated code is large. A P picture is a frame that encodes a difference between a temporally preceding I picture or a frame that has been motion compensation predicted from a P picture, and can significantly reduce the amount of code compared to an I picture. A B picture is a frame that uses both motion compensation prediction from temporally preceding I and P pictures and motion compensation prediction from temporally subsequent I and P pictures, and can further reduce the amount of code compared to P pictures. .

符号化効率向上の観点では、Ｉピクチャをなるべく使用しないようにすればよいが、そのように構成した場合、ビットエラーにより動き補償予測が不可能となったときに、Ｉピクチャが無い期間、画質劣化から復帰できなくなる。また、記録媒体に記録された符号化データをサーチ再生しようとした場合、他のフレームを参照せずに復号可能なのはＩピクチャだけであり、サーチ再生の画質が不十分となる。そこで、通常、適当な間隔、例えば１５フレーム毎にＩピクチャが配置される。図２（ａ）は、ＭＰＥＧ２の場合の６０フレーム／秒のＧＯＰ構造の一部を示す。図２（ｂ）は、１２０フレーム／秒のＧＯＰ構造の一部を示す。図２（ｃ）は２４０フレーム／秒のＧＯＰ構造の一部を示す。フレームレートが増大すると、同じ時間内で処理するフレーム数が増加し、ＧＯＰ内で処理するＰピクチャとＢピクチャの数も増加する。 From the viewpoint of improving the coding efficiency, the I picture should be used as little as possible. However, in such a configuration, when motion compensated prediction becomes impossible due to a bit error, the image quality is reduced during the period when there is no I picture. Cannot recover from deterioration. Further, when trying to search and reproduce the encoded data recorded on the recording medium, only the I picture can be decoded without referring to other frames, and the image quality of search and reproduction becomes insufficient. Therefore, usually, I pictures are arranged at appropriate intervals, for example, every 15 frames. FIG. 2A shows a part of a GOP structure of 60 frames / second in the case of MPEG2. FIG. 2B shows a part of the GOP structure of 120 frames / second. FIG. 2 (c) shows a part of the 240 frame / second GOP structure. As the frame rate increases, the number of frames processed in the same time increases, and the number of P pictures and B pictures processed in the GOP also increases.

図３は、本実施例の動き探索変更処理の動作フローチャートを示す。図４は、本実施例の動き探索変更処理の動作例のシーケンス図を示す。 FIG. 3 shows an operation flowchart of the motion search change process of this embodiment. FIG. 4 shows a sequence diagram of an operation example of the motion search change process of the present embodiment.

ステップＳ３００で、フレームレート監視部１１４は、撮像部１１０における撮像フレームレートの変化を監視する。フレームレートの変化を検出しないと（Ｓ３００）、図３に示すフローは、終了する。 In step S300, the frame rate monitoring unit 114 monitors changes in the imaging frame rate in the imaging unit 110. If no change in the frame rate is detected (S300), the flow shown in FIG. 3 ends.

フレームレート監視部１１４がフレームレートの変化を検出すると（Ｓ３００）、フレームレート監視部１１４は、フレームレート変化情報を符号化部１１６に供給する。フレームレート変化情報は、撮像部１１０における撮像フレームレートのアップ／ダウンを示す情報とアップ後／ダウン後のフレームレート情報を含む。 When the frame rate monitoring unit 114 detects a change in the frame rate (S300), the frame rate monitoring unit 114 supplies the frame rate change information to the encoding unit 116. The frame rate change information includes information indicating up / down of the imaging frame rate in the imaging unit 110 and frame rate information after up / down.

ステップＳ３０１で、符号化部１１６は、フレームレート監視部１１４からのフレームレート変化情報がフレームレートのアップを示すかダウンを示すかを判定する。フレームレートのアップの場合、動き探索に伴う処理の増加によってＤＲＡＭ１４２のバス帯域が破綻する可能性があり、ダウンの場合には、ＤＲＡＭ１４２のバス帯域に余裕が出来る可能性がある。そこで、フレームレートのアップの場合（Ｓ３０１）、符号化部１１６は、ステップＳ３０２で、図４に符号４０１，４０３で示すように、動き探索補償部１３４の動き探索範囲を縮小する。他方、ダウンの場合（Ｓ３０１）、符号化部１１６は、ステップＳ３０３で、図４に符号４０２，４０４で示すように、動き探索補償部１３４の動き探索範囲を拡大する。 In step S301, the encoding unit 116 determines whether the frame rate change information from the frame rate monitoring unit 114 indicates that the frame rate is up or down. When the frame rate is increased, there is a possibility that the bus band of the DRAM 142 is destroyed due to an increase in processing accompanying the motion search, and when it is down, there is a possibility that there is a margin in the bus band of the DRAM 142. Therefore, when the frame rate is increased (S301), the encoding unit 116 reduces the motion search range of the motion search compensation unit 134 in step S302 as indicated by reference numerals 401 and 403 in FIG. On the other hand, in the case of down (S301), the encoding unit 116 expands the motion search range of the motion search compensation unit 134 as indicated by reference numerals 402 and 404 in FIG. 4 in step S303.

ステップＳ３０２，Ｓ３０３の後、ステップＳ３０４で、符号化部１１６は、変更後の動き探索範囲でＤＲＡＭ１４２の原画像データを符号化する。 After steps S302 and S303, in step S304, the encoding unit 116 encodes the original image data in the DRAM 142 within the changed motion search range.

以上説明したように、本実施例では、撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャの枚数が増加した場合でも、バス帯域の破綻を回避でき、符号化処理を継続できる。 As described above, in this embodiment, even when the number of inter-frame encoded pictures to be processed within a predetermined time is increased due to a change in the imaging frame rate, it is possible to avoid bus bandwidth failure and continue the encoding process. .

第１実施例ではフレームレートに応じて動き探索範囲を変更したが、縮小画像を用いたプレ動き探索をフレームレートに応じて制御するようにしてもよい。図５は、そのようにした本発明の第２実施例の概略構成ブロック図を示す。図５に示す符号化部５１６では、符号化部１１６に対し、縮小画像生成部５５０及びプレ動き探索部５５２を追加し、動き探索補償部１３４に代えて、後述する動作の動き探索補償部５３４を設けてある。図１に示す構成要素と同じ機能の要素には同じ符号を付してあり、その詳細な説明は省略する。 In the first embodiment, the motion search range is changed according to the frame rate, but the pre-motion search using the reduced image may be controlled according to the frame rate. FIG. 5 shows a schematic block diagram of such a second embodiment of the present invention. In the encoding unit 516 illustrated in FIG. 5, a reduced image generation unit 550 and a pre-motion search unit 552 are added to the encoding unit 116, and a motion search compensation unit 534 of an operation described later is used instead of the motion search compensation unit 134. Is provided. Elements having the same functions as those shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.

縮小画像生成部５５０は、カメラ信号処理部１１２からＤＲＡＭ１４２に出力された原画像データを読み出してその縮小画像を生成し、メモリ制御部１４０を介してＤＲＡＭ１４２に格納する。プレ動き探索部５５２は、縮小画像生成部５５０が生成した縮小画像を用いて動き探索を行い、縮小画像による動き探索結果である動きベクトルを生成し、動き探索補償部５３４に出力する。動き探索補償部５３４は、プレ動き探索部５５２から入力された動きベクトルを用いて、ＤＲＡＭ１４２の原画像とローカルデコード画像とからマクロブロック毎の動きベクトルを検出し、フレーム間予測の予測画像データを生成する。 The reduced image generation unit 550 reads the original image data output from the camera signal processing unit 112 to the DRAM 142, generates the reduced image, and stores the reduced image in the DRAM 142 via the memory control unit 140. The pre-motion search unit 552 performs a motion search using the reduced image generated by the reduced image generation unit 550, generates a motion vector that is a motion search result using the reduced image, and outputs the motion vector to the motion search compensation unit 534. The motion search compensation unit 534 detects a motion vector for each macroblock from the original image and the local decoded image of the DRAM 142 using the motion vector input from the pre-motion search unit 552, and obtains predicted image data for inter-frame prediction. Generate.

図６は、本実施例のプレ動き探索動作のフローチャートである。 FIG. 6 is a flowchart of the pre-motion search operation of this embodiment.

ステップＳ６００で、フレームレート監視部１１４は、撮像部１１０における撮像フレームレートの変化を監視する。フレームレートの変化を検出しないと（Ｓ６００）、図６に示すフローは、終了する。 In step S600, the frame rate monitoring unit 114 monitors a change in the imaging frame rate in the imaging unit 110. If no change in the frame rate is detected (S600), the flow shown in FIG. 6 ends.

ステップＳ６０１で、符号化部５１６は、フレームレート監視部１１４からのフレームレート変化情報がフレームレートのアップを示すかダウンを示すかを判定する。フレームレートのアップの場合、プレ動き探索部５５２による縮小画像を使うプレ動き探索によっても、その処理の増加によってＤＲＡＭ１４２のバス帯域が破綻する可能性がある。他方、ダウンの場合、ＤＲＡＭ１４２のバス帯域に余裕が出来る可能性がある。 In step S601, the encoding unit 516 determines whether the frame rate change information from the frame rate monitoring unit 114 indicates that the frame rate is up or down. In the case of increasing the frame rate, the pre-motion search using the reduced image by the pre-motion search unit 552 may cause the bus bandwidth of the DRAM 142 to break down due to an increase in processing. On the other hand, if it is down, there is a possibility that the bus bandwidth of the DRAM 142 can be afforded.

そこで、フレームレートのアップ（増大）の場合（Ｓ６０１）、符号化部５１６は、ステップＳ６０２で、プレ動き探索部５５２の動作をオフにする。 Therefore, when the frame rate is increased (increased) (S601), the encoding unit 516 turns off the operation of the pre-motion search unit 552 in step S602.

フレームレートのダウン（減少）の場合（Ｓ６０１）、符号化部５１６は、ステップＳ６０３でプレ動き探索がオンかオフかを調べる。プレ動き探索がオンの場合（Ｓ６０３）、符号化部５１６は、Ｓ６０４でプレ動き探索部５５２による縮小画像を使った動き探索をオンにする。同時に、縮小画像生成部５５０がオフになっている場合は、同時に縮小画像生成部５５０をオンにする。プレ動き探索がオフの場合（Ｓ６０３）、図６に示すフローを終了する。 When the frame rate is down (decreased) (S601), the encoding unit 516 checks in step S603 whether pre-motion search is on or off. When the pre-motion search is on (S603), the encoding unit 516 turns on the motion search using the reduced image by the pre-motion search unit 552 in S604. At the same time, when the reduced image generation unit 550 is turned off, the reduced image generation unit 550 is turned on at the same time. If the pre-motion search is off (S603), the flow shown in FIG.

ステップＳ６０２，Ｓ６０４の後、ステップＳ６０５で、符号化部５１６は、図５を参照して説明したように、ＤＲＡＭ１４２の原画像データを符号化する。 After steps S602 and S604, in step S605, the encoding unit 516 encodes the original image data in the DRAM 142 as described with reference to FIG.

本実施例では、撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャ数が増加しても、プレ動き探索部５５２及び縮小画像生成部５５０を適応的にオン／オフすることで、バス帯域の破綻を回避できる。従って、符号化処理を継続できる。 In this embodiment, even if the number of inter-frame coded pictures to be processed within a predetermined time increases due to a change in the imaging frame rate, the pre-motion search unit 552 and the reduced image generation unit 550 are adaptively turned on / off. , Bus bandwidth failure can be avoided. Therefore, the encoding process can be continued.

図７は、本発明の第３実施例の概略構成ブロック図を示す。図1及び図５と異なる構成要素には異なる符号を付してある。本実施例では、メモリ制御部７４０がＤＲＡＭ１４２のバス帯域の利用度を監視し、監視結果を符号化部７１６に通知するバス帯域監視部７５４を具備する。符号化部７１６は、バス帯域監視手段の監視結果に基づき、動き探索の変更、プレ動き探索及び量子化の何れか又は２以上を制御する。 FIG. 7 shows a schematic block diagram of the third embodiment of the present invention. Components different from those in FIGS. 1 and 5 are denoted by different reference numerals. In the present embodiment, the memory control unit 740 includes a bus bandwidth monitoring unit 754 that monitors the usage of the bus bandwidth of the DRAM 142 and notifies the encoding unit 716 of the monitoring result. The encoding unit 716 controls one or more of motion search change, pre-motion search, and quantization based on the monitoring result of the bus bandwidth monitoring unit.

メモリ制御部７４０のバス帯域監視部７５４は、ＤＲＡＭ１４２のバス帯域を監視し、監視結果としてバス帯域情報を符号化部７１６に出力する。符号化部７１６は、フレームレート監視部１１４からのフレームレート情報とバス帯域監視部７５４からのバス帯域情報とに従い、動き探索補償部５３４の動き探索範囲を制御する。フレームレートが増加した場合に、バス帯域情報が所定の値以上であれば、バス帯域が破綻する可能性がある。逆に、フレームレートが低下した場合に、バス帯域が所定の値以下であれば、ＤＲＡＭ１４２のバス帯域に余裕が生じる。前者に対して、符号化部７１６は、動き探索補償部５３４の動き探索範囲を縮小し、動き探索補償部５３４にプレ動き探索部５５２を使わない動き探索を行うように制御し、又は、量子化部１２４の量子化パラメータ値を大きくする。後者に対しては、符号化部７１６は、動き探索補償部５３４の動き探索範囲を拡大し、動き探索補償部５３４にプレ動き探索部５５２を使って動き探索を行うように制御し、又は、量子化部１２４の量子化パラメータ値を小さくする。 The bus bandwidth monitoring unit 754 of the memory control unit 740 monitors the bus bandwidth of the DRAM 142 and outputs the bus bandwidth information to the encoding unit 716 as a monitoring result. The encoding unit 716 controls the motion search range of the motion search compensation unit 534 according to the frame rate information from the frame rate monitoring unit 114 and the bus band information from the bus band monitoring unit 754. When the frame rate increases, if the bus bandwidth information is equal to or greater than a predetermined value, the bus bandwidth may fail. Conversely, when the frame rate is lowered, if the bus bandwidth is equal to or less than a predetermined value, there is a margin in the DRAM 142 bus bandwidth. In contrast to the former, the encoding unit 716 controls the motion search compensation unit 534 to perform a motion search without using the pre-motion search unit 552, or to reduce the motion search range of the motion search compensation unit 534, or The quantization parameter value of the quantization unit 124 is increased. For the latter, the encoding unit 716 controls to expand the motion search range of the motion search compensation unit 534 and causes the motion search compensation unit 534 to perform motion search using the pre-motion search unit 552, or The quantization parameter value of the quantization unit 124 is reduced.

具体的には、符号化部７１６は、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況になると、図１に示す実施例と同様に、動き探索補償部５３４の動き探索範囲を縮小する。他方、フレームレートが低下してバス帯域に余裕が生じると、符号化部７１６は、動き探索補償部５３４の動き探索範囲を拡げる。 Specifically, when the frame rate increases and the bus band of the DRAM 142 breaks down, the encoding unit 716 sets the motion search range of the motion search compensation unit 534 as in the embodiment shown in FIG. to shrink. On the other hand, when the frame rate is reduced and a margin is generated in the bus band, the encoding unit 716 expands the motion search range of the motion search compensation unit 534.

符号化部７１６はまた、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況では、縮小画像生成部５５０及びプレ動き探索部５５２をオフにする。そして、動き探索補償部５３４にプレ動き探索部５５２の結果を用いずに動き探索を行わせる。逆にフレームレートが低下してＤＲＡＭ１４２のバス帯域に余裕がある状況では、符号化部７１６は、縮小画像生成部５５０及びプレ動き探索部５５２をオンにし、動き探索補償部５３４にプレ動き探索部５５２の結果を用いた動き探索を行わせる。 The encoding unit 716 also turns off the reduced image generation unit 550 and the pre-motion search unit 552 in a situation where the frame rate increases and the bus bandwidth of the DRAM 142 fails. Then, the motion search compensation unit 534 is caused to perform a motion search without using the result of the pre-motion search unit 552. On the other hand, in a situation where the frame rate is reduced and the DRAM 142 has a sufficient bus bandwidth, the encoding unit 716 turns on the reduced image generation unit 550 and the pre-motion search unit 552, and sends the pre-motion search unit to the motion search compensation unit 534. The motion search using the result of 552 is performed.

符号化部７１６はまた、フレームレートが増加してＤＲＡＭ１４２のバス帯域が破綻するような状況では、量子化部１２４の量子化パラメータ値をより大きくする。逆に、フレームレートが低下してＤＲＡＭ１４２のバス帯域に余裕が生じると、符号化部７１６は、量子化パラメータ値を小さくする。 The encoding unit 716 also increases the quantization parameter value of the quantization unit 124 in a situation where the frame rate increases and the bus band of the DRAM 142 fails. On the other hand, when the frame rate decreases and a margin is generated in the bus bandwidth of the DRAM 142, the encoding unit 716 decreases the quantization parameter value.

本実施例では、バス帯域の監視により撮像フレームレートの変化により所定時間内に処理するフレーム間符号化ピクチャ数が増加しても、プレ動き探索部５５２及び縮小画像生成部５５０を適応的にオン／オフすることで、バス帯域の破綻を回避できる。従って、符号化処理を継続できる。 In this embodiment, the pre-motion search unit 552 and the reduced image generation unit 550 are adaptively turned on even when the number of inter-frame encoded pictures to be processed within a predetermined time is increased due to a change in the imaging frame rate by monitoring the bus bandwidth. By turning off / off, bus bandwidth failure can be avoided. Therefore, the encoding process can be continued.

以上説明したように、被写体の動きや撮影状況に応じてフレームレートが変化した場合でも、バス帯域監視によりバス帯域の破綻の可能性と余裕度を確度良く確認できる。その結果に従い、プレ動き探索の利用、動き探索範囲及び量子化の１以上を制御するので、バス帯域の破綻させることなく可変フレームレートの動画を符号化処理できる。 As described above, even when the frame rate changes according to the movement of the subject and the shooting situation, the possibility and margin of bus bandwidth breakdown can be accurately confirmed by bus bandwidth monitoring. According to the result, one or more of pre-motion search use, motion search range, and quantization are controlled, so that a variable frame rate moving image can be encoded without breaking down the bus bandwidth.

本発明は、本発明の技術思想の範囲内において、上記実施例に限定されるものではなく、対象となる回路構成により適時変更されて適用されうる。
The present invention is not limited to the above-described embodiments within the scope of the technical idea of the present invention, and can be applied by being appropriately changed according to the circuit configuration to be targeted.

Claims

符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、
前記記憶手段から読み出した符号化すべき画像の動きを探索する動き探索手段と、
前記動き探索手段の動き探索結果を使って、前記記憶手段から読み出した符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、
前記画像のフレームレートに従い、前記動き探索手段の動き探索を制御する制御手段
とを有することを特徴とする画像符号化装置。 Storage means for temporarily storing an image to be encoded and an image referred to in encoding;
Motion search means for searching for a motion of an image to be encoded read from the storage means;
Encoding means for encoding an image to be encoded read from the storage means using an encoding method including intra-frame encoding and inter-frame code using the motion search result of the motion search means;
An image coding apparatus comprising: control means for controlling motion search of the motion search means in accordance with a frame rate of the image.

前記制御手段は、前記フレームレートの増加に応じて、前記動き探索手段の動き探索の範囲を縮小することを特徴とする請求項１に記載の画像符号化装置。 The image encoding apparatus according to claim 1, wherein the control unit reduces a motion search range of the motion search unit in accordance with an increase in the frame rate.

前記制御手段は、前記フレームレートの減少に応じて、前記動き探索手段の動き探索の範囲を拡大することを特徴とする請求項１又は２に記載の画像符号化装置。 The image encoding apparatus according to claim 1, wherein the control unit expands a motion search range of the motion search unit according to a decrease in the frame rate.

前記動き探索手段がプレ動き探索手段を具備し、
前記制御手段は、前記画像のフレームレートに従い、前記動き探索手段が前記プレ動き探索手段のプレ動き探索を使うかどうかを制御する
ことを特徴とする請求項１に記載の画像符号化装置。 The motion search means comprises pre-motion search means;
2. The image coding apparatus according to claim 1, wherein the control unit controls whether the motion search unit uses the pre-motion search of the pre-motion search unit according to the frame rate of the image.

前記制御手段は、前記フレームレートの増加に応じて、前記プレ動き探索手段のプレ動き探索を使わないように前記動き探索手段を制御することを特徴とする請求項４に記載の画像符号化装置。 5. The image coding apparatus according to claim 4, wherein the control means controls the motion search means so as not to use the pre-motion search of the pre-motion search means in accordance with the increase in the frame rate. .

前記制御手段は、前記フレームレートの減少に応じて、前記プレ動き探索手段のプレ動き探索を使うように前記動き探索手段を制御することを特徴とする請求項４又は５に記載の画像符号化装置。 6. The image encoding according to claim 4, wherein the control unit controls the motion search unit to use the pre-motion search of the pre-motion search unit according to the decrease in the frame rate. apparatus.

更に、前記記憶手段のバス帯域を監視するバス帯域監視手段を具備し、
前記制御手段が、前記バス帯域監視手段の出力に従い前記動き探索手段の動き探索を制御する
ことを特徴とする請求項１ないし６の何れか１項に記載の画像符号化装置。 Furthermore, it comprises bus bandwidth monitoring means for monitoring the bus bandwidth of the storage means,
7. The image encoding apparatus according to claim 1, wherein the control unit controls the motion search of the motion search unit according to the output of the bus band monitoring unit.

符号化すべき画像と符号化の際に参照される画像を一時記憶する記憶手段と、
直交変換手段及び量子化手段を具備し、前記符号化すべき画像をフレーム内符号化とフレーム間符号を含む符号化方式で符号化する符号化手段と、
前記画像のフレームレートに従い、前記量子化手段の量子化パラメータを制御する制御手段
とを有することを特徴とする画像符号化装置。 Storage means for temporarily storing an image to be encoded and an image referred to in encoding;
An encoding unit that includes an orthogonal transform unit and a quantization unit, and encodes the image to be encoded by an encoding method including intra-frame encoding and inter-frame encoding;
An image coding apparatus comprising: control means for controlling a quantization parameter of the quantization means in accordance with a frame rate of the image.

更に、前記記憶手段のバス帯域を監視するバス帯域監視手段を具備し、
前記制御手段が、前記バス帯域監視手段の出力に従い、前記量子化手段の量子化パラメータを制御する
ことを特徴とする請求項８に記載の画像符号化装置。 Furthermore, it comprises bus bandwidth monitoring means for monitoring the bus bandwidth of the storage means,
9. The image encoding apparatus according to claim 8, wherein the control unit controls a quantization parameter of the quantization unit in accordance with an output of the bus band monitoring unit.