JP2009200627A

JP2009200627A - Imaging apparatus and imaging method

Info

Publication number: JP2009200627A
Application number: JP2008037816A
Authority: JP
Inventors: Toshiki Ishida; 俊樹石田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-02-19
Filing date: 2008-02-19
Publication date: 2009-09-03

Abstract

<P>PROBLEM TO BE SOLVED: To prevent system breakdown when imaging still images with a large number of pixels simultaneously with moving images. <P>SOLUTION: In the situation wherein still image processing and moving image processing are simultaneous performed to pressure a memory band by imaging the still images while imaging the moving images, by changing the moving image at the timing of the simultaneous processing from the B frame of a high load to the I frame of a low load or simplifying the processing of motion compensation (ME) or narrowing a search range and reducing the amount of the access of a memory, the system breakdown is prevented even when the still image processing and the moving image processing overlap. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は撮像装置及び撮像方法に関し、特に、静止画と動画を同時撮影する際に、静止画の高精細化と動画のフレームレート保持を両立させるために用いて好適な技術に関する。 The present invention relates to an image pickup apparatus and an image pickup method, and more particularly to a technique suitable for use in achieving both high definition of a still image and holding of a frame rate of a moving image when simultaneously shooting a still image and a moving image.

動画と共に高精細な静止画を記録する技術として、例えば、特許文献１に記載された撮像装置が知られている。この撮像装置においては、静止画をキャプチャする操作キーからの指示を検知すると、撮像中のフレームにフラグを付ける。そして、一時的に記憶されたメモリから読み出して符号化する際に、フラグが付いているフレームをフレーム内符号化で符号化を行い、それ以外をフレーム間符号化を行って記憶することにより、高精細な静止画の記録を可能としている。 As a technique for recording a high-definition still image together with a moving image, for example, an imaging device described in Patent Document 1 is known. In this imaging apparatus, when an instruction from an operation key for capturing a still image is detected, a flag is attached to the frame being captured. And when reading from the temporarily stored memory and encoding, the frame with the flag is encoded by intra-frame encoding, and the other is subjected to inter-frame encoding and stored, High-definition still images can be recorded.

特開平１０−１６４４９２号公報JP-A-10-164492

前記特許文献１において提案された撮像装置の場合、画素数の大きな静止画を記録するためには、撮像素子は通常動画時の画素加算読み出しから、全画素の読み出しとなる。このために、信号処理部で処理する画素数が多大になり、処理過程におけるメモリのアクセスの帯域も非常に大きなものになる問題点があった。 In the case of the image pickup apparatus proposed in Patent Document 1, in order to record a still image having a large number of pixels, the image pickup device reads all pixels from the pixel addition read during normal moving images. For this reason, there is a problem that the number of pixels to be processed by the signal processing unit increases, and the memory access bandwidth in the processing process becomes very large.

ところで、動画を記録するための符号化はフレーム単位でピクチャタイプが異なり、Ｉピクチャはフレーム内符号化なので、メモリのアクセス帯域は低いが、双方向参照を行うＢピクチャはメモリのアクセス帯域は高い。 By the way, the encoding for recording a moving picture has different picture types for each frame, and the I picture is an intra-frame encoding. Therefore, the memory access band is low, but the B picture that performs bi-directional reference has a high memory access band. .

一方、静止画を記録するか、動画を記録するかの指示は撮影者からの操作トリガに同期したものであり、動画記録開始から一定周期で繰り返す符号化のピクチャタイプとは非同期の関係にある。 On the other hand, the instruction to record a still image or a moving image is synchronized with an operation trigger from the photographer, and has an asynchronous relationship with the encoded picture type that repeats at a fixed period from the start of moving image recording. .

したがって、１つのシステムで撮像信号処理と符号化処理とでメモリを共有する場合、メモリアクセスの高い静止画及び動画の同時処理と、Ｂピクチャ符号化処理とが同一時間で重なった場合、システムに破綻をきたす可能性がある。 Therefore, when the memory is shared between the imaging signal processing and the encoding processing in one system, when the simultaneous processing of still images and moving images with high memory access and the B picture encoding processing overlap in the same time, There is a possibility of bankruptcy.

図８は、静止画及び動画の同時処理を行う様子を図示したものである。図８（ａ）に示したように、動画撮影中に静止画トリガが発生した場合、センサはFr１フレームを全画素加算の高画素で読み出す。そして、図８（ｂ）に示すように、１フレーム時間遅延して信号処理が行われるが、この信号処理でのメモリアクセスは画素数が大きいためアクセス帯域が高い状態である。さらに、図８（ｃ）に示すように、これと同一フレームで行われている符号化がＢピクチャ(Ｂ１)の場合、符号化側でもアクセス帯域が高いので、このような重複はシステム破綻の原因となり得る可能性があった。 FIG. 8 illustrates a state where simultaneous processing of a still image and a moving image is performed. As shown in FIG. 8A, when a still image trigger occurs during moving image shooting, the sensor reads the Fr1 frame with a high pixel of all pixel addition. Then, as shown in FIG. 8B, signal processing is performed with a delay of one frame time. Memory access in this signal processing is in a state where the access band is high because the number of pixels is large. Further, as shown in FIG. 8 (c), when the encoding performed in the same frame is a B picture (B1), the access band is high on the encoding side. There could be a possible cause.

本発明は前述の問題点に鑑み、静止画処理及び動画処理が重複した場合においてもシステム破綻が発生しないようにすることを目的としている。 An object of the present invention is to prevent a system failure even when still image processing and moving image processing overlap.

本発明の撮像装置は、撮像素子により生成された画像信号を処理する信号処理手段と、前記信号処理手段により処理されたデータを符号化する符号化手段と、前記信号処理手段により処理されたデータ、及び前記符号化手段により符号化されたデータをメモリに保持する記憶手段と、システムの各部の制御を行うシステム制御手段とを有し、前記システム制御手段は、前記信号処理手段において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化手段の制御を行うことを特徴とする。 An imaging apparatus according to the present invention includes a signal processing unit that processes an image signal generated by an imaging element, an encoding unit that encodes data processed by the signal processing unit, and data processed by the signal processing unit. And storage means for holding the data encoded by the encoding means in a memory, and system control means for controlling each part of the system, wherein the system control means is a signal executed by the signal processing means. The encoding means is controlled so as to reduce the amount of access to the memory according to the processing status of the processing.

本発明の撮像方法は、撮像素子により生成された画像信号を処理する信号処理工程と、前記信号処理工程において処理されたデータを符号化する符号化工程と、前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、システムの各部の制御を行うシステム制御工程とを有し、前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことを特徴とする。 The imaging method of the present invention includes a signal processing step for processing an image signal generated by an image sensor, an encoding step for encoding data processed in the signal processing step, and data processed in the signal processing step. And a storage step for storing the data encoded in the encoding step in a memory, and a system control step for controlling each part of the system, wherein the system control step is a signal executed in the signal processing step. The encoding process is controlled so as to reduce the amount of access to the memory in accordance with the processing status of the process.

本発明のプログラムは、撮像素子により生成された画像信号を処理する信号処理工程と、前記信号処理工程において処理されたデータを符号化する符号化工程と、前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、システムの各部の制御を行うシステム制御工程とをコンピュータに実行させるプログラムであって、前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことをコンピュータに実行させることを特徴とする。 The program of the present invention includes a signal processing step for processing an image signal generated by an image sensor, an encoding step for encoding data processed in the signal processing step, and data processed in the signal processing step, And a program for causing a computer to execute a storage step of storing data encoded in the encoding step in a memory and a system control step of controlling each part of the system, wherein the system control step includes the signal processing According to a processing status of signal processing performed in the process, the computer is caused to execute the control of the encoding process so as to reduce the amount of access to the memory.

本発明によれば、静止画と動画とを同時に撮影する際に、静止画処理及び動画処理が重複した場合においてもシステム破綻が発生しないようにすることが可能となり、静止画の高精細化及び動画のフレームレート保持を両立させることができる。 According to the present invention, when taking a still image and a moving image at the same time, it is possible to prevent a system failure even when the still image processing and the moving image processing are overlapped. It is possible to achieve both the movie frame rate retention.

（第１の実施形態）
図１は、本発明の撮像装置の全体構成の一例を説明するブロックである。
図１に示したように、本実施形態の撮像装置において、レンズ１０１により結像された映像は、センサ（撮像素子）１０２へ入射される。そして、センサ１０２で光電変換されて画像信号として生成される。この画像信号は、ＡＤ変換部１０４でＡＤ変換されてデジタルデータ化され、信号処理部１０５へ入力される。 (First embodiment)
FIG. 1 is a block diagram illustrating an example of the overall configuration of an imaging apparatus according to the present invention.
As shown in FIG. 1, in the imaging apparatus according to the present embodiment, an image formed by the lens 101 enters a sensor (imaging device) 102. The sensor 102 performs photoelectric conversion and generates an image signal. This image signal is AD converted by the AD conversion unit 104 to be converted into digital data, and input to the signal processing unit 105.

信号処理部１０５は、撮影モードに応じて動画用信号処理、静止画信号処理もしくは双方の処理を行う。すなわち、静止画動画同時処理を行い、記録、表示用のデータをＩＰ変換部１０６に出力する。ＩＰ変換部１０６は、信号処理部１０５から入力される現フィールドのデータと、メモリ１１２から読み出した前フィールド画像のデータの何れかから、もう片方のフィールドデータを適応的に補間してプログレッシブ画像を生成する。 The signal processing unit 105 performs moving image signal processing, still image signal processing, or both processing according to the shooting mode. That is, still image moving image simultaneous processing is performed, and data for recording and display is output to the IP conversion unit 106. The IP conversion unit 106 adaptively interpolates the other field data from either the current field data input from the signal processing unit 105 or the previous field image data read from the memory 112 to generate a progressive image. Generate.

システム制御部１１５は、撮像システム制御部１１３及び動画符号化制御部１１４によって構成されている。撮像システム制御部１１３は撮影モードに応じて、フレームもしくはフィールド単位で動き予測パラメータを制御する。 The system control unit 115 includes an imaging system control unit 113 and a moving image coding control unit 114. The imaging system control unit 113 controls the motion prediction parameter in units of frames or fields according to the shooting mode.

ＴＧ１０３は、静止画動画同時記録、静止画記録ではセンサ１０２から全画素を読み出し、動画記録時には画素加算したデータをセンサ１０２から読み出すように駆動を行う。メモリ１１２に保持されたプログレッシブ画像は、静止画リサイズ部１０８で静止画記録画角に変換されてメモリ１１２に書き戻される。静止画符号化部１０９は、静止画リサイズ部１０８で静止画記録画角に変換されたデータを読み出して符号化し、記録装置（図示せず）に出力する。 The TG 103 performs driving so that all pixels are read from the sensor 102 in simultaneous recording of still images and moving images and still image recording, and data obtained by adding the pixels is read from the sensor 102 during recording of moving images. The progressive image held in the memory 112 is converted into a still image recording angle of view by the still image resizing unit 108 and written back to the memory 112. The still image encoding unit 109 reads and encodes the data converted into the still image recording field angle by the still image resizing unit 108, and outputs the encoded data to a recording device (not shown).

動画リサイズ部１０７は、センサ１０２から読み出される画角からビデオ、記録用の画角へ変換してメモリ１１２へ書き戻す。VIDEO IF １１０は、動画画角データを読み出して表示処理を行い、表示装置（図示せず）に出力する。動画符号化部１１１は、メモリ１１２から動画フレームデータを読み出して符号化を行い、図示しない記録装置に出力する。システム制御部１１５のうちの、動画符号化制御部１１４は、静止画動画同時記録指示に応じて、静止画動画同時処理を行うフレームを検出する。そして、その同一時間に動画符号化部１１１で行われる信号処理の処理状況に応じて、メモリ１１２のアクセスの量を低減するように、動画符号化部１１１で用いられる符号化パラメータを制御する。 The moving image resizing unit 107 converts the angle of view read from the sensor 102 into the angle of view for video and recording, and writes it back to the memory 112. The VIDEO IF 110 reads out the moving image angle of view data, performs display processing, and outputs it to a display device (not shown). The moving image encoding unit 111 reads out the moving image frame data from the memory 112, encodes it, and outputs it to a recording device (not shown). Of the system control unit 115, the moving image coding control unit 114 detects a frame for performing the still image moving image simultaneous processing in response to the still image moving image simultaneous recording instruction. Then, the encoding parameter used in the moving image encoding unit 111 is controlled so as to reduce the access amount of the memory 112 according to the processing status of the signal processing performed in the moving image encoding unit 111 at the same time.

図２は、動画符号化部１１１の構成例を詳細に示したブロック図である。
図２に示すように、メモリ２１４（図１のメモリ１１２）には処理フレーム、前方向参照フレーム、後方向参照フレームがバッファされている。 FIG. 2 is a block diagram illustrating a detailed configuration example of the moving image encoding unit 111.
As shown in FIG. 2, a processing frame, a forward reference frame, and a backward reference frame are buffered in the memory 214 (memory 112 in FIG. 1).

第１の前方向サーチ部２０３は、前方向リファレンスフレームデータを低解像度で読み出し、大まかな動き予測対象マクロブロックをサーチする。サーチを行うための動き予測パラメータは、符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。 The first forward search unit 203 reads the forward reference frame data at a low resolution and searches for a rough motion prediction target macroblock. The motion prediction parameters for performing the search are supplied from the encoding control unit 201, and the search result is output to the encoding control unit 201.

第１の後方向サーチ部２０４は、後方向リファレンスフレームデータを低解像度で読み出し、大まかな動き予測対象マクロブロックをサーチする。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。 The first backward search unit 204 reads backward reference frame data at a low resolution, and searches for a rough motion prediction target macroblock. The motion prediction parameters for performing the search are supplied from the encoding control unit 201, and the search result is output to the encoding control unit 201.

第２の前方向サーチ部２０５は、第１の前方向サーチ部２０３で検出されたサーチ領域を高解像度で読み出し、動き予測対象マクロブロックを決定する。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。 The second forward search unit 205 reads the search area detected by the first forward search unit 203 with high resolution, and determines a motion prediction target macroblock. The motion prediction parameters for performing the search are supplied from the encoding control unit 201, and the search result is output to the encoding control unit 201.

第２の後方向サーチ部２０６は、第１の後方向サーチ部２０４で検出されたサーチ領域を高解像度で読み出し動き予測対象マクロブロックを決定する。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。 The second backward search unit 206 reads out the search area detected by the first backward search unit 204 with high resolution and determines a motion prediction target macroblock. The motion prediction parameters for performing the search are supplied from the encoding control unit 201, and the search result is output to the encoding control unit 201.

第１の動き検出部２０７は、現フレームの処理マクロブロックと第２の前方向サーチ部２０５で検出されたマクロブロックとの差分をとり、動き検出を行う。第２の動き検出部２０８は現フレームの処理マクロブロックと第２の後方向サーチ部２０６で検出されたマクロブロックとの差分をとり、動き検出を行う。 The first motion detection unit 207 takes a difference between the processing macroblock of the current frame and the macroblock detected by the second forward search unit 205 and performs motion detection. The second motion detection unit 208 takes a difference between the processing macroblock of the current frame and the macroblock detected by the second backward search unit 206 and performs motion detection.

参照フレーム切り替え部２０９は、符号化制御部２０１から指示される参照タイプ（イントラ、片方向、双方向）に応じて使用するデータを選択する。そして、離散コサイン変換部（ＤＣＴ）２１０、量子化部２１１、可変長符号化部２１２、バッファ２１３を経て記録される。 The reference frame switching unit 209 selects data to be used according to the reference type (intra, unidirectional, bidirectional) instructed from the encoding control unit 201. Then, it is recorded through a discrete cosine transform unit (DCT) 210, a quantization unit 211, a variable length coding unit 212, and a buffer 213.

次に、図３のフローチャートを参照しながら、符号化処理手順の一例を説明する。
処理が開始されると、まず、ステップＳ３０１においてメモリ１１２に符号化対象フレームがバッファされる。次に、ステップＳ３０２において、符号化対象マクロブロックが切り出される。 Next, an example of an encoding process procedure will be described with reference to the flowchart of FIG.
When the process is started, first, the encoding target frame is buffered in the memory 112 in step S301. Next, in step S302, the encoding target macroblock is cut out.

次に、ステップＳ３０３において、切り出したマクロブロックがＩピクチャもしくはイントラタイプであるか判断される。この判断の結果、Ｉピクチャもしくはイントラタイプであれば、ステップＳ３０４に進んで離散コサイン変換される。次に、ステップＳ３０５において量子化された後、ステップＳ３０６において可変長符号化される。 Next, in step S303, it is determined whether the extracted macroblock is an I picture or an intra type. As a result of the determination, if it is an I picture or an intra type, the process proceeds to step S304 to perform discrete cosine transform. Next, after quantization in step S305, variable length coding is performed in step S306.

一方、ステップＳ３０３の判断の結果、ステップＳ３０２で切り出したマクロブロックがＩピクチャもしくはイントラタイプではなかった場合にはステップＳ３０７に進む。ステップＳ３０７においては、Ｐピクチャもしくは前方向参照タイプ（片方向参照型）であるか否かを判断する。 On the other hand, if the result of determination in step S303 is that the macroblock cut out in step S302 is not an I picture or intra type, the process proceeds to step S307. In step S307, it is determined whether it is a P picture or a forward reference type (one-way reference type).

この判断の結果、Ｐピクチャもしくは前方向参照タイプであれば、ステップＳ３０８に進む。ステップＳ３０８においては、動き予測パラメータの設定を行う。次に、ステップＳ３０９に進み、第１の前方向サーチを行う。次に、ステップＳ３１０に進み、第２の前方向サーチを行う。 If the result of this determination is that the picture is a P picture or forward reference type, the process proceeds to step S308. In step S308, motion prediction parameters are set. In step S309, a first forward search is performed. Next, proceeding to step S310, a second forward search is performed.

その後、ステップＳ３１１に進み、動き検出を前方向でのみ行う。そして、検出結果をステップＳ３１２において離散コサイン変換処理するとともに、ステップＳ３１３において量子化し、ステップＳ３１４において可変長符号化する。 Thereafter, the process proceeds to step S311, and motion detection is performed only in the forward direction. The detection result is subjected to discrete cosine transform processing in step S312, quantized in step S313, and variable length encoded in step S314.

一方、ステップＳ３０７の判断の結果、Ｐピクチャもしくは前方向参照タイプではなかった場合には、Ｂピクチャもしくはマクロブロックタイプが双方向参照型であり、かつ静止画同時処理と重複しない。そこで、この場合はステップＳ３１５に進み、双方向サーチのパラメータ設定を行う。 On the other hand, if the result of determination in step S307 is that it is not a P picture or forward reference type, the B picture or macroblock type is a bidirectional reference type and does not overlap with still image simultaneous processing. Therefore, in this case, the process proceeds to step S315, and bidirectional search parameter setting is performed.

次に、ステップＳ３２２において、静止画同時処理が重複しているか否かを判断する。この判断の結果、重複していない場合にはステップＳ３１６に進み、第１の双方向サーチを行う。次に、ステップＳ３１７に進み、第２の双方向サーチを行う。その後、ステップＳ３１８に進み、動き検出を双方向で行う。そして、検出結果をステップＳ３１９において離散コサイン変換処理するとともに、ステップＳ３２０において量子化し、ステップＳ３２１において可変長符号化する。 Next, in step S322, it is determined whether or not the still image simultaneous processing is duplicated. If the result of this determination is that there is no overlap, the process proceeds to step S316 and a first bidirectional search is performed. Next, the process proceeds to step S317, and a second bidirectional search is performed. Then, it progresses to step S318 and performs motion detection bidirectionally. The detection result is subjected to discrete cosine transform processing in step S319, quantized in step S320, and variable-length encoded in step S321.

一方、ステップＳ３２２の判断の結果、静止画同時処理が重複している場合にはステップＳ３２３に進み、ピクチャ制御を行うか否かを判断する。この判断の結果、ピクチャ制御を行わない場合にはステップＳ３２４に進み、タイプ制御を行うか否かを判断する。この判断の結果、タイプ制御を行わない場合にはステップＳ３１６に進んで前述した処理を実行する。 On the other hand, as a result of the determination in step S322, when the still image simultaneous processing is duplicated, the process proceeds to step S323 to determine whether or not to perform picture control. As a result of the determination, if the picture control is not performed, the process proceeds to step S324, and it is determined whether or not the type control is performed. As a result of this determination, if type control is not performed, the process proceeds to step S316 and the above-described processing is executed.

また、ステップＳ３２４の判断の結果、タイプ制御を行う場合にはステップＳ３２６に進み、マクロブロックはイントラタイプへ変換される。また、ステップＳ３２３の判断の結果、ピクチャ制御を行う場合にはステップＳ３２５に進み、Ｉピクチャへ変換される。ステップＳ３２６またはステップＳ３２５の変換処理後はステップＳ３１９に進み、前述した処理を行う。 If the type control is performed as a result of the determination in step S324, the process proceeds to step S326, and the macroblock is converted to the intra type. If the result of determination in step S323 is that picture control is to be performed, processing proceeds to step S325, where it is converted to an I picture. After the conversion process in step S326 or step S325, the process proceeds to step S319, and the above-described process is performed.

ステップＳ３０６、ステップＳ３１４またはステップＳ３２１における可変長符号化処理の後はステップＳ３２７において全てのマクロブロックの処理が完了したか否かを判断する。この判断の結果、完了していない場合にはステップＳ３０２に戻って前述した処理を繰り返し行う。また、ステップＳ３２７の判断の結果、全てのマクロブロックについて可変長符号化が完了していたらステップＳ３０１に戻り、次のフレーム処理を行う。 After the variable length coding process in step S306, step S314, or step S321, it is determined in step S327 whether or not all macroblocks have been processed. If the result of this determination is that it has not been completed, processing returns to step S302 and the above-described processing is repeated. As a result of the determination in step S327, if variable length coding has been completed for all macroblocks, the process returns to step S301 to perform the next frame processing.

図４は、フレームの制御が行われた場合の時間遷移状況を説明する図である。図４（ａ）は、通常撮影時に行われる符号化の時間遷移を説明する図である。図４（ａ）において、例えばＢ３というＢピクチャフレームはＩ２及びＰ５を参照して動き予測を行う。Ｐ５というＰピクチャはＩ２を参照する。このため、フレーム参照の関係でDecodeで示されるフレーム順に並び替えられＧＯＰを構成して符号化される。 FIG. 4 is a diagram for explaining the time transition state when the frame is controlled. FIG. 4A is a diagram for explaining the temporal transition of encoding performed during normal imaging. In FIG. 4A, for example, a B picture frame called B3 performs motion prediction with reference to I2 and P5. A P picture called P5 refers to I2. For this reason, the frames are rearranged in the order of the frames indicated by Decode in relation to the frame reference, and the GOP is configured and encoded.

図４（ｂ）は、ピクチャタイプを変更した例である。この例の場合は、Ｂ３フレームが静止画同時記録処理と重複したのでＩ３に変更された場合、DecodeはＩ３を先頭とするＧＯＰ構造となる。Ｉ３はフレーム参照しないので、メモリアクセス帯域が低減する。 FIG. 4B shows an example in which the picture type is changed. In the case of this example, when the B3 frame is overlapped with the still image simultaneous recording process and is changed to I3, Decode has a GOP structure with I3 as the head. Since I3 does not refer to the frame, the memory access bandwidth is reduced.

図４（ｃ）は、マクロブロックタイプを変更した例である。この例の場合は、Ｂ３フレームが静止画同時記録処理と重複したので、イントラ型のタイプへ変更される。その結果、ピクチャタイプはかわらないがＢ３はフレーム参照しないので、メモリアクセス帯域が低減する。 FIG. 4C shows an example in which the macroblock type is changed. In the case of this example, the B3 frame is overlapped with the still image simultaneous recording process, so the type is changed to the intra type. As a result, the picture access type is not changed, but B3 does not refer to the frame, so the memory access bandwidth is reduced.

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態の場合も装置構成は前述した第１の実施形態と同様なので、装置構成の説明を省略する。
図５は、第２の実施形態における撮像装置の処理手順の一例を説明するフローチャートである。
処理が開始されると、まず、ステップＳ５０１においてメモリ１１２にフレームバッファされる。次に、ステップＳ５０２において、処理単位であるマクロブロックが切り出される。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In the case of the second embodiment as well, the apparatus configuration is the same as that of the first embodiment described above, and thus the description of the apparatus configuration is omitted.
FIG. 5 is a flowchart for explaining an example of a processing procedure of the imaging apparatus according to the second embodiment.
When the process is started, first, the frame buffer is stored in the memory 112 in step S501. Next, in step S502, a macro block which is a processing unit is cut out.

次に、ステップＳ５０３において、切り出したマクロブロックがＩピクチャもしくはイントラタイプであるか判断される。この判断の結果、Ｉピクチャもしくはイントラタイプであれば、ステップＳ５０４に進んで離散コサイン変換される。次に、ステップＳ５０５において量子化された後、ステップＳ５０６において可変長符号化される。 Next, in step S503, it is determined whether the extracted macroblock is an I picture or an intra type. As a result of the determination, if it is an I picture or an intra type, the process advances to step S504 to perform discrete cosine transform. Next, after quantization in step S505, variable length coding is performed in step S506.

一方、ステップＳ５０３の判断の結果、ステップＳ５０２で切り出したマクロブロックがＩピクチャもしくはイントラタイプではなかった場合にはステップＳ５０７に進む。ステップＳ５０７においては、Ｐピクチャもしくは前方向参照タイプであるか否かを判断する。 On the other hand, if the result of determination in step S503 is that the macroblock cut out in step S502 is not an I picture or intra type, the process proceeds to step S507. In step S507, it is determined whether it is a P picture or a forward reference type.

この判断の結果、Ｐピクチャもしくは前方向参照タイプであれば、ステップＳ５０８に進む。ステップＳ５０８においては、動き予測パラメータの設定を行う。次に、ステップＳ５０９に進み、第１の前方向サーチを行う。次に、ステップＳ５１０に進み、第２の前方向サーチを行う。 If the result of this determination is that the picture is a P picture or forward reference type, the process proceeds to step S508. In step S508, motion prediction parameters are set. In step S509, a first forward search is performed. Next, proceeding to step S510, a second forward search is performed.

その後、ステップＳ５１１に進み、動き検出を前方向でのみ行う。そして、検出結果をステップＳ５１２において離散コサイン変換処理するとともに、ステップＳ５１３において量子化し、ステップＳ５１４において可変長符号化する。 Thereafter, the process proceeds to step S511, and motion detection is performed only in the forward direction. The detection result is subjected to discrete cosine transform processing in step S512, quantized in step S513, and variable-length encoded in step S514.

一方、ステップＳ５０７の判断の結果、Ｐピクチャもしくは前方向参照タイプではなかった場合（Ｂピクチャ若しくは双方向参照タイプ）には、ステップＳ５１５に進んで同時処理重複か否かを判断する。この判断の結果、重複の場合にはステップＳ５１６に進んで、第１のパラメータである動き予測パラメータ１を設定する。また、重複ではない場合にはステップＳ５１７に進んで第２のパラメータである動き予測パラメータ２を設定する。なお、動き予測パラメータ１及び動き予測パラメータ２の相違については後述する。 On the other hand, if the result of determination in step S507 is not P picture or forward reference type (B picture or bidirectional reference type), the process proceeds to step S515 to determine whether or not simultaneous processing overlaps. If it is determined that there is an overlap, the process proceeds to step S516 to set motion prediction parameter 1 as the first parameter. On the other hand, if it is not an overlap, the process proceeds to step S517 to set motion prediction parameter 2 as the second parameter. The difference between the motion prediction parameter 1 and the motion prediction parameter 2 will be described later.

ステップＳ５１６またはステップＳ５１７において動き予測パラメータを設定した後はステップＳ５１８に進んで第１のサーチ（サーチ１）を行う。その後、ステップＳ５１９において第２のサーチ（サーチ２）を行う。これらのサーチ１，２は双方向サーチである。 After setting the motion prediction parameters in step S516 or step S517, the process proceeds to step S518 to perform a first search (search 1). Thereafter, a second search (search 2) is performed in step S519. These searches 1 and 2 are bidirectional searches.

その後、ステップＳ５２０に進み、動き検出を双方向で行う。そして、検出結果をステップＳ５２１において離散コサイン変換処理するとともに、ステップＳ５２２において量子化し、ステップＳ５２３において可変長符号化する。 Then, it progresses to step S520 and motion detection is performed bidirectionally. The detection result is subjected to discrete cosine transform processing in step S521, quantized in step S522, and variable-length encoded in step S523.

ステップＳ５０６、ステップＳ５１４またはステップＳ５２３における可変長符号化処理の後はステップＳ５２４において全てのマクロブロックの処理が完了したか否かを判断する。この判断の結果、完了していない場合にはステップＳ５０２に戻って前述した処理を繰り返し行う。また、ステップＳ５２４の判断の結果、全てのマクロブロックについて可変長符号化が完了していたらステップＳ５０１に戻り、次のフレーム処理を行う。 After the variable length coding process in step S506, step S514 or step S523, it is determined in step S524 whether or not all macroblocks have been processed. If the result of this determination is that it has not been completed, processing returns to step S502 and the above-described processing is repeated. As a result of the determination in step S524, if variable length coding has been completed for all macroblocks, the process returns to step S501 to perform the next frame processing.

図６は、第１のサーチ及び第２のサーチで処理されるサイズについて詳細に説明する図である。
図６において、６０１は参照フレーム画像であり、HSIZE×VSIZEの画角の中（参照フレーム内）の１つのマクロブロック(HSIZE＿MB×VSIZE＿MB)を示している。６０２はマクロブロックを拡大したものである。動き予測はマクロブロックをさらにHNUM＿MB×VNUM＿MBに分割してそれぞれ実行できる。分割数は多ければ第１のサーチ、第２のサーチの処理が分割した数だけ発生するのでメモリアクセス帯域も増大する。 FIG. 6 is a diagram for explaining in detail the sizes processed in the first search and the second search.
In FIG. 6, reference numeral 601 denotes a reference frame image, which shows one macroblock (HSIZE_MB × VSIZE_MB) within the angle of view of HSIZE × VSIZE (within the reference frame). Reference numeral 602 is an enlarged macroblock. Motion prediction can be executed by dividing a macroblock into HNUM_MB × VNUM_MB. If the number of divisions is large, processing for the first search and the second search occurs as many as the number of divisions, so that the memory access bandwidth also increases.

６０３は第１のサーチの画像を示している。第１のサーチでは、参照フレーム画像６０１より低い解像度(HSIZE１＿ALL×VSIZE１＿ALL)で読み出す。そして、その中のサーチ枠(HSIZE１＿SRCH×VSIZE１＿SRCH)の中から、第２のサーチのサーチ枠(HSIZE１＿DET×VSIZE１＿DET)を検出する。６０４は第２のサーチのフレームである。６０３で検出された画角を参照フレーム画像６０１と同一解像度で読み出し、その枠(HSIZE２＿SRCH×VSIZE２＿SRCH)の中で動き検出対象マクロブロックを決定する。 Reference numeral 603 denotes an image of the first search. In the first search, reading is performed with a resolution (HSIZE1_ALL × VSIZE1_ALL) lower than that of the reference frame image 601. Then, the search frame (HSIZE1_DET × VSIZE1_DET) for the second search is detected from the search frames (HSIZE1_SRCH × VSIZE1_SRCH). Reference numeral 604 denotes a second search frame. The angle of view detected in 603 is read at the same resolution as that of the reference frame image 601, and a motion detection target macroblock is determined within the frame (HSIZE2_SRCH × VSIZE2_SRCH).

図７は、図６で示した動き予測パラメータの値を、図５のステップＳ５１６において設定する動き予測パラメータ１、ステップＳ５１７で設定する動き予測パラメータ２に分けてリストにした図である。同時処理重複した場合の動き予測パラメータ１は検出枠のサイズあるいはマクロブロック数、解像度が何れも低く設定されている（略半分に設定されている）。これにより、本実施形態においては、その同一時間に動画符号化部１１１で行われる動き予測検出ブロックの数を低減することができるのでメモリアクセスを低減することができる。 FIG. 7 is a diagram in which the motion prediction parameter values shown in FIG. 6 are divided into a motion prediction parameter 1 set in step S516 in FIG. 5 and a motion prediction parameter 2 set in step S517. In the case of simultaneous processing overlap, the motion prediction parameter 1 is set such that the size of the detection frame, the number of macroblocks, and the resolution are all low (set to approximately half). Thereby, in this embodiment, since the number of the motion estimation detection blocks performed by the moving image encoding part 111 at the same time can be reduced, memory access can be reduced.

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 (Another embodiment according to the present invention)
Each unit constituting the imaging apparatus according to the embodiment of the present invention described above can be realized by operating a program stored in a RAM or a ROM of a computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。 In addition, the present invention can be implemented as a system, apparatus, method, program, storage medium, or the like, and can be applied to a system composed of a plurality of devices. Moreover, you may apply to the apparatus which consists of one apparatus.

なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム（実施の形態では図３、図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 In the present invention, a software program (in the embodiment, a program corresponding to the flowcharts shown in FIGS. 3 and 5) for executing each step in the above-described imaging method is directly or remotely supplied to the system or apparatus. . In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。 Various recording media can be used as a recording medium for supplying the program. For example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD- R).

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer performs part or all of the actual processing. Also, the functions of the above-described embodiments can be realized.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。 Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

本発明の実施形態を示し、撮像装置の全体構成の一例を示すブロック図である。1 is a block diagram illustrating an example of an overall configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の実施形態を示し、符号化部の構成例の詳細を示すブロック図である。It is a block diagram which shows embodiment of this invention and shows the detail of the structural example of an encoding part. 第１の実施形態の撮像方法の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the imaging method of 1st Embodiment. 第１の実施形態を示し、フレームの制御が行われた場合の時間遷移状況を説明する図である。It is a figure which shows 1st Embodiment and demonstrates the time transition condition when control of a frame is performed. 第２の実施形態の撮像方法の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the imaging method of 2nd Embodiment. 第２の実施形態を示し、第１のサーチ及び第２のサーチで処理されるサイズについて詳細に説明する図である。It is a figure which shows 2nd Embodiment and demonstrates in detail about the size processed by the 1st search and the 2nd search. 本発明の第２の実施形態を示し、動き予測パラメータ１、動き予測パラメータ２をリストにした図である。It is the figure which showed the 2nd Embodiment of this invention and made motion prediction parameter 1 and motion prediction parameter 2 a list. 同時処理と符号化のタイミングを説明する図である。It is a figure explaining the timing of simultaneous processing and encoding.

符号の説明Explanation of symbols

１０１レンズ
１０２センサ
１０３ＴＧ
１０４ＡＤ変換部
１０５信号処理部
１０６ＩＰ変換部
１０７動画リサイズ部
１０８静止画リサイズ部
１０９静止画符号化部
１１０ VIDEO IF
１１１動画符号化部
１１２メモリ
１１３撮像システム制御部
１１４動画符号化制御部
１１５システム制御部 101 Lens 102 Sensor 103 TG
104 AD converter 105 Signal processor 106 IP converter 107 Video resize unit 108 Still image resize unit 109 Still image encoding unit 110 VIDEO IF
111 video encoding unit 112 memory 113 imaging system control unit 114 video encoding control unit 115 system control unit

Claims

撮像素子により生成された画像信号を処理する信号処理手段と、
前記信号処理手段により処理されたデータを符号化する符号化手段と、
前記信号処理手段により処理されたデータ、及び前記符号化手段により符号化されたデータをメモリに保持する記憶手段と、
システムの各部の制御を行うシステム制御手段とを有し、
前記システム制御手段は、前記信号処理手段において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化手段の制御を行うことを特徴とする撮像装置。 Signal processing means for processing an image signal generated by the image sensor;
Encoding means for encoding the data processed by the signal processing means;
Storage means for holding the data processed by the signal processing means and the data encoded by the encoding means in a memory;
System control means for controlling each part of the system,
The imaging apparatus according to claim 1, wherein the system control unit controls the encoding unit so as to reduce an access amount of the memory according to a processing state of signal processing performed in the signal processing unit.

前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理の制御を行い、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means in response to an instruction for simultaneous recording of still images and moving images to detect frames for simultaneous processing of still images and moving images, and performs encoding performed by the encoding means at the same time. The imaging apparatus according to claim 1, wherein processing is controlled to reduce an access amount of the memory.

前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理において参照するフレームを減じるようにピクチャのタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means in response to an instruction for simultaneous recording of still images and moving images to detect frames for simultaneous processing of still images and moving images, and performs encoding performed by the encoding means at the same time. The imaging apparatus according to claim 1, wherein a picture type is changed so as to reduce a frame to be referred to in processing, thereby reducing an access amount of the memory.

前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化対象フレームがＢピクチャである場合、ＩもしくはＰピクチャへタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means in response to an instruction for simultaneous recording of still images and moving images to detect frames for simultaneous processing of still images and moving images, and performs encoding performed by the encoding means at the same time. The imaging apparatus according to claim 1, wherein when the target frame is a B picture, the type is changed to an I or P picture to reduce an access amount of the memory.

前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理において参照するフレームを減じるようにマクロブロックのタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means in response to an instruction for simultaneous recording of still images and moving images to detect frames for simultaneous processing of still images and moving images, and performs encoding performed by the encoding means at the same time. The imaging apparatus according to claim 1, wherein the type of macroblock is changed so as to reduce a frame to be referred to in processing, thereby reducing an amount of access to the memory.

前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化対象マクロブロックのタイプが双方向参照型である場合、それをイントラ型あるいは、片方向参照へ変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means in response to an instruction for simultaneous recording of still images and moving images to detect frames for simultaneous processing of still images and moving images, and performs encoding performed by the encoding means at the same time. The imaging apparatus according to claim 1, wherein when the type of the target macroblock is a bidirectional reference type, the macroblock is changed to an intra type or a unidirectional reference to reduce an access amount of the memory.

前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化パラメータを制御し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means to detect a frame for performing still image moving image simultaneous processing, controls encoding parameters performed by the encoding means at the same time, and accesses the memory The imaging device according to claim 1, wherein the imaging device is reduced.

前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測のための参照フレームの解像度を低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means detects the frame for performing still image moving image simultaneous processing by controlling the signal processing means, and reduces the resolution of the reference frame for motion prediction performed by the encoding means at the same time, The imaging apparatus according to claim 1, wherein an access amount of the memory is reduced.

前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測のための参照フレーム内の検出枠のサイズを低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control unit controls the signal processing unit to detect a frame for simultaneous still image moving image processing, and the size of a detection frame in a reference frame for motion prediction performed by the encoding unit at the same time The imaging apparatus according to claim 1, wherein the amount of access to the memory is reduced.

前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測検出ブロックの数を低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。 The system control means controls the signal processing means to detect frames for simultaneous still image moving image processing, reduces the number of motion prediction detection blocks performed by the encoding means at the same time, and The imaging apparatus according to claim 1, wherein the amount of access is reduced.

撮像素子により生成された画像信号を処理する信号処理工程と、
前記信号処理工程において処理されたデータを符号化する符号化工程と、
前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、
システムの各部の制御を行うシステム制御工程とを有し、
前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことを特徴とする撮像方法。 A signal processing step for processing an image signal generated by the image sensor;
An encoding step for encoding the data processed in the signal processing step;
Storing the data processed in the signal processing step and the data encoded in the encoding step in a memory;
A system control process for controlling each part of the system,
The imaging method according to claim 1, wherein the system control step controls the encoding step so as to reduce an access amount of the memory according to a processing state of signal processing performed in the signal processing step.

撮像素子により生成された画像信号を処理する信号処理工程と、
前記信号処理工程において処理されたデータを符号化する符号化工程と、
前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、
システムの各部の制御を行うシステム制御工程とをコンピュータに実行させるプログラムであって、
前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことをコンピュータに実行させることを特徴とするプログラム。 A signal processing step for processing an image signal generated by the image sensor;
An encoding step for encoding the data processed in the signal processing step;
Storing the data processed in the signal processing step and the data encoded in the encoding step in a memory;
A program for causing a computer to execute a system control process for controlling each part of the system,
The system control step causes the computer to execute the control of the encoding step so as to reduce the amount of access to the memory according to the processing status of the signal processing performed in the signal processing step. Program.

請求項１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium storing the program according to claim 12.