JP2012217106A - Image processing apparatus - Google Patents

Abstract

PROBLEM TO BE SOLVED: To enhance detection performance of the blurring of a plurality of images each capturing a common subject.SOLUTION: When a shutter button 28sh is pressed fully under a continuous shooting mode, a CPU 26 takes the image data of four consecutive frames, each capturing a common subject, into a save image area 32c of an SDRAM 32. The image data of each frame thus taken in is subjected to compression processing by means of a JPEG encoder 40. The CPU 26 detects the size value of the JPEG data of each frame as a parameter value correlated with the amount of high frequency image component, selects the maximum size value among four size values thus detected, and then normalizes the difference between the maximum size value thus selected and each of three remaining values.

Description

この発明は、画像処理装置に関し、特に電子カメラに適用され、画像データに表れたブレの大きさを検出する、画像処理装置に関する。   The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that is applied to an electronic camera and detects the amount of blurring that appears in image data.

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像素子によって捉えられた被写体を表す画像データに対してブレの大きさが検出され、検出された大きさに基づいて手ブレレベルが設定される。手ブレレベルは、手ブレが小さい順にレベル１〜２０の２０段階評価で表される。手ブレの検出方法としては、画像解析によって画像データ中の複数のエッジを検出し、検出されたエッジの特徴量から手ブレの程度を得る方法や、手ブレセンサの出力から手ブレの程度を得る方法が採用される。   An example of this type of device is disclosed in Patent Document 1. According to this background art, the magnitude of shake is detected for image data representing the subject captured by the image sensor, and the camera shake level is set based on the detected magnitude. The camera shake level is represented by a 20-level evaluation of levels 1 to 20 in the order from the smallest camera shake. As a camera shake detection method, a plurality of edges in image data are detected by image analysis, and the degree of camera shake is obtained from the detected feature amount of the edge, or the degree of camera shake is obtained from the output of the camera shake sensor. The method is adopted.

特開２００９−７７２３７号公報JP 2009-77237 A

しかし、前者の手ブレ検出方法はソフトウェア構成の複雑化を招き、後者の手ブレ検出方法はハードウェア構成の複雑化を招く。このため、背景技術では、画像データのブレの検知性能の向上に限界がある。   However, the former camera shake detection method causes a complicated software configuration, and the latter camera shake detection method causes a complicated hardware configuration. For this reason, in the background art, there is a limit to the improvement in the image data blur detection performance.

それゆえに、この発明の主たる目的は、画像データのブレの検知性能を高めることができる、画像処理装置を提供することである。   SUMMARY OF THE INVENTION Therefore, a main object of the present invention is to provide an image processing apparatus that can improve the image blur detection performance.

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通の被写体を捉えた画像を繰り返し取得する取得手段(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得手段によって取得された複数の画像の各々に対応して検出する検出手段(S81)、検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段(S83)、および選択手段によって選択されたパラメータ値と選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段(S91~S99, S103, S109~S111)を備える。   An image processing apparatus according to the present invention (10: reference numerals corresponding to the embodiments; the same applies hereinafter) includes acquisition means (S31 to S33, S37 to S39) for repeatedly acquiring images capturing a common subject, and the amount of high-frequency image components Detection means (S81) for detecting a parameter value correlated with each of the plurality of images acquired by the acquisition means, and selection means for selecting one of the plurality of parameter values detected by the detection means (S81). S83), and normalizing means (S91 to S99, S103, S109 to S111) for normalizing the difference between the parameter value selected by the selecting means and each of one or more parameter values remaining after selection of the selecting means ).

好ましくは、選択手段によって選択されるパラメータ値は高周波画像成分の量が最大の画像に対応する。   Preferably, the parameter value selected by the selection means corresponds to an image having a maximum amount of high-frequency image components.

好ましくは、正規化手段は、選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段(S91)、作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段(S93~S95)、および基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段(S103)を含む。   Preferably, the normalization means creates a reference blur image having a reference blur amount based on an image corresponding to the parameter value selected by the selection means (S91), the reference blur image created by the creation means Reference parameter value detection means (S93 to S95) for detecting a parameter value correlated with a high-frequency image component as a reference parameter value, and normalization that performs normalization processing with reference to the reference parameter value detected by the reference parameter value detection means Processing means (S103).

好ましくは、取得手段によって取得された複数の画像を個別に符号化する符号化手段(S35)がさらに備えられ、検出手段によって検出されるパラメータ値は符号化手段によって符号化された画像のサイズに相当する。   Preferably, an encoding unit (S35) for individually encoding a plurality of images acquired by the acquiring unit is further provided, and the parameter value detected by the detecting unit is set to the size of the image encoded by the encoding unit. Equivalent to.

好ましくは、取得手段によって取得された複数の画像の一部を正規化手段によって算出された正規化差分に基づいて抽出する抽出手段(S105, S49~S73)がさらに備えられる。   Preferably, extraction means (S105, S49 to S73) for extracting a part of the plurality of images acquired by the acquisition means based on the normalized difference calculated by the normalization means is further provided.

さらに好ましくは、抽出手段は、取得手段によって取得された画像から特定物体像を探索する探索手段(S55)、探索手段の探索結果と正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段(S57~S65)、および演算手段の演算結果を参照して抽出処理を実行する抽出処理手段(S71~S73)を含む。   More preferably, the extracting means searches for a specific object image from the image acquired by the acquiring means (S55), a predetermined calculation based on the search result of the searching means and the normalized difference calculated by the normalizing means. Calculation means (S57 to S65) for executing processing, and extraction processing means (S71 to S73) for executing extraction processing with reference to the calculation result of the calculation means are included.

この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を実行させるための、画像処理プログラムである。   The image processing program according to the present invention includes an acquisition step (S31 to S33, S37 to S39) for repeatedly acquiring an image capturing a common subject in the processor (26) of the image processing apparatus (10), and the amount of high-frequency image components. A detection step (S81) for detecting correlated parameter values corresponding to each of the plurality of images acquired by the acquisition step, and a selection step (S83) for selecting any one of the plurality of parameter values detected by the detection step ), And a normalization step (S91 to S99, S103, S109 to S111) for normalizing the difference between the parameter value selected by the selection step and each of one or more parameter values remaining after selection of the selection step Is an image processing program for executing.

この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を備える。   The image processing method according to the present invention is an image processing method executed by the image processing apparatus (10), and repeatedly obtains images capturing a common subject (S31 to S33, S37 to S39), a high-frequency image A detection step (S81) for detecting a parameter value correlated with the amount of component corresponding to each of the plurality of images acquired by the acquisition step, and selecting any one of the plurality of parameter values detected by the detection step A selection step (S83), and a normalization step (S91 to S99, S103, S103, S103, S103, S103, S103, S103, S103, S103, S103, S103, S103, and S103) S109 to S111).

この発明に従う外部制御プログラムは、メモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置に供給される外部制御プログラムであって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。   An external control program according to the present invention is an external control program supplied to an image processing apparatus including a processor (26) that executes processing according to an internal control program stored in a memory (46), and captures a common subject. Acquisition step for repeatedly acquiring images (S31 to S33, S37 to S39), detection step for detecting a parameter value correlated with the amount of high-frequency image components corresponding to each of the plurality of images acquired by the acquisition step (S81) A selection step (S83) for selecting any one of a plurality of parameter values detected by the detection step, and a parameter value selected by the selection step and one or more parameter values remaining after selection of the selection step Normalization steps (S91 to S99, S103, S109 to S111) for normalizing the difference from each of them are executed by the processor in cooperation with the internal control program Of the eye, which is an external control program.

この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(48)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(46)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働して実行するプログラムに相当する。   An image processing apparatus (10) according to the present invention executes a process according to a fetching means (48) for fetching an external control program, and an external control program fetched by the fetching means and an internal control program stored in a memory (46). An image processing apparatus (10) comprising a processor (26), wherein an external control program repeatedly acquires images capturing a common subject (S31 to S33, S37 to S39), and determines the amount of high-frequency image components A detection step (S81) for detecting correlated parameter values corresponding to each of the plurality of images acquired by the acquisition step, and a selection step (S83) for selecting any one of the plurality of parameter values detected by the detection step ), And the difference between the parameter value selected by the selection step and each of the one or more parameter values remaining after selection of the selection step Normalization step of normalizing the (S91 ~ S99, S103, S109 ~ S111) corresponds to the internal control program in cooperation with a program to be executed.

高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。   The parameter value that correlates with the amount of the high-frequency image component varies due to the attribute of the subject, and also varies due to blurring of the imaging surface at the time of image acquisition. However, fluctuations caused by subject attributes are eliminated by acquiring a plurality of images capturing a common subject and normalizing the above-described parameter values corresponding to the images.

これを踏まえて、この発明では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。   Based on this, in the present invention, any one of a plurality of parameter values respectively corresponding to a plurality of images capturing a common subject is selected, and the selected parameter value and one or two or more remaining after the selection are selected. The difference with each of the parameter values is normalized. This improves the blur detection performance of a plurality of images capturing a common subject.

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

この発明の一実施例の基本的構成を示すブロック図である。It is a block diagram which shows the basic composition of one Example of this invention. この発明の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of this invention. 撮像面における評価エリアの割り当て状態の一例を示す図解図である。It is an illustration figure which shows an example of the allocation state of the evaluation area in an imaging surface. 図２実施例に適用されるレジスタの構成の一例を示す図解図である。FIG. 3 is an illustrative view showing one example of a configuration of a register applied to the embodiment in FIG. 2; 撮像面で捉えられるシーンの一例を示す図解図である。It is an illustration figure which shows an example of the scene caught on an imaging surface. （Ａ）は第１フレームの画像データの一例を示す図解図であり、（Ｂ）は第２フレームの画像データの一例を示す図解図である。(A) is an illustrative view showing an example of image data of a first frame, and (B) is an illustrative view showing an example of image data of a second frame. （Ａ）は第３フレームの画像データの一例を示す図解図であり、（Ｂ）は第４フレームの画像データの一例を示す図解図である。(A) is an illustration figure which shows an example of the image data of a 3rd frame, (B) is an illustration figure which shows an example of the image data of a 4th frame. 基準画像データに基づいて作成されたブレ画像データの一例を示す図解図である。It is an illustration figure which shows an example of the blurring image data produced based on reference | standard image data. 顔検出処理において参照される顔辞書の構成の一例を示す図解図である。It is an illustration figure which shows an example of a structure of the face dictionary referred in a face detection process. 図２実施例に適用される他のレジスタの構成の一例を示す図解図である。FIG. 10 is an illustrative view showing one example of a configuration of another register applied to the embodiment in FIG. 2; 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。It is a flowchart which shows a part of operation | movement of CPU applied to the FIG. 2 Example. 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 2 Example. 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2; 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。FIG. 10 is a flowchart showing yet another portion of behavior of the CPU applied to the embodiment in FIG. 2; 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。It is a flowchart which shows a part of other operation | movement of CPU applied to the FIG. 2 Example. 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。FIG. 11 is a flowchart showing still another portion of behavior of the CPU applied to the embodiment in FIG. 2; この発明の他の実施例の構成を示すブロック図である。It is a block diagram which shows the structure of the other Example of this invention.

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］ Embodiments of the present invention will be described below with reference to the drawings.
[Basic configuration]

図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取得手段１は、共通の被写体を捉えた画像を繰り返し取得する。検出手段２は、高周波画像成分の量に相関するパラメータ値を取得手段１によって取得された複数の画像の各々に対応して検出する。選択手段３は、検出手段２によって検出された複数のパラメータ値のいずれか１つを選択する。正規化手段４は、選択手段３によって選択されたパラメータ値と選択手段３の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する。   Referring to FIG. 1, the image processing apparatus of this embodiment is basically configured as follows. The acquisition unit 1 repeatedly acquires images that capture a common subject. The detection unit 2 detects a parameter value correlated with the amount of the high frequency image component corresponding to each of the plurality of images acquired by the acquisition unit 1. The selection unit 3 selects any one of a plurality of parameter values detected by the detection unit 2. The normalizing unit 4 normalizes the difference between the parameter value selected by the selecting unit 3 and each of one or more parameter values remaining after selection by the selecting unit 3.

高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。   The parameter value that correlates with the amount of the high-frequency image component varies due to the attribute of the subject, and also varies due to blurring of the imaging surface at the time of image acquisition. However, fluctuations caused by subject attributes are eliminated by acquiring a plurality of images capturing a common subject and normalizing the above-described parameter values corresponding to the images.

これを踏まえて、この装置では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
［実施例］ Based on this, in this apparatus, one of a plurality of parameter values respectively corresponding to a plurality of images capturing a common subject is selected, and the selected parameter value and one or two or more remaining after the selection are selected. The difference with each of the parameter values is normalized. This improves the blur detection performance of a plurality of images capturing a common subject.
[Example]

図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、撮像面で捉えられたシーンを表す電荷が生成される。   Referring to FIG. 2, the digital camera 10 of this embodiment includes a focus lens 12 and an aperture unit 14 driven by drivers 18a and 18b, respectively. The optical image that has passed through these members is irradiated onto the imaging surface of the imager 16 and subjected to photoelectric conversion. As a result, a charge representing the scene captured on the imaging surface is generated.

電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。   When the power is turned on, the CPU 26 instructs the driver 18c to repeat the exposure operation and the charge readout operation under the imaging task in order to execute the moving image capturing process. In response to a vertical synchronization signal Vsync periodically generated from an SG (Signal Generator) (not shown), the driver 18c exposes the imaging surface and reads out the charges generated on the imaging surface in a raster scanning manner. From the imager 16, raw image data based on the read charges is periodically output.

前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。   The preprocessing circuit 20 performs processing such as digital clamping, pixel defect correction, and gain control on the raw image data output from the imager 16. The raw image data subjected to these processes is written into the raw image area 32 a of the SDRAM 32 through the memory control circuit 30.

後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。   The post-processing circuit 34 reads the raw image data stored in the raw image area 32a through the memory control circuit 30, and performs color separation processing, white balance adjustment processing, and YUV conversion processing on the read raw image data. The YUV format image data thus generated is written into the YUV image area 32 b of the SDRAM 32 by the memory control circuit 30.

ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表す動画像がリアルタイムでモニタ画面に表示される。   The LCD driver 36 repeatedly reads the image data stored in the YUV image area 32b through the memory control circuit 30, and drives the LCD monitor 38 based on the read image data. As a result, a moving image representing a scene captured on the imaging surface is displayed on the monitor screen in real time.

図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータ(RGB: red, green & blue)に変換する簡易ＲＧＢ変換処理を実行する。   Referring to FIG. 3, an evaluation area EVA is allocated at the center of the imaging surface. The evaluation area EVA is divided into 16 in each of the horizontal direction and the vertical direction, and 256 divided areas form the evaluation area EVA. In addition to the above-described processing, the preprocessing circuit 20 illustrated in FIG. 2 executes simple RGB conversion processing that simply converts raw image data into RGB data (RGB: red, green & blue).

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。   The AE evaluation circuit 22 integrates RGB data belonging to the evaluation area EVA among the RGB data generated by the preprocessing circuit 20 every time the vertical synchronization signal Vsync is generated. As a result, 256 integral values, that is, 256 AE evaluation values, are output from the AE evaluation circuit 22 in response to the vertical synchronization signal Vsync. The AF evaluation circuit 24 integrates the high-frequency components of the RGB data belonging to the evaluation area EVA among the RGB data generated by the preprocessing circuit 20 every time the vertical synchronization signal Vsync is generated. As a result, 256 integral values, that is, 256 AF evaluation values, are output from the AF evaluation circuit 24 in response to the vertical synchronization signal Vsync.

キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。   When the shutter button 28sh provided in the key input device 28 is in a non-operating state, the CPU 26 executes a simple AE process based on the 256 AE evaluation values output from the AE evaluation circuit 22, and sets an appropriate EV value. calculate. The aperture amount and exposure time that define the calculated appropriate EV value are set in the drivers 18b and 18c, whereby the brightness of the through image is roughly adjusted.

シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。   When the shutter button 28sh is half-pressed, the CPU 26 executes a strict AE process with reference to the AE evaluation value, and calculates an optimum EV value. The aperture amount and the exposure time that define the calculated optimum EV value are also set in the drivers 18b and 18c, whereby the brightness of the through image is strictly adjusted. The CPU 26 also executes AF processing based on the 256 AF evaluation values output from the AF evaluation circuit 24. The focus lens 12 is moved in the optical axis direction by the driver 18a in order to search for a focal point, and is arranged at the focal point found by this. As a result, the sharpness of the through image is improved.

撮像モードは、モード切換えスイッチ２８ｍｄによって単写モードおよび連写モードの間で切り換えられる。また、連写モードについては、ベストショットセレクト機能のオン／オフが可能である。   The imaging mode is switched between the single shooting mode and the continuous shooting mode by the mode switch 28md. In the continuous shooting mode, the best shot select function can be turned on / off.

単写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データが退避画像エリア３２ｃに退避される。静止画取り込み処理が完了すると、ＣＰＵ２６は、圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、記録処理の実行をメモリＩ／Ｆ４２に命令する。   When the shutter button 28sh is fully pressed while the single shooting mode is selected, the CPU 26 executes the still image capturing process only once. As a result, one frame of image data representing the scene at the time when the shutter button 28sh is fully pressed is saved in the save image area 32c. When the still image capturing process is completed, the CPU 26 instructs the JPEG encoder 40 to execute the compression process, and instructs the memory I / F 42 to execute the recording process.

ＪＰＥＧエンコーダ４０は、退避画像エリア３２ｃに退避された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通してＳＤＲＡＭ３２の圧縮画像エリア３２ｄに書き込む。メモリＩ／Ｆ４２は、圧縮画像エリア３２ｄに格納されたＪＰＥＧデータをメモリ制御回路３０を通して読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。   The JPEG encoder 40 reads the image data saved in the saved image area 32 c through the memory control circuit 30, compresses the read image data by the JPEG method, and compresses the compressed image data, that is, JPEG data through the memory control circuit 30 to the SDRAM 32. Are written in the compressed image area 32d. The memory I / F 42 reads the JPEG data stored in the compressed image area 32d through the memory control circuit 30, and records the read JPEG data on the recording medium 44 in a file format.

連写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に合計４回の静止画取り込み処理を実行し、さらに４回のＪＰＥＧ圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。   When the shutter button 28sh is fully pressed in the state where the continuous shooting mode is selected, the CPU 26 executes a total of four still image capturing processes every time the vertical synchronization signal Vsync is generated, and four more JPEG compression processes. Is executed to the JPEG encoder 40.

４回の静止画取り込み処理の結果、連続する４フレームの画像データが退避画像エリア３２ｃに退避される。ＪＰＥＧエンコーダ４０は、退避された４フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された各フレームの画像データをＪＰＥＧ方式で圧縮し、そしてＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。圧縮画像エリア３２ｄには、合計４フレームのＪＰＥＧデータが格納される。   As a result of the four still image capturing processes, four consecutive frames of image data are saved in the save image area 32c. The JPEG encoder 40 reads the saved 4-frame image data through the memory control circuit 30, compresses the read-out image data of each frame by the JPEG method, and compresses the JPEG data through the memory control circuit 30 to a compressed image area 32d. Write to. The compressed image area 32d stores JPEG data of a total of 4 frames.

ベストショットセレクト機能がオフ状態にあるとき、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータの全てに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。これに対して、ベストショットセレクト機能がオン状態にあれば、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームの中から１フレームを選択し、選択されたフレームのＪＰＥＧデータに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、選択されたフレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。   When the best shot select function is in the OFF state, the CPU 26 instructs the memory I / F 42 to execute recording processing for all the four frames of JPEG data stored in the compressed image area 32d. On the other hand, if the best shot select function is in the ON state, the CPU 26 selects one frame from the four frames stored in the compressed image area 32d, and executes the recording process for the JPEG data of the selected frame. To the memory I / F 42. The memory I / F 42 reads the JPEG data of the selected frame from the compressed image area 32d through the memory control circuit 30, and records the read JPEG data on the recording medium 44 in a file format.

ベストショットセレクト機能がオン状態にあるときは、以下の処理がＣＰＵ２６によって実行される。   When the best shot select function is on, the CPU 26 executes the following processing.

まず、シャッタボタン２８ｓｈが全押しされた直後の撮像面の手ブレを判定するべく、ブレ判定処理が実行される。ブレ判定処理では、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が特定され、特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データが基準画像データとして指定される。指定された基準画像データのフレーム番号は変数Ｒに設定され、フラグＦＬＧ＿Ｒ＿ｂｌｕｒは“０”に設定され、そして基準画像データの安定度は“１００”に設定される。安定度“１００”は、第Ｒフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。   First, a blur determination process is executed to determine a camera shake on the imaging surface immediately after the shutter button 28sh is fully pressed. In the blur determination process, the maximum size value is specified from four size values respectively corresponding to the four frames of JPEG data stored in the compressed image area 32d, and uncompressed corresponding to the JPEG data of the specified size value. Image data is designated as reference image data. The frame number of the designated reference image data is set to the variable R, the flag FLG_R_blur is set to “0”, and the stability of the reference image data is set to “100”. The stability “100” is registered in the register RGST1 shown in FIG. 4 corresponding to the R-th frame.

図５に示すように人物ＨＭ１，ビルＢＬ１および山ＭＴ１が現れたシーンが捉えられた状態でシャッタボタン２８ｓｈが全押しされ、これに起因して撮像面に手ブレが生じた場合、第１フレームの画像データは図６（Ａ）に示す要領で作成され、第２フレームの画像データは図６（Ｂ）に示す要領で作成され、第３フレームの画像データは図７（Ａ）に示す要領で作成され、そして第４フレームの画像データは図７（Ｂ）に示す要領で作成される。   As shown in FIG. 5, when the shutter button 28sh is fully pressed in a state where the scene in which the person HM1, the building BL1 and the mountain MT1 appear is captured, and the camera shake occurs on the imaging surface due to this, the first frame 6A is created in the manner shown in FIG. 6A, the second frame image data is created in the manner shown in FIG. 6B, and the third frame image data is created in the manner shown in FIG. The image data of the fourth frame is created in the manner shown in FIG. 7B.

こうして得られた４フレームの画像データの中では、第３フレームの画像データが手ブレが最も小さい画像データであり、第３フレームのＪＰＥＧデータのサイズ値が最大となる。したがって、この例では、第３フレームの画像データが基準画像データとして指定され、変数Ｒは“３”に設定される。さらに、フラグＦＬＧ＿３＿ｂｌｕｒが“０”に設定され、第３フレームの画像データの安定度が“１００”に設定される。   Among the four frames of image data obtained in this way, the image data of the third frame is the image data with the smallest camera shake, and the size value of the JPEG data of the third frame is the maximum. Therefore, in this example, the image data of the third frame is designated as the reference image data, and the variable R is set to “3”. Further, the flag FLG — 3_blur is set to “0”, and the stability of the image data of the third frame is set to “100”.

続いて、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データが、基準画像データに基づいて作成される。具体的には、基準画像データが水平方向，垂直方向および光軸回り方向に既定量だけシフトないし回転され、異なる位置ないし姿勢で定義された複数フレームの基準画像データが互いに合成される。ブレ画像データは、図７（Ａ）に示す画像データに基づいて、図８に示す要領で作成される。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。   Subsequently, blurred image data having a reference blur degree (= the maximum allowable blur degree) is created based on the reference image data. Specifically, the reference image data is shifted or rotated by a predetermined amount in the horizontal direction, the vertical direction, and the direction around the optical axis, and a plurality of frames of reference image data defined at different positions or postures are synthesized with each other. The blurred image data is created in the manner shown in FIG. 8 based on the image data shown in FIG. The created blurred image data is stored in the saved image area 32 c of the SDRAM 32.

ＣＰＵ２６は、こうして作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そしてブレ画像データに基づくＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。作成されたＪＰＥＧデータのサイズ値は、基準値ＢＬＵＲｓｚに設定される。   The CPU 26 instructs the JPEG encoder 40 to execute compression processing on the blur image data created in this way. The JPEG encoder 40 reads the blurred image data from the saved image area 32 c through the memory control circuit 30, compresses the read blurred image data by the JPEG method, and compresses the JPEG data based on the blurred image data through the memory control circuit 30. Write to the image area 32d. The size value of the created JPEG data is set to the reference value BLURsz.

続いて、変数Ｋが“１”〜“４”（ただし、変数Ｒと同じ値は除く）に順に設定され、第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚと比較される。注目するサイズ値が基準値ＢＬＵＲｓｚ以上であれば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“０”に設定される。一方、注目するサイズ値が基準値ＢＬＵＲｓｚを下回れば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“１”に設定される。つまり、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に設定され、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”に設定される。   Subsequently, the variable K is sequentially set to “1” to “4” (except for the same value as the variable R), and the size value of the JPEG data of the Kth frame is compared with the reference value BLURsz. If the size value of interest is greater than or equal to the reference value BLURsz, the flag FLG_K_blur is set to “0”. On the other hand, if the size value of interest falls below the reference value BLURsz, the flag FLG_K_blur is set to “1”. That is, the flag FLG_K_blur is set to “1” when the blurring degree of the image data of the Kth frame falls outside the allowable range, and is set to “0” when the blurring degree of the image data of the Kth frame falls within the allowable range. .

図６（Ａ）〜図７（Ｂ）の例では、第１フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚを下回り、第２フレームおよび第４フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚ以上となる。したがって、フラグＦＬＧ＿１＿ｂｌｕｒは“１”に設定され、フラグＦＬＧ＿２＿ｂｌｕｒおよびＦＬＧ＿４＿ｂｌｕｒは“０”に設定される。   In the example of FIGS. 6A to 7B, the size of the JPEG data of the first frame is less than the reference value BLURsz, and the sizes of the JPEG data of the second frame and the fourth frame are greater than or equal to the reference value BLURsz. Therefore, the flag FLG_1_blue is set to “1”, and the flags FLG_2_blue and FLG_4_blue are set to “0”.

さらに、注目するサイズ値が基準値ＢＬＵＲｓｚ以上となるときは、第Ｋフレームの画像データのブレ度が数１に従って算出され、第Ｋフレームの画像データの安定度が数２に従って算出される。
［数１］
ブレ度＝（ＲＥＦｓｚ−Ｋｓｚ）／（ＲＥＦｓｚ−ＢＬＵＲｓｚ）
Ｋｓｚ：第ＫフレームのＪＰＥＧデータのサイズ値
ＲＥＦｓｚ：基準画像データに基づくＪＰＥＧデータのサイズ値
［数２］
安定度＝１−ブレ度 Further, when the size value of interest is equal to or greater than the reference value BLURsz, the blurring degree of the image data of the Kth frame is calculated according to Equation 1, and the stability of the image data of the Kth frame is calculated according to Equation 2.
[Equation 1]
Blur degree = (REFsz−Ksz) / (REFsz−BLURsz)
Ksz: JPEG data size value of the Kth frame REFsz: JPEG data size value based on the reference image data [Expression 2]
Stability = 1-blurness

数１によれば、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が、基準画像データに基づくＪＰＥＧデータのサイズ値とブレ画像データに基づくＪＰＥＧデータのサイズ値との差分によって割り算される。これによって、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が正規化される。数２によれば、数１によって算出されたブレ度が“１”から減算される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。   According to Equation 1, the difference between the size value of the JPEG data of the Kth frame and the size value of the JPEG data based on the reference image data is the difference between the size value of the JPEG data based on the reference image data and the JPEG data based on the blurred image data. Divide by the difference from the size value. Thereby, the difference between the size value of the JPEG data of the Kth frame and the size value of the JPEG data based on the reference image data is normalized. According to Equation 2, the degree of blur calculated by Equation 1 is subtracted from “1”. The stability calculated according to Equation 2 is registered in the register RGST1 corresponding to the Kth frame.

ブレ判定処理が完了すると、変数Ｋが再度“１”〜“４”に設定され、フラグＦＬＧ＿Ｋ＿ｂｌｕｅの状態が判別される。   When the blur determination process is completed, the variable K is set to “1” to “4” again, and the state of the flag FLG_K_blue is determined.

ＦＬＧ＿Ｋ＿ｂｌｕｅ＝１であれば、第Ｋフレームの画像データのブレ度が許容範囲から外れるとして、総合評価点が“０”に設定される。総合評価点“０”は、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。上述の例では、図６（Ａ）に示す第１フレームの画像データに対応して、フラグＦＬＧ＿１＿ｂｌｕｅが“１”に設定される。したがって、第１フレームの総合評価点は“０”に設定される。   If FLG_K_blue = 1, the overall evaluation score is set to “0” because the blurring degree of the image data of the Kth frame is out of the allowable range. The overall evaluation score “0” is described in the register RGST1 corresponding to the Kth frame. In the above example, the flag FLG_1_blue is set to “1” corresponding to the image data of the first frame shown in FIG. Therefore, the overall evaluation score of the first frame is set to “0”.

これに対して、ＦＬＧ＿Ｋ＿ｂｌｕｅ＝０であれば、退避画像エリア３２ｃに退避された第Ｋフレームの画像データに対して顔検出処理が実行される。顔検出処理では、フラッシュメモリ４６内の顔辞書ＤＣ＿Ｆに図９に示す要領で収められた３つの辞書画像のいずれか１つと符合する顔画像が、第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置が図１０に示すレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。   On the other hand, if FLG_K_blue = 0, the face detection process is performed on the image data of the Kth frame saved in the saved image area 32c. In the face detection process, a face image matching one of the three dictionary images stored in the manner shown in FIG. 9 in the face dictionary DC_F in the flash memory 46 is searched from the image data of the Kth frame. When one or more face images are found by the search process, the size and position of the face frame surrounding the found face image are registered in the register RGST2 shown in FIG. The number of face images found is also registered in the register RGST2.

したがって、第２フレームの画像データについては図６（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、第３フレームの画像データについては図７（Ａ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、そして第４フレームの画像データについては図７（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録される。なお、第２フレーム〜第４フレームのいずれにおいても、登録された顔画像数は“１”を示す。   Accordingly, the size and position of the face frame indicated by “FK” in FIG. 6B is registered for the image data of the second frame, and the image data of the third frame is indicated by “FK” in FIG. 7A. The size and position of the face frame are registered, and the size and position of the face frame indicated by “FK” in FIG. 7B are registered for the image data of the fourth frame. In any of the second to fourth frames, the number of registered face images indicates “1”.

レジスタＲＧＳＴ２に登録された顔画像の数が“１”以上であれば、レジスタＲＧＳＴ１に登録された顔枠に属する画像について笑顔度が算出される。また、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目が検出され、検出した目の開度が算出される。発見された顔画像の数が“２”以上であれば、算出される笑顔度は各顔画像の笑顔度の平均値に相当し、算出される開度は各顔画像に表れた目の開度の平均値に相当する。算出された笑顔度および目の開度はいずれも、“０”〜“１”の範囲に属する値を示す。一方、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であれば、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。   If the number of face images registered in the register RGST2 is “1” or more, the smile level is calculated for images belonging to the face frame registered in the register RGST1. Further, eyes are detected on an image belonging to the face frame registered in the register RGST1, and the opening degree of the detected eyes is calculated. If the number of face images found is “2” or more, the calculated smile level is equivalent to the average smile level of each face image, and the calculated opening degree is the opening degree of the eye appearing in each face image. It corresponds to the average value of degrees. Both the calculated smile degree and eye opening indicate values belonging to the range of “0” to “1”. On the other hand, if the number of face images registered in the register RGST2 is “0”, the smile level and the eye opening are set to “0”. The smile level and the eye opening thus obtained are registered in the register RGST1 shown in FIG. 4 corresponding to the Kth frame.

続いて、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度が数３に適用され、これによって総合評価点が算出される。
［数３］
総合評価点＝安定度＊Ｗｓｔｂｌ＋笑顔度＊Ｗｓｍｌ＋目の開度＊Ｗｅｙｅ
ただし、Ｗｓｔｂｌ＞Ｗｓｍｌ＞Ｗｅｙｅ＞０ Subsequently, the stability, smile degree, and eye opening degree registered in the register RGST1 corresponding to the Kth frame are applied to Equation 3, thereby calculating a comprehensive evaluation score.
[Equation 3]
Overall score = Stability * Wstbl + Smile * Wsml + Eye opening * Weey
However, Wstbl>Wsml>Weye> 0

数３によれば、安定度が重み付け量Ｗｓｔｂｌによって掛け算され、笑顔度が重み付け量Ｗｓｍｌによって掛け算され、目の開度が重み付け量Ｗｅｙｅによって掛け算され、そしてこれらの掛け算値が互いに加算される。こうして算出された総合評価点もまた、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に記述される。   According to Equation 3, the stability is multiplied by the weighting amount Wstbl, the smile degree is multiplied by the weighting amount Wsml, the eye opening is multiplied by the weighting amount Weye, and these multiplication values are added to each other. The total evaluation score calculated in this way is also described in the register RGST1 shown in FIG. 4 corresponding to the Kth frame.

４つの総合評価点がレジスタＲＧＳＴ１に登録されると、これらの総合評価点の中から最高の総合評価点が検出され、検出された総合評価点に対応するフレームが選択される。上述の例では、第４フレームに対応する総合評価点が最大となり、第４フレームが選択される。ＣＰＵ２６は、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。   When four total evaluation points are registered in the register RGST1, the highest total evaluation point is detected from these total evaluation points, and a frame corresponding to the detected total evaluation point is selected. In the above example, the total evaluation score corresponding to the fourth frame is maximized, and the fourth frame is selected. The CPU 26 instructs the memory I / F 42 to record JPEG data corresponding to the selected frame. The memory I / F 42 reads the JPEG data of the designated frame from the compressed image area 32d through the memory control circuit 30, and records the read JPEG data on the recording medium 44 in a file format.

ＣＰＵ２６は、図１１〜図１６に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。   The CPU 26 executes a plurality of tasks including the imaging tasks shown in FIGS. 11 to 16 in parallel under the control of the multitask OS. Note that control programs corresponding to these tasks are stored in the flash memory 46.

図１１を参照して、ステップＳ１では動画取込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。   Referring to FIG. 11, in step S1, a moving image capturing process is executed. As a result, a through image representing a scene is displayed on the LCD monitor 38. In step S3, it is determined whether or not the shutter button 28sh is half-pressed. As long as the determination result is NO, the simple AE process is repeated in step S5. As a result, the brightness of the through image is roughly adjusted. When the determination result in step S3 is updated from NO to YES, the strict AE process is executed in step S7, and the AF process is executed in step S9. The brightness of the through image is strictly adjusted by the strict AE process, and the sharpness of the through image is improved by the AF process.

ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２３の処理を経てステップＳ３に戻る。   In step S11, it is determined whether or not the shutter button 28sh has been fully pressed. In step S13, it is determined whether or not the operation of the shutter button 28sh has been released. If “YES” in the step S113, the process returns to the step S3 as it is, and if “YES” in the step S11, the process returns to the step S3 through steps S15 to S23.

ステップＳ１５では、現時点の撮像モードが連写モードおよび単写モードのいずれであるかを判別する。現時点の撮像モードが単写モードであれば、ステップＳ１７で静止画取り込み処理を実行する。ステップＳ１９では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ２１では記録処理の実行をメモリＩ／Ｆ４２に命令する。一方、現時点の撮像モードが連写モードであれば、ステップＳ２３で連写＆記録処理を実行する。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ３に戻る。   In step S15, it is determined whether the current imaging mode is the continuous shooting mode or the single shooting mode. If the current imaging mode is the single shooting mode, a still image capturing process is executed in step S17. In step S19, the JPEG encoder 40 is instructed to execute compression processing, and in step S21, the memory I / F 42 is instructed to execute recording processing. On the other hand, if the current imaging mode is the continuous shooting mode, continuous shooting & recording processing is executed in step S23. When the process of step S21 or S23 is completed, the process returns to step S3.

ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア３２ｂから退避画像エリア３２ｃに退避される。また、ステップＳ１９の処理の結果、退避された画像データに基づくＪＰＥＧデータがＪＰＥＧエンコーダ４０によって作成される。さらに、ステップＳ２１の処理の結果、作成されたＪＰＥＧデータがファイル形式で記録媒体４４に記録する。   As a result of the still image capturing process in step S17, one frame of image data representing the scene at the time when the shutter button 28sh is fully pressed is saved from the YUV image area 32b to the save image area 32c. Further, as a result of the processing in step S19, JPEG data based on the saved image data is created by the JPEG encoder 40. Further, as a result of the processing in step S21, the created JPEG data is recorded on the recording medium 44 in a file format.

ステップＳ２３の連写＆記録処理は、図１２〜図１６に示すサブルーチンに従って実行される。   The continuous shooting and recording process in step S23 is executed according to the subroutine shown in FIGS.

まず、ステップＳ３１でフレーム番号に相当する変数Ｋを“１”に設定する。ステップＳ３３では、上述したステップＳ１７と同様の静止画取り込み処理を垂直同期信号Ｖｓｙｎｃの発生を待って実行する。ステップＳ３５では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ３７では変数Ｋをインクリメントする。ステップＳ３９ではインクリメントされた変数Ｋが“４”を上回るか否かを判別し、判別結果がＮＯであればステップＳ３３に戻る一方、判別結果がＹＥＳであればステップＳ４１以降の処理に進む。   First, in step S31, a variable K corresponding to the frame number is set to “1”. In step S33, the still image capturing process similar to that in step S17 described above is executed after the vertical synchronization signal Vsync is generated. In step S35, the JPEG encoder 40 is instructed to execute compression processing, and in step S37, the variable K is incremented. In step S39, it is determined whether or not the incremented variable K exceeds “4”. If the determination result is NO, the process returns to step S33, while if the determination result is YES, the process proceeds to step S41 and subsequent steps.

したがって、ステップＳ３３の静止画取込処理およびステップＳ３５のＪＰＥＧ圧縮処理は垂直同期信号Ｖｓｙｎｃに応答して合計４回実行され、連続する４フレームの画像データが退避画像エリア３２ｃに退避されるとともに、これに基づく４フレームのＪＰＥＧデータが圧縮画像エリア３２ｄに格納される。   Therefore, the still image capturing process in step S33 and the JPEG compression process in step S35 are executed a total of four times in response to the vertical synchronization signal Vsync, and continuous four frames of image data are saved in the save image area 32c. Based on this, four frames of JPEG data are stored in the compressed image area 32d.

ステップＳ４１では、ベストショットセレクト機能がオン状態であるか否かを判別する。判別結果がＮＯであればステップＳ４３に進み、圧縮画像エリア３２ｄに格納された４フレームの画像データに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、４フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４２に記録する。記録処理が完了すると、上階層のルーチンに復帰する。   In step S41, it is determined whether or not the best shot select function is on. If the determination result is NO, the process proceeds to step S43, and the memory I / F 42 is commanded to execute the recording process for the 4-frame image data stored in the compressed image area 32d. The memory I / F 42 reads four frames of JPEG data from the compressed image area 32d through the memory control circuit 30, and records the read JPEG data on the recording medium 42 in a file format. When the recording process is completed, the routine returns to the upper layer routine.

ステップＳ４１の判別結果がＹＥＳであれば、ステップＳ４５でフラグＦＬＧ＿１＿ｂｌｕｒ〜ＦＬＧ＿４＿ｂｌｕｒを“０”に設定し、ステップＳ４７でブレ判定処理を実行する。フラグＦＬＧ＿Ｋ＿ｂｌｕｒ（Ｋ：１〜４）は、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”を維持し、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に更新される。また、ＦＬＧ＿Ｋ＿ｂｌｕｒ＝０の画像データについては画像の安定度が算出され、算出された安定度は第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。   If the decision result in the step S41 is YES, the flags FLG_1_blur to FLG_4_blur are set to “0” in a step S45, and a blur decision process is executed in a step S47. The flag FLG_K_blur (K: 1 to 4) maintains “0” when the blurring degree of the image data of the Kth frame falls within the allowable range, and “1” when the blurring degree of the image data of the Kth frame falls outside the allowable range. Is updated. For image data with FLG_K_blur = 0, the stability of the image is calculated, and the calculated stability is registered in the register RGST1 corresponding to the Kth frame.

ステップＳ４９では変数Ｋを“１”に設定し、ステップＳ５１ではフラグＦＬＧ＿Ｋ＿ｂｌｕｅが“１”を示すか否かを判別する。判別結果がＹＥＳであればステップＳ５３に進み、総合評価点“０”を第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。記述が完了すると、ステップＳ６７に進む。   In step S49, the variable K is set to “1”, and in step S51, it is determined whether or not the flag FLG_K_blue indicates “1”. If the determination result is YES, the process proceeds to step S53, and the comprehensive evaluation point “0” is described in the register RGST1 corresponding to the Kth frame. When the description is completed, the process proceeds to step S67.

これに対して、ステップＳ５１の判別結果がＮＯであれば、第Ｋフレームの画像データに対する顔検出処理をステップＳ５５で実行する。この結果、顔辞書ＤＣ＿Ｆに収められたいずれかの辞書画像と符合する顔画像が第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置がレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。   On the other hand, if the determination result of step S51 is NO, the face detection process for the image data of the Kth frame is executed in step S55. As a result, a face image that matches one of the dictionary images stored in the face dictionary DC_F is searched from the image data of the Kth frame. When one or more face images are found by the search process, the size and position of the face frame surrounding the found face image are registered in the register RGST2. The number of face images found is also registered in the register RGST2.

ステップＳ５７では、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であるか否かを判別する。判別結果がＮＯであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６５に進み、判別結果がＹＥＳであればステップＳ６３の処理を経てステップＳ６５に進む。   In step S57, it is determined whether or not the number of face images registered in the register RGST2 is “0”. If the determination result is NO, the process proceeds from step S59 to S61 through step S65, and if the determination result is YES, the process proceeds from step S63 to step S65.

ステップＳ５９では、レジスタＲＧＳＴ１に登録された顔枠に属する画像を参照して笑顔度を算出する。ステップＳ６１では、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目を検出し、検出した目の開度を算出する。発見された顔画像の数が“２”以上であれば、ステップＳ５９で算出される笑顔度は各顔画像の笑顔度の平均値に相当し、ステップＳ６１で算出される開度は各顔画像に表れた目の開度の平均値に相当する。ステップＳ６３では、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。   In step S59, the smile level is calculated with reference to images belonging to the face frame registered in the register RGST1. In step S61, eyes are detected on an image belonging to the face frame registered in the register RGST1, and the opening degree of the detected eyes is calculated. If the number of face images found is “2” or more, the smile level calculated in step S59 corresponds to the average smile level of each face image, and the degree of opening calculated in step S61 is the face image. It corresponds to the average value of the eye opening. In step S63, the smile level and the eye opening are set to “0”. The smile level and the eye opening obtained in this way are registered in the register RGST1 corresponding to the Kth frame.

ステップＳ６５では、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度を数３に適用して、総合評価点を算出する。算出された総合評価点もまた、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述される。記述が完了すると、ステップＳ６７に進む。   In step S65, the overall evaluation score is calculated by applying the stability, smile degree, and eye opening registered in the register RGST1 corresponding to the Kth frame to Equation 3. The calculated overall evaluation score is also described in the register RGST1 corresponding to the Kth frame. When the description is completed, the process proceeds to step S67.

ステップＳ６７では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ６９で変数ＫをインクリメントしてからステップＳ５１に戻る一方、判別結果がＹＥＳであればステップＳ７１に進む。ステップＳ７１では、レジスタＲＧＳＴ１に登録された４つの総合評価点の中から最高の総合評価点を検出し、検出された総合評価点に対応するフレームを選択する。   In step S67, it is determined whether or not the variable K has reached “4”. If the determination result is NO, the variable K is incremented in step S69 and the process returns to step S51. Proceed to S71. In step S71, the highest total evaluation score is detected from the four total evaluation scores registered in the register RGST1, and a frame corresponding to the detected total evaluation score is selected.

ステップＳ７３では、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。ステップＳ７３の処理が完了すると、上階層のルーチンに復帰する。   In step S73, the memory I / F 42 is commanded to record JPEG data corresponding to the selected frame. The memory I / F 42 reads the JPEG data of the designated frame from the compressed image area 32d through the memory control circuit 30, and records the read JPEG data on the recording medium 44 in a file format. When the process of step S73 is completed, the process returns to the upper layer routine.

図１２に示すステップＳ４７のブレ判定処理は、図１５〜図１６に示すサブルーチンに従って実行される。まず、ステップＳ８１で各フレームのＪＰＥＧデータのサイズ値を検出する。ステップＳ８３では、検出された４つのサイズ値の中から最大サイズ値を特定し、かつ特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データを基準画像データとして指定する。   The blur determination process in step S47 shown in FIG. 12 is executed according to a subroutine shown in FIGS. First, in step S81, the size value of JPEG data of each frame is detected. In step S83, the maximum size value is specified from the four detected size values, and uncompressed image data corresponding to the JPEG data having the specified size value is designated as the reference image data.

ステップＳ８５では指定された基準画像データのフレーム番号を変数Ｒに設定し、ステップＳ８７ではフラグＦＬＧ＿Ｒ＿ｂｌｕｒを“０”に設定し、そしてステップＳ８９では基準画像データの安定度を“１００”に設定する。安定度“１００”は、第Ｒフレームに対応してレジスタＲＧＳＴ１に登録される。ステップＳ９１では、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データを基準画像データに基づいて作成する。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。   In step S85, the frame number of the designated reference image data is set to the variable R, in step S87, the flag FLG_R_blur is set to “0”, and in step S89, the stability of the reference image data is set to “100”. The degree of stability “100” is registered in the register RGST1 corresponding to the Rth frame. In step S91, blur image data having a reference blur degree (= maximum allowable blur degree) is created based on the reference image data. The created blurred image data is stored in the saved image area 32 c of the SDRAM 32.

ステップＳ９３では、作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。ステップＳ９５では、ステップＳ９３で作成されたＪＰＥＧデータのサイズ値を基準値ＢＬＵＲｓｚに設定する。   In step S93, the JPEG encoder 40 is instructed to execute compression processing on the created blurred image data. The JPEG encoder 40 reads the blurred image data from the saved image area 32 c through the memory control circuit 30, compresses the read blurred image data by the JPEG method, and compresses the compressed image data, that is, JPEG data through the memory control circuit 30. Write to area 32d. In step S95, the size value of the JPEG data created in step S93 is set as the reference value BLURsz.

ステップＳ９７では変数Ｋを“１”に設定し、ステップＳ９９では変数Ｋが変数Ｒと一致するか否かを判別する。判別結果がＹＥＳであればそのままステップＳ１０９に進み、判別結果がＮＯであればステップＳ１０１〜Ｓ１０７の処理を経てステップＳ１０９に進む。   In step S97, the variable K is set to “1”, and in step S99, it is determined whether or not the variable K matches the variable R. If a determination result is YES, it will progress to step S109 as it is, and if a determination result is NO, it will progress to step S109 through the process of steps S101-S107.

ステップＳ１０１では第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚを下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１０７でフラグＦＬＧ＿Ｋ＿ｂｌｕｒを“１”に設定する。判別結果がＹＥＳであれば、ステップＳ１０３で第Ｋフレームの画像データのブレ度を算出し、ステップＳ１０５で第Ｋフレームの画像データの安定度を算出する。ブレ度は数１に従って算出され、安定度は数２に従って算出される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。   In step S101, it is determined whether or not the size value of the JPEG data of the Kth frame is below the reference value BLURsz. If the determination result is NO, the flag FLG_K_blur is set to “1” in a step S107. If the determination result is YES, the blurring degree of the image data of the Kth frame is calculated in step S103, and the stability of the image data of the Kth frame is calculated in step S105. The degree of blur is calculated according to Equation 1, and the stability is calculated according to Equation 2. The stability calculated according to Equation 2 is registered in the register RGST1 corresponding to the Kth frame.

ステップＳ１０９では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ１１１で変数ＫをインクリメントしてからステップＳ９９に戻る一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。   In step S109, it is determined whether or not the variable K has reached “4”. If the determination result is NO, the variable K is incremented in step S111 and then the process returns to step S99. Return to the hierarchy routine.

以上の説明から分かるように、連写モードの下でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、共通の被写体を捉えた連続４フレームの画像データをＳＤＲＡＭ３２の退避画像エリア３２ｃに取り込む(S31~S33, S37~S39)。取り込まれた各フレームの画像データは、ＪＰＥＧエンコーダ４０によって圧縮処理を施される。ＣＰＵ２６は、各フレームのＪＰＥＧデータのサイズ値を高周波画像成分の量に相関するパラメータ値として検出し(S81)、こうして検出された４つのサイズ値の中から最大サイズ値を選択し(S83)、そして選択された最大サイズ値と残りの３つのサイズ値の各々との差分を正規化する(S91~S99, S103, S109~S111)。   As can be seen from the above description, when the shutter button 28sh is fully pressed under the continuous shooting mode, the CPU 26 captures continuous four frames of image data capturing a common subject into the saved image area 32c of the SDRAM 32 (S31). ~ S33, S37 ~ S39). The captured image data of each frame is subjected to compression processing by the JPEG encoder 40. The CPU 26 detects the size value of the JPEG data of each frame as a parameter value correlating with the amount of the high frequency image component (S81), and selects the maximum size value from the four size values thus detected (S83), Then, the difference between the selected maximum size value and each of the remaining three size values is normalized (S91 to S99, S103, S109 to S111).

ＪＰＥＧデータのサイズ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応するＪＰＥＧデータのサイズ値を正規化することで排除される。   The size value of the JPEG data varies due to the attribute of the subject, and also varies due to blurring of the imaging surface at the time of image acquisition. However, fluctuations caused by subject attributes are eliminated by acquiring a plurality of images capturing a common subject and normalizing the size value of JPEG data corresponding to each image.

これを踏まえて、この実施例では、共通の被写体を表す４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が選択され、選択された最大サイズ値と残りの３つのサイズ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。   Based on this, in this embodiment, the maximum size value is selected from four size values respectively corresponding to four frames of JPEG data representing a common subject, and the selected maximum size value and the remaining three sizes are selected. The difference with each of the values is normalized. This improves the blur detection performance of a plurality of images capturing a common subject.

なお、この実施例では、総合評価点が最高のフレームのＪＰＥＧデータを記録するようにしているが（図１４のステップＳ７１〜Ｓ７３参照）、総合評価点が基準点を上回る限り、２以上のフレームのＪＰＥＧデータを記録するようにしてもよい。   In this embodiment, JPEG data of the frame having the highest overall evaluation score is recorded (see steps S71 to S73 in FIG. 14). However, as long as the overall evaluation score exceeds the reference score, two or more frames are recorded. The JPEG data may be recorded.

また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図１７に示すように通信Ｉ／Ｆ４８をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。   In this embodiment, the multitask OS and control programs corresponding to a plurality of tasks executed thereby are stored in the flash memory 46 in advance. However, as shown in FIG. 17, a communication I / F 48 is provided in the digital camera 10, and some control programs are prepared as internal control programs in the flash memory 46 from the beginning, while some other control programs are prepared as external control programs. May be acquired from an external server. In this case, the above-described operation is realized by cooperation of the internal control program and the external control program.

また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。   In this embodiment, the process executed by the CPU 26 is divided into a plurality of tasks as described above. However, each task may be further divided into a plurality of small tasks, and a part of the divided plurality of small tasks may be integrated with other tasks. Further, when each task is divided into a plurality of small tasks, all or part of the tasks may be acquired from an external server.

１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４０ …ＪＰＥＧエンコーダ
４６ …フラッシュメモリ DESCRIPTION OF SYMBOLS 10 ... Digital camera 16 ... Imager 22 ... AE evaluation circuit 24 ... AF evaluation circuit 26 ... CPU
32 ... SDRAM
40: JPEG encoder 46: Flash memory

Claims (10)

共通の被写体を捉えた画像を繰り返し取得する取得手段、
高周波画像成分の量に相関するパラメータ値を前記取得手段によって取得された複数の画像の各々に対応して検出する検出手段、
前記検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段、および
前記選択手段によって選択されたパラメータ値と前記選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段を備える、画像処理装置。 Acquisition means for repeatedly acquiring images capturing a common subject;
Detecting means for detecting a parameter value correlated with the amount of the high-frequency image component corresponding to each of the plurality of images acquired by the acquiring means;
A selection means for selecting any one of a plurality of parameter values detected by the detection means; and a parameter value selected by the selection means and one or more parameter values remaining after selection by the selection means An image processing apparatus comprising normalizing means for normalizing a difference from each. 前記選択手段によって選択されるパラメータ値は前記高周波画像成分の量が最大の画像に対応する、請求項１記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the parameter value selected by the selection unit corresponds to an image having a maximum amount of the high-frequency image component. 前記正規化手段は、前記選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段、前記作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段、および前記基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段を含む、請求項１または２記載の画像処理装置。   The normalizing means creates a reference blurred image having a reference blur amount based on an image corresponding to the parameter value selected by the selecting means, and a high-frequency image component of the reference blurred image created by the creating means A reference parameter value detecting means for detecting a parameter value correlated with the reference parameter value, and a normalization processing means for executing a normalization process with reference to the reference parameter value detected by the reference parameter value detecting means. Item 3. The image processing apparatus according to Item 1 or 2. 前記取得手段によって取得された複数の画像を個別に符号化する符号化手段をさらに備え、
前記検出手段によって検出されるパラメータ値は前記符号化手段によって符号化された画像のサイズに相当する、請求項１ないし３のいずれかに記載の画像処理装置。 An encoding unit that individually encodes the plurality of images acquired by the acquiring unit;
4. The image processing apparatus according to claim 1, wherein the parameter value detected by the detection unit corresponds to a size of an image encoded by the encoding unit. 前記取得手段によって取得された複数の画像の一部を前記正規化手段によって算出された正規化差分に基づいて抽出する抽出手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。   5. The image processing apparatus according to claim 1, further comprising an extracting unit that extracts a part of the plurality of images acquired by the acquiring unit based on a normalized difference calculated by the normalizing unit. . 前記抽出手段は、前記取得手段によって取得された画像から特定物体像を探索する探索手段、前記探索手段の探索結果と前記正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段、および前記演算手段の演算結果を参照して抽出処理を実行する抽出処理手段を含む、請求項５記載の画像処理装置。   The extraction unit searches for a specific object image from the image acquired by the acquisition unit, and executes a predetermined calculation process based on a search result of the search unit and a normalized difference calculated by the normalization unit. The image processing apparatus according to claim 5, further comprising: an arithmetic processing unit that performs an extraction process with reference to a calculation result of the arithmetic unit. 画像処理装置のプロセッサに、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを実行させるための、画像処理プログラム。 In the processor of the image processing device,
An acquisition step of repeatedly acquiring images capturing a common subject;
A detecting step for detecting a parameter value correlated with the amount of the high-frequency image component corresponding to each of the plurality of images acquired by the acquiring step;
A selection step of selecting any one of a plurality of parameter values detected by the detection step, and a parameter value selected by the selection step and one or more parameter values remaining after selection of the selection step An image processing program for executing a normalization step for normalizing a difference from each. 画像処理装置によって実行される画像処理方法であって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを備える、画像処理方法。 An image processing method executed by an image processing apparatus,
An acquisition step of repeatedly acquiring images capturing a common subject;
A detecting step for detecting a parameter value correlated with the amount of the high-frequency image component corresponding to each of the plurality of images acquired by the acquiring step;
A selection step of selecting any one of a plurality of parameter values detected by the detection step, and a parameter value selected by the selection step and one or more parameter values remaining after selection of the selection step An image processing method comprising a normalization step of normalizing a difference from each. メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。 An external control program supplied to an image processing apparatus including a processor that executes processing according to an internal control program stored in a memory,
An acquisition step of repeatedly acquiring images capturing a common subject;
A detecting step for detecting a parameter value correlated with the amount of the high-frequency image component corresponding to each of the plurality of images acquired by the acquiring step;
A selection step of selecting any one of a plurality of parameter values detected by the detection step, and a parameter value selected by the selection step and one or more parameter values remaining after selection of the selection step An external control program for causing the processor to execute a normalizing step for normalizing a difference from each in cooperation with the internal control program. 外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。 An image processing apparatus comprising: a capturing unit that captures an external control program; and a processor that executes processing according to the external control program captured by the capturing unit and an internal control program stored in a memory,
The external control program is
An acquisition step of repeatedly acquiring images capturing a common subject;
A detecting step for detecting a parameter value correlated with the amount of the high-frequency image component corresponding to each of the plurality of images acquired by the acquiring step;
A selection step of selecting any one of a plurality of parameter values detected by the detection step, and a parameter value selected by the selection step and one or more parameter values remaining after selection of the selection step An image processing apparatus corresponding to a program that executes a normalizing step for normalizing a difference from each of the two in cooperation with the internal control program.

Images