JP2010187250A - Image correction device, image correction program, and image capturing apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image correction device, an image correction program and an image capturing apparatus, which enable a user to check images on a viewer display without feeling waiting by indicating a reference image and a partly produced composite image on a viewer in sequence without waiting for the production of a final composite image. <P>SOLUTION: The image correction device includes: image buffers which receive image data of continuously captured multiple images and record them; a reference image specifying section which specifies reference image data to be used as reference on the basis of previously recorded conditions from multiple pieces of image data recorded in the image buffers; a composite image generating section which generats composite image data by correcting the reference image data by using image data recorded in the different image buffers; and a display selection section which outputs the reference image data to the display before the completion of correction and outputs the corrected composite image data to the display in place of the reference image data after the completion of correction. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮影した複数の画像を用いて基準となる画像を補正して表示する技術に関する。   The present invention relates to a technique for correcting and displaying a reference image using a plurality of captured images.

従来、ディジタルカメラで撮影した画像の手ぶれ補正技術として、短時間露光で画像を連続して撮影（連写）して、連写画像間で画像の位置合わせを行い、位置合わせ後の画像間で被写体動き領域が多重化しないように合成する技術がある。このような画像処理を行うことにより、ノイズ感が少なく、手ぶれの小さい画像を取得できるが、画像補正処理に時間がかかる。   Conventionally, as an image stabilization technique for images taken with a digital camera, images are continuously shot (continuous shooting) with short exposure, and the images are aligned between consecutive shots. There is a technique for synthesizing so that subject movement areas are not multiplexed. By performing such image processing, it is possible to obtain an image with less noise and less camera shake, but the image correction processing takes time.

そのため、通常ディジタルカメラに具備された小型の表示用モニタ（ビューア）に、撮影直後の補正後の画像を表示するには、数秒から数十秒かかり、利用者は、ビューアに表示された画像の確認に、数秒から数十秒またなければならないという問題がある。   Therefore, it usually takes several seconds to several tens of seconds to display a corrected image immediately after shooting on a small display monitor (viewer) provided in a digital camera. There is a problem that confirmation must take several seconds to several tens of seconds.

これに対して特許文献１では、異なる画像処理方法で表示用画像合成と印刷用画像合成を行い、異なる解像度の画像で、表示用画像合成と印刷用画像合成を行うことにより、表示用画像生成の処理時間を短縮する提案がされている。ディジタルカメラによる撮像映像と合成用画像（合成映像として表示して使用者に目視確認させるための確認用画像）とを合成して合成映像を生成する第１合成手段が設けられている。また、第１合成画像をリアルタイム表示して被写体に合成映像の目視確認を可能とするモニタと、シャッタにより固定された静止画と合成用画像とを合成して合成画像を生成する第２合成手段が備えられている。そして、上記第２合成手段で生成された合成画像を印刷して写真プリントとして提供するプリンタが提案されている。なお、合成用画像は、シャッタ手段で固定された静止画と合成して印刷するための印刷用画像である。   On the other hand, in Patent Document 1, display image synthesis and print image synthesis are performed using different image processing methods, and display image synthesis and print image synthesis are performed using images of different resolutions, thereby generating a display image. There are proposals to shorten the processing time. First synthesis means is provided for synthesizing an image captured by the digital camera and an image for synthesis (a confirmation image for displaying as a synthesized video and allowing the user to visually confirm) to generate a synthesized video. Also, a monitor that allows the first composite image to be displayed in real time and allows visual confirmation of the composite video on the subject, and a second composite unit that generates a composite image by combining the still image fixed by the shutter and the composite image. Is provided. There has been proposed a printer that prints the composite image generated by the second combining means and provides it as a photographic print. Note that the composition image is a print image for composition and printing with the still image fixed by the shutter unit.

また、特許文献２によれば、連写画像を合成して手ぶれ補正する際の、合成完了前の画像確認を容易にし、撮影後、合成完了前に、連写画像のうちの１枚の画像を、合成枚数に応じてゲインアップしたものを確認用画像として出力する提案がされている。   Further, according to Patent Document 2, it is easy to check an image before completion of composition when combining continuous images and correcting camera shake, and after shooting and before completion of composition, one image of the continuous images Has been proposed to output an image obtained by increasing the gain according to the number of synthesized images as a confirmation image.

しかしながら、上記特許文献１、２のような連写画像撮影中に被写体が動いた場合には、合成の際に被写***置を合わせる必要があり、そのような位置あわせを行った後の画像は、連写した画像の任意の１枚と異なる絵柄となる。そのため、確認用画像と、合成後画像（＝保存用画像）の絵柄が異なる場合が発生するという問題がある。   However, when the subject moves during continuous-shot image shooting as in Patent Documents 1 and 2, it is necessary to align the subject position at the time of composition, and the image after performing such alignment is The picture is different from any one of the continuously shot images. Therefore, there is a problem that the case where the pattern of the confirmation image and the image after synthesis (= storage image) are different may occur.

特許３４９９８６２号公報Japanese Patent No. 3499862 特開２００６−５４６９８号公報JP 2006-54698 A

上記のような実情に鑑みてなされたものであり、最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることができる画像補正装置、画像補正プログラムおよび画像撮影装置を提供することを目的とする。   In view of the above situation, the viewer display without waiting for the user by displaying the reference image and the intermediate composite image on the viewer without waiting for the final composite image generation. An object of the present invention is to provide an image correction apparatus, an image correction program, and an image photographing apparatus capable of confirming images.

態様のひとつである画像補正装置は、画像バッファ部、基準画像特定部、画像合成部、表示選択部を備えている。画像バッファ部は、連続撮影した複数の画像の画像データを受信して記録する。基準画像特定部は、画像バッファ部に記録した上記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する。画像合成部は、上記基準画像データと、異なる上記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する。表示選択部は、上記補正が終了する前に、上記基準画像データを表示部に出力し、上記補正が終了した後に、該基準画像データに代えて上記補正した合成画像データを表示部に出力する。   An image correction apparatus, which is one aspect, includes an image buffer unit, a reference image specifying unit, an image composition unit, and a display selection unit. The image buffer unit receives and records image data of a plurality of images taken continuously. The reference image specifying unit specifies reference image data to be used as a reference from the plurality of image data recorded in the image buffer unit based on pre-recorded conditions. The image composition unit generates composite image data corrected using the reference image data and image data recorded in a different image buffer unit. The display selection unit outputs the reference image data to the display unit before the correction is completed, and outputs the corrected composite image data to the display unit instead of the reference image data after the correction is completed. .

また、画像補正装置にさらに、ノイズ除去強度設定部、ノイズ除去部を備え、ノイズ除去強度設定部は、上記画像バッファ部に記録されている画像データに基づいて、上記基準データまたは上記補正した合成画像データのノイズ除去強度を変化させる条件を記録する。ノイズ除去部は、上記表示選択部の後段に、上記条件により上記基準画像データと上記補正した合成画像データのノイズ除去強度を変化させる。   The image correction apparatus further includes a noise removal intensity setting unit and a noise removal unit, and the noise removal intensity setting unit is configured to perform the reference data or the corrected composite based on the image data recorded in the image buffer unit. Records conditions for changing the noise removal strength of image data. The noise removal unit changes the noise removal strength of the reference image data and the corrected composite image data according to the above condition after the display selection unit.

この構成により、最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることが可能となる。さらに、画像合成枚数に応じてノイズ除去強度を変えることで、基準画像、途中合成画像、最終画像それぞれのノイズ感の差を低減することができる。また、途中画像であっても、ノイズ感が異なることによる違和感を、利用者に感じさせない。   With this configuration, it is possible to check the viewer display image without waiting for the user by displaying the reference image and the intermediate composite image on the viewer without waiting for the final composite image generation. Become. Furthermore, by changing the noise removal strength in accordance with the number of images to be combined, it is possible to reduce the difference in noise feeling between the reference image, the intermediate combined image, and the final image. Moreover, even if it is an intermediate image, the user does not feel a sense of incongruity due to the difference in noise.

最終的な合成画像生成を待たずに、基準画像、途中合成画像をビューアに表示することで、利用者に待ちを感じさせることなくビューア表示画像での確認をさせることができる。   By displaying the reference image and the intermediate composite image on the viewer without waiting for the final composite image generation, the viewer display image can be confirmed without making the user feel awaited.

実施例１の構成を示すブロック図である。1 is a block diagram illustrating a configuration of Example 1. FIG. 画像バッファ部が３つのバッファを備え、連写した画像を３枚記録できる場合の画像補正方法を示す図である。It is a figure which shows the image correction method in case an image buffer part is provided with three buffers and can record three continuous shot images. 実施例１の動作を示すフロー図を示す。FIG. 3 is a flowchart showing the operation of the first embodiment. 基準画像を選択する動作を示すフロー図を示す。Ａはシャッタを押下した時刻に最も近い画像を選択する場合のフロー図である。Ｂはエッジ強度が最も高い画像を選択する場合のフロー図である。Ｃはエッジ強度により選択された画像のなかでシャッタを押下した時刻に最も近い画像を選択する場合のフロー図である。The flowchart which shows the operation | movement which selects a reference | standard image is shown. A is a flowchart for selecting an image closest to the time when the shutter is pressed. B is a flowchart for selecting an image having the highest edge strength. C is a flowchart in the case of selecting an image closest to the time when the shutter is pressed among the images selected based on the edge strength. ３枚の連写画像を取得する場合であり、３枚の連写した各画像に合成重み係数を設定するテーブルを示す図である。It is a case where three continuous shot images are acquired, and is a diagram showing a table for setting a composite weighting factor for each of the three continuous shot images. 実施例２の構成を示すブロック図である。6 is a block diagram illustrating a configuration of Example 2. FIG. Ａは合成画像データの枚数に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。A is a graph showing conditions for changing the intensity of noise removal in accordance with the number of composite image data. B is a diagram showing a table corresponding to the graph of A. FIG. 実施例２の動作を示すフロー図である。FIG. 6 is a flowchart showing the operation of the second embodiment. Ａは画像データの縮小率に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。Ｃは画像データのビューア表示サイズに応じてノイズ除去の強度を変化させる条件を示すグラフである。ＤはＣのグラフに対応するテーブルを示す図である。A is a graph showing conditions for changing the noise removal strength in accordance with the reduction rate of the image data. B is a diagram showing a table corresponding to the graph of A. FIG. C is a graph showing conditions for changing the intensity of noise removal according to the viewer display size of image data. D is a diagram showing a table corresponding to the graph of C. FIG. Ａは画像データのゲイン値に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。A is a graph showing conditions for changing the intensity of noise removal according to the gain value of image data. B is a diagram showing a table corresponding to the graph of A. FIG. Ａは画像データのエッジ量に応じてノイズ除去の強度を変化させる条件を示すグラフである。ＢはＡのグラフに対応するテーブルを示す図である。Ｃはソベルフィルタを示す図である。A is a graph showing conditions for changing the noise removal intensity in accordance with the edge amount of the image data. B is a diagram showing a table corresponding to the graph of A. FIG. C is a diagram showing a Sobel filter. 実施例３の動作を示すフロー図を示す。FIG. 9 is a flowchart showing the operation of the third embodiment. 実施例４のビューアに途中画像であることを示す表示を示した図である。It is the figure which showed the display which shows that it is a halfway image on the viewer of Example 4. FIG. コンピュータプログラムとして実現する場合の構成を示す図である。It is a figure which shows the structure in the case of implement | achieving as a computer program.

以下図面に基づいて、本発明の実施形態について詳細を説明する。
（実施例１）
図１に実施例１の画像補正装置の構成を示す。実施形態の画像補正装置は、特に限定されるものではないが、例えば、電子カメラにより得られた画像を補正する。また、画像補正装置は、基本的に、手ぶれを補正するものとする。手ぶれは、例えば、画像の撮影時に撮影装置が動くことによって発生する。画像撮影装置は、画像撮影部１、画像補正装置、表示装置７（表示部）を備え、画像補正装置は、画像バッファ部２（２−１、２−２、２−３・・・２−ｎ）、基準画像特定部３、画像合成部４、合成画像保持部５、表示選択部６を備えている。なお、画像補正装置の機能は、ハードウェアだけでなく、ＣＰＵやプログラマブルなデバイスによって実現してもよい。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Example 1
FIG. 1 shows the configuration of the image correction apparatus according to the first embodiment. The image correction apparatus according to the embodiment is not particularly limited, and for example, corrects an image obtained by an electronic camera. The image correction apparatus basically corrects camera shake. Camera shake occurs, for example, when the photographing apparatus moves during photographing of an image. The image photographing device includes an image photographing unit 1, an image correcting device, and a display device 7 (display unit), and the image correcting device is an image buffer unit 2 (2-1, 2-2, 2-3... 2- n) a reference image specifying unit 3, an image composition unit 4, a composite image holding unit 5, and a display selection unit 6. Note that the function of the image correction apparatus may be realized not only by hardware but also by a CPU or a programmable device.

画像撮影部１は、短時間露光で光学系を介して撮像素子により画像を取得して、その画像のデータを記録するために記録部に転送する。また、画像撮影部１は、連続して画像を取得する連写撮影ができる。   The image capturing unit 1 acquires an image by an imaging device via an optical system with short-time exposure, and transfers the image data to a recording unit in order to record the image data. In addition, the image capturing unit 1 can perform continuous shooting that continuously acquires images.

ここで、静止画像での連写撮影は、１枚の画像を取得した後、続けて次の画像を取得することである。また、１枚の画像取得にかかる時間は、主に、露光時間と画像データ（ＲＧＢやＹＵＶ形式）として取得する転送時間である。露光時間は、撮像素子（例えば、画像センサ（ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor））が画像データを電子データとして蓄える時間である。転送時間は、画像センサが蓄えた電子データ（ベイヤデータ）をカメラの信号処理部（例えばＣＰＵやＤＳＰ（Digital Signal Processing））に転送して画像データとして取得する転送時間などである。露光時間と転送時間は、外部環境、センサ特性、カメラ設定などによって異なるため、連写画像間隔は一定ではない。例えば、以下の例が考えられる。（１）外部環境として、周囲の明るいと露光時間が短くなる。（２）センサ特性として、センサの種類（ＣＣＤ、ＣＭＯＳ）より転送時間が異なり、（３）画素数が多ければ転送時間が長くなる。（４）カメラ設定として、ＩＳＯ感度設定が高ければ露光時間は短くなる。（５）撮影モードとして、例えばスポーツモードでは露光時間は短くなる。   Here, continuous shooting with a still image is to acquire the next image after acquiring one image. The time taken to acquire one image is mainly an exposure time and a transfer time acquired as image data (RGB or YUV format). The exposure time is the time during which an image sensor (for example, an image sensor (CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor)) stores image data as electronic data, and the transfer time is the electronic data stored by the image sensor. (Bayer data) is transferred to a camera signal processing unit (for example, CPU or DSP (Digital Signal Processing)) and acquired as image data, etc. The exposure time and transfer time are the external environment, sensor characteristics, camera settings, etc. For example, the following examples are conceivable: (1) Exposure time is shortened when the surroundings are bright as the external environment, and (2) Sensor type as sensor characteristics. (3) Transfer time is longer when the number of pixels is larger (4) Camera settings: If the ISO sensitivity setting is high, the exposure time is shortened (5) As the shooting mode, for example, in the sports mode, the exposure time is shortened.

動画像の連写撮影では、カメラ性能、あるいはアプリケーションの要件でフレームレートとして画像撮影間隔を決定するのが一般的である。例えば、携帯電話でのＴＶ電話撮影ではフレームレートは１５ｆｐｓ（画像間隔は６６．６７ｍｓ）、ハイビジョンの動画撮影では６０ｆｐｓ（画像間隔は１６．６７ｍｓ）となる。   In continuous shooting of moving images, the image shooting interval is generally determined as a frame rate according to camera performance or application requirements. For example, the frame rate is 15 fps (image interval is 66.67 ms) for videophone shooting with a mobile phone, and 60 fps (image interval is 16.67 ms) for high-definition video shooting.

なお、連写画像は連続する時間軸の中で離散的に複数枚撮影した画像である。撮影間隔は一定でなくても良いが、画像間のずれが短い方が位置合わせの精度が高い、被写体ぶれが小さいなどの効果があるため連写間隔は短い方が望ましい。   The continuous shot image is an image obtained by discretely shooting a plurality of images on a continuous time axis. The shooting interval may not be constant, but the shorter the interval between images, the higher the accuracy of alignment and the smaller the subject blurring, and the shorter the continuous shooting interval is desirable.

次に、画像バッファ部２は、連続して撮影した複数の画像の画像データを画像撮影部１から受信して記録する。
基準画像特定部３は、画像バッファ部２に記録した複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する。基準画像の特定は、レリーズタイムラグを最も短くするために第１番目の画像を常に基準画像とするようにしてもよいし、例えば顔検出を行って目をつぶっていない画像など、撮影に成功した画像を判定し基準画像としてもよい。 Next, the image buffer unit 2 receives and records the image data of a plurality of images captured continuously from the image capturing unit 1.
The reference image specifying unit 3 specifies reference image data to be used as a reference from a plurality of image data recorded in the image buffer unit 2 based on pre-recorded conditions. For specifying the reference image, the first image may be used as the reference image at all times in order to minimize the release time lag. For example, an image in which the face is detected and the eyes are not closed is successfully captured. An image may be determined and used as a reference image.

画像合成部４は、最初に基準画像特定部３に記録されている基準画像データと画像バッファ部２に記録された画像データを用いて補正した合成画像データを生成する。その際、画像間のずれ量と被写体動きの有無を算出し、被写体動きがある領域は基準画像を採用し、被写体動きが無い領域は画像合成を行う。例えば、基準画像と画像バッファ部の画像の画素値を足して２で割る。このように処理することにより基準画像に近い図柄の合成画像を得ることができる。２回目以降の補正では、合成画像保持部５に保持された補正済みの合成画像データと画像バッファ部２に保持されたまだ使用されていない画像とを合成する。被写体動きのある領域は補正済み合成画像データを採用することで、補正済み画像の図柄は合成枚数に関わらず、基準画像に近い画像になる。   The image composition unit 4 first generates composite image data corrected using the reference image data recorded in the reference image specifying unit 3 and the image data recorded in the image buffer unit 2. At that time, a deviation amount between images and presence / absence of subject movement are calculated, a reference image is adopted for a region with subject motion, and image synthesis is performed for a region without subject motion. For example, the pixel value of the reference image and the image buffer unit image is added and divided by two. By processing in this way, a composite image having a pattern close to the reference image can be obtained. In the second and subsequent corrections, the corrected combined image data held in the combined image holding unit 5 and the image not yet used held in the image buffer unit 2 are combined. By adopting the corrected composite image data for the area where the subject moves, the pattern of the corrected image becomes an image close to the reference image regardless of the number of combined images.

合成画像保持部５は、画像合成部４で生成した合成画像データを記録する。
図２は、画像バッファ部２が３つのバッファを備え、連写した画像を３枚記録できる場合の画像補正方法を示す図である。まず、連写した画像Ａ、Ｂ、Ｃの中から画像Ｂを基準画像として基準画像特定部３により特定する。そして、画像Ｂを基準画像Ｂ以外の画像Ａにより画像合成部４で補正をして合成画像Ｄを生成して合成画像保持部５に記録する。次に、合成画像保持部５に記録した合成画像Ｄ（画像Ｂを画像Ａにより補正した画像）を画像Ｃにより補正して合成画像保持部５に記録する。 The composite image holding unit 5 records the composite image data generated by the image composition unit 4.
FIG. 2 is a diagram illustrating an image correction method in the case where the image buffer unit 2 includes three buffers and can record three continuous shot images. First, the reference image specifying unit 3 specifies the image B as a reference image from the continuously shot images A, B, and C. Then, the image B is corrected by the image composition unit 4 with the image A other than the reference image B, and a composite image D is generated and recorded in the composite image holding unit 5. Next, the composite image D (the image obtained by correcting the image B with the image A) recorded in the composite image holding unit 5 is corrected with the image C and recorded in the composite image holding unit 5.

表示選択部６は、補正が終了する前に、基準画像データを表示装置７に出力し、補正が終了した後に、該基準画像データに代えて補正した合成画像データを表示装置７に出力する。   The display selection unit 6 outputs the reference image data to the display device 7 before the correction is completed, and outputs the corrected composite image data to the display device 7 instead of the reference image data after the correction is completed.

また、表示選択部６は、撮影直後は基準画像データを選択し、その後、画像の補正が終了するごとに補正した合成画像データを順次選択して表示装置７に出力する。
表示装置７は、表示選択部６から出力された基準画像データまたは補正した合成画像データを表示する。例えば、表示装置７はディジタルカメラが具備するビューアである。 Further, the display selection unit 6 selects reference image data immediately after shooting, and then sequentially selects and outputs the corrected composite image data to the display device 7 every time image correction is completed.
The display device 7 displays the reference image data output from the display selection unit 6 or the corrected composite image data. For example, the display device 7 is a viewer included in the digital camera.

（動作説明）
図３に実施例１の動作を示すフロー図を示す。
ステップＳ１では、基準画像特定部３が連写画像の中から基準画像を特定する。まず連写画像を撮影した後に基準画像を決定する。例えば、顔検出を行って目をつぶっていないか、視線がずれていないかなどの視線検出を行い、問題のない画像を選択しても良い。 (Description of operation)
FIG. 3 is a flowchart showing the operation of the first embodiment.
In step S1, the reference image specifying unit 3 specifies a reference image from the continuous shot images. First, after taking continuous shot images, a reference image is determined. For example, line-of-sight detection may be performed to detect whether the eyes are closed and whether the line-of-sight is shifted or not, and an image having no problem may be selected.

また、図４のＡに示すような方法により基準画像を選択してもよい。ステップＳ４１で撮影時刻（利用者がシャッタを押下した時刻）に最も近い画像を選択することにより、利用者が望んだ絵柄（シャッタを押したときの絵柄）を取得する。   Further, the reference image may be selected by a method as shown in FIG. In step S41, an image closest to the shooting time (the time when the user pressed the shutter) is selected, thereby obtaining the pattern desired by the user (the pattern when the shutter is pressed).

また、図４のＢに示すように、エッジ強度が最も高い画像を選択してもよい。ステップＳ４２では連写画像それぞれのエッジ強度を算出する。ここで、エッジ強度の算出は既存の技術を用いて算出する。ステップＳ４３ではエッジ強度の最も高い画像を選択する。このように、エッジ強度の最も強い画像を基準画像とすることにより、ぼけのないシャープな合成画像が得られる。なお、エッジ強度の算出方法については後述するソベルフィルタ（Sobel filter）、ラプラシアンフィルタなどを用いることができる。   Further, as shown in FIG. 4B, an image having the highest edge strength may be selected. In step S42, the edge strength of each continuous shot image is calculated. Here, the edge strength is calculated using an existing technique. In step S43, an image having the highest edge strength is selected. As described above, by using the image having the strongest edge strength as the reference image, a sharp composite image without blur can be obtained. As a method for calculating the edge strength, a Sobel filter (Label filter), a Laplacian filter, etc., which will be described later, can be used.

また、図４のＣに示すように基準画像を選択してもよい。ステップＳ４４ではステップＳ４２と同様、連写画像それぞれのエッジ強度を算出する。ステップＳ４５では、算出したエッジ強度と予め記録部に記録した閾値とを比較して、閾値未満の画像を除外する。ステップＳ４６では、残った画像のうち最も撮影時刻に近い画像を選択する。このように基
準画像を選択することにより、ぼけが無く、かつ利用者が望んだ絵柄に最も近い画像を得ることができる。 Further, a reference image may be selected as shown in FIG. In step S44, as in step S42, the edge strength of each continuous shot image is calculated. In step S45, the calculated edge strength is compared with the threshold value recorded in advance in the recording unit, and images less than the threshold value are excluded. In step S46, an image closest to the shooting time is selected from the remaining images. By selecting the reference image in this way, it is possible to obtain an image that is not blurred and that is closest to the pattern desired by the user.

ステップＳ２では、基準画像を表示装置７（例えば、ビューア）に表示する。表示選択部６は、基準画像特定部３から基準画像を取得して表示装置７に転送し、表示装置７に基準画像を表示する。   In step S2, the reference image is displayed on the display device 7 (for example, a viewer). The display selection unit 6 acquires the reference image from the reference image specifying unit 3, transfers it to the display device 7, and displays the reference image on the display device 7.

ステップＳ３では、画像合成部４が画像バッファ部２に格納した各画像の特徴点を検出して、画像の位置合わせをし、その後ずれ量を算出する。ここで、特徴点を検出は、例えば、それぞれの画像データ内の濃淡変化の境界であるエッジ（輪郭）を検出するとともに、そのエッジ部分から、高輝度点、端点、頂点、分岐点、交差点といった特徴的に見分け易い部分のみを特徴点として抽出する。図２を用いて、３枚の連写画像を取得した場合で、画像バッファ２−２に記録されている画像が基準画像であるときについて説明する。まず、基準画像と画像バッファ２−１に記録された１枚目画像の特徴点を検出し位置合わせを行う。次に、基準画像と１枚目画像の同一領域（画素単位または、複数の画素からなる画素ブロック単位）のずれ量を算出する。例えば、位置合わせをして単純に合成して多重化された合成画像を生成し、同一位置の画素値の差分を算出する。   In step S3, the image composition unit 4 detects the feature points of each image stored in the image buffer unit 2, aligns the images, and then calculates a shift amount. Here, the feature points are detected, for example, by detecting an edge (contour) that is a boundary of light and shade change in each image data, and from the edge portion, a high luminance point, an end point, a vertex, a branch point, an intersection, etc. Only features that are easily distinguishable are extracted as feature points. The case where three continuous shot images are acquired and the image recorded in the image buffer 2-2 is a reference image will be described with reference to FIG. First, the feature points of the reference image and the first image recorded in the image buffer 2-1 are detected and aligned. Next, a shift amount of the same area (pixel unit or pixel block unit including a plurality of pixels) of the reference image and the first image is calculated. For example, a combined image that is simply combined and multiplexed is generated, and a difference between pixel values at the same position is calculated.

ステップＳ４では、画像合成部４が被写体動きを検出する。例えば、ステップＳ３で算出した画素値の差分が予め記録部に設定した閾値以上の部分を動き領域として検出する。
ステップＳ５では、画像合成部４が基準画像の補正を行う。画像合成部４は、各画像間で被写体動きが生じる場合、ただ単に合成をすると被写体動きがある領域が多重化してしまうため、被写体動きがある領域は画像合成を行わずに、基準画像のみの被写体動きがある領域を採用する。また、基準画像と基準画像以外の画像の被写体動きがない領域は被写体動きがない領域を合成する。図２の例であれば、基準画像（基準画像特定部３：画像バッファ２−２と同じ）と１枚目画像（画像バッファ２−１）の被写体動きがない領域（車以外の背景）を合成する。 In step S4, the image composition unit 4 detects subject movement. For example, a portion where the difference between the pixel values calculated in step S3 is equal to or greater than a threshold value set in advance in the recording unit is detected as a motion region.
In step S5, the image composition unit 4 corrects the reference image. When subject motion occurs between the images, the image composition unit 4 simply synthesizes the regions where the subject motion exists, so that the region where the subject motion occurs is not composed of the reference image without performing image synthesis. Use an area with subject movement. In addition, an area where there is no subject movement in the reference image and an image other than the reference image is combined with an area where there is no subject movement. In the example of FIG. 2, the reference image (reference image specifying unit 3: the same as the image buffer 2-2) and the first image (image buffer 2-1) where there is no subject movement (background other than the car). Synthesize.

例えば、図５に示すように３枚の連写画像を取得する場合、３枚連写した各画像の被写体動きがある領域、被写体動きがない領域にそれぞれに合成重み係数を設定して記録する。図５の場合であれば、１枚目の重み＝ｊ、２枚目の重み＝ｋ、３枚目の重み＝ｌとする（ｊ：ｋ：ｌ）。基準画像が１枚目であれば、図５の「基準画像」に関連する「被写体動きがある領域」「被写体動きがない領域」に、それぞれ「３：０：０」「１：１：１」を取得してこの係数に従い画像を合成する。つまり、基準画像が１枚目であれば、被写体動きがある領域についてはｊ＝３、ｋ＝０、ｌ＝０であるので１枚目の被写体動きがある領域（図２の車）のみ使用する。被写体動きがない領域についてはｊ＝１、ｋ＝１、ｌ＝１であるので３枚目の被写体動きがない領域（図２Ａ、Ｂ、Ｃの車以外の背景）を合成する。   For example, as shown in FIG. 5, when three continuous shot images are acquired, a composite weighting factor is set and recorded in each of the three continuous shot images in an area where subject motion is present and an area where no subject motion is present. . In the case of FIG. 5, the first sheet weight = j, the second sheet weight = k, and the third sheet weight = l (j: k: l). If the reference image is the first image, “3: 0: 0” and “1: 1: 1” are respectively displayed in the “region with subject movement” and the “region without subject movement” related to the “reference image” in FIG. ”And an image is synthesized according to this coefficient. That is, if the reference image is the first image, the region with subject movement is j = 3, k = 0, and l = 0, so only the region with the first subject motion (the car in FIG. 2) is used. To do. Since j = 1, k = 1, and l = 1 for the area where there is no subject movement, the third area where there is no subject movement (the background other than the car in FIGS. 2A, 2B, and 2C) is synthesized.

基準画像の補正は、各画像の画素ごとに次式を用いて合成処理を実施する。合成結果＝（１枚目の画素値×ｊ＋２枚目の画素値×ｋ＋３枚目の画素値×ｌ）／（ｊ＋ｋ＋ｌ）
このように、補正を行うことで、多重化の無い合成画像を得ることができる。また、合成後画像の図柄は基準画像に近いものになる。ただし、基準画像は短時間露光画像であり、合成後画像は複数画像を合成した画像であるので、ノイズ感は異なる。つまり、基準画像の方が合成画像よりもノイズ感が大きくなる。 For the correction of the reference image, a synthesis process is performed using the following equation for each pixel of each image. Composite result = (first pixel value × j + second pixel value × k + third pixel value × l) / (j + k + l)
In this way, a composite image without multiplexing can be obtained by performing correction. Further, the pattern of the synthesized image is close to the reference image. However, since the reference image is a short-time exposure image and the combined image is an image obtained by combining a plurality of images, the noise feeling is different. That is, the reference image is more noisy than the synthesized image.

ステップＳ６では、合成画像保持部５から合成画像を取得して表示装置７に表示する。図２の例ではビューア上に表示されている基準画像と、２枚目の画像（基準画像）を１枚目の画像を用いて補正した後の合成画像に切り替えてビューアに表示する。ただし、ノイズ感は異なるが、基準画像に近い図柄を得ることができる。   In step S <b> 6, a composite image is acquired from the composite image holding unit 5 and displayed on the display device 7. In the example of FIG. 2, the reference image displayed on the viewer and the second image (reference image) are switched to a composite image after correction using the first image and displayed on the viewer. However, although the noise feeling is different, a pattern close to the reference image can be obtained.

ステップＳ７では、ステップＳ３と同じように基準画像と基準画像以外の画像のずれ量を算出する。図２に示した例の場合であれば、基準画像（基準画像特定部３：画像バッファ２−２と同じ）と３枚目画像（画像バッファ２−３）のずれ量を算出する。   In step S7, as in step S3, the shift amount between the reference image and an image other than the reference image is calculated. In the case of the example shown in FIG. 2, the shift amount between the reference image (reference image specifying unit 3: the same as the image buffer 2-2) and the third image (image buffer 2-3) is calculated.

ステップＳ８では、ステップＳ４と同じように基準画像と基準画像以外の画像の被写体動きを検出する。図２に示した例の場合であれば、基準画像と３枚目画像（画像バッファ２−３）の被写体動きを検出する。   In step S8, the subject movement of the reference image and images other than the reference image is detected as in step S4. In the case of the example shown in FIG. 2, the movement of the subject in the reference image and the third image (image buffer 2-3) is detected.

ステップＳ９では、画像合成部４が合成画像保持部５に記録されている合成画像の補正を行う。画像合成部４は、ステップＳ８各画像間で被写体動きが生じる場合は、ただ単に合成をすると被写体動きがある領域が多重化してしまうため、被写体動きがある領域は画像合成を行わずに、合成画像保持部５に記録されている合成画像のみの被写体動きがある領域（基準画像と同じ）を採用する。また、合成画像と基準画像以外の画像の被写体動きがない領域は、被写体動きがない領域を合成する。図２の例であれば、１枚目と２枚目の合成画像と３枚目の画像（画像バッファ２−３）の被写体動きがない領域を合成する。このように、補正を行うことで、多重化の無い合成画像を得ることができる。また、合成後画像の図柄は基準画像に近いものになる。ただし、基準画像は短時間露光画像であり、合成後画像は複数画像を合成した画像であるので、ノイズ感は異なる。つまり、基準画像の方が合成画像よりもノイズ感が大きくなる。   In step S <b> 9, the image composition unit 4 corrects the composite image recorded in the composite image holding unit 5. In step S8, when subject movement occurs between the images, the image composition unit 4 simply synthesizes the regions where the subject motion occurs, so that the region where the subject motion exists is combined without performing image synthesis. An area (same as the reference image) in which subject movement of only the composite image recorded in the image holding unit 5 is employed is adopted. In addition, an area where there is no subject movement between the composite image and the image other than the reference image is combined with an area where there is no subject movement. In the example of FIG. 2, the areas of the first and second combined images and the third image (image buffer 2-3) where there is no subject movement are combined. In this way, a composite image without multiplexing can be obtained by performing correction. Further, the pattern of the synthesized image is close to the reference image. However, since the reference image is a short-time exposure image and the combined image is an image obtained by combining a plurality of images, the noise feeling is different. That is, the reference image is more noisy than the synthesized image.

ステップＳ１０では、合成画像保持部５から合成画像を取得して表示装置７に表示する。ビューア上に表示されている合成画像（１枚目＋２枚目）を、２枚目の画像（基準画像）を３枚目の画像（画像バッファ２−３の画像）に基づいて補正した後の合成画像に切り替えてビューアに表示する。ノイズ感は異なるが、基準画像に近い図柄を得ることができる。   In step S <b> 10, a composite image is acquired from the composite image holding unit 5 and displayed on the display device 7. After correcting the composite image (first image + second image) displayed on the viewer based on the second image (reference image) based on the third image (image in the image buffer 2-3) Switch to the composite image and display it in the viewer. Although the noise feeling is different, a pattern close to the reference image can be obtained.

上記動作については、３つの画像バッファ２（２−１、２−２、２−３）を備え、基準画像が画像バッファ２−２と同じ場合について説明した。
次に、基準画像が画像バッファ２−１（１枚目）や画像バッファ２−３（３枚目）に記録されている場合について説明する。 The above operation has been described for the case where the three image buffers 2 (2-1, 2-2, 2-3) are provided and the reference image is the same as the image buffer 2-2.
Next, a case where the reference image is recorded in the image buffer 2-1 (first sheet) or the image buffer 2-3 (third sheet) will be described.

基準画像が画像バッファ２−１に記録されている画像データと同じである場合、例えば、画像バッファ２−２の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて基準画像の補正を行い、合成画像（１枚目＋２枚目）を生成する。次に、現在表示されている基準画像と生成した合成画像を切り替えて表示する。さらに、画像バッファ２−３の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて合成画像（１枚目＋２枚目）の補正を行い、合成画像を生成する。次に、現在表示されている合成画像と生成した合成画像を切り替えて表示する。   When the reference image is the same as the image data recorded in the image buffer 2-1, for example, after calculating the shift amount between the image in the image buffer 2-2 and the reference image, subject movement detection is performed, and based on the detection result. The reference image is corrected to generate a composite image (first image + second image). Next, the reference image currently displayed and the generated composite image are switched and displayed. Further, after calculating the amount of deviation between the image in the image buffer 2-3 and the reference image, subject movement detection is performed, and the composite image (first image + second image) is corrected based on the detection result, thereby generating a composite image. . Next, the currently displayed composite image and the generated composite image are switched and displayed.

基準画像が画像バッファ２−３に記録されている画像データと同じである場合、例えば、画像バッファ２−１の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて基準画像の補正を行い、合成画像（１枚目＋３枚目）を生成する。次に、現在表示されている基準画像と生成した合成画像を切り替えて表示する。さらに、画像バッファ２−２の画像と基準画像のずれ量を算出後、被写体動き検出をし、検出結果に基づいて合成画像（１枚目＋３枚目）の補正を行い、合成画像を生成する。次に、現在表示されている合成画像と生成した合成画像を切り替えて表示する。   When the reference image is the same as the image data recorded in the image buffer 2-3, for example, after calculating the amount of deviation between the image in the image buffer 2-1 and the reference image, subject motion detection is performed, and based on the detection result The reference image is corrected to generate a composite image (first image + third image). Next, the reference image currently displayed and the generated composite image are switched and displayed. Further, after calculating the amount of deviation between the image in the image buffer 2-2 and the reference image, subject movement detection is performed, and the composite image (first image + third image) is corrected based on the detection result to generate a composite image. . Next, the currently displayed composite image and the generated composite image are switched and displayed.

また、ｎ個（ｎ：４以上）の画像バッファ２（２−１、２−２・・・２−ｎ）を備えている場合、基準画像を選択後、予め決められた順番で基準画像と該基準画像以外の各画像
とのずれ量を算出して被写体動き検出する。その後、各被写体動き検出の結果に基づいて基準画像または合成画像を補正して、順次、基準画像または合成画像の表示切り替えを実行する。 When n (n: 4 or more) image buffers 2 (2-1, 2-2,..., 2-n) are provided, the reference image is selected in a predetermined order after the reference image is selected. The amount of deviation from each image other than the reference image is calculated to detect subject motion. Thereafter, the reference image or the composite image is corrected based on the result of each subject motion detection, and the display switching of the reference image or the composite image is sequentially executed.

なお、表示切り替えは、合成画像を生成するごとに行ってもよいし、予め決められた間隔で最新の合成画像に切り替えてもよい。
上記構成により、利用者は撮影直後からビューア表示画像により、撮影画像の図柄を確認できる。また、ノイズ感が最終的な画像と異なるが、時間経過とともにノイズ感が少なくなるため、まず図柄を確認し、その後にノイズ感を評価できる。 The display switching may be performed every time the composite image is generated, or may be switched to the latest composite image at a predetermined interval.
With the configuration described above, the user can check the pattern of the captured image from the viewer display image immediately after shooting. In addition, although the noise sensation is different from the final image, the noise sensation decreases with the passage of time, so that the design can be confirmed first and then the noise sensation can be evaluated.

（実施例２）
基準画像と中間合成後画像（連写画像を全て合成する前の合成済み画像）と最終画像（全画像合成済みの画像）とでは、ノイズ感が異なる。ビューア表示画像に対してノイズ除去を実行し、画像合成枚数に応じて後述するノイズ除去の強度を変更することによって、利用者が感じる基準画像、中間合成画像、最終画像のノイズ感の差を低減することができる。 (Example 2)
The sense of noise differs between the reference image and the intermediate post-combination image (composited image before all the continuous images are combined) and the final image (all images combined). Reduce noise difference between the reference image, intermediate composite image, and final image that the user feels by performing noise removal on the viewer display image and changing the noise removal strength described later according to the number of images combined can do.

図６に実施例２の画像補正装置の構成を示す。画像撮影装置は、画像撮影部１、画像補正装置、表示装置７（表示部）を備え、画像補正装置は、画像バッファ２（２−１、２−２、２−３・・・２−ｎ）、基準画像特定部３、画像合成部４、合成画像保持部５、表示選択部６、ノイズ除去強度設定部８、ノイズ除去部９を備えている。なお、画像補正装置の機能は、ハードウェアだけでなく、ＣＰＵやプログラマブルなデバイスによって実現してもよい。   FIG. 6 shows the configuration of the image correction apparatus according to the second embodiment. The image photographing device includes an image photographing unit 1, an image correcting device, and a display device 7 (display unit), and the image correcting device is an image buffer 2 (2-1, 2-2, 2-3... 2-n. ), A reference image specifying unit 3, an image composition unit 4, a composite image holding unit 5, a display selection unit 6, a noise removal intensity setting unit 8, and a noise removal unit 9. Note that the function of the image correction apparatus may be realized not only by hardware but also by a CPU or a programmable device.

実施例２は、実施例１の画像補正装置に、さらにノイズ除去強度設定部８、ノイズ除去部９を備えた画像補正装置である。
ノイズ除去強度設定部８は、画像バッファ部２に記録されている画像データに基づいて、基準画像データまたは補正した合成画像データのノイズ除去の強度を変更させる条件（パラメータ）が記録されている。 The second embodiment is an image correction apparatus in which the image correction apparatus of the first embodiment is further provided with a noise removal intensity setting unit 8 and a noise removal unit 9.
The noise removal intensity setting unit 8 records conditions (parameters) for changing the noise removal intensity of the reference image data or the corrected composite image data based on the image data recorded in the image buffer unit 2.

ノイズ除去部９は、表示選択部６の後段に、ノイズ除去強度設定部８に記録されている条件に基づいて決定したノイズ除去の強度に従って基準画像データと合成画像データのノイズ除去処理を実行する。ノイズ除去の方法については移動平均フィルタ、加重平均フィルタ、中央値フィルタ（Median Filter：近傍画素の画素値に含まれる中間の大きさの画素値で注目画素の画素値を置き換えるフィルタ操作）など様々な方法がある。例えば、中間値フィルタは、３×３マスの９画素を濃度値の低い順に並べて中央の値を入れ替えることによりノイズを除去するフィルタである。   The noise removal unit 9 performs a noise removal process on the reference image data and the composite image data according to the noise removal strength determined based on the conditions recorded in the noise removal strength setting unit 8 after the display selection unit 6. . There are various methods for noise removal, such as moving average filter, weighted average filter, median filter (Median Filter: filter operation that replaces the pixel value of the target pixel with the intermediate pixel value included in the pixel values of neighboring pixels) There is a way. For example, the intermediate value filter is a filter that removes noise by arranging 9 pixels of 3 × 3 squares in ascending order of density values and replacing the central value.

また、ノイズ除去の強度の変更は、例えば、上記移動平均フィルタ、加重平均フィルタ、中央値フィルタなどで用いるｎ×ｎフィルタのサイズの変更、そのｎ×ｎフィルタの重み付け係数の変更をすることである。また、ノイズ除去の強度によってフィルタを使い分けてもよい。なお、使用するフィルタに対応したｎ×ｎフィルタのサイズと重み付け係数などのデータは、ノイズ除去強度に関連付けられてメモリに記録されている。   The noise removal strength can be changed by changing the size of an n × n filter used in the moving average filter, weighted average filter, median filter, or the like, and changing the weighting coefficient of the n × n filter. is there. Further, the filter may be used properly depending on the strength of noise removal. Note that data such as the size of the n × n filter and the weighting coefficient corresponding to the filter to be used is recorded in the memory in association with the noise removal strength.

ノイズ除去の強度を変化させる条件について説明する。
（画像合成枚数によりノイズ除去の強度を変更する方法）
図７のＡに、ノイズ除去強度設定部８に記録されている、合成画像データの枚数に応じてノイズ除去の強度を変化させる条件（画像合成枚数とノイズ除去強度の関係）を示すグラフを示す。図７のＡの縦軸はノイズ除去の強度を示し、横軸には画像合成枚数が示されている。図７のＢには、図７のＡに対応するノイズ除去強度設定部８に記録されている画
像合成枚数−ノイズ除去強度テーブルを示す。図７のＢの例では「画像合成枚数」には「１枚」〜「４枚」が記録され、各枚数に関連付けてノイズ除去強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、画像合成枚数が多くなるに従って、ノイズ除去強度を下げる。 The conditions for changing the noise removal strength will be described.
(Method of changing the noise removal strength according to the number of combined images)
FIG. 7A shows a graph showing the conditions (relationship between the number of combined images and the noise removal strength) for changing the noise removal strength according to the number of composite image data recorded in the noise removal strength setting unit 8. . In FIG. 7A, the vertical axis indicates the noise removal strength, and the horizontal axis indicates the number of images to be combined. FIG. 7B shows an image composition number-noise removal intensity table recorded in the noise removal intensity setting unit 8 corresponding to FIG. 7A. In the example of FIG. 7B, “1 sheet” to “4 sheets” are recorded in the “image composition number”, and the noise removal strength is recorded in association with each number. In this example, the noise removal strength is set in the range of “0” to “100”, and “0” is the weakest noise removal, and “100” is the strong noise removal setting. The greater the noise removal strength value, the greater the effect of noise removal, and the noise removal strength is lowered as the number of images combined increases.

図７のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）を取得すると合成画像枚数（１枚目）が、ノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図７のＢの画像合成枚数−ノイズ除去強度テーブルを参照して、合成画像枚数「１枚目」に関連付けられているノイズ除去強度「１００」を選択する。その後、ノイズ除去部９では、ノイズ除去強度「１００」に対応した強度でノイズ除去処理を行う。なお、図７のＢの例ではノイズ除去強度をテーブルを用いて決定したが、計算によりノイズ除去強度を算出して決定してもよい。   In the example of B in FIG. 7, when the reference image specifying unit 3 acquires the first image (reference image), the noise removal unit 9 is notified of the number of composite images (first image). The noise removal unit 9 refers to the image composition number-noise removal intensity table in FIG. 7B recorded in the noise removal intensity setting unit 8, and removes the noise associated with the composite image number “first image”. Select intensity “100”. Thereafter, the noise removal unit 9 performs noise removal processing with an intensity corresponding to the noise removal intensity “100”. In the example of FIG. 7B, the noise removal strength is determined using a table, but the noise removal strength may be calculated and determined by calculation.

次に、合成画像部４により１枚目の画像（基準画像）を他の画像により補正した合成画像を生成し、その際に合成画像枚数も取得して、合成画像枚数をノイズ除去部９に通知する。例えば、合成画像枚数が２枚であれば、ノイズ除去部９は図７のＢの画像合成枚数−ノイズ除去強度テーブルを参照して、合成画像枚数「２枚目」に関連付けられているノイズ除去強度「６５」を選択する。その後、ノイズ除去部９では、ノイズ除去強度「６５」に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。   Next, a synthesized image obtained by correcting the first image (reference image) with another image is generated by the synthesized image unit 4, and the number of synthesized images is also acquired at that time, and the number of synthesized images is sent to the noise removing unit 9. Notice. For example, if the number of composite images is two, the noise removing unit 9 refers to the image composite number-noise removal intensity table in FIG. 7B and removes noise associated with the composite image number “second image”. Select intensity “65”. Thereafter, the noise removal unit 9 performs noise removal processing with an intensity corresponding to the noise removal intensity “65”. The noise is similarly removed from the second and subsequent sheets.

なお、最終合成画像でのノイズ除去強度は、最終画像に対して通常かけるノイズ除去強度とすることで、ビューアに表示する最終の合成画像と、作成して保存する合成画像とのノイズ感を近くする効果が得られる。   Note that the noise removal strength in the final composite image is the noise removal strength that is normally applied to the final image, so that the noise feeling between the final composite image displayed in the viewer and the composite image that is created and saved is close. Effect is obtained.

（動作説明）
図８に実施例２の動作を示すフロー図を示す。
ステップＳ８１はステップＳ１と同様の動作を行い、ステップＳ８３〜Ｓ８５はステップＳ３〜Ｓ５と同様の動作を行い、ステップＳ８７〜８９はステップＳ７〜Ｓ９と同様の同をする。 (Description of operation)
FIG. 8 is a flowchart showing the operation of the second embodiment.
Step S81 performs the same operation as Step S1, Steps S83 to S85 perform the same operation as Steps S3 to S5, and Steps S87 to 89 perform the same operations as Steps S7 to S9.

ステップＳ８２では、ステップＳ８１で取得した基準画像に対して、１枚目の画像であるので図７のＢのノイズ除去強度「１００」を取得して、「１００」に対応したノイズ除去強度でノイズ除去処理をして、ノイズ除去処理をした基準画像を表示装置７に表示する。表示選択部６は、基準画像特定部３から基準画像を取得して表示装置７に転送し、表示装置７に基準画像を表示する。   In step S82, since it is the first image with respect to the reference image acquired in step S81, the noise removal strength “100” of B in FIG. 7 is obtained, and the noise is removed with the noise removal strength corresponding to “100”. After performing the removal process, the reference image subjected to the noise removal process is displayed on the display device 7. The display selection unit 6 acquires the reference image from the reference image specifying unit 3, transfers it to the display device 7, and displays the reference image on the display device 7.

ステップＳ８６では、２枚目の画像の処理であるので、合成画像保持部５から合成画像を取得して、図７のＢのノイズ除去強度「６５」を取得して、「６５」に対応したノイズ除去強度でノイズ除去処理をして、表示装置７に表示する。図２の例では、２枚目の画像（基準画像）を１枚目の画像を用いて補正した後の合成画像を取得して、その補正した合成画像に対してノイズ除去処理をし、現在ビューアに表示されている画像と切り替えて表示する。厳密には同一のノイズ感ではないが，合成枚数に応じてノイズ除去強度を変えることで、ビューアに表示する画像のノイズ感をそれぞれ近づけることができる。   In step S86, since it is the processing of the second image, the composite image is acquired from the composite image holding unit 5, the noise removal intensity “65” in FIG. 7B is acquired, and “65” is supported. A noise removal process is performed with the noise removal strength, and the result is displayed on the display device 7. In the example of FIG. 2, a composite image obtained by correcting the second image (reference image) using the first image is acquired, and noise removal processing is performed on the corrected composite image. Switch to the image displayed in the viewer. Strictly speaking, the noise feeling is not the same, but the noise feeling of the image displayed on the viewer can be made closer by changing the noise removal strength according to the number of synthesized images.

ステップＳ９０では、合成画像保持部５から合成画像を取得して、３枚目の画像であるので図７のＢのノイズ除去強度「４０」を取得して、「４０」に対応したノイズ除去強度でノイズ除去処理をして、表示装置７に表示する。ビューア上に表示されている合成画像（１枚目＋２枚目）を、２枚目の画像（基準画像）と３枚目の画像（画像バッファ２−３
の画像）に基づいて補正した後の合成画像に切り替えてビューアに表示する。厳密には同一のノイズ感ではないが，合成枚数に応じてノイズ除去強度を変えることで、ビューアに表示する画像のノイズ感をそれぞれ近づけることができる。 In step S90, the composite image is acquired from the composite image holding unit 5, and since it is the third image, the noise removal strength “40” in FIG. 7B is acquired, and the noise removal strength corresponding to “40” is obtained. Then, the noise is removed and displayed on the display device 7. The composite image (first image + second image) displayed on the viewer is converted into the second image (reference image) and the third image (image buffer 2-3).
The image is switched to a composite image after being corrected based on the image) and displayed on the viewer. Strictly speaking, the noise feeling is not the same, but the noise feeling of the image displayed on the viewer can be made closer by changing the noise removal strength according to the number of synthesized images.

上記動作については、３つの画像バッファ部２（２−１、２−２、２−３）を備え、基準画像が画像バッファ２−２にある場合について説明した。
なお、基準画像が画像バッファ２−１（１枚目）や画像バッファ２−３（３枚目）に記録されている場合についても、上記と同じように合成枚数に応じてノイズ除去の強度を変更してビューアに表示する。 The above operation has been described for the case where the three image buffer units 2 (2-1, 2-2, 2-3) are provided and the reference image is in the image buffer 2-2.
Even in the case where the reference image is recorded in the image buffer 2-1 (first image) or the image buffer 2-3 (third image), the intensity of noise removal is increased according to the number of combined images as described above. Change and display in the viewer.

また、ｎ個（ｎ：４以上）の画像バッファ部２（２−１、２−２・・・２−ｎ）を備えている場合、基準画像を選択後、予め決められた順番で基準画像と該基準画像以外の各画像とのずれ量を算出して被写体動き検出する。その後、各被写体動き検出の結果に基づいて基準画像または合成画像を補正して、合成枚数に応じたノイズ除去の強度によりノイズ除去を行い、順次、ノイズ除去した基準画像または合成画像の表示切り替えを実行する。   In addition, when n (n: 4 or more) image buffer units 2 (2-1, 2-2,..., 2-n) are provided, the reference image is selected in a predetermined order after the reference image is selected. The subject movement is detected by calculating the amount of deviation between each of the images other than the reference image. After that, the reference image or composite image is corrected based on the result of each subject motion detection, noise is removed by the noise removal strength corresponding to the number of composites, and the display of the reference image or composite image from which noise has been removed is sequentially switched. Execute.

なお、表示切り替えは、合成画像を生成するごとに行ってもよいし、予め決められた間隔で最新の合成画像に切り替えてもよい。
上記構成により、利用者は撮影直後からビューア表示画像により、撮影画像の図柄を確認できる。また、画像合成枚数に応じてノイズ除去強度を変えることで、時間経過の初期段階から最終画像に近いノイズ感の画像を評価できる。
（縮小率とビューア表示サイズによりノイズ除去強度を変更する方法）
ステップＳ８２、８６、９０において縮小率とビューア表示サイズにより合成枚数により決定されるノイズ除去強度の変更について説明する。 The display switching may be performed every time the composite image is generated, or may be switched to the latest composite image at a predetermined interval.
With the configuration described above, the user can check the pattern of the captured image from the viewer display image immediately after shooting. In addition, by changing the noise removal intensity according to the number of images to be combined, an image with a noise feeling close to the final image can be evaluated from the initial stage of time passage.
(How to change the noise removal strength according to the reduction ratio and viewer display size)
A description will be given of the change of the noise removal strength determined by the number of synthesized images in steps S82, 86, and 90 based on the reduction ratio and the viewer display size.

ノイズ感は、縮小率（撮影画像とビューア表示画面との解像度の比）およびビューア上での表示サイズによっても見え方が異なる。縮小率が高ければノイズはあまり目立たない。ビューア表示が小さい場合でもノイズは目立たなくなる。図９のＡ〜Ｄに縮小率、ビューア表示サイズとノイズ除去の強度の関係を示す。縮小率が高いほどノイズは目立たなくなるので、ノイズ除去強度を小さくし、また、ビューア表示サイズが大きくなればノイズ除去強度を大きくする。   The appearance of noise varies depending on the reduction ratio (ratio of resolution between the captured image and the viewer display screen) and the display size on the viewer. If the reduction ratio is high, the noise is not so noticeable. Noise is not noticeable even when the viewer display is small. 9A to 9D show the relationship among the reduction ratio, viewer display size, and noise removal intensity. Since the noise becomes less noticeable as the reduction ratio is higher, the noise removal strength is reduced, and when the viewer display size is increased, the noise removal strength is increased.

図９のＡに、ノイズ除去強度設定部８に記録されている、画像データの縮小率に応じてノイズ除去の強度を変化させる条件（縮小率とノイズ除去強度の関係）を示すグラフを示す。図９のＡの縦軸はノイズ除去の強度を示し、横軸には画像の縮小率が示されている。図９のＢには、図９のＡに対応するノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブルを示す。図９のＢの例では「縮小率」には「０％」〜「１００％」が記録され、各縮小率に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、縮小率が大きくなるに従って、ノイズ除去強度を下げる。また、「ノイズ除去強度」は、縮小率が「Ｎ％」のときに、例えば、１００＋（２０−１００）×Ｎ／１００を計算して決定しもよい。   FIG. 9A shows a graph showing the conditions (relationship between the reduction ratio and the noise removal strength) for changing the noise removal strength according to the reduction rate of the image data recorded in the noise removal strength setting unit 8. In FIG. 9A, the vertical axis represents the noise removal strength, and the horizontal axis represents the image reduction ratio. FIG. 9B shows a reduction ratio-noise removal strength table recorded in the noise removal strength setting unit 8 corresponding to FIG. 9A. In the example of FIG. 9B, “0%” to “100%” are recorded in the “reduction ratio”, and the noise removal intensity is recorded in association with each reduction ratio. In this example, the noise removal strength is set in the range of “0” to “100”, and “0” is the weakest noise removal, and “100” is the strong noise removal setting. The greater the noise removal strength value, the greater the noise removal effect, and the noise removal strength is lowered as the reduction ratio increases. Further, the “noise removal strength” may be determined by calculating, for example, 100+ (20−100) × N / 100 when the reduction ratio is “N%”.

図９のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）と縮小率を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図９のＢの縮小率−ノイズ除去強度テーブルを参照して、縮小率に関連付けられているノイズ除去強度を選択する。   In the example of B in FIG. 9, the reference image specifying unit 3 acquires the first image (reference image) and the reduction ratio, and notifies the noise removal unit 9 of the acquired image. The noise removal unit 9 selects the noise removal strength associated with the reduction rate with reference to the reduction rate-noise removal strength table in B of FIG. 9 recorded in the noise removal strength setting unit 8.

例えば、縮小率が５０％であれば、ノイズ除去部９は図９のＢの縮小率−ノイズ除去強
度テーブルを参照して、縮小率が５０％に関連付けられているノイズ除去強度「６０」を選択する。 For example, if the reduction rate is 50%, the noise removal unit 9 refers to the reduction rate-noise removal strength table in B of FIG. 9 and sets the noise removal strength “60” associated with the reduction rate of 50%. select.

図９のＣに、ノイズ除去強度設定部８に記録されている、画像データのビューア表示サイズに応じてノイズ除去の強度を変化させる条件（ビューア表示サイズとノイズ除去強度の関係）を示すグラフを示す。図９のＣの縦軸はノイズ除去の強度を示し、横軸には画像のビューア表示サイズが示されている。図９のＤには、図９のＣに対応するノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブルを示す。図９のＤの例では「ビューア表示サイズ」には「１６０×１２０」〜「６４０×４８０」が記録され、各ビューア表示サイズに関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、ビューア表示サイズが大きくなるに従って、ノイズ除去強度を上げる。また、「ノイズ除去強度」は、ビューア表示サイズが「（６４０×ｍ）×（４８０×ｎ）」のときに、例えば、２０＋（１００−２０）×ｋを計算して求めてもよい。ここで、ｋは撮影画像サイズ（６４０×４８０）との縦横縮尺率の平均値であり、ｋ＝（ｎ＋ｍ）／２と表すことができる。   FIG. 9C is a graph showing the conditions (relationship between viewer display size and noise removal strength) for changing the noise removal strength according to the viewer display size of the image data recorded in the noise removal strength setting unit 8. Show. The vertical axis of C in FIG. 9 indicates the noise removal strength, and the horizontal axis indicates the viewer display size of the image. FIG. 9D shows a reduction ratio-noise removal intensity table recorded in the noise removal intensity setting unit 8 corresponding to C in FIG. In the example of FIG. 9D, “160 × 120” to “640 × 480” are recorded in the “viewer display size”, and the noise removal intensity is recorded in association with each viewer display size. In this example, the noise removal strength is set in the range of “0” to “100”, and “0” is the weakest noise removal, and “100” is the strong noise removal setting. The greater the noise removal strength value, the greater the noise removal effect, and the noise removal strength increases as the viewer display size increases. The “noise removal strength” may be obtained by calculating, for example, 20+ (100−20) × k when the viewer display size is “(640 × m) × (480 × n)”. Here, k is an average value of the vertical and horizontal scale ratios with the captured image size (640 × 480), and can be expressed as k = (n + m) / 2.

図９のＤの例であれば、基準画像特定部３が１枚目の画像（基準画像）とビューア表示サイズを取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図９のＤのビューア表示サイズ−ノイズ除去強度テーブルを参照して、ビューア表示サイズに関連付けられているノイズ除去強度を選択する。   In the example of FIG. 9D, the reference image specifying unit 3 acquires the first image (reference image) and the viewer display size and notifies the noise removing unit 9 of the acquired image. The noise removal unit 9 refers to the viewer display size-noise removal strength table in FIG. 9D recorded in the noise removal strength setting unit 8 and selects the noise removal strength associated with the viewer display size.

例えば、ビューア表示サイズが１６０×１２０であれば、ノイズ除去部９は図７のＤのビューア表示サイズ−ノイズ除去強度テーブルを参照して、ビューア表示サイズが１６０×１２０に関連付けられているノイズ除去強度「２０」を選択する。   For example, if the viewer display size is 160 × 120, the noise removing unit 9 refers to the viewer display size-noise removal intensity table in FIG. 7D and removes the noise associated with the viewer display size of 160 × 120. Select intensity “20”.

上記説明したように決定した縮小率およびビューア表示サイズのノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（（縮小率のノイズ除去の強度）／１００）×（（ビューア表示サイズのノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。   Based on the reduction ratio determined as described above and the noise removal strength of the viewer display size, the noise removal strength determined by the number of composite images (see B in FIG. 6) is changed to obtain the final noise. Get the strength of removal. For example, the noise removal strength is calculated by calculating the optimum noise removal strength = (((reduction rate noise removal strength) / 100) × ((viewer display size noise removal strength) / 100) × ((the number of synthesized images). Noise removal intensity) / 100)) × 100 is integrated to obtain a value after the decimal point. In addition, since the range of the integration result varies depending on the calculation method for the integration of the optimum noise removal strength, the range of the optimum noise removal strength is appropriately set depending on the calculation method. In the above description, the optimum noise removal strength is calculated by integration, but is not particularly limited.

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することにより、ビューアへ表示する縮小率、ビューア表示サイズに関わらず、画像合成枚数によるノイズ感の差を低減することができる。   Thereafter, the noise removal unit 9 performs noise removal processing with an intensity corresponding to the noise removal intensity. The noise is similarly removed from the second and subsequent sheets. Thus, by displaying the noise-removed image on the viewer, it is possible to reduce the difference in noise caused by the number of combined images regardless of the reduction ratio and viewer display size displayed on the viewer.

（撮影時のカメラのゲイン値によりノイズ除去強度を変更する方法）
ノイズ感は撮影時のゲイン値よっても異なる。ここで、ゲイン値とは、ディジタルカメラに搭載したＣＣＤなど撮像素子により、弱い光信号を電気信号に変換して、その電気信号を増幅した時の増幅度を示す値である。暗い画像あるいは露光時間が短い画像ほどゲイン値が高くなる。ゲイン値が高ければノイズが強調されるため、ゲイン値が高い場合にノイズ除去強度を強くする。 (How to change the noise removal strength depending on the gain value of the camera at the time of shooting)
The feeling of noise varies depending on the gain value at the time of shooting. Here, the gain value is a value indicating the degree of amplification when a weak optical signal is converted into an electrical signal by an imaging device such as a CCD mounted on the digital camera and the electrical signal is amplified. The darker the image or the shorter the exposure time, the higher the gain value. Since the noise is enhanced when the gain value is high, the noise removal strength is increased when the gain value is high.

図１０のＡに、ノイズ除去強度設定部８に記録されている、画像データのゲイン値に応
じてノイズ除去の強度を変化させる条件（ゲイン値とノイズ除去強度の関係）を示すグラフを示す。図１０のＡの縦軸はノイズ除去の強度を示し、横軸には画像のゲイン値が示されている。図１０のＢには、図１０のＡに対応するノイズ除去強度設定部８に記録されているゲイン値−ノイズ除去強度テーブルを示す。図１０のＢの例では「ゲイン値」には「１０[ｄＢ]」〜「４０[ｄＢ]」が記録され、各ゲイン値に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、ゲイン値が大きくなるに従って、ノイズ除去強度を上げる。また、「ノイズ除去強度」は、ゲイン値が「Ｘ[ｄＢ]」のときに、例えば、２０＋（１００−２０）×（Ｘ―１０）／（４０−１０）を計算して求めてもよい。 FIG. 10A shows a graph showing the conditions (relationship between gain value and noise removal strength) for changing the noise removal strength according to the gain value of the image data recorded in the noise removal strength setting unit 8. The vertical axis of A in FIG. 10 indicates the noise removal intensity, and the horizontal axis indicates the gain value of the image. FIG. 10B shows a gain value-noise removal strength table recorded in the noise removal strength setting unit 8 corresponding to FIG. In the example of FIG. 10B, “10 [dB]” to “40 [dB]” are recorded in the “gain value”, and the noise removal intensity is recorded in association with each gain value. In this example, the noise removal strength is set in the range of “0” to “100”, and “0” is the weakest noise removal, and “100” is the strong noise removal setting. The greater the noise removal strength value, the greater the noise removal effect, and the noise removal strength increases as the gain value increases. Further, the “noise removal strength” may be obtained by calculating, for example, 20+ (100−20) × (X−10) / (40−10) when the gain value is “X [dB]”. .

図１０のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）とゲイン値を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図１０のＢのゲイン値−ノイズ除去強度テーブルを参照して、ビューア表示サイズに関連付けられているノイズ除去強度を選択する。   In the example of FIG. 10B, the reference image specifying unit 3 acquires the first image (reference image) and the gain value and notifies the noise removing unit 9 of the acquired image. The noise removal unit 9 refers to the gain value-noise removal strength table in FIG. 10B recorded in the noise removal strength setting unit 8 and selects the noise removal strength associated with the viewer display size.

例えば、ゲイン値が２５[ｄＢ]であれば、ノイズ除去部９は図１０のＢのゲイン値−ノイズ除去強度テーブルを参照して、ゲイン値が２５[ｄＢ]に関連付けられているノイズ除去強度「６０」を選択する。   For example, if the gain value is 25 [dB], the noise removal unit 9 refers to the gain value-noise removal strength table in B of FIG. 10 and the noise removal strength associated with the gain value of 25 [dB]. Select “60”.

上記説明したように決定したゲイン値のノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（ゲイン値のノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。   Based on the noise removal strength of the gain value determined as described above, the final noise removal strength can be reduced by changing the noise removal strength determined by the number of synthesized images (see B in FIG. 6). obtain. For example, the calculation of the noise removal strength is performed such that optimum noise removal strength = ((noise removal strength of gain value) / 100) × ((noise removal strength of the number of synthesized images) / 100)) × 100. Then, obtain a value after the decimal point. In addition, since the range of the integration result varies depending on the calculation method for the integration of the optimum noise removal strength, the range of the optimum noise removal strength is appropriately set depending on the calculation method. In the above description, the optimum noise removal strength is calculated by integration, but is not particularly limited.

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することによりゲイン値に関わらず、画像合成枚数によるノイズ感の差を低減することができる。   Thereafter, the noise removal unit 9 performs noise removal processing with an intensity corresponding to the noise removal intensity. The noise is similarly removed from the second and subsequent sheets. In this way, by displaying the noise-removed image on the viewer, it is possible to reduce the difference in noise feeling due to the number of images combined regardless of the gain value.

（エッジ割合によりノイズ除去強度を変更する方法）
ノイズ感は画像によっても異なり、空や壁などの模様のないのっぺりとした領域ではノイズ感は分かりやすい。反面、ごちゃごちゃした細かい模様のある領域ではノイズ感は目立たない。そこで、画像の複雑度を判定し、複雑であればノイズ除去強度を小さくし、複雑でなければノイズ除去の強度を大きくすることで、画像によらずにノイズ感を削減できる。 (Method to change noise removal strength by edge ratio)
The noise sensation varies depending on the image, and the noise sensation is easy to understand in a clear area without a pattern such as the sky or walls. On the other hand, the noise is inconspicuous in areas with messy and fine patterns. Therefore, the degree of noise can be reduced regardless of the image by determining the complexity of the image, reducing the noise removal strength if it is complex, and increasing the noise removal strength if it is not complicated.

画像の複雑度は、画像のエッジを検出し、ある一定値以上のエッジ量の割合で決定しても良い。具体的には、画像に対してソベルフィルタあるいはラプラシアンフィルタなどのエッジ検出処理を行い、エッジ画像を形成する画素数を求める。   The complexity of the image may be determined by detecting the edge of the image and the ratio of the edge amount equal to or greater than a certain value. Specifically, edge detection processing such as a Sobel filter or Laplacian filter is performed on the image, and the number of pixels forming the edge image is obtained.

エッジ量は、例えば、ソベルフィルタを用いて画像のＸ方向およびＹ方向の一次微分を行い、双方の結果を加算し微分の強度(エッジの強度)を求め、予め設定された閾値以上のエッジ強度となる画素を検出して、検出した画素が画像全体の画素数を占める割合を算出する。ソベルフィルタを図１１のＣに示す。   The edge amount is obtained by, for example, performing a first derivative of the image in the X direction and the Y direction using a Sobel filter, and adding the results of both to obtain the derivative strength (edge strength). And the ratio of the detected pixels to the number of pixels in the entire image is calculated. The Sobel filter is shown in FIG.

図１１のＡに、ノイズ除去強度設定部８に記録されている、画像データのエッジ量（または、エッジ割合）に応じてノイズ除去の強度を変化させる条件（エッジ量とノイズ除去強度の関係）を示すグラフを示す。エッジ量は、画像全体の画素数に占めるエッジの画素の割合を示す。   FIG. 11A shows a condition for changing the noise removal strength according to the edge amount (or edge ratio) of the image data recorded in the noise removal strength setting unit 8 (relationship between the edge amount and the noise removal strength). The graph which shows is shown. The edge amount indicates the ratio of edge pixels to the total number of pixels in the image.

図１１のＡの縦軸はノイズ除去の強度を示し、横軸には画像のエッジ量が示されている。図１１のＢには、図１１のＡに対応するノイズ除去強度設定部８に記録されているエッジ割合−ノイズ除去強度テーブルを示す。図１１のＢの例では「エッジ割合」には「０．０」〜「１．０」が記録され、各エッジ割合に関連付けてノイズ除去の強度が記録されている。本例ではノイズ除去強度を「０」〜「１００」の範囲で設定し、「０」のときがもっともノイズ除去を弱く行い、「１００」のときノイズ除去を強く行う設定になっている。ノイズ除去強度の値が大きいほどノイズ除去の効果は大きく、エッジ量が大きくなるに従って、ノイズ除去強度を下げる。また、「ノイズ除去強度」は、エッジ量が「Ｙ」のときに、例えば、２０＋（０．４−Ｙ）^２×（１００−２０）／０．４^２を計算して求めてもよい。また、エッジ割合の上限は０．４（全画素のうち４０％がエッジと判定された領域）とし、エッジ割合０．４以上は０．４と同じノイズ除去強度とする。 In FIG. 11A, the vertical axis indicates the noise removal strength, and the horizontal axis indicates the edge amount of the image. FIG. 11B shows an edge ratio-noise removal strength table recorded in the noise removal strength setting unit 8 corresponding to FIG. In the example of FIG. 11B, “0.0” to “1.0” are recorded in the “edge ratio”, and the noise removal intensity is recorded in association with each edge ratio. In this example, the noise removal strength is set in the range of “0” to “100”, and “0” is the weakest noise removal, and “100” is the strong noise removal setting. The larger the noise removal strength value, the greater the noise removal effect. As the edge amount increases, the noise removal strength decreases. Moreover, "noise removal strength", when the edge amount is "Y", for ^{example, 20 + (0.4-Y)} 2 × (100-20) /0.4 2 may be a determined by calculation. The upper limit of the edge ratio is 0.4 (area where 40% of all pixels are determined to be edges), and an edge ratio of 0.4 or more has the same noise removal strength as 0.4.

図１１のＢの例であれば、基準画像特定部３が１枚目の画像（基準画像）とエッジ割合を取得してノイズ除去部９に通知される。ノイズ除去部９は、ノイズ除去強度設定部８に記録されている図１１のＢのエッジ割合−ノイズ除去強度テーブルを参照して、エッジ割合に関連付けられているノイズ除去強度を選択する。   In the example of FIG. 11B, the reference image specifying unit 3 acquires the first image (reference image) and the edge ratio and notifies the noise removing unit 9 of the acquired image. The noise removal unit 9 refers to the edge ratio-noise removal intensity table of B of FIG. 11 recorded in the noise removal intensity setting unit 8 and selects the noise removal intensity associated with the edge ratio.

例えば、エッジ割合が０．１であれば、ノイズ除去部９は図１１のＢのエッジ割合−ノイズ除去強度テーブルを参照して、ゲイン値が０．１に関連付けられているノイズ除去強度「６５」を選択する。   For example, if the edge ratio is 0.1, the noise removal unit 9 refers to the edge ratio-noise removal strength table in B of FIG. 11 and the noise removal strength “65” associated with the gain value of 0.1. ”Is selected.

上記説明したように決定したエッジ量のノイズ除去の強度に基づいて、合成画像枚数により決定したノイズ除去の強度（図６のＢを参照）を変更することで、最終的なノイズ除去の強度を得る。例えば、ノイズ除去強度の演算は、最適ノイズ除去強度＝（（エッジ割合のノイズ除去の強度）／１００）×（（合成画像枚数のノイズ除去の強度）／１００））×１００のように積算をして、小数点以上の値を求める。なお、最適ノイズ除去強度の積算は計算方法により積算結果のレンジ幅が異なるため、計算方法によって最適ノイズ除去強度のレンジ幅は適宜設定するものとする。また、上記では積算により最適ノイズ除去強度を算出したが特に限定するものではない。   Based on the noise removal strength of the edge amount determined as described above, the final noise removal strength can be reduced by changing the noise removal strength determined by the number of composite images (see B in FIG. 6). obtain. For example, the calculation of the noise removal strength is performed such that optimal noise removal strength = ((edge portion noise removal strength) / 100) × ((noise removal strength of the number of synthesized images) / 100)) × 100. Then, obtain a value after the decimal point. In addition, since the range of the integration result varies depending on the calculation method for the integration of the optimum noise removal strength, the range of the optimum noise removal strength is appropriately set depending on the calculation method. In the above description, the optimum noise removal strength is calculated by integration, but is not particularly limited.

その後、ノイズ除去部９では、ノイズ除去強度に対応した強度でノイズ除去処理を行う。２枚目以降も同様にノイズ除去を行う。このように、ノイズ除去をした画像をビューアに表示することにより画像の複雑度に関わらず、画像合成枚数によるノイズ感の差を低減することができる。   Thereafter, the noise removal unit 9 performs noise removal processing with an intensity corresponding to the noise removal intensity. The noise is similarly removed from the second and subsequent sheets. In this way, by displaying the noise-removed image on the viewer, it is possible to reduce the difference in noise feeling due to the number of combined images regardless of the complexity of the image.

（実施例３）
図１２を用いて実施例２で説明した画像合成枚数、縮小率、ビューア表示サイズ、ゲイン値、エッジ量に応じたノイズ除去の強度を用いてノイズ除去処理を行い、ビューアに表示する実施例３について説明する。 (Example 3)
Embodiment 3 In which noise removal processing is performed using the noise removal strength according to the number of images to be combined, reduction ratio, viewer display size, gain value, and edge amount described in Embodiment 2 with reference to FIG. Will be described.

ステップＳ１２１では、ノイズ除去部９が設定されているビューア表示サイズを取得して、ノイズ除去強度設定部８に記録されているビューア表示サイズ−ノイズ除去強度テーブル（例えば、図９のＤ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ１とする。   In step S121, the viewer display size in which the noise removal unit 9 is set is acquired, and a viewer display size-noise removal strength table (for example, D in FIG. 9) recorded in the noise removal strength setting unit 8 is referred to. And select the noise removal strength. Here, the selected noise removal strength is N1.

ステップＳ１２２では、撮影前のディジタルカメラの設定をする（画像サイズを決定）。
ステップＳ１２３では、ノイズ除去部９が設定されている縮小率を取得して、ノイズ除去強度設定部８に記録されている縮小率−ノイズ除去強度テーブル（例えば、図９のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ２とする。 In step S122, the digital camera before photographing is set (image size is determined).
In step S123, the reduction rate set by the noise removal unit 9 is acquired, and a reduction rate-noise removal strength table (for example, B in FIG. 9) recorded in the noise removal strength setting unit 8 is referred to. Select the noise removal strength. Here, the selected noise removal strength is N2.

ステップＳ１２４では、画像撮影をして連写画像を取得する。
ステップＳ１２５では、ノイズ除去部９が撮影時ゲイン値を取得して、ノイズ除去強度設定部８に記録されているゲイン値−ノイズ除去強度テーブル（例えば、図１０のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ３とする。 In step S124, continuous shooting images are acquired by photographing images.
In step S125, the noise removal unit 9 acquires the gain value at the time of shooting, and noise removal is performed with reference to a gain value-noise removal strength table (for example, B in FIG. 10) recorded in the noise removal strength setting unit 8. Choose strength. Here, the selected noise removal strength is N3.

ステップＳ１２６では、ノイズ除去部９が撮影した画像に対するエッジ量を算出して、ノイズ除去強度設定部８に記録されているエッジ割合−ノイズ除去強度テーブル（例えば、図１２のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ４とする。   In step S126, the edge amount for the image captured by the noise removal unit 9 is calculated, and an edge ratio-noise removal strength table (for example, B in FIG. 12) recorded in the noise removal strength setting unit 8 is referred to. Select the noise removal strength. Here, the selected noise removal strength is N4.

ステップＳ１２７では、画像合成部４が、基準画像特定部３の基準画像に対して画像バッファ部２の画像を用いて補正を行い、合成画像を生成して合成画像保持部５に記録する。   In step S <b> 127, the image composition unit 4 corrects the reference image of the reference image specifying unit 3 using the image in the image buffer unit 2, generates a composite image, and records it in the composite image holding unit 5.

ステップＳ１２８では、ノイズ除去部９が撮影した合成画像の画像合成枚数を取得して、ノイズ除去強度設定部８に記録されている画像合成枚数−ノイズ除去強度テーブル（例えば、図７のＢ）を参照してノイズ除去強度を選択する。ここで、選択したノイズ除去強度をＮ５とする。   In step S128, the number of composite images captured by the noise removal unit 9 is acquired, and an image composite number-noise removal strength table (for example, B in FIG. 7) recorded in the noise removal strength setting unit 8 is obtained. Select the noise removal strength with reference. Here, the selected noise removal strength is N5.

ステップＳ１２９では、最終的なノイズ除去強度Ｎを決定する。例えば、ノイズ除去部９で最終的なノイズ除去強度Ｎ＝（（Ｎ１／１００）×（Ｎ２／１００）×（Ｎ３／１００）×（Ｎ４／１００）×（Ｎ５／１００））×１００を計算し、最終的なノイズ除去強度に対応する強度でステップＳ１２７で生成した合成画像にノイズ除去処理を行う。   In step S129, the final noise removal strength N is determined. For example, the noise removal unit 9 calculates the final noise removal strength N = ((N1 / 100) × (N2 / 100) × (N3 / 100) × (N4 / 100) × (N5 / 100)) × 100. Then, noise removal processing is performed on the composite image generated in step S127 with an intensity corresponding to the final noise removal intensity.

ステップＳ１２８では、ステップＳ１２９の結果をビューアに表示する。なお、最終画像をビューアに表示し終えれば本処理を終了し、最終画像の処理でない場合にはステップＳ１２４に移行する。   In step S128, the result of step S129 is displayed on the viewer. If the final image has been displayed on the viewer, the process ends. If not, the process proceeds to step S124.

このようにビューアに順次基準画像、合成画像を表示させることにより、途中画像であっても、ノイズ感が異なることによる違和感を、利用者に感じさせない。
また、補正する際の合成枚数が多くなるにつれて、ノイズ除去の程度が強くなる。そこで、基準画像を確認画面に出力する際には、ノイズ除去を強めに施すことで、最終的に生成される画像との見た目の違いを少なくすることができる。
（実施例４）
さらに、ノイズ感を評価する際、途中の合成結果画像の場合は最終的な合成画像よりもノイズっぽいため、利用者が途中画像でノイズ感を判断する可能性がある。そこで、ビューア表示において、途中画像であれば処理中であることを示す表示を行う。例えば、砂時計のアイコンを表示するなどして利用者に途中結果であることを認識させることができる。図１３に一例を示す。 In this way, by sequentially displaying the reference image and the composite image on the viewer, even if the image is an intermediate image, the user does not feel a sense of discomfort due to the difference in noise.
Further, the degree of noise removal becomes stronger as the number of combined images at the time of correction increases. Therefore, when the reference image is output to the confirmation screen, the difference in appearance from the finally generated image can be reduced by performing strong noise removal.
Example 4
Furthermore, when evaluating the sense of noise, the intermediate composite result image is more noise-like than the final composite image, so the user may determine the noise feeling on the intermediate image. Therefore, in the viewer display, if it is an intermediate image, a display indicating that processing is in progress is performed. For example, by displaying an hourglass icon, the user can recognize that the result is an intermediate result. An example is shown in FIG.

（本発明の実施形態がコンピュータプログラムとして実現される場合の構成）
図１４は、上記本発明の実施形態の装置を実現できるコンピュータのハードウェア構成の一例を示す図である。 (Configuration when the embodiment of the present invention is implemented as a computer program)
FIG. 14 is a diagram illustrating an example of a hardware configuration of a computer that can implement the apparatus according to the embodiment of the present invention.

コンピュータのハードウェア１４０は、ＣＰＵ１４１、記録部１４２（ＲＯＭ、ＲＡＭ、ハードディスクドライブなど）、記録媒体読取装置１４３、入出力インタフェース１４４（入出力Ｉ／Ｆ）、通信インタフェース１４５（通信Ｉ／Ｆ）などを備えている。また、上記各構成部はバス１４６によってそれぞれ接続されている。   The computer hardware 140 includes a CPU 141, a recording unit 142 (ROM, RAM, hard disk drive, etc.), a recording medium reader 143, an input / output interface 144 (input / output I / F), a communication interface 145 (communication I / F), and the like. It has. Further, each of the above components is connected by a bus 146.

ＣＰＵ１４１は、記録部１４２に格納されている上記説明した画像合成部４、表示選択部６、ノイズ除去部９などの処理（図３、９、１２に示した処理）を実行する。
記録部１４２は、ＣＰＵ１４１が実行するプログラムやデータが記録されている。画像バッファ部２、基準画像特定部３の基準画像を記録する記録部、合成画像保持部５、ノイズ除去強度設定部８の各種テーブルなどが記録されている。また、ワークエリアなどとして使用される。 The CPU 141 executes processing (the processing shown in FIGS. 3, 9, and 12) such as the above-described image composition unit 4, display selection unit 6, and noise removal unit 9 stored in the recording unit 142.
The recording unit 142 stores programs and data executed by the CPU 141. The image buffer unit 2, the recording unit for recording the reference image of the reference image specifying unit 3, the composite image holding unit 5, the various tables of the noise removal intensity setting unit 8, and the like are recorded. It is also used as a work area.

記録媒体読取装置１４３は、ＣＰＵ１４１の制御にしたがって記録媒体１４３ａに対するデータのリード／ライトを制御する。そして、記録媒体１４３ａ、記録媒体読取装置１４３の制御で書き込まれたデータを記憶したり、記録媒体１４３ａに記憶されたデータを読み取らせたりする。また、着脱可能な記録媒体１４３ａは、コンピュータで読み取り可能な記録媒体として、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）などがある。光ディスクには、ＤＶＤ(Digital Versatile Disc)、ＤＶＤ−ＲＡＭ(Random Access Memory)、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＣＤ−Ｒ(Recordable)／ＲＷ(ReWritable)などがある。光磁気記録媒体には、ＭＯ(Magneto-Optical disk)などがある。   The recording medium reading device 143 controls reading / writing of data with respect to the recording medium 143a according to the control of the CPU 141. And the data written by control of the recording medium 143a and the recording medium reader 143 are memorize | stored, or the data memorize | stored in the recording medium 143a are read. The detachable recording medium 143a includes a computer readable recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. The magnetic recording device includes a hard disk device (HDD). Examples of the optical disc include a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only Memory), and a CD-R (Recordable) / RW (ReWritable). Magneto-optical recording media include MO (Magneto-Optical disk).

入出力インタフェース１４４には、ディジタルカメラの場合であれば、入出力装置１４４ａとして例えばビューアが接続されている。また、操作ボタンなどが接続され利用者が入力した情報を受信し、バス１４６を介してＣＰＵ１４１に送信する。また、ＣＰＵ１４１からの命令に従ってビューア上に操作情報などを表示する。   In the case of a digital camera, for example, a viewer is connected to the input / output interface 144 as the input / output device 144a. In addition, information input by a user connected to an operation button or the like is received and transmitted to the CPU 141 via the bus 146. In addition, operation information and the like are displayed on the viewer according to a command from the CPU 141.

通信インタフェース１４５は、必要に応じ、他のコンピュータとの間のＬＡＮ接続やインターネット接続や無線接続のためのインタフェースである。また、他の装置に接続され、外部装置からのデータの入出力を制御する。   The communication interface 145 is an interface for LAN connection, Internet connection, or wireless connection with another computer as necessary. It is also connected to other devices and controls data input / output from external devices.

このようなハードウェア構成を有するコンピュータを用いることによって、上記説明した各種処理機能（実施例で説明した処理（フローチャートなど））が実現される。その場合システムが有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体１４３ａに記録しておくことができる。   By using a computer having such a hardware configuration, the various processing functions described above (the processing (such as flowcharts) described in the embodiments) are realized. In that case, a program describing the processing contents of the functions that the system should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded in a computer-readable recording medium 143a.

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When distributing the program, for example, a portable recording medium such as a DVD or a CD-ROM in which the program is recorded is sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

また、本発明は、上記実施の形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。   The present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the gist of the present invention.

以上実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
連続撮影した複数の画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定部と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択部と、
を備えることを特徴とする画像補正装置。
（付記２）
前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録するノイズ除去強度設定部と、
前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去部と、
を備えることを特徴とする付記１に記載の画像補正装置。
（付記３）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をすることを特徴とする付記２に記載の画像補正装置。
（付記４）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかまたは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記５）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記６）
前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする付記２に記載の画像補正装置。
（付記７）
コンピュータに
連続撮影した複数の画像の画像データを受信して画像バッファ部に記録する画像バッファ処理と、
前記画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定処理と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成処理と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択処理と、
を実行させることを特徴とする画像補正プログラム。
（付記８）
被写体を連続撮影して複数の画像の画像データを取得する画像撮像部と、
前記画像撮像部から前記画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像保特定部と、
前記基準画像データと、該基準画像データと異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを出力する表示選択部と、
前記表示選択部から出力された前記基準画像データまたは前記補正した合成画像データを表示する表示部と、
を備えることを特徴とする画像撮影装置。
（付記９）
前記表示部に、画像を表示する際、中間合成画像であることを利用者に知らせるための情報を表示することを特徴とする付記１に記載の画像補正装置。
（付記１０）
前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録し、前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去処理をコンピュータに実行させることを特徴とする付記８に記載の画像補正プログラム。
（付記１１）
前記ノイズ除去処理は、
記録部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１２）
前記ノイズ除去処理は、
記録部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかまたは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１３）
前記ノイズ除去処理は、
記録部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１４）
前記ノイズ除去処理は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。
（付記１５）
前記表示部に、画像を表示する際、中間合成画像であることを利用者に知らせるための情報を表示する処理をコンピュータに実行させることを特徴とする付記１０に記載の画像補正プログラム。 Regarding the embodiment including the above-described examples, the following additional notes are further disclosed.
(Appendix 1)
An image buffer unit for receiving and recording a plurality of image data continuously shot;
A reference image specifying unit for specifying reference image data to be used as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image composition unit that generates composite image data corrected using the reference image data and image data recorded in a different image buffer unit;
A display selection unit that outputs the reference image data to a display unit and outputs the corrected composite image data to the display unit instead of the reference image data after the correction is completed;
An image correction apparatus comprising:
(Appendix 2)
A noise removal strength setting unit that records a condition for changing the noise removal strength of the reference data or the corrected composite image data based on the image data recorded in the image buffer unit;
A noise removal unit that changes a noise removal strength of the reference image data and the corrected composite image data according to the condition;
The image correction apparatus according to claim 1, further comprising:
(Appendix 3)
The noise removing unit
The noise removal strength corresponding to the number of the composite image data is determined by referring to a condition for changing the noise removal strength according to the number of the composite image data recorded in the noise removal strength setting unit, and the noise removal The image correction apparatus according to appendix 2, wherein noise is removed according to intensity.
(Appendix 4)
The noise removing unit
With reference to the condition for changing the noise removal intensity according to either or both of the reduction ratio of the image data displayed on the display unit and the viewer size recorded in the noise removal intensity setting unit, the reduction ratio and the The noise removal strength associated with the viewer size is determined, and the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength. Image correction device.
(Appendix 5)
The noise removing unit
With reference to the condition for changing the noise removal strength according to the gain value of the image capturing unit at the time of shooting recorded in the noise removal strength setting unit, the noise removal strength associated with the gain value is determined, The image correction apparatus according to appendix 2, wherein the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength.
(Appendix 6)
The noise removing unit
Referring to the condition for changing the noise removal intensity according to the ratio of the edge in the total number of pixels of the image of the composite image data recorded in the noise removal intensity setting unit, it is associated with the ratio of the edge The image correction apparatus according to appendix 2, wherein a noise removal strength is determined, and the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength.
(Appendix 7)
Image buffer processing for receiving image data of a plurality of images taken continuously by a computer and recording them in an image buffer unit;
A reference image specifying process for specifying reference image data as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image compositing process for generating composite image data corrected using the reference image data and image data recorded in a different image buffer unit;
A display selection process for outputting the reference image data to a display unit, and outputting the corrected composite image data to the display unit instead of the reference image data after the correction is completed;
An image correction program for executing
(Appendix 8)
An image capturing unit that continuously captures a subject and acquires image data of a plurality of images;
An image buffer unit that receives and records the image data from the image capturing unit;
A reference image storage specifying unit that specifies reference image data to be used as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image composition unit that generates composite image data corrected using the reference image data and image data recorded in the image buffer unit different from the reference image data;
A display selection unit that outputs the reference image data and outputs the corrected composite image data instead of the reference image data after the correction is completed;
A display unit for displaying the reference image data or the corrected composite image data output from the display selection unit;
An image photographing apparatus comprising:
(Appendix 9)
The image correction apparatus according to appendix 1, wherein information for notifying a user that the image is an intermediate composite image is displayed on the display unit when the image is displayed.
(Appendix 10)
Based on the image data recorded in the image buffer unit, the condition for changing the noise removal intensity of the reference data or the corrected composite image data is recorded, and the reference image data and the corrected composite image are recorded according to the conditions. The image correction program according to appendix 8, which causes a computer to execute a noise removal process for changing the noise removal strength of data.
(Appendix 11)
The noise removal process
Referring to the condition for changing the noise removal strength according to the number of the composite image data recorded in the recording unit, determining the noise removal strength corresponding to the number of the composite image data, and according to the noise removal strength Item 11. The image correction program according to item 10, which causes a computer to execute noise removal.
(Appendix 12)
The noise removal process
Corresponding to the reduction ratio and the viewer size with reference to the condition for changing the noise removal intensity according to either or both of the reduction ratio and viewer size of the image data displayed on the display section recorded in the recording section Supplementary note 10 characterized in that the attached noise removal strength is determined, and a computer is caused to change the noise removal strength determined according to the number of the composite image data based on the determined noise removal strength. The image correction program described.
(Appendix 13)
The noise removal process
The noise removal strength associated with the gain value is determined with reference to the condition for changing the noise removal strength according to the gain value of the image capturing unit at the time of shooting recorded in the recording unit, and the determined noise 11. The image correction program according to appendix 10, wherein the computer executes a process of changing the noise removal strength determined according to the number of the composite image data based on the removal strength.
(Appendix 14)
The noise removal process
Referring to the condition for changing the noise removal intensity according to the ratio of the edge in the total number of pixels of the image of the composite image data recorded in the noise removal intensity setting unit, it is associated with the ratio of the edge The image according to appendix 10, wherein a noise removal strength is determined, and a computer is caused to execute a process of changing the noise removal strength determined according to the number of the composite image data based on the determined noise removal strength. Correction program.
(Appendix 15)
The image correction program according to appendix 10, wherein when displaying an image on the display unit, the computer executes a process of displaying information for notifying a user that the image is an intermediate composite image.

１ 画像撮影部、
２ 画像バッファ部、
３ 基準画像特定部、
４ 画像合成部、
５ 合成画像保持部、
６ 表示選択部、
７ 表示装置、
８ ノイズ除去強度設定部、
９ ノイズ除去部、
１４０ ハードウェア、
１４１ ＣＰＵ
１４２ 記録部、
１４３ 記録媒体読取装置、
１４３ａ 記録媒体、
１４４ 入出力インタフェース、
１４４ａ 入出力装置、
１４５ 通信インタフェース、
１４６ バス 1 Image shooting unit,
2 Image buffer,
3 reference image specifying part,
4 Image composition part,
5 composite image holding unit,
6 Display selection part,
7 Display device,
8 Noise removal strength setting section,
9 Noise removal unit,
140 hardware,
141 CPU
142 recording section,
143 recording medium reader,
143a recording medium,
144 I / O interface,
144a I / O device,
145 communication interface,
146 bus

Claims (8)

連続撮影した複数の画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定部と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択部と、
を備えることを特徴とする画像補正装置。 An image buffer unit for receiving and recording a plurality of image data continuously shot;
A reference image specifying unit for specifying reference image data to be used as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image composition unit that generates composite image data corrected using the reference image data and image data recorded in a different image buffer unit;
A display selection unit that outputs the reference image data to a display unit and outputs the corrected composite image data to the display unit instead of the reference image data after the correction is completed;
An image correction apparatus comprising: 前記画像バッファ部に記録されている画像データに基づいて、前記基準データまたは前記補正した合成画像データのノイズ除去強度を変化させる条件を記録するノイズ除去強度設定部と、
前記条件により前記基準画像データと前記補正した合成画像データのノイズ除去強度を変化させるノイズ除去部と、
を備えることを特徴とする請求項１に記載の画像補正装置。 A noise removal strength setting unit that records a condition for changing the noise removal strength of the reference data or the corrected composite image data based on the image data recorded in the image buffer unit;
A noise removal unit that changes a noise removal strength of the reference image data and the corrected composite image data according to the condition;
The image correction apparatus according to claim 1, further comprising: 前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの枚数に応じてノイズ除去強度を変化させる条件を参照し、前記合成画像データの枚数に対応するノイズ除去強度を決定し、前記ノイズ除去強度に応じたノイズ除去をすることを特徴とする請求項２に記載の画像補正装置。 The noise removing unit
The noise removal strength corresponding to the number of the composite image data is determined by referring to a condition for changing the noise removal strength according to the number of the composite image data recorded in the noise removal strength setting unit, and the noise removal The image correction apparatus according to claim 2, wherein noise is removed according to intensity. 前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記表示部に表示する画像データの縮小率とビューアサイズのいずれかあるいは両方に応じてノイズ除去強度を変化させる条件を参照して、前記縮小率と前記ビューアサイズに対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。 The noise removing unit
Referring to the condition for changing the noise removal intensity in accordance with either or both of the reduction ratio and viewer size of the image data displayed on the display section recorded in the noise removal intensity setting section, the reduction ratio and the 3. The noise removal strength associated with a viewer size is determined, and the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength. Image correction device. 前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている撮影時の画像撮像部のゲイン値に応じてノイズ除去強度を変化させる条件を参照して、前記ゲイン値に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。 The noise removing unit
With reference to the condition for changing the noise removal strength according to the gain value of the image capturing unit at the time of shooting recorded in the noise removal strength setting unit, the noise removal strength associated with the gain value is determined, The image correction apparatus according to claim 2, wherein the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength. 前記ノイズ除去部は、
前記ノイズ除去強度設定部に記録されている前記合成画像データの画像全体の画素数に占めるエッジの割合に応じてノイズ除去強度を変化させる条件を参照して、前記エッジの割合に対応付けられたノイズ除去強度を決定し、該決定したノイズ除去強度に基づいて前記合成画像データの枚数に応じて決定したノイズ除去強度を変更することを特徴とする請求項２に記載の画像補正装置。 The noise removing unit
Referring to the condition for changing the noise removal intensity according to the ratio of the edge in the total number of pixels of the image of the composite image data recorded in the noise removal intensity setting unit, it is associated with the ratio of the edge The image correction apparatus according to claim 2, wherein a noise removal strength is determined, and the noise removal strength determined according to the number of the composite image data is changed based on the determined noise removal strength. コンピュータに
連続撮影した複数の画像の画像データを受信して画像バッファ部に記録する画像バッファ処理と、
前記画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定処理と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補
正した合成画像データを生成する画像合成処理と、
前記基準画像データを表示部に出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを表示部に出力する表示選択処理と、
を実行させることを特徴とする画像補正プログラム。 Image buffer processing for receiving image data of a plurality of images taken continuously by a computer and recording them in an image buffer unit;
A reference image specifying process for specifying reference image data as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image compositing process for generating composite image data corrected using the reference image data and image data recorded in a different image buffer unit;
A display selection process for outputting the reference image data to a display unit, and outputting the corrected composite image data to the display unit instead of the reference image data after the correction is completed;
An image correction program for executing 被写体を連続撮影して複数の画像の画像データを取得する画像撮像部と、
前記画像撮像部から前記画像データを受信して記録する画像バッファ部と、
画像バッファ部に記録した前記複数の画像データの中から、予め記録されている条件に基づいて、基準にする基準画像データを特定する基準画像特定部と、
前記基準画像データと、異なる前記画像バッファ部に記録された画像データを用いて補正した合成画像データを生成する画像合成部と、
前記基準画像データを出力し、前記補正が終了した後に、該基準画像データに代えて前記補正した合成画像データを出力する表示選択部と、
前記表示選択部から出力された前記基準画像データまたは前記補正した合成画像データを表示する表示部と、
を備えることを特徴とする画像撮影装置。 An image capturing unit that continuously captures a subject and acquires image data of a plurality of images;
An image buffer unit that receives and records the image data from the image capturing unit;
A reference image specifying unit for specifying reference image data to be used as a reference based on a pre-recorded condition from the plurality of image data recorded in the image buffer unit;
An image composition unit that generates composite image data corrected using the reference image data and image data recorded in a different image buffer unit;
A display selection unit that outputs the reference image data and outputs the corrected composite image data instead of the reference image data after the correction is completed;
A display unit for displaying the reference image data or the corrected composite image data output from the display selection unit;
An image photographing apparatus comprising: