JP2008092005A - Electronic camera, imaging control program and imaging control method - Google Patents
Electronic camera, imaging control program and imaging control method Download PDFInfo
- Publication number
- JP2008092005A JP2008092005A JP2006267405A JP2006267405A JP2008092005A JP 2008092005 A JP2008092005 A JP 2008092005A JP 2006267405 A JP2006267405 A JP 2006267405A JP 2006267405 A JP2006267405 A JP 2006267405A JP 2008092005 A JP2008092005 A JP 2008092005A
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined
- shooting
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体を撮像して静止画で記録する電子カメラ、撮像制御プログラム及び撮像制御方法に関する。 The present invention relates to an electronic camera that captures an image of a subject and records it as a still image, an imaging control program, and an imaging control method.
従来、カメラに採用されている手ブレ補正方式は、光学式手振れ補正と電子式手振れ補正とに大別される。光学式手振れ補正は、アクチュエータを用いて光学系の一部を駆動する方式である。一方、電子式手振れ補正としては、連続する複数の画像を撮影し各画像の対応する画素同士を加算する方式が知られている（特許文献１参照）。
しかしながら、撮影した連続する複数の画像の画素を加算する方式の場合、画像サイズを維持できるメリットはあるものの、撮影条件によっては複数の画像を加算した際にノイズが発生してしまうデメリットが生ずる。したがって、ブレ補正を行う必要がある条件下で撮影を行った場合には、撮影した連続する複数の画像の画素加算による有効なブレ補正手段となる反面、ブレ補正を行う必要がない条件下で撮影を行った場合においても同様の画素加算が行われると、前記デメリットによる無用な画質低下を招いてしまう。 However, in the method of adding pixels of a plurality of consecutive captured images, there is a merit that the image size can be maintained, but depending on the photographing conditions, there is a demerit that noise is generated when a plurality of images are added. Therefore, when shooting is performed under conditions where it is necessary to perform blur correction, it becomes an effective blur correction means by adding pixels of a plurality of consecutive images that have been shot, but under conditions where blur correction is not required. Even when shooting is performed, if the same pixel addition is performed, useless image quality degradation due to the disadvantages is caused.
本発明は、かかる従来の課題に鑑みてなされたものであり、画素加算を適正に行いつつ撮影を行うことのできる電子カメラ、撮像制御プログラム及び撮像制御方法を提供することを目的とする。 The present invention has been made in view of such conventional problems, and an object thereof is to provide an electronic camera, an imaging control program, and an imaging control method that can perform imaging while appropriately performing pixel addition.
前記課題を解決するために請求項１記載の発明に係る電子カメラは、複数の画素を有し、露出することにより被写体を撮像して画像データを取得する撮像手段と、操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理手段と、操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理手段と、前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手段と、この判断手段により前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理手段を動作させ、満たしていると判断された場合は前記第２の撮像処理手段を動作させる制御手段とを備えることを特徴とする。 In order to solve the above-mentioned problem, an electronic camera according to an embodiment of the present invention includes a plurality of pixels, an imaging unit that captures an image of a subject by exposure and acquires image data, and the electronic camera in response to an operation. A first imaging processing means for exposing the imaging means a single time with a set exposure time and outputting the acquired image data; and an exposure shorter than the set exposure time for the imaging means in response to an operation. Whether or not a second imaging processing means for performing addition processing for performing exposure processing a plurality of times in succession and adding sequentially acquired image data for each exposure and a predetermined condition for executing the addition processing are satisfied A determination means for determining the first imaging processing means is operated when the determination means determines that the predetermined condition is not satisfied, and the second image processing is determined when it is determined that the predetermined condition is satisfied. Imaging process Characterized in that it comprises a control means for operating the means.
また、請求項２記載の発明に係るカメラは、前記第２の撮像処理手段は、前記設定された露出時間内において前記撮像手段を連続して複数回露出させて、前記加算処理を実行することを特徴とする。 In the camera according to the second aspect of the invention, the second imaging processing unit performs the addition processing by exposing the imaging unit continuously a plurality of times within the set exposure time. It is characterized by.
また、請求項３記載の発明に係るカメラは、前記第２の撮像処理手段は、前記露出毎の画像データにおける画像の位置を合致させる位置合わせ手段を備えることを特徴とする。 The camera according to a third aspect of the invention is characterized in that the second imaging processing means includes an alignment means for matching the position of the image in the image data for each exposure.
また、請求項４記載の発明に係るカメラは、前記所定条件を可変的に設定する第１の設定手段を備えることを特徴とする。 According to a fourth aspect of the present invention, there is provided a camera comprising a first setting unit that variably sets the predetermined condition.
また、請求項５記載の発明に係るカメラは、当該電子カメラの撮影条件を設定する第２設定手段を備え、前記所定条件とは、前記第２設定手段により設定された所定の撮影条件を含むものであることを特徴とする。 According to a fifth aspect of the present invention, the camera includes second setting means for setting shooting conditions of the electronic camera, and the predetermined condition includes a predetermined shooting condition set by the second setting means. It is characterized by that.
また、請求項６記載の発明に係るカメラは、前記所定条件とは、当該カメラにおいて手ブレが生ずることが想定される所定の手ブレ発生条件を含むものであることを特徴とする。
The camera according to the invention of
また、請求項７記載の発明に係るカメラは、前記所定の手ブレ発生条件とは、
（ａ）当該カメラが有するレンズの焦点距離が所定値よりも大きい場合、
（ｂ）マクロモード又は近接撮影モードが設定されている場合、
（ｃ）当該カメラのブレ量を検出する検出手段により検出されたブレ量が所定ブレ量よりも大きい場合、
の少なくとも一つの条件を含むものであることを特徴とする。
Further, in the camera according to
(A) When the focal length of the lens of the camera is greater than a predetermined value,
(B) When the macro mode or the close-up mode is set,
(C) When the blur amount detected by the detecting means for detecting the blur amount of the camera is larger than the predetermined blur amount,
It includes at least one of the following conditions.
また、請求項８記載の発明に係るカメラは、前記所定条件とは、当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件を含むものであることを特徴とする。 The camera according to an eighth aspect of the invention is characterized in that the predetermined condition includes a predetermined image blur occurrence condition in which image blur is assumed to occur in a subject imaged by the camera.
また、請求項９記載の発明に係るカメラは、前記所定の像ブレ発生条件とは、
（ｄ）設定された露出時間における被写体移動による像移動量が、所定値より大きい場合、
（ｅ）被写体の輝度が所定値よりも低く、当該カメラが有する発光手段が強制的に停止されている場合、
（ｆ）前記設定された露出時間が、所定の露出時間よりも長い場合、
（ｇ）当該カメラが設定した所定の設定値に基づき、暗い部屋又は電灯照明下の被写体と判断された場合、
の少なくとも一つの条件を含むものであることを特徴とする。
Further, in the camera according to the ninth aspect of the invention, the predetermined image blur occurrence condition is:
(D) When the amount of image movement due to subject movement during the set exposure time is greater than a predetermined value,
(E) When the luminance of the subject is lower than a predetermined value and the light emitting means of the camera is forcibly stopped,
(F) When the set exposure time is longer than the predetermined exposure time,
(G) When it is determined that the subject is a dark room or a subject under electric lighting based on a predetermined set value set by the camera,
It includes at least one of the following conditions.
また、請求項１０記載の発明に係るカメラは、複数の撮影シーンの各々対応して設定される撮影条件を記憶した記憶手段と、この記憶手段に記憶されたいずれかの撮影シーンを選択する選択手段とを備え、この選択手段により選択された撮影シーンに対応する撮影条件を設定する第３設定手段とを備え、前記所定条件とは、前記選択手段により選択された撮影シーンの種別を含むものであることを特徴とする。 According to a tenth aspect of the present invention, there is provided a camera having a storage unit that stores shooting conditions set in correspondence with each of a plurality of shooting scenes, and a selection for selecting one of the shooting scenes stored in the storage unit. And a third setting unit for setting a shooting condition corresponding to the shooting scene selected by the selection unit, wherein the predetermined condition includes a type of the shooting scene selected by the selection unit. It is characterized by that.
また、請求項１１記載の発明に係るカメラは、光学式手ブレ振れ補正手段を更に備え、 The camera according to an eleventh aspect of the present invention further includes optical camera shake correction means,
前記所定条件は、第１及び第２の所定条件を含み、前記判断手段は、第１及び第２の所定条件を満たしているか否かを判断し、前記制御手段は、前記判断手段により第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、前記第２の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、前記第１及び第２の所定条件が満たされていないと判断された場合には、前記光学式手ブレ振れ補正手段を停止させて前記第１の撮像処理手段を動作させる第３の制御とを実行することを特徴とする。 The predetermined condition includes first and second predetermined conditions, the determination means determines whether or not the first and second predetermined conditions are satisfied, and the control means performs the first determination by the determination means. When it is determined that the predetermined condition is satisfied, the first control for operating the first imaging processing unit while operating the optical camera shake correction unit and the second predetermined condition are satisfied. If it is determined that the condition is satisfied, the second control for operating the second imaging processing unit while operating the alignment unit and the first and second predetermined conditions are not satisfied. If it is determined, the optical camera shake correction unit is stopped and the third control for operating the first imaging processing unit is executed.
また、請求項１２記載の発明に係るカメラは、第１、第２及び第３のモードを選択的に設定するモード設定手段を備え、前記制御手段は、前記モード設定手段により第１のモードが設定されている場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させ、前記第２のモードが設定されている場合には、前記位置合わせ手段の動作を伴って前記第２の撮像処理手段を動作させ、第３のモードが設定されている場合には、前記第１、第２及び第３の制御を実行することを特徴とする。 According to a twelfth aspect of the present invention, there is provided a camera comprising mode setting means for selectively setting the first, second, and third modes, wherein the control means is configured so that the first mode is set by the mode setting means. When set, the first image pickup processing means is operated while operating the optical camera shake correction means, and when the second mode is set, the positioning means The second imaging processing means is operated with operation, and when the third mode is set, the first, second and third controls are executed.
また、請求項１３記載の発明に係るカメラは、光学式手ブレ振れ補正手段を更に備え、
The camera according to the invention of
前記所定条件は、第１及び第２の所定条件を含み、前記判断手段は、第１及び第２の所定条件を満たしているか否かを判断し、前記制御手段は、前記判断手段により第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、前記第２の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、前記第１及び第２の所定条件が満たされていないと判断された場合には、前記光学式手ブレ振れ補正手段を停止させて前記第１の撮像処理手段を動作させる第３の制御とを実行することを特徴とする。 The predetermined condition includes first and second predetermined conditions, the determination means determines whether or not the first and second predetermined conditions are satisfied, and the control means performs the first determination by the determination means. When it is determined that the predetermined condition is satisfied, the first control for operating the first imaging processing unit while operating the optical camera shake correction unit and the second predetermined condition are satisfied. If it is determined that the condition is satisfied, the second control for operating the second imaging processing unit while operating the optical camera shake correction unit and the first and second predetermined conditions are satisfied. If it is determined that the optical image stabilization is not performed, the optical camera shake correction unit is stopped, and the third control for operating the first imaging processing unit is executed.
また、請求項１４記載の発明に係るカメラは、第１、第２及び第３のモードを選択的に設定するモード設定手段を備え、前記制御手段は、前記モード設定手段により第１のモードが設定されている場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させ、前記第２のモードが設定されている場合には、前記前記光学式手ブレ振れ補正手段を動作させつつ前記第２の撮像処理手段を動作させ、第３のモードが設定されている場合には、前記第１、第２及び第３の制御を実行することを特徴とする。 According to a fourteenth aspect of the present invention, there is provided a camera comprising mode setting means for selectively setting the first, second, and third modes, wherein the control means is configured so that the first mode is set by the mode setting means. When set, the first image pickup processing means is operated while operating the optical camera shake correction means, and when the second mode is set, the optical hand shake correction means is operated. The second imaging processing unit is operated while operating the shake correction unit, and when the third mode is set, the first, second and third controls are executed. To do.
また、請求項１５記載の発明に係るカメラは、前記第１の所定条件とは、当該カメラにおいて手ブレが生ずることが想定される所定の手ブレ発生条件を含むものであり、前記第２の所定条件とは、当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件を含むものであることを特徴とする。 In the camera according to the fifteenth aspect, the first predetermined condition includes a predetermined camera shake occurrence condition in which camera shake is assumed to occur in the camera. The predetermined condition includes a predetermined image blur occurrence condition in which image blur is assumed to occur in a subject imaged by the camera.
また、請求項１６記載の発明に係るカメラは、前記撮像手段の感度を増加させることにより、前記設定された露出時間が可及的に短くなるように再設定する再設定手段を備え、前記所定条件とは、前記再設定手段により再設定された露出時間が所定時間よりも長い場合を含むものであることを特徴とする。
Further, the camera according to the invention of
また、請求項１７記載の発明に係るカメラは、光学式手ブレ振れ補正手段を更に備え、前記所定条件は、第１、第２及び第３の所定条件を含み、前記判断手段は、前記撮像手段に設定されている感度が所定以上であるか否か、及び第１乃至第３の所定条件を満たしているか否かを判断し、前記制御手段は、前記判断手段により、前記感度が所定以上であり、かつ第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、前記感度が所定以上であり、かつ前記第２の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、前記感度が所定以上であり、前記第３の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させることなく前記第２の撮像処理手段を動作させるか、又は前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第３の制御とを実行することを特徴とする。
The camera according to the invention of
また、請求項２１記載の発明に係るカメラは、前記抽出手段は、前記撮像手段により取得された画像における所定部分の特徴を抽出することを特徴とする。
The camera according to the invention of
また、請求項２２記載の発明に係るカメラは、前記撮像手段により取得された画像データにおける主要被写体又は背景画像の特徴を前記所定部分の特徴として抽出することを特徴とする。 A camera according to a twenty-second aspect is characterized in that a feature of a main subject or a background image in image data acquired by the imaging means is extracted as a feature of the predetermined portion.
また、請求項２３記載の発明に係るカメラは、前記位置合わせ手段は、当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件が検出された場合に、前記主要被写体の特徴に基づき、該主要被写体が合致するように位置合わせすることを特徴とする。
Further, the camera according to the invention of
また、請求項２４記載の発明に係るカメラは、前記位置合わせ手段は、当該カメラにおいて手ブレが生ずることが想定される所定の手ブレ発生条件が検出された場合に、前記前記特徴抽出手段により抽出された背景画像の特徴に基づき、該背景画像が合致するように位置合わせすることを特徴とする。
Further, the camera according to the invention of
また、請求項２５記載の発明に係るカメラは、前記第２の撮像処理手段が動作した場合において、前記撮像手段により取得された画像データから、前記選択手段により選択された撮影シーンに応じた画像部分の特徴を抽出する特徴抽出手段を備え、前記位置合わせ手段は、前記特徴抽出手段により抽出された特徴に基づき、前記露出毎の画像データにおける画像の当該特徴抽出部分の位置を合致させることを特徴とする。 According to a twenty-fifth aspect of the present invention, in the camera according to the twenty-fifth aspect, when the second imaging processing unit operates, an image corresponding to a shooting scene selected by the selection unit from the image data acquired by the imaging unit. Feature extraction means for extracting the feature of the part, and the positioning means matches the position of the feature extraction part of the image in the image data for each exposure based on the feature extracted by the feature extraction means. Features.
また、請求項２６記載の発明に係るカメラは、記録する画像のサイズ又は印刷する画像のサイズを設定するサイズ設定手段と、このサイズ設定手段により設定されたサイズに応じて許容ブレ量を設定するブレ量設定手段と、当該カメラにおける手ブレ又は当該カメラが撮像する被写体における像ブレの少なくとも一方を検出する検出手段を備え、前記所定条件とは、前記検出手段により検出されたブレ量が前記許容ブレ量を超える場合を含むことを特徴とする。 According to a twenty-sixth aspect of the present invention, there is provided a camera having a size setting means for setting a size of an image to be recorded or a size of an image to be printed, and an allowable blur amount according to the size set by the size setting means A blur amount setting unit; and a detection unit that detects at least one of a camera shake in the camera or an image blur in a subject imaged by the camera, and the predetermined condition is that the blur amount detected by the detection unit is the allowable amount It includes a case where the amount of blur is exceeded.
また、請求項２７記載の発明に撮像制御プログラムは、複数の画素を有し、露出することにより被写体を撮像して画像データを取得する撮像手段を備える電子カメラが有するコンピュータを、操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理手段と、操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理手段と、前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手段と、この判断手段により前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理手段を動作させ、満たしていると判断された場合は前記第２の撮像処理手段を動作させる制御手段とを備えることを特徴とする。 According to a twenty-seventh aspect of the present invention, an imaging control program responds to an operation by a computer having an electronic camera that has a plurality of pixels and includes an imaging unit that captures an image of a subject by exposure to obtain image data. First imaging processing means for exposing the imaging means once with a set exposure time, and outputting the acquired image data; and in response to an operation, the imaging means is set to be longer than the set exposure time. Whether or not the second imaging processing means for performing addition processing for performing exposure processing multiple times consecutively with a short exposure time and adding image data for each exposure sequentially acquired, and a predetermined condition for executing the addition processing are satisfied Determining means for determining whether or not the predetermined condition is not satisfied by the determining means, the first imaging processing means is operated to determine that the predetermined condition is satisfied. If the characterized in that it comprises a control means for operating the second imaging processing means.
また、請求項２８記載の発明に撮像制御方法は、複数の画素を有し、露出することにより被写体を撮像して画像データを取得する撮像手段を備える電子カメラの制御方法であって、操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理ステップと、操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理ステップと、前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手ステップと、この判断ステップにより前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理ステップを実行させ、満たしていると判断された場合は前記第２の撮像処理ステップを実行させることを特徴とする。 According to a twenty-eighth aspect of the present invention, there is provided an imaging control method for controlling an electronic camera having an imaging unit that has a plurality of pixels and that captures an image of a subject by exposure to obtain image data. A first imaging processing step of responding to the imaging means for a single exposure with a set exposure time and outputting the acquired image data; and the imaging means in response to an operation for the set exposure time. A second imaging process step of performing an addition process of performing exposure for a plurality of times continuously with a shorter exposure time and adding image data for each exposure acquired sequentially, and satisfying a predetermined condition for executing the addition process A determination step for determining whether or not the predetermined condition is not satisfied by the determination step, the first imaging processing step is executed, and If it is determined that, characterized in that to execute the second imaging processing step.
本発明によれば、加算処理を実行させるべき所定条件を満たしているか否かを判断し、満たしていると判断された場に、設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行することから、必要な場合において加算処理が実行される一方、必然性なく加算処理が実行されることはない。したがって、無用に加算処理が実行されて画像に必然性なくノイズが発生する不都合を回避しつつ、加算処理を適正に行って有効なブレ補正手段とすることができる。 According to the present invention, it is determined whether or not a predetermined condition for performing the addition processing is satisfied, and when it is determined that the predetermined condition is satisfied, the exposure processing is continuously performed a plurality of times with an exposure time shorter than the set exposure time. Since the addition process of performing exposure and adding the sequentially acquired image data for each exposure is executed, the addition process is executed when necessary, but the addition process is not necessarily executed. Therefore, it is possible to effectively perform the addition process and to obtain an effective blur correction unit while avoiding the inconvenience that the addition process is executed unnecessarily and noise is inevitably generated in the image.
以下、本発明の一実施の形態を図に従って説明する。
（第１の実施の形態）
図１は、各実施の形態に共通するデジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、高速度撮影が可能なカメラであって、撮影制御手段１を備えている。この撮影制御手段１は、撮影条件の設定手段２、撮影モードの設定手段３、シーン別撮影プログラム記憶部４、感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８及び撮影モード制御部９を備えている。そして、操作入力部１０からの操作信号は、撮影条件の設定手段２及び撮影モードの設定手段３に入力される。撮影モードの設定手段３は、操作入力部１０からの操作信号に従って撮影モードを選択し、撮影条件の設定手段２に出力するとともに、シーン別撮影プログラム記憶部４からは選択されたシーン別撮影プログラムが撮影条件の設定手段２に与えられる。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram showing a schematic circuit configuration of a
撮影条件の設定手段２は、これらの入力情報も基づき撮影条件を設定し、この設定した撮影条件を感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８に出力する。撮影モード制御部９は、感度／利得制御手段５、ズーム制御／ＡＦ制御部６、露出制御手段７、手ブレ補正制御手段８が前記撮影条件に基づき生成する制御情報が与えられ、この制御情報に基づき「加算なし（単写）」「加算なし（連写・ブラケティング）」「マルチプレーン加算合成モード（増感）」「マルチプレーン加算＋位置合わせモード（ブレ軽減）」の各モードを設定する。
The shooting condition setting means 2 sets shooting conditions based on these input information, and the set shooting conditions are used as sensitivity / gain control means 5, zoom control /
また、露出制御手段７は、ストロボ１１を駆動するストロボ駆動回路１２と、撮像レンズ１３内に配置された絞り１４とシャッタ１５とを駆動する絞り／シャッタ駆動部１６Ｒとを制御する。ズーム制御／ＡＦ制御部６は、撮像レンズ１３を構成するズームレンズとフォーカスレンズとを駆動するズームレンズ／フォーカスレンズ駆動部１７を制御する。手ブレ補正制御手段８には、当該デジタルカメラ１の角速度を検出する角速度センサ１８からの信号に基づき手ブレを検出する手ブレ検出手段１９からの手ブレ検出信号が入力される。手ブレ補正制御手段８は、この入力される手ブレ検出信号に基づき、手ブレ補正駆動装置２０を制御し、手ブレ補正駆動装置２０は撮像レンズ１３内の手ブレ補正用レンズを駆動する。
The exposure control means 7 controls a
一方、撮像レンズ１３の光軸上には、イメージセンサ２１が配置されており、このイメージセンサ２１は並列読み出しなどの高速読み出しが可能な撮像素子である。また、イメージセンサ２１から高速で出力される画像信号を処理する信号処理手段２２も同様に高速符号化処理可能なＤＳＰである。この信号処理手段（ＤＳＰ）２２は、Ｓ／Ｐ変換部２３、シューディング補正部２４、デジタルＡＧＣ２５、バッファメモリ（Ａ）２６、マルチプレーン合成部２７、カラー補間部２８、階調変換／ガンマ補正部２９、マトリクス１３０、解像度変換部３１、各種検出処理部３２及び撮像タイミング制御部３３を備えている。信号処理手段２２は、その全体的な動作を撮影制御手段１により制御され、信号処理手段２２が有する前記撮像タイミング制御部３３は、イメージセンサ２１の動作周期を制御する。
On the other hand, an
また、撮影時における信号処理手段２２からのスルー画像データは、表示駆動部３４に与えられ、画像表示部３５にスルー画像が表示される。そして、操作入力部１０が有するシャッタキー（レリーズ釦）が操作された際には、信号処理手段２２からの画像データは、バッファメモリ（Ｂ）３４に格納されて、画像符号化／復号化部３５により符号化されて、画像記録／入出力部３８によりカードメモリ媒体３９に記録される。
Further, the through image data from the
図２は、デジタルカメラ１の具体的回路構成を示すブロック図である。図に示すように、デジタルカメラ１は、制御回路１０２を有している。制御回路１０２には、ＣＰＵ１０３とこのＣＰＵ１０３にデータバス１０４を介して各々接続されたインターフェース１０５、音声入出力回路１０６、入力回路１０７、メモリカード・ＩＦ１０８、ＵＳＢコントローラ１０９、入出力インタフェース１１０、入出力回路１１１、入出力ポート１１２、１１３、ＨＤＤ・ＩＦ１１４が設けられている。音声入出力回路１０６には、マイク１１６がアンプ１１７及びＡ／Ｄ変換器１１８を介して接続されているとともに、スピーカ１１９がアンプ１２０及びＤ／Ａ変換器１２１を介して接続されている。入力回路１０７には、レリーズ釦（シャッタキー）を含む各種操作キー、スイッチ等が設けられた操作入力部１２２が接続され、メモリカード・ＩＦ１０８には脱着自在に設けられた画像メモリ媒体１２５が接続されている。ＵＳＢコントローラ１０９はＵＳＢ端子１２６に接続されており、入出力インタフェース１１０はアンテナ１２７を有する無線ＬＡＮ送受信部１２８に通信コントローラ１２９を介して接続されている。また、入出力回路１１１には、外部トリガー端子１３０がトリガー検出部１３１を介して接続されている。
FIG. 2 is a block diagram showing a specific circuit configuration of the
前記入出力ポート１１２には、焦点レンズ駆動部１３２、ズームレンズ駆動部１３３、ブレ補正駆動部１３４、絞り駆動部１３５及びシャッタ駆動部１３６が接続されているとともに、ストロボ１３７がストロボ駆動回路１３８を介して接続され、測光／測距センサ１３９が検出回路１４０を介して接続されている。前記入出力ポート１１３には、当該デジタルカメラ１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）１４１と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）１４３とが各々検出回路１４２、１４４を介して接続されている。ＨＤＤ・ＩＦ１１４には、ＨＤＤ記憶装置１４７が接続されている。ＨＤＤ記憶装置１４７は、ディスク媒体１４８を有するとともに、モータ１４９、モータドライバ１５０、マイコン部１５１、ＶＣモータ１５２、ヘッドアンプ１５３、リード／ライトチャンネル１５４、ＨＤＤ制御部１５５等を有している。
The input /
また、制御回路１０２には、電池１４５が電源制御部１４６を介して接続され、電源制御部１４６は制御回路１０２により制御されて各部に電池１４５からの電力を供給する。さらに、前記データバス１０４には音声ＣＯＤＥＣ（符号器／復号器）１１５、プログラムメモリ１２３及びデータメモリ１２４が接続されている。音声ＣＯＤＥＣ１１５は、音声信号を符号化するとともに音声データを復号化する。プログラムメモリ１２３は、後述するフローチャートに示す制御回路１０２が動作するためのプログラムを格納しており、データメモリ１２４は各種データが予め格納されているとともに画像データ以外の他のデータを格納する。
In addition, a
一方、ズームレンズを含む撮像光学系１５６の後方光軸上には、撮像素子１５７が配置されているとともに、撮像光学系１５６中には前記絞り駆動部１３５により駆動される絞り１５８、及び前記シャッタ駆動部１３６により駆動されるシャッタ１５９が介挿されている。また、前記焦点レンズ駆動部１３２は、撮像光学系１５６中の焦点レンズを駆動し、ズームレンズ駆動部１３３はズームレンズを駆動するように構成されている。前記ブレ補正駆動部１３４は、撮像光学系１５６中に揺動可能に支持されたブレ補正用レンズを駆動するものであり、したがって、このデジタルカメラ１は光学的ブレ補正手段を備えている。
On the other hand, an
前記撮像素子１５７は、並列読み出しなどの高速読み出しが可能なものであり、イメージセンサ部１６０、水平走査部１６１、垂直走査部１６２、Ｐ／Ｓ変換部１６３を有している。この撮像素子１５７には、ＤＳＰ部１６４が接続されている。ＤＳＰ部１６４には、撮像素子１５７のＰ／Ｓ変換部１６３から取り込んだ画像信号を処理するためのＳ／Ｐ変換部１６５、バッファメモリ（Ａ）１６６、マルチプレーン加算部１６７、カラー補間部１６８、階調変換部１６９、ガンマ補正部１７０、マトリクス１７１、解像度変換部１７２を備えているとともに、前記垂直走査部１６２の周期を制御するためのコントローラ１７３、画像特徴抽出処理画像認識処理部１７４、測光処理／ＡＦ検出／自動ＷＢ処理ほか１７５を備えている。
The
前記解像度変換部１７２、画像特徴抽出処理画像認識処理部１７４、測光処理／ＡＦ検出／自動ＷＢ処理ほかは、画像データバス１７６を介してバッファメモリ（Ｂ）１７７、画像ＣＯＤＥＣ（符号器／復号器）１７８、動画像ＣＯＤＥＣ（符号器／復号器）１７９及び表示駆動回路１８０に接続され、画像データバス１７６は前記制御回路１０２のインターフェース１１０５に接続されている。バッファメモリ（Ｂ）１７７は、画像ＣＯＤＥＣ１７８及び動画像ＣＯＤＥＣ１７９が符号化及び復号化処理する際の画像データを一時的に格納し、表示駆動回路１８０は、表示部１８１を駆動する。
In addition to the resolution conversion unit 172, image feature extraction processing, image
図３及び図４は、本実施の形態の動作及び処理手順を示す一連のフローチャートである。制御回路１０２はプログラムメモリ１２３に格納されているプログラムに基づき各部を制御することにより、デジタルカメラ１はフローチャートに示すように動作し、処理を実行する。先ず、ユーザーによる操作入力部１２２での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、撮影設定モードが設定されたか否かを判断し（図４ステップＳ１０２）、撮影モードと撮影設定モードの何れも設定されていない場合には、その他のモード処理に移行する（ステップＳ１０３）。
3 and 4 are a series of flowcharts showing the operation and processing procedure of the present embodiment. The
また、撮影設定モードが設定された場合には、自動切換えの設定が選択されたか否かを判断する（ステップＳ１０４）。すなわち、図５に示すように、操作入力部１２２でＭＥＮＵキー及びカーソルキー（△▽）を操作して「撮影設定」モードを選択すると（ステップＳ１０２；ＹＥＳ）、表示部１８１に同図（ａ−１）に示すような撮影設定メニュー画面を表示する。このメニュー画面において、「ブレ軽減撮影」を選択すると、前記自動切換えの設定が選択されたことになり、前記ステップＳ１０４がＹＥＳとなって、同図（ａ−２）に示すブレ軽減撮影の設定メニューに移行する。
If the shooting setting mode is set, it is determined whether or not the automatic switching setting is selected (step S104). That is, as shown in FIG. 5, when the “shooting setting” mode is selected by operating the MENU key and the cursor key (Δ ▽) on the operation input unit 122 (step S102; YES), the
そして、自動切換えの設定が選択された場合には、ユーザーによる操作入力部１２２での操作に応じ、オート撮影モードにおいて、ブレ軽減撮影に自動切り換えするか否か（ＯＮ／ＯＦＦ）の設定を行う（ステップＳ１０５）。つまり、図５（ａ−２）のブレ軽減撮影の設定メニューには、「ＯＮ」「ＯＦＦ」が他の選択肢とともに表示されている。そして、この選択肢の中から「ＯＮ」が選択されれば自動切り換えＯＮが設定され、「ＯＦＦ」が選択されれば自動切り換えＯＦＦが設定される。
When the automatic switching setting is selected, whether to automatically switch to blur reduction shooting (ON / OFF) is set in the auto shooting mode in accordance with the operation of the
また、ステップＳ１０４で自動切換えの設定が選択されていないと判断された場合には、切換え条件の設定が選択されたか否かを判断する（ステップＳ１０６）。切換え条件の設定が選択された場合には、ユーザーの操作に従って、自動切換えする撮影条件等を選択して設定する（ステップＳ１０７）。 If it is determined in step S104 that the automatic switching setting is not selected, it is determined whether or not the switching condition setting is selected (step S106). When setting of the switching condition is selected, the photographing condition to be automatically switched is selected and set according to the user's operation (step S107).
すなわち、ステップＳ１０４で自動切換えの設定が選択されていないと判断された場合には、図５（ｂ−１）に示す撮影設定メニューが表示部１８１に表示されている。このメニュー画面から「ブレ軽減撮影のカスタム設定」を選択すると、切換え条件の設定が選択されことになり、ステップＳ１０６がＹＥＳとなって、同図（ｂ−２）のブレ軽減撮影のカスタム設定メニューの表示に移行する。このメニュー画面において、「加算処理の切替条件の設定」を選択すると、同図（ｂ−３）のブレ軽減撮影への切り換え条件の設定メニュー画面に遷移する。
That is, if it is determined in step S104 that the automatic switching setting is not selected, the shooting setting menu shown in FIG. 5B-1 is displayed on the
このブレ軽減撮影への切り換え条件の設定メニュー画面は、「撮影シーンに応じて」「露出時間時応じて」「被写体の輝度に応じて」「被写体の速度に応じて」「焦点距離に応じて」「マクロ撮影の場合」等の選択肢で構成されている。そして、この選択肢からいずれかを選択すると、例えば「撮影シーンに応じて」を選択すると、同図（ｂ−４）の撮影シーンに応じた切り替え設定画面に遷移する。この状態で、「ＯＦＦ」「オート」・・・等の撮影条件に応じた切り換え条件を選択することにより、前記ステップＳ１０７の処理が実行されて、ブレ軽減撮影に自動切換えする撮影条件等を選択して設定されることとなる。 This setting menu screen for switching to blur reduction shooting is based on "according to shooting scene", "according to exposure time", "according to subject brightness", "according to subject speed", "according to focal length" “In the case of macro photography”, and the like. When any one of these options is selected, for example, “according to the shooting scene” is selected, the screen transits to a switching setting screen corresponding to the shooting scene in FIG. In this state, by selecting a switching condition according to the photographing condition such as “OFF”, “auto”,..., The processing in step S107 is executed, and a photographing condition or the like for automatically switching to blur reduction photographing is selected. Will be set.
また、ステップＳ１０６で切換え条件の設定が選択されていないと判断された場合には、加算処理の内容の設定が選択されたか否かを判断する（ステップＳ１０８）。加算処理の内容の設定が選択されたされた場合には、ユーザーの操作に従って、加算処理の方式や処理を選択して設定する（ステップＳ１０９）。なお、ステップＳ１０８で加算処理の内容の設定が選択されていないと判断された場合には、その他の設定処理を実行する（ステップＳ１１０）。 If it is determined in step S106 that the setting of the switching condition is not selected, it is determined whether or not the setting of the content of the addition process is selected (step S108). When the setting of the content of the addition process is selected, the method and process of the addition process are selected and set according to the user operation (step S109). If it is determined in step S108 that the setting of the content of the addition process has not been selected, other setting processes are executed (step S110).
一方、図３のステップＳ１０１で撮影モードが設定されていると判断された場合には、ユーザーによる操作入力部１２２での操作により入力された撮影条件、オート撮影モード、マニュアル撮影モード、各撮影モードにおけるシャッタ速度等の各種撮影条件、後述するブレ軽減撮影又は増感撮影モード等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に基づく用紙サイズ又は画像サイズを選択する（ステップＳ１１１）。また、ズーム処理、ＡＦ処理を実行し（ステップＳ１１２）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ１１３）。したがって、ユーザはこの表示部１８１に表示されたスルー画像を見ながら、このデジタルカメラ１の向きを調整する等してシャッタチャンスを伺う。
On the other hand, if it is determined in step S101 in FIG. 3 that the shooting mode has been set, the shooting conditions, auto shooting mode, manual shooting mode, and each shooting mode input by the operation of the
一方、制御回路１０２は、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ１１４）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ１１５）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ１１６）、これにより得られた測光値と前記ステップＳ１０９で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ１１７）。
On the other hand, the
次に、手ブレ補正がＯＦＦであるか否かを判断し（ステップＳ１１８）、ＯＮである場合には、手ブレ補正撮影処理を実行する（ステップＳ１１９）。つまり、手ブレ補正がＯＮである場合には、検出回路１４２、１４４を介して、当該デジタルカメラ１の上下方向のブレを検出する角速度センサ（Ｙ／Ｐｉｔｃｈ）１４１と、上下方向のブレを検出する角速度センサ（Ｘ／Ｙａｗ）１４３から入力される信号に基づき、ブレ補正駆動部１３４を制御して、ブレ補正用レンズを駆動する光学的ブレ補正手段を動作させつつ、撮影処理を実行する。
Next, it is determined whether or not camera shake correction is OFF (step S118). If it is ON, camera shake correction photographing processing is executed (step S119). That is, when camera shake correction is ON, an angular velocity sensor (Y / Pitch) 141 that detects the vertical blur of the
手ブレ補正がＯＦＦである場合には、オート撮影モードが設定されているか否かを判断する（ステップＳ１２０）。オート撮影モードが設定されている場合には、さらに自働切り換えがＯＮか否かを判断する（ステップＳ１２１）。すなわち、前記ステップＳ１０５での処理により、「オート撮影モードでブレ軽減撮影に自動切換えする」が「ＯＮ」となっているか否かを判断する。そして、「ＯＦＦ」となっている場合には、ステップＳ１２２の処理を実行することなくステップＳ１２３に進む。「ＯＮ」となっている場合には、設定された所定の撮影条件か否かを判断する（ステップＳ１２２）。つまり、前記ステップＳ１０７でユーザーにより設定されたブレ軽減撮影に自動切換えする所定の撮影条件であるか否かを判断する。 If the camera shake correction is OFF, it is determined whether or not the auto shooting mode is set (step S120). If the auto shooting mode is set, it is further determined whether or not automatic switching is ON (step S121). That is, it is determined whether or not “automatic switch to blur reduction shooting in the auto shooting mode” is “ON” by the processing in step S105. If it is “OFF”, the process proceeds to step S123 without executing the process of step S122. If it is “ON”, it is determined whether or not the predetermined photographing condition is set (step S122). That is, it is determined whether or not the predetermined shooting condition for automatically switching to blur reduction shooting set by the user in step S107.
前記所定の設定条件とは、下記のいずれかのような、手振れが生じやすい撮影条件である。
ａ）撮影レンズの焦点距離が所定値より長い焦点距離の場合、
ｂ）マクロ（近接撮影）モードの場合、
ｃ）手振れ量又は像ブレ量を検出し、検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きくなると判断される場合、
など。
The predetermined setting condition is an imaging condition that is likely to cause camera shake, such as any of the following.
a) When the focal length of the taking lens is longer than a predetermined value,
b) In macro (close-up) mode,
c) When the camera shake amount or the image blur amount is detected, and it is determined that the detected blur amount or the image blur amount is larger than the predetermined blur amount or the image blur amount,
Such.
さらに、被写体の状態が以下のいずれかのような、被写体ブレが生じやすい条件の場合を設定条件としてもよい。、
ｄ）被写体の移動速度、若しくは、被写体像の移動速度を検出して、設定露出時間における被写体像の移動量が所定値又は許容錯乱円径より大きくなると判断される場合、
ｅ）測光センサや撮像信号から検出された測光値や被写体輝度が所定の値より低く、かつ、ストロボ発光が強制ＯＦＦに設定されている場合、
ｆ）測光値や被写体輝度に基づき自動露出（ＡＥ）制御により設定された露出時間、もしくは、マニュアル設定による露出時間が、所定の露出時間（例えば、１／６０秒）より長い場合、
ｇ）ホワイトバランス設定状態、もしくは、自動ホワイトバランス（ＡＷＢ）の設定状態が、蛍光灯や電球による照明や、それに相当する色温度（２０００度〜４５００度程度）に設定されているなど、暗い屋内や電灯照明下の被写体と判断される場合、
など。
Furthermore, the setting condition may be a case where the subject is in a condition where subject blur is likely to occur, such as one of the following. ,
d) When the movement speed of the subject or the movement speed of the subject image is detected and it is determined that the movement amount of the subject image during the set exposure time is larger than a predetermined value or an allowable circle of confusion,
e) When the photometric value or subject brightness detected from the photometric sensor or imaging signal is lower than a predetermined value and the strobe light emission is set to forced OFF,
f) When the exposure time set by automatic exposure (AE) control based on the photometric value or subject brightness or the exposure time by manual setting is longer than a predetermined exposure time (for example, 1/60 seconds),
g) The white balance setting state or the automatic white balance (AWB) setting state is set to illumination with a fluorescent lamp or a light bulb or a corresponding color temperature (2000 degrees to 4500 degrees). Or a subject under electric lighting,
Such.
なお、本実施の形態においては、ユーザが任意に選択できるようにしたが、ユーザの選択に拘わらず、制御回路１０２がこれらの条件の全てあるいは一部の有無を判断するようにしてもよい。
In the present embodiment, the user can arbitrarily select, but the
そして、ユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件でない場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ１２３）。これと同時に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ１２４）、引き続き、シャッタ速度に応じた露出時間が終了したか否かを判断し（ステップＳ１２５）、露出時間が終了となった時点で露出／撮影動作を停止させる（ステップＳ１２６）。また、この単写により得られた画像データを読み出す（ステップＳ１２７）。
If the shooting condition is not automatically switched to the blur reduction shooting set by the user, the
一方、前記ステップＳ１２０での判断の結果、オート撮影モードが設定されておらずマニュアル撮影モード等の他の撮影モードが設定されている場合には、ステップＳ１２０からステップＳ１２８に進む。そして、前記ステップＳ１０５での処理により、ブレ軽減撮影又は増感撮影モードが設定されているか否かを判断し（ステップＳ１２８）、ブレ軽減撮影又は増感撮影モードが設定されてない場合には、その他の撮影モード処理に移行する（ステップＳ１２９）。 On the other hand, if the result of determination in step S120 is that the auto shooting mode is not set and another shooting mode such as the manual shooting mode is set, the process proceeds from step S120 to step S128. Then, it is determined whether or not blur reduction shooting or intensifying shooting mode is set by the processing in step S105 (step S128), and if blur reduction shooting or intensifying shooting mode is not set, The process proceeds to other shooting mode processing (step S129).
ブレ軽減撮影又は増感撮影モードが設定されている場合（ステップＳ１２５；ＹＥＳ）、及び前記ステップＳ１２２の判断がＹＥＳであって、前記ステップＳ１０７でユーザーにより設定されたブレ軽減撮影に自動切換えする撮影条件である場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ１３０）。引き続き、前記ステップＳ１１４の測光処理で得られている測光値と、ステップＳ１１１で設定された撮影条件とに応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ１３１）。つまり、露出時間や絞りなど露出条件を画像の加算数に応じて、例えば、画像加算数（ｎ）が２枚、４枚、８枚、１６枚、・・・の場合に露出時間を１／２、１／４、１／８、１／１６、・・・と（１／ｎ）に再設定する。
When the blur reduction shooting mode or the intensifying shooting mode is set (step S125; YES), and when the determination at step S122 is YES, the shooting is automatically switched to the blur reduction shooting set by the user at step S107. If the condition is satisfied, the
次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ１３２）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ１３３）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ１３４）、ブレ除去の為の画像の位置合わせを行うか否かを判断する（ステップＳ１３５）。位置合わせを行わない場合には、ステップＳ１３６の処理を行うことなくステップＳ１３７に進み、位置合わせを行う場合には、撮影された画像を、主要被写体又は背景の特徴に応じて、前の画像と位置合わせする位置合わせ処理を実行する（ステップＳ１３６）。なお、この主要被写体又は背景の特徴に応じて、前の画像と位置合わせする処理の詳細については後述する。次に、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ１３７）、補間処理、ノイズ除去処理を実行する（ステップＳ１３８）。また、加算画像数分連写済みか否かを判断し（ステップＳ１３９）、加算画像数分連写済みとなるまで、ステップＳ１３２からの処理を繰り返す。 Next, an exposure / photographing operation is started according to the photographing conditions (step S132), and it is determined whether or not the exposure time (T / n) has ended (step S133). When the exposure time (T / n) is completed, the image data obtained thereby is read (step S134), and it is determined whether or not to perform image alignment for blur removal (step S135). When the alignment is not performed, the process proceeds to step S137 without performing the process of step S136. When the alignment is performed, the captured image is compared with the previous image according to the main subject or the background characteristics. An alignment process for alignment is executed (step S136). Note that details of the process of aligning with the previous image according to the main subject or background characteristics will be described later. Next, the captured image and multi-plane addition are sequentially combined with the previous image (step S137), and interpolation processing and noise removal processing are executed (step S138). Further, it is determined whether or not continuous shooting has been completed for the number of additional images (step S139), and the processing from step S132 is repeated until continuous shooting has been completed for the number of additional images.
したがって、ステップＳ１３２〜Ｓ１３９の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、補間処理及びノイズ除去処理された１枚分の撮影画像データが生成されることとなる。 Therefore, the processes of steps S132 to S139 are repeated n times at a cycle of T / n, and thus, the continuously shot n images are sequentially subjected to multiplane addition synthesis, interpolation processing and noise removal processing. One captured image data is generated.
そして、ステップＳ１３９及びＳ１２７のいずれかに続くステップＳ１４０では、撮影画像を圧縮、符号化し、この圧縮、符号化した撮影画像をメモリ媒体（画像メモリ媒体１２５又はディスク媒体１４８）に記録する（ステップＳ１３５）。さらに、撮影画像を表示部１８１にレビュー表示する（ステップＳ１３６）。
In step S140 following either one of steps S139 and S127, the captured image is compressed and encoded, and the compressed and encoded captured image is recorded in a memory medium (
したがって、本実施の形態によれば、下記のような効果を得ることができる。
（１）手ブレや被写体の動きによる像ブレが生じやすい撮影条件や、被写体の場合には、自動的に１回のレリーズ操作に応じて、複数枚の画像を高速で速写するとともに速写された画像をマルチプレーン加算及び位置合せ合成する、「ブレ軽減速写合成モード」に切り替えて撮影処理し、マルチプレーン加算による増感効果により、適正露出を得るのに必要な露出時間を短縮して撮影できる。また、高速で速写された複数画像における像移動を位置合せ合成して記録できるので、仮に光学式の手ブレ補正装置が搭載されていないカメラであったとしても、手ブレによる像ブレだけでなく、子供やペット、スポーツの撮影など被写体ブレが生じやすい撮影シーンでも、被写体ブレによる像ブレをも効果的に軽減して撮影できる。
（２）また、連写画像のマルチプレーン加算及び位置合せ合成によるブレ軽減撮影や増感撮影に自動的に切り替えるか否か（切り替えのＯＮ／ＯＦＦ）、どのような撮影条件や被写体状態の場合に増感撮影やブレ軽減撮影に切り替えるか（切替え条件）、増感撮影やブレ軽減撮影において、連写画像数（加算枚数）やどのような加算処理を行うか（増感撮影やブレ軽減、加算処理に切替えた際の処理内容）などを、設定モード等でカスタム設定できるようにしたので、以降は、オート撮影するだけで、ユーザーの所望や作画意図に応じて、ブレ軽減撮影や増感撮影が行える。
（３）また、光学式の手ブレ補正装置を設けたカメラの場合も、手ブレ補正がＯＦＦ設定になっている場合や、ＯＮに設定し忘れた場合でも、自動的にブレ軽減して撮影できるとともに、ユーザーの意図に大きく反することなく、手ブレや被写体ブレが大きいと判断される場合にのみブレ軽減して撮影できる。
（４）また、高解像度でかつ高速で速写した画像を位置合せして、マルチプレーン加算処理するので、（従来の撮像素子上における画素加算読み出しや撮影後画像の加算処理のように、）加算処理によって画像サイズが小さくなってしまったり、画素補間処理により解像感が落ちてしまったり、異なるタイミングの画像を加算合成して被写体ブレが大きくなったりすることがなく、ユーザーの希望とは違う画像が撮影されてしまうことも防止できる。
Therefore, according to the present embodiment, the following effects can be obtained.
(1) In shooting conditions that are likely to cause image blur due to camera shake or subject movement, or in the case of a subject, a plurality of images were automatically shot at high speed and in response to a single release operation. Switch to “blur reduction rapid shooting composition mode”, which adds multi-plane addition and alignment composition, and shoots, and with the sensitization effect by multi-plane addition, you can shoot with reduced exposure time to obtain proper exposure . In addition, image movement in multiple images taken at high speed can be registered and recorded, so even if the camera is not equipped with an optical camera shake correction device, Even in shooting scenes where subject blur is likely to occur, such as shooting of children, pets, and sports, image blur due to subject blur can be effectively reduced.
(2) Whether to automatically switch to blur reduction shooting or intensification shooting by multi-plane addition and alignment synthesis of continuous shot images (switching ON / OFF), in what shooting conditions and subject state Whether to switch to sensitization shooting or blur reduction shooting (switching conditions), and the number of continuous shots (added number) and what kind of addition processing to be performed in sensitization shooting or blur reduction shooting (sensitization shooting, blur reduction, The processing details when switching to addition processing) can be custom-set in the setting mode, etc., and after that, only auto shooting is required, and blur reduction shooting and sensitization can be performed according to the user's wishes and drawing intentions. Shooting is possible.
(3) In the case of a camera equipped with an optical camera shake correction device, even if camera shake correction is set to OFF or forgotten to set it to ON, shooting is automatically performed with camera shake reduction. In addition, it is possible to shoot with reduced blurring only when it is determined that camera shake or subject blurring is large, without greatly deviating from the user's intention.
(4) In addition, since the images taken at high resolution and at high speed are aligned and subjected to multiplane addition processing, addition (as in conventional pixel addition reading on the image sensor and post-shooting image addition processing) is performed. Processing does not reduce the image size, pixel interpolation processing reduces the resolution, and does not increase subject blurring by adding and synthesizing images at different timings, which is different from the user's wishes. It is also possible to prevent an image from being taken.
（撮像素子）
前記撮像素子１５７を、例えば、ＣＣＤイメージセンサで構成した場合には、入射光によってフォトダイオードに発生した信号電荷を増幅せずにそのまま、垂直と水平のＣＣＤ転送路によって順繰りに転送され、出力回路で初めてＦＤ（Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）アンプにより信号電圧に増幅されて出力される。ＣＣＤから出力された撮像信号は、ＣＤＳ回路（相関二重サンプル回路）でノイズ除去及びサンプル＆ホールド処理され、ＡＧＣ（自動利得制御）アンプで増幅され、ＡＤＣ（Ａ／Ｄ変換器）でデジタル撮像信号に変換されて、ＤＳＰ（信号処理回路）に出力される。
(Image sensor)
When the
一方、撮像素子をＣＭＯＳ（相補型金属一酸化膜半導体）イメージセンサで構成する場合には、図２に示したような、一般的なＡＰＳ（増幅型画素センサ）型のＣＭＯＳセンサでは、フォトダイオードを含む単位画素回路毎に増幅素子（アンプ）が内蔵されており、フォトダイオードで光電変換された信号電荷は画素回路内アンプで一旦増幅され、垂直走査回路からの行アドレス選択信号と水平走査回路からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧又は電流として取り出すことができる。ＣＣＤのように順番に取り出さなくとも、ＣＭＯＳセンサでは、任意の画素や領域の撮像信号だけを、任意の順序で取り出しできるので、デジタルズーム処理で所定領域のみを切り出して読出す場合には、高速で読み出せる。 On the other hand, in the case where the image pickup device is constituted by a CMOS (complementary metal monoxide semiconductor) image sensor, a general APS (amplified pixel sensor) type CMOS sensor as shown in FIG. Each unit pixel circuit including a built-in amplifying element (amplifier), the signal charge photoelectrically converted by the photodiode is once amplified by the amplifier in the pixel circuit, the row address selection signal from the vertical scanning circuit and the horizontal scanning circuit The image pickup signal for each pixel selected by the XY address method by the column selection signal from can be sequentially extracted from the output as voltage or current. Even if it is not taken out sequentially like a CCD, the CMOS sensor can take out only the image signals of any pixel or area in any order, so when extracting and reading out only a predetermined area by digital zoom processing, it can be performed at high speed. Can be read.
また、ＣＣＤでは、信号電荷をそのまま転送するのでスミアやノイズに弱いが、ＣＭＯＳセンサでは、画素毎にランダムアクセスで読出せ、各画素回路は電気的に分離しているので伝送ノイズに強く、またＣＭＯＳ ＬＳＩ等と同様に、同じ製造プロセスにてイメージセンサ部の周辺に各種のＣＭＯＳ回路や加算演算回路などデジタル論理回路などを高集積化して比較的容易に一緒に作りこめる利点がある。その反面、ＣＭＯＳセンサでは、画素毎のアンプの闇値など、個々の素子バラツキによる固定パターンノイズ（ＦＰＮ）や暗電流、ＫＴＣ雑音が大きい難点があったが、（ＣＣＤと同様に）埋め込みフォトダイオードとＦＤアンプを用いる構造にして、暗電流とＫＴＣ雑音を低減できるようになり、列信号線毎に並列に並んだ列回路に設けたＣｏｌｕｍｎ型のＣＤＳ／ＡＤＣ回路等により、フォトダイオードをリセットする前と後の信号を減算して固定パターンノイズを除去できるようになり、列回路毎に積分型や巡回型、逐次型などのＡＤ変換器を組み込んで、デジタル信号での撮像信号出力も容易になった。 In CCD, signal charges are transferred as they are, so they are vulnerable to smear and noise. However, in CMOS sensors, each pixel is read out by random access, and each pixel circuit is electrically separated, so it is resistant to transmission noise. Similar to a CMOS LSI or the like, there is an advantage that digital logic circuits such as various CMOS circuits and addition arithmetic circuits are highly integrated around the image sensor portion in the same manufacturing process and can be relatively easily formed together. On the other hand, in CMOS sensors, fixed pattern noise (FPN), dark current, and KTC noise due to variations in individual elements, such as the dark value of the amplifier for each pixel, were difficult, but embedded photodiodes (similar to CCD) As a result, the dark current and the KTC noise can be reduced, and the photodiode is reset by a column type CDS / ADC circuit provided in a column circuit arranged in parallel for each column signal line. Fixed pattern noise can be removed by subtracting the front and back signals, and integration signals, cyclic types, and sequential type AD converters are built into each column circuit, making it easy to output imaging signals as digital signals. became.
本実施の形態に係る高速度撮影機能を有するデジタルカメラ１に用いる撮像素子では、任意のサイズの画像領域を選択して、領域内の画素の撮像信号を読み出す選択読み出しができるように、図６に示す撮像素子２００を用いることが好ましい。すなわち、この撮像素子２００は、タイミング発生回路２０１に接続された垂直走査回路２０２と水平走査回路２０３及び列回路部２０４を備えるとともに、並列直列変換部２０４、符号器２０５を有している。列回路部２０４には、ＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７、画素加算回路２０８を一組とする回路が複数設けられて、各々列信号線２０９が接続されている。一方、垂直走査回路２０２には、行選択線（アドレス線）２１０と転送ＴＣ線（行読出し線）２１１及び行リセット線２１２とが接続されている。また、イメージセンサ部２１３には、複数の単位画素回路２１４が設けられており、各単位画素回路２１４は、前記列信号線２０９、行選択線（アドレス線）２１０、転送ＴＣ線（行読出し線）２１１、行リセット線２１２に接続されたフォトダイオード２１５等で構成されている。
In the image sensor used in the
したがって、この撮像素子２００においては、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７の後段に隣接する同色（フィルタ）の複数の画素の信号同士をデジタル信号で加算する画素加算回路２０８を設けることにより、デジタルズーム時には、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号を読出しできるように構成し、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようにしてある。
Therefore, in this
なお、選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路部２０４のＣＤＳ回路２０６、Ａ／Ｄ変換回路２０７から水平走査回路２０３の列選択信号により選択された列信号が順次出力されるが、このとき、高速クロックに同期させて並列のデジタル信号として出力するか、若しくは、並列のデジタル信号を符号化し、並列／直列変換回路により変換して、直列のデジタル撮像信号として出力して、高解像度の撮像信号を、ＤＳＰに高速フレームレートで転送出力することができる。
Note that the image signal of the selected region that has been selectively read and the image signal that has undergone pixel addition are the column selected by the column selection signal of the
（ＣＤＳ／ＡＤＣ回路、画素加算回路） (CDS / ADC circuit, pixel addition circuit)
図７は、ＣＭＯＳセンサ内の列回路部に設けた画素加算回路の例である。並列に並んだ列回路に設けるＣＤＳ／ＡＤＣ回路には、各種方式が開発されているが、本例では、いわゆる「ＣｏｌｕｍｎＡＤＣ方式」のＣＤＳ／ＡＤＣ回路を用いて、列毎に並列処理するＡ／Ｄ変換器により、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。ＣｏｌｕｍｎＡＤＣ方式のＣＤＳ回路では、固定パターンノイズを抑圧するために、荒精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は、例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。 FIG. 7 is an example of a pixel addition circuit provided in the column circuit portion in the CMOS sensor. Various methods have been developed for CDS / ADC circuits provided in parallel column circuits. In this example, a so-called “Column ADC method” CDS / ADC circuit is used to perform parallel processing for each column. The D converter converts the pixel fixed pattern noise (FPN) into a digital signal while suppressing it. In the Column ADC type CDS circuit, a two-stage clamp circuit with coarse accuracy and high accuracy is used to suppress fixed pattern noise. Clamping is an operation of replacing a certain level of a signal with a reference voltage, and the clamp circuit is composed of, for example, a capacitor and a switch, and the output side of the capacitor is set to the reference voltage by the switch.
図８の動作タイミングチャートにあるように、まず、列回路のＡ１とＡ２のクランプスイッチＳ１、Ｓ２を同時に閉じてから、Ｓ１を先に開くと、点ｖｉｎの電位が、Ａ１の闇値電圧にＳ１スイッチングのバラツキが加算された電圧に荒い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の闇値電圧になる。その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分かＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。 As shown in the operation timing chart of FIG. 8, first, when the clamp switches S1 and S2 of the column circuit A1 and A2 are closed at the same time and then S1 is opened first, the potential at the point vin becomes the dark value voltage of A1. The voltage obtained by adding the variation of S1 switching is clamped with rough accuracy, but since S2 remains closed, the voltage becomes the dark value voltage of the A2 input. Thereafter, when S2 is opened, a voltage including the variation in switching is clamped in A2, and the clamping operation is completed. Since the variation component of S2 switching is reduced to the variation on the Vin side divided by the gain of A2, the clamp accuracy is improved when viewed from the Vin side, and the vertical streak fixed pattern noise (FPN) generated in the clamp circuit is improved. ) Is suppressed.
次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプＪングする。サンプリング完了後、スイッチＳ３を開いて、Ａ／Ｄ変換用のランプ波形（ＲＡＭＰ波形、順次電圧が上昇する傾斜状の波形）の基準信号をスイッチＳ４から加えると、ランプ波形に応じてｖｉｎの電圧がやがてクランプ回路の闇値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタの値がデジタルの画素信号値としてラッチに記憶され、Ａ／Ｄ変換処理が終了する。 Next, when a pulse rises on the row readout line (transfer gate line TG), a pixel signal appears on the column signal line, so the switch S4 is closed and sampling is performed. After the sampling is completed, the switch S3 is opened, and the reference signal of the ramp waveform for the A / D conversion (RAMP waveform, ramp waveform in which the voltage sequentially increases) is applied from the switch S4. Eventually, the output of A2 is inverted beyond the dark value of the clamp circuit, and the value of the 10-bit counter up to the voltage to be inverted is stored in the latch as a digital pixel signal value, and the A / D conversion process ends.
（画素加算動作）
このようなＣＤＳ／ＡＤＣを含む列回路の後に、列加算（垂直加算）回路などのデジタル演算回路３０１を設け、行アドレス選択された画素の信号を列信号線から読出し、ＣＤＳ／ＡＤＣ回路でノイズ除去されデジタル変換された並列信号を、タイミング信号でラッチ回路にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミング信号で別のラッチ回路にラッチして、ラッチ回路の出力同士を列加算回路でデジタル加算する。また、水平信号線からの信号出力部に行加算（水平加算）回路などのデジタル演算回路３０２を設け、列加算された信号同士をタイミング信号で選択して水平信号線に読出し、ラッチ回路にラッチして、ラッチ回路の出力同士を行加算回路でデジタル加算する。カラー撮像の場合には、例えば、「Ｂａｙｅｒ配列」等の千鳥状に２画素周期で交互に並んだ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ同素同士で、列方向に複数加算する。また、行方向に（一つ飛ばしで）隣接する同色フィルタの複数の画素を行方向に加算して読み出すことで同色画素の信号同士が複数同素分加算できる。
(Pixel addition operation)
After such a column circuit including CDS / ADC, a digital
加算された撮像信号のデジタル信号は所定の符号化を行うとともに、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力され、ＤＳＰに転送される。なお、ＣＤＳ／ＡＤＣ回路は、ＣＯｌｕｍｎＡＤＣ方式で構成したが、より単純なＣｏｌｕｍｎ ＣＤＳ方式や、ＤＤＳ方式（Ｄｏｕｂｌｅ Ｄａｔａ Ｓａｍｐｌｉｎｇ）など、他のＣＤＳ／ＡＤＣ回路や加筧回路で構成してもよい。 The added digital signal of the image pickup signal is subjected to predetermined encoding, is sequentially converted into a serial (serial) digital signal by a parallel / serial conversion circuit, is output, and is transferred to the DSP. Although the CDS / ADC circuit is configured by the COlumn ADC system, it may be configured by another CDS / ADC circuit or an adder circuit such as a simpler Column CDS system or a DDS system (Double Data Sampling).
（撮像信号の高速読出し）
前述のように、加算された撮像信号のデジタル信号は、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力されＤＳＰに転送される。高解像度かつ高速フレームで撮像を行うためには、当然ながら、撮像信号を高速でＤＳＰに転送する必要がある。一般のＣＭＯＳ入出力回路では、入出力信号の振幅は、電源電圧範囲の一杯の範囲で振らせるので、消費電力が大きくなるばかりでなく、転送できる速度も遅くなってしまう。これに対し、例えば、ＣＭＬ系（Ｃｕｒｒｅｎｔ Ｍｏｄｅ Ｌｏｇｉｃ、電流モードロジック）の入出力回路では、トランジスタを不飽和領域で使用して、インピーダンスを低くし、電圧を振らせるというよりは電流をｏｎ／ｏｆｆさせる方法で、（ｖｄｄ−０．４Ｖ）の電位を中心に低振幅で動作させる。浮遊容量を充・放電する量が少なくなるので高速動作できる。
(High-speed readout of imaging signals)
As described above, the added digital signal of the imaging signal is sequentially converted into a serial (serial) digital signal by the parallel / serial conversion circuit, and is output and transferred to the DSP. In order to capture an image with a high resolution and a high-speed frame, naturally, it is necessary to transfer the imaging signal to the DSP at a high speed. In a general CMOS input / output circuit, the amplitude of the input / output signal is swung within the full range of the power supply voltage range, so that not only the power consumption increases, but also the transfer speed becomes slow. On the other hand, for example, in an input / output circuit of a CML system (Current Mode Logic), the transistor is used in an unsaturated region to reduce the impedance and to turn the current on / off rather than swing the voltage. In this way, the operation is performed with a low amplitude around the potential of (vdd−0.4V). High speed operation is possible because the amount of charge / discharge of stray capacitance is reduced.
また、ＬＶＤＳ系（Ｌｏｗ−ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ、小振幅差動信号方式）は、２本の信号線を使用して情報を運ぶ差動信号方式で、単一チャネルあたり数百〜数千Ｍｂｐｓ（メガビット／秒）の高速度でデータ伝送でき、かつ、ｍＷレベルの低消費電力の差動データ伝送方式として、内部バスの信号線の本数も減らせるため、モニタ表示装置などのデジタル入出力インタフェースとして利用されている。ＬＶＤＳでは、２本の配線を必要とするが、電流モード・ドライバの採用と、＋１．２Ｖ電位を中心に０．３Ｖの上下振幅内で振らせる小振幅によって、コモンモードノイズを除去でき、広い周波数範囲に対して高いノイズ耐性が得られる。このように、ＣＭＯＳ回路でも、高速でシリアル伝送できるＣＭＬ系やＬＶＤＳ系など低振幅や作動方式の入出力インタフェースを用いて、また直列信号に変換されたデジタル撮像信号を撮像素子の出力回路（トランシーバー）から出力して、後段のＤＳＰへ高速で伝送し、ＤＳＰ側の入力回路（レシーバー）では、受信した直列デジタル信号を並列／直列変換回路で並列デジタル信号に復元変換して、デジタル撮像信号として映像信号処理に用いることができる。 The LVDS system (Low-Voltage Differential Signaling) is a differential signal system that carries information using two signal lines and is several hundred to several thousand Mbps (megabits) per single channel. As a differential data transmission system that can transmit data at a high speed (mW level) with low power consumption, the number of signal lines on the internal bus can be reduced, so it can be used as a digital input / output interface for monitor display devices, etc. Has been. LVDS requires two wires, but common mode noise can be eliminated by adopting a current mode driver and a small amplitude that swings within a vertical amplitude of 0.3V centered on a + 1.2V potential. High noise immunity is obtained over the frequency range. As described above, even in a CMOS circuit, a digital image signal converted into a serial signal is converted into an output circuit of an image sensor (transceiver) using an input / output interface of a low amplitude or operating method such as a CML system or an LVDS system capable of serial transmission at high speed. ) And is transmitted to the subsequent DSP at high speed, and the input circuit (receiver) on the DSP side restores and converts the received serial digital signal into a parallel digital signal by a parallel / serial converter circuit, and as a digital imaging signal It can be used for video signal processing.
（ＤＳＰ（デジタル信号処理回路））
ＣＭＯＳセンサ内蔵のＣＤＳ／ＡＤＣ回路でデジタル変換され、並列又は直列のデジタル信号で転送された撮像信号を入力すると、ＤＳＰでは、まずシェーディング補正や黒レベル補正、欠陥画素補正などを行った後、デジタルＡＧＣで増幅するとともに、ホワイトバランス調整やカラーバランス調整を行った後に、撮像素子の前面に設けられたモザイク状の「Ｂａｙｅｒ配列」や千鳥配列されたＲＧＢカラーフィルタ配列に従って、画素毎には一つの色成分しか持たないＢａｙｅｒデータ（ＲＡＷデータ）から、他の色差成分の画素値も、近隣周辺の画素値等から画素補間（Ｐｉｘｅｌ Ｓｉｇｎａｌ ｌｎｔｅｒｐｏｌａｔｉｏｎ）して求めて（カラー補間処理）、画素毎にＲＧＢ色差成分毎の階調値を持つデジタル画像データに変換される。さらに、階調補正やガンマ補正されたＲＧＢ系のデジタル画像信号はバッファメモリ（Ｂ）に一時記憶された後、ＬＣＤモニタや電子ファインダ（ＥＶＦ）に再生表示されるか、カラーマトリクス回路でＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、画像ＣＯＤＥＣにより、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。また、必要に応じて、リサイズ／補間処理回路により、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Ｒｅ ｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ）を行う。例えば、スルー画像や再生画像をＬＣＤ等に表示する為に、ｖｉｄｅｏＲＡＭや表示ドライバ内の表示ＲＡＭ領域に書込む為に、（ＶＧＡサイズなど）所定の画像サイズに変換するリサイズ（Ｒｅｓｉｚｅ）、もしくは、補間処理（ｌｎｔｅｒｐｏｌａｔｉｏｎ）を行う。あるいは、撮影記録時に、所望の設定された画像サイズで記録する為に、縮小／拡大する処理や、リサイズ／補間処理もしくは解像度変換処理を行う。
(DSP (digital signal processing circuit))
When an imaging signal that has been digitally converted by a CDS / ADC circuit with a built-in CMOS sensor and transferred as a parallel or serial digital signal is input, the DSP first performs shading correction, black level correction, defective pixel correction, etc. After amplifying with AGC and performing white balance adjustment and color balance adjustment, one pixel is used for each pixel according to the mosaic “Bayer arrangement” or the staggered RGB color filter arrangement provided on the front surface of the image sensor. From Bayer data (RAW data) having only color components, pixel values of other color difference components are also obtained by pixel interpolation (pixel signal interpolation) from neighboring peripheral pixel values, etc. (color interpolation processing). Converted to digital image data with gradation values for each color difference component . Further, the RGB digital image signal subjected to gradation correction or gamma correction is temporarily stored in the buffer memory (B) and then reproduced and displayed on an LCD monitor or an electronic viewfinder (EVF), or the RGB matrix image is displayed by a color matrix circuit. Is converted into an image signal of a predetermined color space such as a YUV system / YCbCr system, and JPEG still image data, MPEG4, H.264, etc. H.264 moving image data or the like is compressed / encoded. Further, if necessary, the resizing / interpolating circuit performs resolution conversion processing (Re solution conversion) for converting the captured image size to a different image size. For example, in order to display a through image or a reproduced image on an LCD or the like, to rewrite to a video RAM or a display RAM area in a display driver, the image is resized (Resize) to be converted into a predetermined image size (such as a VGA size), or Interpolation processing is performed. Alternatively, at the time of shooting and recording, processing for reduction / enlargement, resizing / interpolation processing, or resolution conversion processing is performed in order to record at a desired set image size.
（マルチプレーン加算処理）
図９に示すように、複数枚の画像を高速速写して、前記のＤＳＰ内に取り込み、カラー補間処理を行う前に、Ｂａｙｅｒ配列データでマルチプレーン加算合成処理を行うことにより、前述したように、増感効果を高めた高感度撮影を行うことができる。ブレ軽減撮影を行う場合には、さらに、マルチプレーン加算する前に、速写された各画像を前の画像との相関度やテンブレートマッチング処理などにより、主要被写体領域の輝度パターンや輪郭、色特徴などが前の画像と同じ位置に重なるように位置合せ処理を行う。
(Multiplane addition processing)
As shown in FIG. 9, as described above, a plurality of images are taken at high speed, captured in the DSP, and subjected to multiplane addition synthesis processing with Bayer array data before performing color interpolation processing. High-sensitivity shooting with enhanced sensitization effect can be performed. In addition, when performing blur reduction shooting, before adding multiplanes, the brightness pattern, contour, and color characteristics of the main subject area are determined by correlating each time-lapsed image with the previous image or by template matching processing. Alignment processing is performed so that and the like overlap at the same position as the previous image.
図９のマルチプレーン加算回路では、各連写画像のＢａｙｅｒ配列データのうち、輝度成分や解像感をよく反映するＧ（緑）画像の相関度を求めて位置合せ合成を行い、またＢａｙｅｒ配列データでは欠けている縦、横、斜め画素の補間処理を行いフル画素のＧデータを生成する。Ｒ（赤）、Ｂ（青）データは、Ｇ（緑）データの位置合せ結果に準じて位置合せとカラー補間処理を行い、フルサイズのＲＧＢデータに変換する。位置合せ処理では、さらに、回転方向も検出して、アフィン変換などにより座標回転変換して位置合せし、回転位置に応じて補間処理を行うようにしてもよい。あるいは、動く被写体や被写体ブレしやすい撮影条件では、中央や前景の主な被写体の領域画像を抽出して、主要被写体や背景の輪郭形状や特微量が重なる位置に移動して位置合せしてから加算するのが望ましい。 In the multi-plane addition circuit of FIG. 9, among the Bayer array data of each continuous shot image, a correlation degree of a G (green) image that well reflects a luminance component and a sense of resolution is obtained and alignment synthesis is performed. Interpolation of vertical, horizontal, and diagonal pixels that are missing from the data is performed to generate G data for full pixels. R (red) and B (blue) data are converted into full-size RGB data by performing alignment and color interpolation processing according to the alignment result of G (green) data. In the alignment process, it is also possible to detect the rotation direction, perform coordinate rotation conversion by affine transformation or the like, perform alignment, and perform interpolation processing according to the rotation position. Or, for moving subjects or shooting conditions that tend to blur the subject, extract the area image of the main subject in the center or foreground, move it to the position where the main subject or background outline shape and feature amount overlap, and align them. It is desirable to add.
（必要な撮影速度）
高速度撮影機能を有するデジタルカメラ１における撮影速度や速写フレーム速度Ｒ（ｆｐｓ）は、設定された撮影倍率（Ｍ）や、被写体の移動速度（Ｖ）などの設定情報に従って、次式（１）などにより、必要な撮影速度（Ｒ）の目安を算出し、設定すればよい。
式（１） 必要な撮影速度Ｒ＝（ＭＸＶ）／（ｄｘα）
ただし、Ｒ：撮影速度（コマ／秒）、Ｍ：撮影倍率＝撮像イメージサイズ（Ｙ′）／被写体サイズ（Ｙ）、Ｖ：被写体の移動速度（ｍｍ／秒）、ｄ：許容錯乱円径、α：シヤッタ係数（α＝１〜５など）。
(Required shooting speed)
The shooting speed and rapid shooting frame speed R (fps) in the
Formula (1) Required shooting speed R = (MXV) / (dxα)
Where R: shooting speed (frame / second), M: shooting magnification = captured image size (Y ′) / subject size (Y), V: moving speed of subject (mm / second), d: allowable circle of confusion, α: Shutter coefficient (α = 1 to 5, etc.).
（必要な露出時間） (Required exposure time)
また、必要な露出時間（Ｔ）は、設定された撮影倍率（Ｍ）や被写体の移動速度（Ｖ）などの設定情報に従って、次式（２）又は（３）により、必要な露出時間（Ｔ）の目安を算出し、それを満たす範囲で、測光値や照明条件に応じて、露出時間（Ｔ）を設定すればよい。
式（２） 必要な露出時間Ｔ＝β×ｄ／（ＭＸＶ）、又は、
式（３） 必要な露出時間Ｔ＝β×Ｙ′／（ｍ×Ｍ×Ｖ）
ただし、Ｔ：露出時間（秒）、ｄ：許容錯乱円径（ｍｍ）、Ｍ：撮影倍率、Ｖ：被写体の移動速度（ｍｍ／秒）、β：係数（β＝０．２〜１．０、など）、Ｙ′： 撮像イメージサイズ（ｍｍ）、ｍ：撮像素子の画素数。
Further, the necessary exposure time (T) is calculated by the following equation (2) or (3) according to setting information such as the set photographing magnification (M) and subject moving speed (V). The exposure time (T) may be set in accordance with the photometric value and the illumination conditions within a range that satisfies the above.
Formula (2) Required exposure time T = β × d / (MXV), or
Expression (3) Required exposure time T = β × Y ′ / (m × M × V)
Where T: exposure time (seconds), d: permissible circle of confusion (mm), M: photographing magnification, V: moving speed of subject (mm / second), β: coefficient (β = 0.2 to 1.0) ), Y ′: captured image size (mm), m: number of pixels of the image sensor.
（必要な被写体照度）
また、撮影に必要な光量（被写体照度）Ｅは、撮影倍率（Ｍ）や絞り値（Ｆ）、露出時間（Ｔ）などに応じて、例えば、次式（４）などにより算出される被写体照度（Ｅ）を満足する被写体の明るさやＥＶ値の環境条件で撮影するか、又は、それを満足するように、ＩＳＯ感度や被写体を照明するストロボ光量を設定して撮影するよう制御すればよい。
式（４） 必要な被写体照度Ｅ＝γ×（１＋Ｍ２）×Ｆ２／（Ｔ×ＩＳＯ）
ただし、Ｅ：必要な被写体照度（ルクス）、Ｍ：撮影倍率、Ｆ：撮影レンズ絞り値、Ｔ：撮影露出時間（秒）、ＩＳＯ：ＩＳＯ相当の撮影感度、γ：定数（例えば、γ＝２００〜２３５程度）。
(Required subject illumination)
The light amount (subject illuminance) E required for photographing is subject illuminance calculated by, for example, the following equation (4) according to the photographing magnification (M), aperture value (F), exposure time (T), and the like. It may be controlled to shoot under the environmental conditions of the brightness and EV value of the subject that satisfies (E), or to set the ISO sensitivity and the strobe light amount that illuminates the subject so as to satisfy it.
Formula (4) Necessary subject illuminance E = γ × (1 + M 2 ) × F 2 / (T × ISO)
However, E: Necessary subject illuminance (lux), M: photographing magnification, F: photographing lens aperture value, T: photographing exposure time (second), ISO: photographing sensitivity equivalent to ISO, γ: constant (for example, γ = 200) About 235).
（第２の実施の形態）
図１０は、本発明の第２の本実施の形態の動作及び処理手順を示すフローチャートである。先ず、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ２０１）、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ２０２）。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ２０３）。
(Second Embodiment)
FIG. 10 is a flowchart showing the operation and processing procedure of the second embodiment of the present invention. First, a shooting mode is selected in accordance with an operation of the
また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッタ速度等の撮影条件を設定し（ステップＳ２０４）、ズーム処理、ＡＦ処理を実行し、レンズ焦点距離情報（ｆ）を読み込む（ステップＳ２０５）。また、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ２０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ２０７）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ２０８）、これにより得られた測光値と前記ステップＳ２０３で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ２０９）。また、当該デジタルカメラ１におけるブレ量若しくは像ブレ量を検出する（ステップ２１０）。
If the auto shooting mode or blur reduction shooting mode is set, shooting conditions such as shutter speed are set (step S204), zoom processing and AF processing are executed, and lens focal length information (f) is obtained. Read (step S205). Further, it is determined whether or not a shooting instruction has been made by pressing the release button (step S206). If not, other key processing corresponding to the key operated by the user on the
次に、
（１）前記ステップＳ２０５で読み込んだ焦点距離（ｆ）が所定以上であるか否か（ステップＳ２１１）
（２）マクロ撮影であるか否か（ステップＳ２１２）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ２１３）
（４）ステップＳ２０９で設定された設定露出時間における像ブレ量が所定を超えるか否か（ステップＳ２１４）
（５）前記ステップＳ２０８で得られた測光値が所定値未満であるか否か（ステップＳ２１５）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ２１６）
（７）前記ステップＳ２０９で設定された設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ２１７）
（８）前記ステップＳ２０８でのＷＢ処理によるＷＢ設定が電球又は蛍光灯（屋内証明）であるか否か（ステップＳ２１８）
を判断する。
next,
(1) Whether the focal length (f) read in step S205 is greater than or equal to a predetermined value (step S211)
(2) Whether macro shooting is performed (step S212)
(3) Whether or not the amount of blur detected by the
(4) Whether or not the amount of image blur during the set exposure time set in step S209 exceeds a predetermined value (step S214)
(5) Whether the photometric value obtained in step S208 is less than a predetermined value (step S215)
(6) Whether the strobe is forcibly turned off when the photometric value is less than the predetermined value (step S216)
(7) Whether the set exposure time (T) set in step S209 exceeds a predetermined time (for example, 1/60 s) (step S217)
(8) Whether the WB setting by the WB process in step S208 is a light bulb or a fluorescent lamp (indoor certification) (step S218)
Judging.
そして、これら（１）〜（８）判断がすべてＮＯであった場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ２１９）、設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ２２０）。
If all the determinations (1) to (8) are NO, a single shooting mode (no addition) is set in the
一方、（１）〜（８）判断の少なくとも一つがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ２２１）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ２２２）、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ２２３）。
On the other hand, if at least one of the determinations (1) to (8) is YES, the
しかして、前述のような被写体の状態や撮影条件では、暗い被写体若しくは被写体の輝度が低くて、適正露出条件における露出時間（シャッタ速度）が長く（遅く）なりやすいので、手ブレとともに被写体ブレも生じやすい。あるいは、露出時間に対して被写体の移動速度が速いため、被写体ブレが生じやすい。このような被写体の動きによる像ブレ（動体ブレ）が生じやすい撮影条件の場合にも、自動的にブレ軽減の為の増感撮影モードに切り替えて、マルチプレーン加算合成による増感処理によって、撮影感度を増感するとともに、手ブレだけでなく被写体ブレ（動体ブレ）による像ブレをも軽減して撮影することができる。 Therefore, in the above-described subject state and shooting conditions, the brightness of the dark subject or the subject is low, and the exposure time (shutter speed) in the appropriate exposure condition tends to be long (slow). Prone to occur. Alternatively, subject movement is fast with respect to the exposure time, and subject blurring tends to occur. Even under shooting conditions that tend to cause image blur due to the movement of the subject (moving motion blur), the camera automatically switches to the sensitized shooting mode for blur reduction and sensitizes by multi-plane additive synthesis. In addition to increasing sensitivity, not only camera shake but also image blur due to subject blur (moving body blur) can be reduced and photographed.
（第３の実施の形態） (Third embodiment)
図１１及び図１２は、本発明の第３の実施の形態を示すものである。この実施の形態は、撮影シーン別のプログラム撮影モード、若しくは撮影シーンや撮影方法を説明文と代表例のサンプル画像とを付して表示したメニューから選択できるようにしたモード（ＢＳ（ベストショット）モード）において、設定された撮影シーンに応じて、手ブレや被写体ブレが生じやすいと判断されるような所定の撮影シーンが設定されている場合には、ブレーン加算合成によるブレ軽減撮影／増感撮影に自動的に切り替えるように制御するものである。 11 and 12 show a third embodiment of the present invention. In this embodiment, a program shooting mode for each shooting scene, or a mode (BS (best shot) in which shooting scenes and shooting methods can be selected from a menu with explanatory text and representative sample images attached thereto. Mode), if a predetermined shooting scene that is determined to be likely to cause camera shake or subject blur is set according to the set shooting scene, blur reduction shooting / sensitization by brain addition synthesis is performed. It controls to automatically switch to shooting.
すなわち、図１１のフローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ３０１）、ユーザーによる操作入力部１２２での操作により、オート撮影モード又は撮影シーン別プログラムモードが設定されているか否かを判断する（ステップＳ３０２）。オート撮影モード又は撮影シーン別プログラムモードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ３０３）。
That is, as shown in the flowchart of FIG. 11, the shooting mode is selected according to the operation of the
また、オート撮影モード又は撮影シーン別プログラムモードが設定されている場合には、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、撮影条件を設定又は撮影シーンを選択する（ステップＳ３０４）。つまり、図１２（Ａ）〜（Ｆ）に示すように、表示部１８１にユーザーによる操作入力部１２２での操作に応じて、撮影シーンとその説明文代表例のサンプル画像を切替表示し、いずれかの撮影シーンが選択されたならば、これを設定する。
In addition, when the auto shooting mode or the program mode for each shooting scene is set, shooting conditions such as a shutter speed are set, and shooting conditions are set or shot according to the operation of the
なお、図１０（Ａ）〜（Ｆ）に好適な撮影シーン別プログラムは、予めプログラムメモリ１２３に格納されている。また、（Ａ）は子供の撮影、（Ｂ）はペットの撮影、（Ｃ）はキャンドルライト（屋内）での撮影、（Ｄ）はパーティ（屋内）での撮影、（Ｅ）はスポーツの撮影、（Ｆ）は花などの近接撮影に各々好適な撮影シーン別プログラムに対応する。
10A to 10F are stored in the
次に、ズーム処理、ＡＦ処理を実行し（ステップＳ３０５）、レリーズ釦が押されて撮影指示がなされたか否かを判断する（ステップＳ３０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ３０７）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ３０８）、これにより得られた測光値と前記ステップＳ２０３で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ３０９）。
Next, zoom processing and AF processing are executed (step S305), and it is determined whether or not the release button has been pressed to give a shooting instruction (step S306). If not, the
次に、前記ステップＳ３０４で選択された撮影シーン（ＢＳモードが）が、
（１）子供、ペットの撮影シーン（ステップＳ３１０）
（２）キャンドルライト（屋内）の撮影シーン（ステップＳ３１１）
（３）パーティ（屋内）の撮影シーン（ステップＳ３１２）
（４）スポーツの撮影シーン（ステップＳ３１３）
（５）花、又は近接撮影（ステップＳ３１４）
（６）流し撮り撮影（ステップＳ３１５）
であるか否かを判断する。
Next, the shooting scene (BS mode) selected in step S304 is
(1) Child / pet photography scene (step S310)
(2) Candlelight (indoor) shooting scene (step S311)
(3) Party (indoor) shooting scene (step S312)
(4) Sports shooting scene (step S313)
(5) Flower or close-up photography (step S314)
(6) Panning shooting (step S315)
It is determined whether or not.
そして、これら（１）〜（６）判断がすべてＮＯであった場合には、つまり、設定されたシーンが「子供、ペットの撮影シーン」「キャンドルライト（屋内）の撮影シーン」「」パーティ（屋内）の撮影シーン」「スポーツの撮影シーン」「花、又は近接撮影」「流し撮り撮影」のいずれでもなく、他のシーンである場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ３１６）、設定された撮影シーンと設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ３１７）。
If all of these determinations (1) to (6) are NO, that is, the set scenes are “children and pets shooting scenes” “candlelight (indoor) shooting scenes” “” party ( In the case of other scenes other than “indoor) shooting scene”, “sports shooting scene”, “flower or close-up shooting”, and “panning shot shooting”, the
一方、（１）〜（６）判断の少なくとも一つがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ３１８）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ３１９）、設定された撮影シーンと、設定撮影条件に応じて、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ３２０）。
On the other hand, if at least one of the determinations (1) to (6) is YES, the
したがって、本実施の形態によれば、被写体が暗かったり、露出時間が長くなったり、手ブレや動体ブレが生じやすいような撮影シーンや増感処理が必要な撮影シーンの場合には、自動的にマルチプレーン加算合成によるブレ軽減撮影若しくは増感撮影に切り替えて撮影するように制御するので、前述した第１の実施の形態のように、設定モード等で細かく設定したりする必要がなく、ユーザー所望の撮影シーンやユーザーが選択した被写体のシーンに応じて、必要な場合には自動的に、手ブレや同他ブレによる像ブレを軽減したり増感撮影することができる。ユーザーは、撮影シーンを選択するだけで、容易に、また必要な場合にのみ自動的に像ブレを軽減したり増感撮影することができる。 Therefore, according to the present embodiment, in the case of a shooting scene in which the subject is dark, the exposure time is long, a camera shake or a motion blur is likely to occur, or a shooting scene that requires sensitization processing is automatically performed. In addition, since control is performed so that shooting is performed by switching to blur reduction shooting or intensifying shooting by multi-plane addition synthesis, there is no need to make detailed settings in the setting mode or the like as in the first embodiment described above. Depending on the desired shooting scene and the scene of the subject selected by the user, image blur due to camera shake or other blurs can be automatically reduced or intensified shooting can be automatically performed when necessary. The user can easily reduce image blurring or perform intensifying shooting only by selecting a shooting scene and automatically when necessary.
なお、本実施の形態においては、マルチプレーン加算モードで撮像素子を駆動するシーンとして、図１２（Ａ）〜（Ｆ）を示したが、これに限ることなく、夜景の撮影シーン（暗い被写体だが、遠景なのでストロボ消灯で撮影したいシーン）、夜景の人物と背景の撮影シーン（近景も、ストロボの届かない遠景も、一緒に撮影したい）、花火の撮影シーン（増感したいが、ノイズ発生を押さえたい撮影シーン）など、暗い被写体で露出時間が長くなるので、三脚などで固定して撮影するのが基本だが、撮影感度を上げると増大するノイズの発生も押さえて撮影したいシーンなどでも、（ＩＳＯ相当感度など）撮影感度をそれほど上げずに、マルチプレーン加算合成により増感撮影に自動的に切り替えて撮影するようにしてもよい。また、ブレ軽減撮影専用や高感度撮影専用の撮影シーンプログラムを設けるようにしてもよい。 In the present embodiment, FIGS. 12A to 12F are shown as scenes for driving the image sensor in the multi-plane addition mode. However, the present invention is not limited to this, and a night scene shooting scene (a dark subject) , A scene that you want to shoot with the flash off because it is a distant view), a scene that captures a person in the night view and a background (you want to shoot a close-up view or a distant view that does not reach the strobe), a fireworks shoot scene (you want to sensitize, but suppress noise generation) Since the exposure time is longer for dark subjects such as shooting scenes), it is basic to shoot with a tripod, etc., but even in scenes where you want to shoot while suppressing the generation of noise that increases when shooting sensitivity is increased (ISO (Equivalent sensitivity etc.) It is also possible to automatically switch to intensifying shooting by multi-plane addition synthesis without increasing the shooting sensitivity so much. Also, a shooting scene program dedicated to blur reduction shooting or high sensitivity shooting may be provided.
また、前記各撮影シーンにおいては、設定された撮影シーン毎の撮影制御プログラムに応じて、露出プログラムの選択や、測光方法、焦点制御方法、ストロボの点灯／消灯／オートなど、その他の撮影条件の設定や、輪郭強調処理やカラーフィルタ処理等を自動的に設定したり、ＩＳＯ相当感度など撮影感度アップによる増感撮影と組み合わせたりして、マルチプレーン加算合成によるブレ軽減撮影／増感撮影を行ってもよい。また、設定された撮影シーンに応じて、マルチプレーン加算合成による撮影の加算数（加算倍率）やその限度範囲、若しくは、画素補間処理の倍率や限度範囲などを自動的に切り替えるのが好ましい。また、撮影シーンに応じて、撮影感度アップとマルチプレーン加算合成による増感処理との配分比率を切り替えるようにしてもよい。撮影シーンの設定は、ユーザーがモードスイッチやメニュー操作で選択したシーンでも、あるいは、カメラの制御回路においＴげ、撮影条件や被写体輝度や色調の分布や、被写体距離、構図配置などからシーン判別する撮影プログラム等により設定されたシーンであってもよい。 In addition, in each shooting scene, other shooting conditions such as exposure program selection, metering method, focus control method, flash on / off / auto, etc., are set according to the set shooting control program for each shooting scene. Automatically set settings, contour enhancement processing, color filter processing, etc., and combine with sensitivity-enhanced shooting by increasing shooting sensitivity such as ISO equivalent sensitivity to perform blur reduction shooting / sensitization shooting by multi-plane addition synthesis May be. Further, it is preferable to automatically switch the number of additions (addition magnification) of multi-plane addition synthesis and its limit range or the magnification and limit range of pixel interpolation processing according to the set shooting scene. Further, the distribution ratio between the shooting sensitivity increase and the sensitization processing by multi-plane addition synthesis may be switched according to the shooting scene. Shooting scenes can be selected from scenes selected by the user using the mode switch or menu operation, or in the camera control circuit, and scene discrimination is made based on shooting conditions, subject brightness and tone distribution, subject distance, composition layout, etc. It may be a scene set by a shooting program or the like.
（第４の実施の形態） (Fourth embodiment)
図１３は、本発明の第４の実施の形態を示すものである。この実施の形態は、設定された所望の印刷用紙の種別又は印刷用紙サイズ（寸法）、若しくは、設定された画像サイズ（縦×横の画素数）に相応する印刷用紙サイズ（寸法）に応じて、所定のブレ量又は像ブレ量など、許容できるブレ量を設定し、検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きい場合には、自動的に画素マルチプレーン加算モードに切り替えて撮像素子を駆動し、マルチプレーン加算合成によるブレ軽減のための増感撮影処理を行い、設定された露出時間を画素加算数に応じて短縮された露出時間に設定して撮影するように制御する。また、撮影画像の画像サイズが設定された画像サイズよりも小さくなる場合には、撮影画像データに画素補間処理を行ってから記録できるように制御するものである。 FIG. 13 shows a fourth embodiment of the present invention. In this embodiment, a desired print paper type or print paper size (dimension) set or a print paper size (dimension) corresponding to the set image size (vertical x horizontal number of pixels) is used. When an allowable blur amount such as a predetermined blur amount or image blur amount is set, and the detected blur amount or image blur amount is larger than the predetermined blur amount or image blur amount, the pixel multi-plane is automatically set. Switch to addition mode, drive the image sensor, perform sensitization shooting processing for blur reduction by multi-plane addition synthesis, and set the exposure time set to a shortened exposure time according to the number of added pixels Control to do. When the image size of the captured image is smaller than the set image size, control is performed so that the captured image data can be recorded after performing pixel interpolation processing.
フローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ４０１）、オート撮影モード又はブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ４０２）。オート撮影モード又はブレ軽減撮影モードが設定されていない場合には、その他の撮影モード処理に移行する（ステップＳ４０３）。また、オート撮影モード又はブレ軽減撮影モードが設定されている場合には、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、用紙サイズ又は画像サイズを選択する（ステップＳ４０４）。
As shown in the flowchart, the shooting mode is selected according to the operation of the
次に、ズーム処理、ＡＦ処理を実行し（ステップＳ４０５）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ４０６）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ４０７）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ４０８）。そして、レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ４０９）、これにより得られた測光値と前記ステップＳ４０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ４１０）。
Next, zoom processing and AF processing are executed (step S405), and a through image of the subject image is displayed on the display unit 181 (step S406). Next, it is determined whether or not a shooting instruction has been issued by pressing the release button (step S407). If not, other key processing corresponding to the key operated by the user on the
さらに、前記選択された印刷用紙又は画像サイズと、前記ステップＳ４１０で得られた露出時間に応じて、許容ブレ量、許容ブレ速度等を算出し（ステップＳ４１１）、かつ、当該デジタルカメラ１におけるブレ量若しくは像ブレ量を検出する（ステップＳ４１２）。次に、ステップＳ４１１で算出された許容ブレ量、許容ブレ速度等と、ステップＳ４１２で検出されたブレ量若しくは像ブレ量に基づき、
（１）設定露出時間における像ブレ量＞所定の像ブレ量（ステップＳ４１３）
（２）像移動速度＞所定の移動速度（ステップＳ４１４）
（３）ブレ量（角度）＞所定のブレ量（ステップＳ４１５）
（４）ブレ角速度＞所定のブレ角度（ステップＳ４１６）
であるか否かを判断する。
Further, an allowable blur amount, an allowable blur speed, etc. are calculated according to the selected printing paper or image size and the exposure time obtained in step S410 (step S411), and the blurring in the
(1) Image blur amount at set exposure time> predetermined image blur amount (step S413)
(2) Image moving speed> predetermined moving speed (step S414)
(3) Blur amount (angle)> predetermined blur amount (step S415)
(4) Blur angular velocity> predetermined blur angle (step S416)
It is determined whether or not.
そして、これら（１）〜（４）判断がすべてＮＯであった場合には、つまり設定露出時間における像ブレ量、像移動速度、ブレ量（角度）、ブレ角速度が全て許容値以下である場合には、撮像素子１５７及びＤＳＰ部１６４に単写撮影モード（加算なし）を設定し（ステップＳ４１７）、設定撮影条件に応じて、単写撮影動作を実行する（ステップＳ４１８）。
If all of the determinations (1) to (4) are NO, that is, the image blur amount, the image moving speed, the blur amount (angle), and the blur angular velocity are all within the allowable values during the set exposure time. In this case, a single shooting mode (no addition) is set in the
一方、（１）〜（４）判断のいずれかがＹＥＳであった場合には、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定する（ステップＳ４１９）。そして、前述と同様に、測光値と設定撮影条件に応じて、加算画像数と露出時間を再設定して（ステップＳ４２０）、連写撮影動作、及び連写画像のマルチプレーン加算合成処理を実行する（ステップＳ４２１）。
On the other hand, if any of the determinations (1) to (4) is YES, the
したがって、本実施の形態によれば、ユーザー所望の印刷用紙サイズ（寸法）又は記録画像サイズ（画素数）に応じて、許容像ブレ量や許容ブレ量などを設定して、それに応じて、連写画像マルチプレーン加算による「ブレ軽減速写合成モード」への切替条件を自動的に可変設定するので、鑑賞時のサイズに合わせてブレの目立たない必要＋分なブレ軽減撮影が行えるので、画質劣化なども最小限に抑えることができる。 Therefore, according to the present embodiment, an allowable image blur amount, an allowable blur amount, and the like are set in accordance with a user-desired print paper size (dimension) or recorded image size (number of pixels), and the continuous image blur is accordingly performed. Since the switching condition to the “blur reduction rapid shooting composition mode” by adding the image multiplane is automatically variably set, the image quality deteriorates because it is possible to perform blur-reducing shooting that requires less blur and matches the size at the time of viewing. Etc. can be minimized.
なお、本実施の形態においては、ステップＳ４１１において、選択された印刷用紙又は画像サイズと露出時間に応じて、許容ブレ量、許容ブレ速度等の許容値を算出するようにしたが、印刷用紙や画像サイズに応じて、一定の許容値を自動的に設定するようにしてもよい。 In this embodiment, in step S411, allowable values such as an allowable blur amount and an allowable blur speed are calculated according to the selected print paper or image size and exposure time. A certain allowable value may be automatically set according to the image size.
また、前述した第１の実施の形態おける切替の所定条件の一つである、
ｃ）検出されたブレ量又は像ブレ量が、所定のブレ量又は像ブレ量より大きい場合、ｄ）設定露出時間における像移動量もしくは像移動速度が所定の像移動量もしくは像移動速度より大きい場合、
などにおける判断基準となる所定の条件を、選択や設定されている所望の印刷用紙サイズや画像サイズに相当する印刷用紙サイズに応じて自動的に算出して設定し、検出されたブレ量又は像ブレ量が、設定された条件と比較して大きいか否かを判断し、連写画像のマルチプレーン加算によるブレ軽減撮影動作に切り替えるように制御してもよい。印刷用紙の種別もしくは印刷用紙サイズ（寸法）を選択すると、プリンタ装置の印刷解像度（ｄｐｉ）やモニター装置の表示解像度などに応じて、必要な解像度が得られる画像サイズ（横×縦の画素数）は算出して決定できる。
Further, it is one of the predetermined switching conditions in the first embodiment described above.
c) When the detected blur amount or image blur amount is larger than the predetermined blur amount or image blur amount, d) The image movement amount or image movement speed in the set exposure time is larger than the predetermined image movement amount or image movement speed. If
The predetermined blurring condition or image that is automatically calculated and set according to the print paper size that corresponds to the desired print paper size or image size that has been selected or set is used as a judgment criterion in the It may be determined whether or not the blur amount is larger than the set condition, and control is performed so as to switch to a blur reduction photographing operation by multi-plane addition of continuous shot images. When the type of printing paper or the printing paper size (dimension) is selected, the image size (horizontal x vertical number of pixels) that provides the required resolution according to the printing resolution (dpi) of the printer device, the display resolution of the monitor device, etc. Can be calculated and determined.
逆に、画像サイズを選択すると、２００ｄｐｉや３００ｄｐｉ等、印刷装置の印刷解像度（ｄｐｉ）に応じて、＋分な解像度となる印刷用紙サイズの限度を決定できる。例えば、用紙サイズから必要＋分な画像サイズを算出するには、フチ無し印刷の場合には、
式（５） 必要な画像サイズ（横又は縦の画素数）＝用紙寸法（横又は縦）（ｍｍ）×印刷解像度（ｄｐｉ）÷２５．４（ｍｍ／ｉｎｃｈ）、
などで求めることができる。逆も逆算より求められる。また、許容できる像ブレ量などは、例えば、許容ボケ（許容錯乱円径）の大きさを基準に算出することができる。
On the contrary, when the image size is selected, the limit of the print paper size that can be a resolution of + minute can be determined according to the printing resolution (dpi) of the printing apparatus, such as 200 dpi or 300 dpi. For example, to calculate the required + minute image size from the paper size,
Formula (5) Necessary image size (number of horizontal or vertical pixels) = paper size (horizontal or vertical) (mm) × printing resolution (dpi) /25.4 (mm / inch),
Etc. The reverse is also obtained from the reverse calculation. Further, the allowable image blur amount can be calculated based on, for example, the size of allowable blur (allowable circle of confusion).
一般に、人間の肉眼で細かなものを見分けられる能力は、角度にして１分（１’）程度とされるが、写真など連続して調子が変化している対象では、少しゆる目の角度２〜３分（２’〜３’）程度とされ、これより小さいものはボケていることが分からず、シャープに見えると言われる。これを基準に考えると、
１）肉眼の明視距離約２５ｃｍ離れた距離から写真や印画紙を観察するとき、０．１５〜０．２２ｍｍ×（２５０ｍｍ×ｔａｎ（２’）〜２５０ｍｍ×ｔａｎ（３’））程度のボケまでは人間の眼にはボケていると気付かないことになる。
２）一方、写真はその大きさに応じて、用紙の寸法（例えば、対角寸法）に相当する距離から眺めるのが自然だという考え方もある。これを基準に、対角が２７ｃｍと明視距離（２５ｃｍ）に近い八つ切り判の印画紙では約０．２ｍｍのボケまでは許され、３５ｍｍ判から八つ切り判への引き伸ばし倍率は６倍だから、０．２÷６＝０．０３３ｍｍが、一般的な３５ｍｍ判（３６×２４ｍｍ）フィルムの「許容ボケ」（許容錯乱円径、Ｐｅｍｌｉｓｓｉｂｌｅ Ｃｉｒｃｌｅ ｏｆ Ｃｏｎｆｕｓｉｏｎ）として採用されている。この方法では、逆に、用紙サイズや引き伸ばし倍率に関わらず、撮像素子のイメージサイズに相応して、所定の角度（２’〜３’）以内の許容錯乱円径であればよく、換算には便利であるが、印刷用紙が大きい場合ほど、荒いピントやボケ、ブレでも許されることになる。上記いずれの考え方にせよ、選択された印刷用紙の大きさと、撮像素子の撮像イメージサイズ（１／２型：対角８ｍｍ、１／３型：対角６ｍｍ、など）に応じて、許容ボケ（許容錯乱円径）δを自動的に算出して、それにあわせて、許容ブレや、許容できる像ブレ量、許容できるブレ角速度（又は、被写体移動の角速度）の目安などを設定することができる。すなわち、
１）印刷用紙によらず用紙サイズ（対角）相当の距離だけ離れて観察するときの許容ボケが所定値（例えば、３５ｍｍ判の０．０３３ｍｍに相当する角度＝約０°０２’４０”）以下になるように設定する場合には、
式（６） 撮像面上の許容錯乱円径削：ｍｍ］＝｛撮像サイズ（Ｙ）／印刷用紙サイズ（Ｓ）｝×印刷用紙サイズＳ［ｍｍ］ｘｔａｎ（２’４０”）、＝撮像サイズ（Ｙ）［対角、ｍｍ］ｘｔａｎ（２’４０”）、として算出して、許容ブレを設定できる。
２）また、どの用紙サイズの場合も、一定の明視距離（約２５ｃｍ）から観察する場合には、
式（７）撮像面上の許容錯乱円径δ［ｍｍ］＝｛撮像サイズ（Ｙ）／印刷用紙サイズ（Ｓ）｝×明視距離（２５０ｍｍ）ｘｔａｎ（２’４０”）、として算出し、これを基準に許容ブレを設定できる。
３）あるいは、許容錯乱円径δ［ｍｍ］をユーザー所望の任意の値に設定してもよい。
In general, the ability to distinguish small objects with the human naked eye is about 1 minute (1 ') in angle, but for subjects that change continuously, such as photographs, the
1) When observing a photograph or photographic paper from a distance that is about 25 cm away from the naked eye, a blur of about 0.15 to 0.22 mm × (250 mm × tan (2 ′) to 250 mm × tan (3 ′)) Until then, you will not notice that it is blurred to the human eye.
2) On the other hand, there is a concept that it is natural to view a photograph from a distance corresponding to the size of the paper (for example, a diagonal size) according to the size. On the basis of this, up to about 0.2mm blur is allowed for octupe printing paper with a diagonal of 27cm, which is close to the clear viewing distance (25cm), and the enlargement ratio from 35mm to eight is 6 Therefore, 0.2 ÷ 6 = 0.033 mm is adopted as “allowable blur” (permissible circle of confusion, Pemmissible Circle of Confusion) of a general 35 mm film (36 × 24 mm) film. On the contrary, in this method, the permissible circle of confusion within a predetermined angle (2 ′ to 3 ′) may be used according to the image size of the image sensor regardless of the paper size and the enlargement ratio. Although it is convenient, the larger the printing paper, the better the rough focus, blur, and blur. Regardless of which way of thinking is described above, allowable blurring (depending on the size of the selected printing paper and the image size of the image sensor (1/2 type: diagonal 8 mm, 1/3 type: diagonal 6 mm, etc.) The permissible circle of confusion (δ) can be automatically calculated, and an acceptable blur, an acceptable image blur amount, an acceptable blur angular velocity (or an angular velocity for moving the subject), and the like can be set accordingly. That is,
1) Allowable blur when observing a distance corresponding to the paper size (diagonal) regardless of the printing paper is a predetermined value (for example, an angle corresponding to 0.033 mm in a 35 mm size = about 0 ° 02′40 ″) When setting to be as follows,
Expression (6) Allowable confusion circle on the imaging surface: mm] = {imaging size (Y) / printing paper size (S)} × printing paper size S [mm] xtan (2′40 ″), = imaging size (Y) [Diagonal, mm] xtan (2′40 ″), and the allowable blur can be set.
2) For any paper size, when observing from a certain clear viewing distance (about 25 cm),
Equation (7) Allowable confusion circle diameter δ [mm] on the imaging surface = {imaging size (Y) / printing paper size (S)} × clear vision distance (250 mm) × tan (2′40 ″) Allowable blur can be set based on this.
3) Alternatively, the allowable confusion circle diameter δ [mm] may be set to an arbitrary value desired by the user.
また、許容できる像ブレ量（δＢ）は上記の許容錯乱円径（δ）に略等しいとすると、許容できる像移動速度（ＶＢ）、許容ブレ量（θＳ）、及び、露出時間（Ｔ）における許容ブレ角速度（ωＳ）は、上記で算出された撮像面上の許容ボケ（δ）［ｍｍ］と、撮影レンズの焦点距離（Ｏ［ｍｍ］、設定露出時間（Ｔ）［秒］とから、
式（８） 許容像ブレ量δＢ≒δ、又は、
許容像移動速度ＶＢ＝δＢ／Ｔ≒δ／Ｔ、
許容ブレ量（又は被写体の見かけ上の移動角度）θＳ＝２×ｔａｎ−１（δＢ／２ｆ）、
許容ブレ角速度（又は被写体の見かけ上の移動角速度）ωＳ＝θＳ／Ｔ、
などと算出して、設定することができる。
If the allowable image blur amount (δB) is approximately equal to the allowable circle of confusion (δ), the allowable image moving speed (VB), the allowable blur amount (θS), and the exposure time (T) The allowable blur angular velocity (ωS) is calculated from the allowable blur (δ) [mm] on the imaging surface calculated above, the focal length of the photographing lens (O [mm], and the set exposure time (T) [second].
Expression (8) Allowable image blur amount δB≈δ, or
Allowable image moving speed VB = δB / T≈δ / T,
Allowable blurring amount (or apparent movement angle of the subject) θS = 2 × tan −1 (δB / 2f),
Allowable blur angular velocity (or apparent moving angular velocity of the subject) ωS = θS / T,
Etc. and can be set.
あるいは、マクロ撮影などで、被写体距離Ｌが分かる場合には、
式（９） 被写体範囲Ｘ＝撮像サイズＹＸＬ／ ｆとなるので、
式（１０）被写体ブレ（又はカメラブレの許容変位）ＸＢ＝許容像ブレ量δＢ×Ｌ／ｆ 、又は、
許容できる被写体の移動速度ＶＢ＝ＸＢ／Ｔ≒δＢＸＬ／（ｆｘＴ）、
等として算出できる。これらを本例の印刷用紙に応じた所定のブレ量もしくは像ブレ量として、もしくは、前述の第１実施例のｃ）又はｄ）の所定のブレ量もしくは像ブレ量の条件として設定して、連写画像のマルチプレーン加算による「ブレ軽減速写合成モード」への切替条件の判断を行えばよい。
Alternatively, when the subject distance L is known by macro photography or the like,
Equation (9) Since subject range X = imaging size YXL / f,
Expression (10) Subject blur (or camera shake allowable displacement) XB = allowable image blur amount δB × L / f, or
Allowable subject movement speed VB = XB / T≈δBXL / (fxT),
Etc. These are set as a predetermined blur amount or image blur amount according to the printing paper of this example, or as a predetermined blur amount or image blur amount condition of c) or d) of the first embodiment, It is only necessary to determine the switching condition to the “blur reduction rapid shooting composition mode” by multi-plane addition of continuous shot images.
（第５の実施の形態） (Fifth embodiment)
図１４及び図１５は、本発明の第５の実施の形態における動作及び処理の手順を示すフローチャートである。本実施の形態は、ユーザー操作に応じて、手ブレ補正装置による手ブレ補正処理を行う「手ブレ補正モード」と、連写画像のマルチプレーン加算＋位置合せ合成によるブレ軽減処理を行う「ブレ軽減速写合成モード」と、「オート撮影モード」とを選択して切替えられるようにするとともに、「オート撮影モード」においては、前記ａ）〜ｃ）のような手ブレが大きいと判断される第１条件の場合には、「手振れ補正モード」に切り替え、ｄ）〜ｆ）のような被写体ブレが大きいと判断される第２条件の場合には、「ブレ軽減速写合成モード」に自動的に切り替え、その他の場合には、ブレ補正もブレ軽減撮影も行わないよう制御するものである。 FIG. 14 and FIG. 15 are flowcharts showing the procedure of the operation and processing in the fifth embodiment of the present invention. In the present embodiment, a “camera shake correction mode” in which a camera shake correction process is performed by a camera shake correction device and a blur reduction process in which multi-plane addition and alignment synthesis of continuous shot images are performed in accordance with a user operation. The “reduced speed shooting combination mode” and the “auto shooting mode” can be selected and switched, and in the “auto shooting mode”, it is determined that the camera shake as in the above a) to c) is large. In the case of the first condition, the mode is switched to the “camera shake correction mode”, and in the second condition in which the subject blur is determined to be large as in d) to f), the “blur reduction speed shooting composition mode” is automatically set. In other cases, control is performed so that neither blur correction nor blur reduction shooting is performed.
フローチャートに示すように、ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ５０１）、シャッタ速度等の撮影条件を設定するとともに、ユーザーによる操作入力部１２２での操作に応じて、用紙サイズ又は画像サイズを選択する（ステップＳ５０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ５０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ５０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ５０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ５０６）。
As shown in the flowchart, the shooting mode is selected in accordance with the operation of the
レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ５０７）、これにより得られた測光値と前記ステップＳ５０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ５０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ５０９）、ブレ量を検出し、順次記録する（ステップＳ５１０）。また、手ブレ補正撮影モードが設定されているか否かを判断し（ステップＳ５１１）、設定されている場合には、ブレ補正撮影を行うべくステップＳ５１２に進む。 When the release button is pressed and there is a shooting instruction, photometric processing and WB processing are performed (step S507), and the exposure condition is set according to the photometric value obtained thereby and the shooting condition set in step S504. Setting is performed (step S508). Next, the movement amount of the subject is calculated from the continuous imaging signal output from the image sensor 157 (step S509), the blur amount is detected, and sequentially recorded (step S510). Further, it is determined whether or not the camera shake correction shooting mode is set (step S511), and if it is set, the process proceeds to step S512 to perform the camera shake correction shooting.
このブレ撮影においては、撮像素子１５７及びＤＳＰ部１６４を単写撮影モードに設定し（ステップＳ５１２）、ブレ量を検出して順次記録する（ステップＳ５１３）。そして、この検出ブレ量に応じて、ブレ補正装置（ブレ補正駆動部１３４）を駆動して、光学的なブレ補正処理を実行するとともに（ステップＳ５１４）、設定撮影条件に応じて、露出及び撮影動作を行う（ステップＳ５１５）。次に、露出時間が終了したか否かを判断し（ステップＳ５１６）、経過するまでステップＳ５１３からの処理を繰り返す。
In this blur shooting, the
露出時間が終了したならば、露出及び撮影動作を停止し（ステップＳ５１７）、前記露出、撮影動作により得られた撮影画像データを読み出して（ステップＳ５１８）、これを圧縮、符号化する（ステップＳ５１９）。また、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録するとともに（ステップＳ５２０）、表示装置６に撮影画像データに基づく撮影画像をレビュー表示させる（ステップＳ５２１）。
When the exposure time is over, the exposure and photographing operation are stopped (step S517), and the photographed image data obtained by the exposure and photographing operation is read (step S518), and this is compressed and encoded (step S519). ). Further, the compressed and encoded photographed image data is recorded in the memory medium (step S520), and the photographed image based on the photographed image data is displayed on the
一方、前記ステップＳ５１１の判断がＮＯであって、手ブレ補正撮影モードが設定されていない場合には、図１５のステップＳ５２２に進んで、ブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ５２２）。ブレ軽減撮影モード設定されている場合には、連写撮像の加算＋位置合わせによるブレ軽減撮影を行うべくステップＳ５２３に進む。 On the other hand, if the determination in step S511 is NO and the camera shake correction shooting mode is not set, the process proceeds to step S522 in FIG. 15 to determine whether or not the shake reduction shooting mode is set. (Step S522). If the blur reduction shooting mode is set, the flow advances to step S523 to perform blur reduction shooting by adding continuous shooting and positioning.
この連写撮像の加算＋位置合わせによるブレ軽減撮影においては、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ５２３）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ５２４）。次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ５２５）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ５２６）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ５２７）、撮影された画像を、前の画像と位置合わせする位置合わせ処理を実行する（ステップＳ５２８）。次に、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ５２９）、補間処理、ノイズ除去処理を実行する（ステップＳ５３０）。また、加算画像数分連写済みか否かを判断し（ステップＳ５３１）、加算画像数分連写済みとなるまで、ステップＳ５２５からの処理を繰り返す。
In blur reduction shooting by adding and aligning continuous shooting, the
したがって、ステップＳ５２５〜Ｓ５３１の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、補間処理及びノイズ除去処理された１枚分の撮影画像データが生成されることとなる。しかる後に、前述した図１４におけるステップＳ５１９以降の処理を実行する。 Therefore, the processing in steps S525 to S531 is repeated n times at a cycle of T / n, and thus, the continuously shot n images are sequentially subjected to multiplane addition synthesis, interpolation processing and noise removal processing. One captured image data is generated. Thereafter, the processing after step S519 in FIG. 14 described above is executed.
他方、ステップＳ５２２の判断がＮＯであって、ブレ軽減撮影モードが設定されていない場合には、ステップＳ５２２からステップＳ５３２に進み、オート撮影モードが設定されているか否かを判断する。オート撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ５３３）。オート撮影モードが設定されている場合には、以下の判断を行う。
（１）焦点距離が所定以上であるか否か（ステップＳ５３４）
（２）マクロ撮影であるか否か（ステップＳ５３５）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ５３６）
（４）像の移動量が所定を超えるか否か（ステップＳ５３７）
（５）測光値が所定値未満であるか否か（ステップＳ５３８）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ５３９）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ５４０）。
On the other hand, if the determination in step S522 is NO and the blur reduction shooting mode is not set, the process advances from step S522 to step S532 to determine whether or not the auto shooting mode is set. If the auto shooting mode is not set, the process proceeds to other mode processing (step S533). When the auto shooting mode is set, the following determination is made.
(1) Whether the focal length is greater than or equal to a predetermined value (step S534)
(2) Whether macro shooting is performed (step S535)
(3) Whether the shake amount detected by the
(4) Whether the moving amount of the image exceeds a predetermined value (step S537)
(5) Whether the photometric value is less than the predetermined value (step S538)
(6) Whether the flash is forcibly turned off when the photometric value is less than the predetermined value (step S539)
(7) Whether the set exposure time (T) exceeds a predetermined time (for example, 1/60 s) (step S540).
そして、これら（１）〜（７）判断のうち、（１）〜（３）のいずれか１つでもＹＥＳであった場合には、図１４のステップＳ５１２に進んで、ブレ補正撮影処理に移行する。また、（１）〜（７）のうち、（４）〜（６）のいずれか１つでもＹＥＳであった場合には、ステップＳ５２３に進んで、連写撮像の加算＋位置合わせによるブレ軽減撮影に移行する。さらに、（１）〜（７）判断の全てがＮＯであった場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ５４１）。これと同時に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ５４２）、シャッタ速度に応じた露出時間が終了したか否かを判断し（ステップＳ５４３）、露出時間が終了となった時点で露出／撮影動作を停止させる（ステップＳ５４４）。また、この単写により得られた画像データを読み出して（ステップＳ５４５）、図１５の５１９に進む。
If any one of (1) to (7) among the determinations (1) to (7) is YES, the process proceeds to step S512 in FIG. To do. If any one of (4) to (6) among (1) to (7) is YES, the process proceeds to step S523 to reduce blurring by adding continuous shooting and positioning. Move to shooting. Furthermore, when all of the determinations (1) to (7) are NO, the
したがって、本実施の形態によれば、手ブレ補正をＯＦＦしたまま忘れてＯＮ操作しなかった場合であっても、手振れや被写体ブレによる像ブレを白動的かつ効果的に軽減して撮影することができる。 Therefore, according to the present embodiment, even when the camera shake correction is turned off and the camera is forgotten to be turned on, the image blur due to the camera shake or the subject shake is vibrated and effectively reduced in the shooting. be able to.
（第６の実施の形態） (Sixth embodiment)
図１６及び図１７は、本発明の第６の実施の形態における動作及び処理の手順を示すフローチャートである。レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ６０１）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ６０２）。レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ６０３）、これにより得られた測光値と設定撮影条件とに応じて、露出条件を設定する（ステップＳ６０４）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ６０５）、ブレ量を検出し、順次記録する（ステップＳ６０６）。次に、オート撮影モードが設定されているか否かを判断する（ステップＳ６０７）。オート撮影モードが設定されていない場合には、その他のモード処理に移行する（ステップＳ６０８）。
16 and 17 are flowcharts showing the procedure of the operation and processing in the sixth embodiment of the present invention. It is determined whether the release button has been pressed and a shooting instruction has been issued (step S601). If not, other key processing corresponding to the key operated by the user on the
オート撮影モードが設定されている場合には、
（１）焦点距離が所定以上であるか否か（ステップＳ６０９）
（２）マクロ撮影であるか否か（ステップＳ６１０）
（３）検出回路１４２、１４４で検出されたブレ量が所定値を超えるか否か（ステップＳ６１１）
（４）像の移動量が所定を超えるか否か（ステップＳ６１２）
（５）測光値が所定値未満であるか否か（ステップＳ６１３）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ６１４）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ６１５）。
When auto shooting mode is set,
(1) Whether the focal length is greater than or equal to a predetermined value (step S609)
(2) Whether macro shooting is performed (step S610)
(3) Whether or not the shake amount detected by the
(4) Whether the moving amount of the image exceeds a predetermined value (step S612)
(5) Whether the photometric value is less than a predetermined value (step S613)
(6) Whether the flash is forcibly turned off when the photometric value is less than the predetermined value (step S614)
(7) Whether the set exposure time (T) exceeds a predetermined time (for example, 1/60 s) (step S615).
そして、これら（１）〜（７）判断のうち、（１）〜（３）のいずれか１つでもＹＥＳであった場合には、後述するステップＳ６１６に進む。また、（１）〜（７）のうち、（４）〜（６）のいずれか１つでもＹＥＳであった場合には、連写撮像の加算＋位置合わせによるブレ軽減撮影を行うべく、前述した図１５のステップＳ５２３以降の処理を実行する。さらに、（１）〜（７）判断の全てがＮＯであった場合には、通常撮影を行うべく、図１５のステップＳ５４１以降の処理を実行する。 If any one of (1) to (3) among these determinations (1) to (7) is YES, the process proceeds to step S616 described later. Also, if any one of (4) to (6) among (1) to (7) is YES, the above-mentioned is performed in order to perform blur reduction shooting by adding continuous shooting and positioning. The process after step S523 in FIG. 15 is executed. Further, when all of the determinations (1) to (7) are NO, the processing after step S541 in FIG. 15 is executed to perform normal shooting.
また、（１）〜（３）のいずれか１つでもＹＥＳであってステップＳ６１６に進んだ場合には、以下の判断を行う
（５）測光値が所定値未満であるか否か（ステップＳ６１６）
（６）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ６１７）
（７）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ６１８）。
（４）像の移動量が所定を超えるか否か（ステップＳ６１９）。
If any one of (1) to (3) is YES and the process proceeds to step S616, the following determination is made (5) Whether the photometric value is less than a predetermined value (step S616). )
(6) Whether the flash is forcibly turned off when the photometric value is less than the predetermined value (step S617)
(7) Whether the set exposure time (T) exceeds a predetermined time (for example, 1/60 s) (step S618).
(4) Whether the moving amount of the image exceeds a predetermined value (step S619).
そして、これら（４）〜（７）判断が全てＮＯであった場合には、ブレ補正撮影を行うべく、前述した図１４のステップＳ５１５以降の処理を実行する。また、いずれか１つでもＹＥＳであった場合には、図１７のステップＳ６２０に進み、ブレ補正撮影＋連写画像加算による増感撮影を実行する。 If all of these determinations (4) to (7) are NO, the processing after step S515 in FIG. 14 described above is executed in order to perform blur correction photographing. If any one of the determinations is YES, the process proceeds to step S620 in FIG. 17 and sensitization shooting by blur correction shooting + continuous shooting image addition is executed.
このブレ補正撮影＋連写画像加算による増感撮影においては、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ６２０）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ６２１）。次に、ブレ量を検出して順次記録する（ステップＳ６２２）。そして、この検出ブレ量に応じて、ブレ補正装置（ブレ補正駆動部１３４）を駆動して、光学的なブレ補正処理を実行するとともに（ステップＳ６２３）、設定撮影条件に応じて、露出及び撮影動作を行う（ステップＳ６２４）。次に、露出時間が終了したか否かを判断し（ステップＳ６２５）、経過するまでステップＳ６２３からの処理を繰り返す。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ６２６）、撮影された画像を前の画像と順次マルチプレーン加算合成する（ステップＳ６２７）。また、加算画像数分連写済みか否かを判断し（ステップＳ６２８）、加算画像数分連写済みとなるまで、ステップＳ６２２からの処理を繰り返す。
In this intensification shooting by blur correction shooting + continuous shooting image addition, the
したがって、ステップＳ６２２〜Ｓ６２８の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成されて、１枚分の撮影画像データが生成されることとなる。しかる後に、このマルチプレーン加算合成された１枚分の撮影画像データを圧縮、符号化して（ステップＳ６２９）、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録する（ステップＳ６３０）。 Accordingly, the processes in steps S622 to S628 are repeated n times at a cycle of T / n, whereby the continuously shot n images are sequentially multi-plane added and synthesized, and one shot of captured image data is obtained. Will be generated. After that, the captured image data for one sheet obtained by the multi-plane addition synthesis is compressed and encoded (step S629), and the compressed and encoded captured image data is recorded in the memory medium (step S630).
すなわち、本実施の形態においては、前述した第５の実施の形態において、さらに、前記ａ）〜ｃ）のいずれかのような第１の所定条件を満たし、かつ、ｄ）〜ｆ）のいずれかのような第２の所定条件を満たす場合には、ブレ量が大きく、かつ、被写体ブレを生じやすく高感度撮影が必要と判断して、光学式手ブレ補正装置による手ブレ補正処理を行いながら、連写画像のマルチプレーン加算による高感度撮影処理（この場合は位置合せによるブレ補正処理はしなくともよい）を同時に行うように制御する。これにより、手ブレ量が大きい場合にも、手ブレ補正処理とマルチプレーン加算による高感度撮影とを同時に実行してブレを軽減できる。 That is, in this embodiment, in the fifth embodiment described above, the first predetermined condition as in any one of a) to c) is satisfied, and any of d) to f) is satisfied. When the second predetermined condition is satisfied, it is determined that the amount of blur is large and subject blurring is likely to occur and high-sensitivity shooting is necessary, and camera shake correction processing is performed by an optical camera shake correction device. However, control is performed so that high-sensitivity imaging processing by multi-plane addition of continuous shot images (in this case, it is not necessary to perform blur correction processing by alignment) is performed simultaneously. Thereby, even when the amount of camera shake is large, camera shake correction processing and high-sensitivity imaging using multiplane addition can be executed simultaneously to reduce camera shake.
（第７の実施の形態） (Seventh embodiment)
図１８及び図１９は、本発明の第７の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザによる操作入力部１２２での操作に応じて、撮影モードを選択するとともに撮影条件を設定する（ステップＳ７０１）。また、オート撮影モード、又はブレ軽減撮影モードが設定されたか否かを判断し（ステップＳ７０２）、いずれも設定されていない場合には、その他のモード処理に移行する（ステップＳ７０３）。オート撮影モード、又はブレ軽減撮影モードが設定されている場合には、ズーム処理、ＡＦ処理を実行し（ステップＳ７０４）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ７０５）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ７０６）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ７０７）。
18 and 19 are a series of flowcharts showing the operation and processing procedures in the seventh embodiment of the present invention. A shooting mode is selected and shooting conditions are set according to the operation of the
レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ７０８）、これにより得られた測光値と前記ステップＳ７０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ７０９）。次に、この露出条件により設定された設定露出時間が所定値（例えば１／６０ｓ）以下であるか否かを判断し（ステップＳ７１０）、所定値以下である場合には、撮像素子１５７及びＤＳＰ部１６４を単写撮影モード（加算なし）に設定する（ステップＳ７１４）。しかる後に、単写撮影動作を行うべく、図１５のステップＳ５４１以降の処理を実行する。
When the release button is pressed and there is a shooting instruction, photometric processing and WB processing are performed (step S708), and the exposure condition is set according to the photometric value obtained thereby and the shooting condition set in step S704. Setting is made (step S709). Next, it is determined whether or not the set exposure time set according to this exposure condition is equal to or less than a predetermined value (for example, 1/60 s) (step S710). The
しかし、ステップＳ７１０での判断の結果、設定露出時間が所定値を超える場合には、撮影感度値Ｓｖを１段上げ、シャッタ速度値Ｔｖも１段上げる（ステップＳ７１１）。また、この１段上げた撮影感度が所定感度以上（ノイズが荒くならない程度の感度）であるか否か（ステップＳ７１２）、及び１段上げたシャッタ速度値Ｔｖによる設定露出時間が所定時間以下であるか否か（ステップＳ７１３）を判断する。そして、１段上げた設定露出時間が所定時間を超える場合には、ステップＳ７１１からの処理を繰り返し、設定露出時間が所定時間以下となった時点で前述したステップＳ７１４に進んで、単写撮影動作に移行する。しかし、設定露出時間（シャッタ速度値Ｔ）が所定時間以下となる前に、１段上げた撮影感度が所定感度以上となった場合には、単写撮影してもノイズが荒くなることから、単写撮影動作に移行することなくステップＳ７１２から図１９のステップＳ７１５に進む。 However, if the result of determination in step S710 is that the set exposure time exceeds a predetermined value, the shooting sensitivity value Sv is increased by one step, and the shutter speed value Tv is also increased by one step (step S711). Further, whether or not the shooting sensitivity increased by one level is equal to or higher than a predetermined sensitivity (sensitivity that does not make the noise rough) (step S712), and the set exposure time by the shutter speed value Tv increased by one level is equal to or shorter than the predetermined time. It is determined whether or not there is (step S713). If the set exposure time increased by one step exceeds the predetermined time, the processing from step S711 is repeated, and when the set exposure time becomes equal to or shorter than the predetermined time, the process proceeds to step S714 described above to perform single shooting operation. Migrate to However, if the shooting sensitivity increased by one step before the set exposure time (shutter speed value T) becomes equal to or less than the predetermined time, the noise becomes rough even after single shooting. The process proceeds from step S712 to step S715 in FIG. 19 without shifting to the single shooting operation.
そして、前述のステップＳ７１１で上げた撮影感度値Ｓｖ及びシャッタ速度値Ｔｖを元の値に戻す（ステップＳ７１５）。しかる後に、連写撮影によるマルチプレーン加算モードに設定し、加算画像数を１〜２段上げるとともに、シャッタ速度値Ｔｖを１〜２段上げる（ステップＳ７１６）。また、この１〜２段上げた加算画像数が所定の加算画像数未満であるか否か（ステップＳ７１７）、及び１〜２段上げたシャッタ速度値Ｔｖによる設定露出時間が所定時間（例えば１／６０ｓ）以下であるか否か（ステップＳ７１８）を判断する。そして、１〜２段上げた設定露出時間（シャッタ速度値Ｔｖ）が所定時間を超える場合には、ステップＳ７１６からの処理を繰り返し、設定露出時間（シャッタ速度値Ｔ）が所定時間以下となった時点で、連写画像加算による増感撮影を行うべく、ステップＳ７２０に進む。 Then, the photographing sensitivity value Sv and the shutter speed value Tv raised in the above-described step S711 are returned to the original values (step S715). Thereafter, the multi-plane addition mode by continuous shooting is set, the number of added images is increased by one or two steps, and the shutter speed value Tv is increased by one or two steps (step S716). Further, whether or not the number of added images raised by one or two steps is less than the predetermined number of added images (step S717), and the set exposure time based on the shutter speed value Tv raised by one or two steps is a predetermined time (for example, 1). / 60 s) or less (step S718). If the set exposure time (shutter speed value Tv) increased by one or two steps exceeds the predetermined time, the processing from step S716 is repeated, and the set exposure time (shutter speed value T) becomes equal to or less than the predetermined time. At that time, the process proceeds to step S720 in order to perform intensifying shooting by adding continuous shot images.
しかし、設定露出時間（シャッタ速度値Ｔｖ）が所定時間以下となる前に、１〜２段上げた加算画像数が所定の加算画像数以上となった場合には、加算画像数及びシャッタ速度値Ｔｖを今回のステップＳ７１６の処理が行われた直前の状態に戻して（加算画像数を１〜２段下げ、シャッタ速度値Ｔｖを１〜２段下げる）（ステップＳ７１９）、連写画像加算による増感撮影を行うべく、ステップＳ７２０に進む。そして、撮像素子１５７及びＤＳＰ部１６４を連写撮影かつマルチプレーン加算モードに設定し（ステップＳ７２０）、前述と同様に、測光値と設定撮影条件に応じて、露出時間Ｔが短くなるように、加算画像数（ｎ）と露出時間（Ｔ／ｎ）を再設定する（ステップＳ７２１）。次に、撮影条件に応じて露出／撮影動作を開始し（ステップＳ７２２）、露出時間（Ｔ／ｎ）が終了したか否かを判断する（ステップＳ７２３）。露出時間（Ｔ／ｎ）が終了したならば、これにより得られた画像データを読み出し（ステップＳ７２４）、撮影された画像を前の画像と順次マルチプレーン加算合成するとともに（ステップＳ７２５）。また、加算画像数分連写済みか否かを判断し（ステップＳ７２６）、加算画像数分連写済みとなるまで、ステップＳ７２３からの処理を繰り返す。
However, if the number of added images increased by one or two steps before the set exposure time (shutter speed value Tv) is equal to or shorter than the predetermined time, the number of added images and the shutter speed value are increased. Tv is returned to the state immediately before the processing in step S716 is performed (the number of added images is reduced by one or two steps, and the shutter speed value Tv is reduced by one or two steps) (step S719), and continuous shot image addition is performed. In order to perform sensitization shooting, the process proceeds to step S720. Then, the
したがって、ステップＳ７２２〜Ｓ７２６の処理がＴ／ｎの周期でｎ回繰り返されることとなり、これにより、連写されたｎ枚の画像が順次マルチプレーン加算合成された１枚分の撮影画像データが生成されることとなる。しかる後に、この撮影画像データを圧縮、符号化処理し（ステップＳ７２７）、この圧縮、符号化した撮影画像データを前記メモリ媒体に記録するとともに（ステップＳ７２８）、表示装置６に撮影画像データに基づく撮影画像をレビュー表示させる（ステップＳ７２９）。
Therefore, the processing of steps S722 to S726 is repeated n times at a cycle of T / n, thereby generating one shot image data in which n images continuously shot are sequentially multi-plane added and synthesized. Will be. Thereafter, the captured image data is compressed and encoded (step S727), the compressed and encoded captured image data is recorded in the memory medium (step S728), and the
つまり、本実施の形態においては、ＩＳＯ相当撮影感度が予め設定された所定値より低い感度に設定されている場合には、まずＩＳＯ相当感度をノイズが荒くならない程度に予め設定された所定の感度まで１〜２段程度づつ上げていき、露出条件を再設定して、露出時間（シヤッタ速度秒）が所定の露出時間（１／６０秒など）よりも短くなるように設定する。それでも、露出時間が所定時間より長い場合には、１回のレリーズ操作に応じて、連写画像のマルチプレーン加算合成処理（位置合せ処理はしなくともよい）を行う「高感度速写合成モード」に自動的に切り替えて撮影する。また、「高感度速写合成モード」の連写画像のマルチプレーン加算においても、露出時間が所定時間（１／６０秒など）より短くなるまで、速写及び加算する画像数を１〜２段づつ徐々に上げて、露出時間（シヤッタ速度秒）を再設定する。したがって、ノイズが荒くならない範囲でＩＳＯ相当感度の設定による増態と、それを補うように、マルチプレーン加算による増感効果とを組合せて、露出時間を短縮することにより、効率的にブレ軽減しながら高感度撮影を行うことができる。 That is, in the present embodiment, when the ISO equivalent photographing sensitivity is set to a sensitivity lower than a preset predetermined value, the ISO equivalent sensitivity is first set to a preset predetermined sensitivity so that noise does not become rough. The exposure condition is set again so that the exposure time (shutter speed seconds) is shorter than a predetermined exposure time (such as 1/60 seconds). Still, when the exposure time is longer than the predetermined time, the “high-sensitivity rapid-shooting synthesis mode” that performs multi-plane addition synthesis processing (registration processing is not required) of continuous shot images in response to a single release operation. Switch to automatically and shoot. In addition, in multi-plane addition of continuous shot images in the “high-sensitivity rapid shooting composition mode”, the number of images to be shot and added is gradually increased by one or two steps until the exposure time becomes shorter than a predetermined time (such as 1/60 seconds). To reset the exposure time (shutter speed seconds). Therefore, by reducing the exposure time by combining the enhancement by setting the ISO equivalent sensitivity within the range where noise does not become rough and the sensitization effect by multi-plane addition to compensate for it, blurring is effectively reduced. High-sensitivity shooting can be performed.
（第８の実施の形態） (Eighth embodiment)
図２０は、本発明の第８の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ８０１）、シャッタ速度、感度等の撮影条件を設定する（ステップＳ８０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ８０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ８０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ８０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ８０６）。
FIG. 20 is a series of flowcharts showing operation and processing procedures in the eighth embodiment of the present invention. A shooting mode is selected according to the operation of the
レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ８０７）、これにより得られた測光値と前記ステップＳ８０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ８０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ８０９）、ブレ量を検出し、順次記録する（ステップＳ８１０）。また、高感度撮影モードが設定されているか否かを判断し（ステップＳ８１１）、設定されている場合には、測光値と設定撮影条件に応じて、所定の撮影感度及び露出条件に再設定して（ステップＳ８１５）、ステップＳ８１６に進む。 When the release button is pressed and there is a shooting instruction, photometric processing and WB processing are performed (step S807), and the exposure condition is set according to the photometric value obtained thereby and the shooting condition set in step S804. Set (step S808). Next, the movement amount of the subject is calculated from the continuous imaging signal output from the image sensor 157 (step S809), the blur amount is detected, and recorded sequentially (step S810). Further, it is determined whether or not the high-sensitivity shooting mode is set (step S811). If it is set, the predetermined shooting sensitivity and exposure conditions are reset according to the photometric value and the set shooting conditions. (Step S815), the process proceeds to step S816.
高感度撮影モードが設定されていない場合には、オート撮影モードが設定されているか否かを判断し（ステップＳ８１２）、オート撮影モードも設定されていない場合には、その他のモード処理に移行する（ステップＳ８１３）。また、オート撮影モードが設定されている場合には、前記ステップＳ８０２で設定された感度が所定感度以上であるか否かを判断する（ステップＳ８１４）。所定感度以上である場合にはその他のモード処理に移行し（ステップＳ８１３）、所定感度未満である場合にはステップＳ８１６に進む。 If the high-sensitivity shooting mode is not set, it is determined whether or not the auto shooting mode is set (step S812). If the auto shooting mode is not set, the process proceeds to other mode processing. (Step S813). If the auto shooting mode is set, it is determined whether or not the sensitivity set in step S802 is equal to or higher than a predetermined sensitivity (step S814). If the sensitivity is equal to or higher than the predetermined sensitivity, the process proceeds to other mode processing (step S813). If the sensitivity is lower than the predetermined sensitivity, the process proceeds to step S816.
そして、ステップＳ８１６〜ステップＳ８２４においては、以下の判断を行う。
（１）焦点距離が所定以上であるか否か（ステップＳ８１６）
（２）マクロ撮影であるか否か（ステップＳ８１７）
（３）ステップＳ８１０で検出されたブレ量が所定値を超えるか否か（ステップＳ８１８）
（４）ステップＳ８１０で順次記録した像の移動量が所定を超えるか否か（ステップＳ８１９）
（５）選択されたシーン別撮影プログラムにおける撮影シーン（あるいは認識した被写体）が子供、ペット、スポーツなどをであるか否か（ステップＳ８２０）
（６）測光値が所定値未満であるか否か（ステップＳ８２１）
（７）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ８２２）
（８）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ８２３）。
（９）前記ステップＳ８０７でのＷＢ処理によるＷＢ設定が白熱電球又は蛍光灯であるか否か（ステップＳ８２４）。
Then, in steps S816 to S824, the following determination is made.
(1) Whether the focal length is greater than or equal to a predetermined value (step S816)
(2) Whether or not macro shooting is performed (step S817)
(3) Whether the shake amount detected in step S810 exceeds a predetermined value (step S818)
(4) Whether the moving amount of the images sequentially recorded in step S810 exceeds a predetermined value (step S819)
(5) Whether the shooting scene (or the recognized subject) in the selected scene-specific shooting program is a child, a pet, a sport, or the like (step S820)
(6) Whether the photometric value is less than a predetermined value (step S821)
(7) Whether the flash is forcibly turned off when the photometric value is less than the predetermined value (step S822)
(8) Whether the set exposure time (T) exceeds a predetermined time (for example, 1/60 s) (step S823).
(9) Whether or not the WB setting by the WB process in step S807 is an incandescent bulb or a fluorescent lamp (step S824).
これらの（１）〜（９）判断において、（１）〜（３）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋ブレ補正撮影を行うべく、図１４の５１２以降の処理を実行する。（１）〜（３）判断が全てＮＯであって、（４）（５）のいずれかがＹＥＳであった場合には、高感度撮影＋連写画像加算＋位置合わせによるブレ軽減撮影を行うべく、図１５のステップＳ５２３以降の処理を実行する。（１）〜（５）判断が全てＮＯであって、（７）〜（９）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋連写画像加算＋連写画像加算による増感撮影を行うべく、図１９のステップＳ７２１以降の処理を実行する。 In any of these determinations (1) to (9), if any one of the determinations (1) to (3) is YES, 512 or later in FIG. 14 is performed in order to perform high-sensitivity shooting + blur correction shooting. Execute the process. (1) to (3) If all the determinations are NO and any of (4) and (5) is YES, high-sensitivity shooting + continuous shooting image addition + blur reduction shooting is performed. Therefore, the process after step S523 of FIG. 15 is performed. (1) to (5) If all the determinations are NO and any one of the determinations (7) to (9) is YES, high-sensitivity shooting + continuous shooting image addition + continuous shooting image addition In order to perform the sensitization shooting according to, the processing after step S721 in FIG. 19 is executed.
本実施の形態においては、（１）〜（５）判断が全てＮＯであって、（７）〜（９）判断のいずれか一つでもＹＥＳであった場合には、高感度撮影＋連写画像加算＋連写画像加算による増感撮影を行うべく、図１９のステップＳ７２１以降の処理を実行するようにしたが、高感度撮影＋ブレ補正撮影を行うべく、図１４の５１２以降の処理を実行するようにしてもよい。また、（１）〜（９）判断が全てＮＯであった場合には、高感度撮影＋通常単写撮影を行うべく、図１５のステップＳ５１４以降の処理を実行する。 In the present embodiment, when all the determinations (1) to (5) are NO and any one of the determinations (7) to (9) is YES, high-sensitivity shooting + continuous shooting is performed. The processing after step S721 in FIG. 19 is executed in order to perform intensifying shooting by image addition + continuous shooting image addition, but the processing in 512 and after in FIG. 14 is executed in order to perform high-sensitivity shooting + blur correction shooting. You may make it perform. Further, when all the determinations (1) to (9) are NO, the processing after step S514 in FIG. 15 is executed to perform high-sensitivity shooting + normal single shooting.
つまり本実施の形態においては、「高感度撮影モード」、又は、ＩＳＯ感度が所定値より高感度に設定されている場合に、前記ａ）〜ｃ）のいずれかのような第１の所定条件の場合には、手ブレが大きくなると判断して、高感度撮影とともに、手ブレ補正装置による「手ブレ補正モード」を同時に行う。また、前記ｄ）のような第２の所定条件の場合、もしくは、撮影シーンが「子供」や「ペット」、「スポーツ」などの場合には、被写体ブレが大きくなると判断して、ＩＳＯ相当感度アップによる高感度撮影とともに、連写画像のマルチプレーン加算＋位置合せ合成による「ブレ軽減速写合成モード」に自動的に切替える。また、前記ｅ）、ｆ）、ｇ）のいずれかのような第３の所定条件の場合には、暗い被写体で長い露出時間を要すると判断して、ＩＳＯ相当感度アップによる高感度撮影とともに、連写画像のマルチプレーン加算合成による増感処理（位置合せ処理はしなくともよい）を行う「高感度速写合成モード」に自働的に切替えて、撮影を行うよう制御する。したがて、本実施の形態によれば、高感度撮影では手振れしにくくなるが、それでも手振れや像ブレが特に大きい場合は、ＩＳＯ感度アップによる増感とマルチプレーン加算による増感処理やブレ軽減処理、又は、ブレ補正装置による手ブレ補正処理とを組合せて、より効果的にブレを軽減できる。 In other words, in the present embodiment, when the “high-sensitivity shooting mode” or the ISO sensitivity is set higher than a predetermined value, the first predetermined condition as in any one of the above-mentioned a) to c). In this case, it is determined that the camera shake becomes large, and the “camera shake correction mode” by the camera shake correction apparatus is simultaneously performed with high sensitivity shooting. In the case of the second predetermined condition as in d) above, or when the shooting scene is “children”, “pets”, “sports”, etc., it is determined that subject blurring is increased, and ISO equivalent sensitivity is determined. Along with high-sensitivity shooting, the camera automatically switches to the “blur reduction mode” that uses multi-plane addition and alignment for continuous shots. Further, in the case of the third predetermined condition as in any one of e), f), and g), it is determined that a long exposure time is required for a dark subject, and along with high-sensitivity shooting by increasing ISO equivalent sensitivity, Control is performed to automatically switch to the “high-sensitivity rapid-shooting synthesis mode” in which sensitization processing by multi-plane addition synthesis of continuous-shot images (positioning processing is not necessary) is performed. Therefore, according to the present embodiment, camera shake is difficult in high-sensitivity shooting, but when camera shake and image blur are particularly large, sensitization by increasing ISO sensitivity, sensitization processing by multi-plane addition and blur reduction are performed. The blurring can be reduced more effectively by combining the processing or the camera shake correction processing by the shake correction device.
（マルチプレーン加算における相関計算（位置合わせ方法））の切り替え）
図２１は、所定の撮影条件に応じて、上述のマルチプレーン加算処理における位置合せ方法を、Ａ）主要被写体の領域画像を基準に位置合せして合成するか、Ｂ）（主要被写体を除く）背景領域の画像を基準に位置合せして合成するか、のいずれかに切替えて撮影動作を行うように制御する例を示す。
(Switching of correlation calculation (positioning method) in multiplane addition))
FIG. 21 shows whether the alignment method in the above-described multi-plane addition processing is combined based on the region image of the main subject according to a predetermined shooting condition, or B) (excluding the main subject). An example is shown in which control is performed so that a photographing operation is performed by switching to one of the background region images and combining them based on the reference.
本例では、マルチプレーン加算＋位置合せ合成による高感度＆ブレ補正処理を行う際に、主要被写体領域の輪郭形状や色特徴などの特徴を抽出する主要被写体の特徴抽出手段と、主要被写体領域の特微量の相関度が最も高くなる移動位置、あるいは、各輪郭形状の共通領域又は重心位置などを求める主要被写体の位置検出手段と、各連写画像から主要被写体を除いた背景画像の色分布もしくはテクスチャー特徴など背景の画像特徴の抽出手段とを設け、
Ａ）主要被写体の領域画像を位置合せする場合に、連写画像の最初の画像の輝度パターンや輪郭形状、色分布など画像の特徴量から中央又は前景の主要被写体の領域（又はその共通領域や重心位置）を抽出するとともに、そのフレーム画像の主要被写体領域の画像特微量と、今回フレーム画像Ｐ１の当該領域の画像特微量との相関を計算し、最も相関が高くなる位置、もしくは、特微量の差（距離）が最も低くなる位置を求め、今回フレーム画像Ｐ１を求めた一致位置まで移動して、前回フレーム画像Ｐ２に順次重ね合せ合成する。
Ｂ）一方、背景領域の画像で位置合せする場合には、同様に、連写画像の最初の画像の特微量から中央又は前景の主要被写体の領域を抽出するとともに、そのフレーム画像から抽出された主要被写体領域を除いた背景領域の画像特微量と、今回フレーム画像Ｐ１の当該領域の画像特微量との相関を計算し、最も相関が高くなる位置、もしくは、特微量の差（距離）が最も低くなる位置を求め、今回フレーム画像Ｐ１を求めた一致位置まで移動して、前回フレーム画像Ｐ２に順次重ね合せ合成する。
In this example, when performing high sensitivity & blur correction processing by multi-plane addition + alignment synthesis, a feature extraction unit for extracting a feature of the main subject region, such as a contour shape and a color feature of the main subject region, The position of the main subject for obtaining the moving position where the correlation degree of the trace amount is highest, the common area of each contour shape or the position of the center of gravity, and the color distribution of the background image obtained by removing the main subject from each continuous image or And a background image feature extraction means such as a texture feature,
A) When aligning the main subject area image, the central or foreground main subject area (or its common area or The center of gravity position) is extracted, and the correlation between the image feature of the main subject area of the frame image and the image feature of the area of the current frame image P1 is calculated, and the position or feature having the highest correlation is calculated. The position where the difference (distance) is lowest is obtained, the current frame image P1 is moved to the obtained coincidence position, and the previous frame image P2 is sequentially superimposed and synthesized.
B) On the other hand, when aligning with the image of the background area, similarly, the area of the main subject in the center or foreground is extracted from the feature amount of the first image of the continuous shot image and extracted from the frame image. The correlation between the image feature amount of the background region excluding the main subject region and the image feature amount of the relevant region of the current frame image P1 is calculated, and the position with the highest correlation or the difference (distance) of the feature amount is the largest. The lower position is obtained, the current frame image P1 is moved to the obtained coincidence position, and the previous frame image P2 is sequentially superimposed and synthesized.
また、いずれも、加算枚数分の連写画像の位置合せ及びマルチプレーン加算処理が終了した後、その共通領域の画像を所定のアスペクト比（縦横比）の方形に切り取るトリミング処理を行い、複数枚画像の合成により外郭にずれて凸凹出入りした部分を削除するとともに、トリミング処理により小さくなった画像サイズ（画素数）を、元の記録画像サイズに拡大する処理などを行うのが好ましい。 In both cases, after completion of alignment of the continuous shot image for the added number of sheets and multi-plane addition processing, trimming processing is performed to cut the image of the common area into a square with a predetermined aspect ratio (aspect ratio), and a plurality of images are obtained. It is preferable to perform processing such as deleting the portion that has shifted out of the contour due to the image composition, and expanding the image size (number of pixels) reduced by the trimming processing to the original recorded image size.
（位置合わせ） (Alignment)
図２２に（ａ）主要被写体領域の画像を基準に位置合せする場合と、（ｂ）背景領域の画像を基準に位置合せする場合の例を示す。
（ａ）主要被写体の領域画像で位置合せする場合には、連写画像の最初の被写体画像から輝度又は色差信号などに基づいて複数領域に分割し、その中から主要被写体の領域を選択し、その領域画像を２値化し、エッジを検出し、エッジ図形をＮ辺の等辺多角形などで近似し、輪郭線のＰ型フーリエ記述子、あるいは、そのフーリエスペクトルやＤＣＴ変換の低周波成分からｎ個の成分（係数）を取り出して、輪郭形状の特徴データとして抽出し、今回画像と重ねて、パターンマッチングなどにより順次移動した各位置において前回画像と今回画像との特徴データを比較して、相関や類似度が最も高い位置を検出して、位置合せを行い、マルチプレーン加算する。
FIGS. 22A and 22B show an example of a case where alignment is performed with reference to the image of the main subject area, and a case where alignment is performed based on the image of (b) the background area.
(A) When aligning with the region image of the main subject, the first subject image of the continuous image is divided into a plurality of regions based on luminance or color difference signals, and the region of the main subject is selected from among the regions. The region image is binarized, the edge is detected, the edge figure is approximated by an N-sided equilateral polygon, etc., and the contour type P-type Fourier descriptor, or the low-frequency component of the Fourier spectrum or DCT transform, n Extract individual components (coefficients), extract them as feature data of the contour shape, compare them with the current image, compare the feature data of the previous image with the current image at each position moved sequentially by pattern matching, etc. The position having the highest similarity is detected, aligned, and multiplane addition is performed.
（ｂ）背景画像で位置合せする場合には、同様に複数領域に分割し、主要被写体の領域を除く背景の領域画像を選択し、その輝度パターン、又は、その代表色や色分布などの色特徴、テクスチャー特徴などを前回画像とパターンマッチングで比較して、相関や類似度が最も高い位置を一致位置として検出して、位置合せを行い、マルチプレーン加算する。 (B) When aligning with a background image, similarly, it is divided into a plurality of regions, a background region image excluding the region of the main subject is selected, and its luminance pattern or color such as its representative color or color distribution Features, texture features, and the like are compared with the previous image by pattern matching, a position having the highest correlation and similarity is detected as a matching position, alignment is performed, and multiplane addition is performed.
（位置合わせ＋マルチプレーン加算合成処理） (Positioning + Multiplane addition synthesis processing)
図２３は、位置合わせ＋マルチプレーン加算合成処理の処理手順を示すサブルーチンである。被写体の連写画像の最初の画像を取り込み（ステップＳＡ１、図（Ａ））、輝度階調値又は色差信号に基づいて、複数領域に分割する（ステップＳＡ２、図（Ｂ））。次に、主要被写体の位置合わせであるか否かを判断し（ステップＳＡ３）、主要被写体の位置合わせである場合には、主要被写体の領域を選択する（ステップＳＡ４、図（Ｃ））。引き続き、領域の画像を３値化し（ステップＳＡ５、図（Ｄ））、エッジを検出する（ステップＳＡ６、図（Ｅ））。このエッジを検出した画像をＮ辺の等辺多角形等で近似し（ステップＳＡ７）、輪郭線のＰ型記述子などフーリエ記述子を求める（ステップＳＡ８）。さらに、パワースペクトルを求め（ステップＳＡ９、図（Ｆ））、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線特徴データとし（ステップＳＡ１０）、求めた輪郭線の特徴量データをメモリに記憶する（ステップＳＡ１１）。 FIG. 23 is a subroutine showing a processing procedure of alignment + multiplane addition synthesis processing. The first image of the continuous image of the subject is captured (step SA1, FIG. (A)), and is divided into a plurality of regions based on the luminance gradation value or the color difference signal (step SA2, FIG. (B)). Next, it is determined whether or not the main subject is aligned (step SA3). If the main subject is aligned, the main subject region is selected (step SA4, FIG. 3C). Subsequently, the region image is ternarized (step SA5, FIG. (D)), and an edge is detected (step SA6, FIG. (E)). The image in which the edge is detected is approximated by an equilateral polygon of N sides (step SA7), and a Fourier descriptor such as a P-type descriptor of the contour is obtained (step SA8). Further, a power spectrum is obtained (step SA9, FIG. (F)), n components are extracted from the low frequency components, and data compression is performed to obtain contour line feature data (step SA10). Is stored in the memory (step SA11).
引き続き、次の連写画像を順次取り込み（ステップＳＡ１２）、選択領域画像のテンブレートマッチング処理を行って、今回画像を前回画像上において、順次移動させ、各位置での特徴量の類似度又は距離を求める（ステップＳＡ１３、図（Ｇ）（Ｊ））。最も類似度が高い（又は距離が小さい）位置を一致する位置として出力し（ステップＳＡ１４）、今回画像データを一致する位置まで移動（位置合わせ）する（ステップＳＡ１５）。移動位置に応じて、縦線、斜めの補間処理を行って（ステップＳＡ１６）、補間処理された今回の画像データと前回画像データとを加算合成する（ステップＳＡ１７、図（Ｈ））。次に、全ての画像を加算したか否かを判断し（ステップＳＡ１８）、全ての画像を加算するまでステップＳＡ１２からの処理を繰り返す。全ての画像を加算したならば、共通領域の切り出し処理を行って、元のサイズに拡大処理する（ステップＳＡ１９）。 Subsequently, the next continuous shot image is sequentially captured (step SA12), the template matching process is performed on the selected area image, the current image is sequentially moved on the previous image, and the similarity or distance of the feature amount at each position is determined. (Step SA13, FIGS. (G) and (J)). The position having the highest similarity (or the shortest distance) is output as a matching position (step SA14), and the current image data is moved (aligned) to the matching position (step SA15). Depending on the movement position, vertical line and diagonal interpolation processing is performed (step SA16), and the current image data subjected to the interpolation processing and the previous image data are added and synthesized (step SA17, FIG. (H)). Next, it is determined whether or not all the images have been added (step SA18), and the processing from step SA12 is repeated until all the images are added. If all the images have been added, the common area is cut out and enlarged to the original size (step SA19).
他方、ステップＳＡ３の判断がＮＯである場合には、背景領域の位置合わせであるか否かを判断する（ステップＳＡ２０）。背景領域の位置合わせである場合には、主要被写体を除く背景領域を選択し（ステップＳＡ２１、図（Ｉ））、背景領域の位置合わせでない場合には、中央又はフォーカス枠周辺の所定サイズの領域を選択する（ステップＳＡ２２）。しかる後に、輝度パターン特徴で位置合わせするか否かを判断し（ステップＳＡ２３）、輝度パターン特徴で位置合わせする場合には、選択領域の輝度パターンの特徴量を抽出する（ステップＳＡ２５）。輝度パターン特徴で位置合わせしない場合には、代表色又は色分布で位置合わせするか否かを判断する（ステップＳＡ２４）。 On the other hand, if the determination in step SA3 is NO, it is determined whether or not the background region is aligned (step SA20). If the background area is aligned, a background area excluding the main subject is selected (step SA21, FIG. (I)). If the background area is not aligned, an area of a predetermined size around the center or the focus frame is selected. Is selected (step SA22). Thereafter, it is determined whether or not to perform alignment with the luminance pattern feature (step SA23). When alignment is performed with the luminance pattern feature, the feature amount of the luminance pattern of the selected region is extracted (step SA25). If the alignment is not performed using the luminance pattern feature, it is determined whether or not the alignment is performed using the representative color or the color distribution (step SA24).
代表色又は色分布で位置合わせする場合には、選択領域の特徴パターンの特徴量を抽出する（ステップＳＡ２７）。代表色又は色分布で位置合わせしない場合には、テクスチャー特徴で位置合わせするか否かを判断し（ステップＳＡ２６）、する場合には選択領域のテクスチャー特徴量を抽出する（ステップＳＡ２８）。そして、ステップＳＡ２５、ＳＡ２７、ＳＡ２８のいずれかに続くステップＳＡ２９においては、これらのステップで抽出された選択領域の特徴データをメモリに記憶した後（ステップＳＡ２９）、前述したステップＳＡ１２以降の処理を実行する。 When aligning with the representative color or the color distribution, the feature amount of the feature pattern of the selected region is extracted (step SA27). When the registration is not performed with the representative color or the color distribution, it is determined whether or not the alignment is performed with the texture feature (step SA26). When the registration is performed, the texture feature amount of the selected region is extracted (step SA28). In step SA29 following any of steps SA25, SA27, and SA28, the feature data of the selected area extracted in these steps is stored in the memory (step SA29), and then the processing after step SA12 is executed. To do.
（第９の実施の形態） (Ninth embodiment)
図２５は、本発明の第９の実施の形態における動作及び処理の手順を示す一連フローチャートである。ユーザーによる操作入力部１２２での操作に応じて撮影モードを選択し（ステップＳ９０１）、シャッタ速度、感度等の撮影条件を設定する（ステップＳ９０２）。次に、ズーム処理、ＡＦ処理を実行し（ステップＳ９０３）、被写体像のスルー画像を表示部１８１に表示させる（ステップＳ９０４）。次いで、レリーズ釦が押されて撮影指示がなされたか否かを判断し（ステップＳ９０５）、押されない場合には、ユーザーにより操作入力部１２２で操作されたキーに応じたその他のキー処理を実行する（ステップＳ９０６）。
FIG. 25 is a series of flowcharts showing operation and processing procedures in the ninth embodiment of the present invention. A shooting mode is selected according to the operation of the
レリーズ釦が押されて撮影指示があると、測光処理、ＷＢ処理を行って（ステップＳ９０７）、これにより得られた測光値と前記ステップＳ９０４で設定された撮影条件とに応じて、露出条件を設定する（ステップＳ９０８）。次に、撮像素子１５７から出力される連続撮像信号から被写体の移動量を算出して（ステップＳ９０９）、ブレ量を検出し、順次記録する（ステップＳ９１０）。また、被写体ブレ軽減撮影モードが設定されているか否かを判断し（ステップＳ９１１）、設定されている場合には、主被写体を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、ステップＳ９２５〜Ｓ９２７の処理を実行する。すなわち、連写撮影において、主被写体の領域を選択し（ステップＳ９２５）、主被写体領域の特徴量を抽出して特徴データをメモリに記憶する（ステップＳ９２６）。また、主被写体の特徴量に基づいて、図２３において説明した位置合わせ＋マルチプレーン加算処理を実行する（ステップＳ９２７）。 When the release button is pressed and there is a shooting instruction, photometric processing and WB processing are performed (step S907), and the exposure condition is set according to the photometric value obtained thereby and the shooting condition set in step S904. Setting is made (step S908). Next, the movement amount of the subject is calculated from the continuous imaging signal output from the image sensor 157 (step S909), the blur amount is detected, and sequentially recorded (step S910). In addition, it is determined whether or not the subject blur reduction shooting mode is set (step S911). If the subject blur reduction shooting mode is set, step S925 to perform blur reduction shooting by multiplane addition for aligning the main subject is performed. The process of S927 is executed. That is, in continuous shooting, the main subject region is selected (step S925), the feature amount of the main subject region is extracted, and the feature data is stored in the memory (step S926). Further, based on the feature amount of the main subject, the alignment + multiplane addition process described in FIG. 23 is executed (step S927).
また、ステップＳ９１１での判断の結果、被写体ブレ軽減撮影モードが設定されていない場合には、手ブレ軽減撮影モードが設定されているか否かを判断する（ステップＳ９１２）。手ブレ軽減撮影モードが設定されている場合には、背景を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、ステップＳ９２２〜Ｓ９２４の処理を実行する。すなわち、連写撮影において、主被写体を除く背景領域を選択し（ステップＳ９２２）、背景領域の特徴量を抽出して特徴データをメモリに記憶する（ステップＳ９２３）。また、背景領域の特徴量に基づいて、図２３において説明した位置合わせ＋マルチプレーン加算処理を実行する（ステップＳ９２４）。 If the subject blur reduction shooting mode is not set as a result of the determination in step S911, it is determined whether or not the camera shake reduction shooting mode is set (step S912). When the camera shake reduction shooting mode is set, the processes of steps S922 to S924 are executed in order to perform the camera shake reduction shooting by multi-plane addition for aligning the background. That is, in continuous shooting, a background area excluding the main subject is selected (step S922), the feature amount of the background area is extracted, and the feature data is stored in the memory (step S923). Further, the alignment + multiplane addition process described in FIG. 23 is executed based on the feature amount of the background area (step S924).
他方、 また、ステップＳ９１２での判断の結果、手ブレ軽減撮影モードが設定されていない場合には、以下の各判断を行う。
（１）流し撮り撮影モードであるか否か（ステップＳ９１３）
（２）選択されたシーン別撮影プログラムにおける撮影シーン（あるいは認識した被写体）が子供、ペット、スポーツなどをであるか否か（ステップＳ９１４）
（３）焦点距離が所定以上であるか否か（ステップＳ９１５）
（４）マクロ撮影であるか否か（ステップＳ９１６）
（５）ステップＳ９１０で検出されたブレ量が所定値を超えるか否か（ステップＳ９１７）
（６）ステップＳ９１０で順次記録した像の移動量が所定を超えるか否か（ステップＳ９１８）
（７）測光値が所定値未満であるか否か（ステップＳ９１９）
（８）測光値が所定値未満である場合においてストロボ強制ＯＦＦとなっているか否か（ステップＳ９２０）
（９）設定露出時間（Ｔ）が所定時間（例えば、１／６０ｓ）を超えるか否か（ステップＳ９２１）。
On the other hand, if the result of determination in step S912 is that camera shake reduction shooting mode is not set, the following determinations are made.
(1) Whether it is a panning shooting mode (step S913)
(2) Whether the shooting scene (or the recognized subject) in the selected scene-specific shooting program is a child, a pet, a sport, or the like (step S914)
(3) Whether the focal length is greater than or equal to a predetermined value (step S915)
(4) Whether macro shooting is performed (step S916)
(5) Whether the shake amount detected in step S910 exceeds a predetermined value (step S917)
(6) Whether the moving amount of the images sequentially recorded in step S910 exceeds a predetermined value (step S918)
(7) Whether the photometric value is less than a predetermined value (step S919)
(8) Whether the flash is forcibly turned off when the photometric value is less than the predetermined value (step S920)
(9) Whether the set exposure time (T) exceeds a predetermined time (for example, 1/60 s) (step S921).
これらの（１）〜（９）判断において、（３）（４）（５）判断のいずれか一つでもＹＥＳであった場合には、背景を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、前記ステップＳ９２２〜Ｓ９２４の処理を実行する。また、（１）（２）（６）（８）（９）判断のいずれか一つでもＹＥＳであった場合には、主被写体を位置合わせするマルチプレーン加算によるブレ軽減撮影を行うべく、前記ステップＳ９２５〜Ｓ９２７の処理を実行する。また、（１）〜（９）判断が全てＮＯであった場合には、前述した通常単写撮影を実行する。 In any of these determinations (1) to (9), if any one of the determinations (3), (4), and (5) is YES, blur reduction shooting is performed by multi-plane addition for aligning the background. Therefore, the processing of steps S922 to S924 is executed. If any one of the determinations (1), (2), (6), (8), and (9) is YES, the above-described blur reduction shooting is performed by multi-plane addition for aligning the main subject. Steps S925 to S927 are executed. Further, when all the determinations (1) to (9) are NO, the above-described normal single shooting is executed.
つまり、本実施の形態においては、
１）前述のａ）〜ｃ）のように、手ブレが大きくなる撮影条件や撮影シーンなど、第１の所定の条件のときには、１回のレリーズ操作に応じて、高速で複数枚の画像を速写し、複数枚の速写画像の背景領域の画像の特微量を用いて位置合せして、順次速写画像をマルチプレーン加算するブレ軽減撮影処理を行う。
２）一方、前述のｄ）〜ｆ）のように、被写体ブレが大きくなる撮影条件や撮影シーンなど、第２の所定の条件のときには、１回のレリーズ操作に応じて、高速で速写し、複数枚の速写画像の主要被写体領域の画像の特微量を用いて位置合せして、順次速写画像をマルチプレーン加算するブレ軽減撮影処理を行う。
３）その他の条件のときには、１回のレリーズ操作に応じて、速写やマルチプレーン加算は行わずに、１回の露光で１枚の画像を撮影記録する通常の撮影を行うように制御する。あるいは、さらに、撮影条件やシーンに応じて、位置合せ方法だけでなく、位置合せ時に比較する画像の特徴量などを切り替えるように制御することが好ましい。
In other words, in this embodiment,
1) As described above in a) to c), when a first predetermined condition such as a shooting condition or a shooting scene in which camera shake becomes large, a plurality of images are displayed at a high speed according to one release operation. A low-speed shooting process is performed in which the images are registered using the features of the background region images of a plurality of high-speed images, and the high-speed images are sequentially added to the multiplane.
2) On the other hand, as described above in d) to f), when a second predetermined condition such as a shooting condition or a shooting scene in which subject blurring is large, a high-speed shooting is performed at a high speed according to a single release operation. Position reduction is performed using the features of the images of the main subject area of a plurality of high-speed images, and blur reduction shooting processing is performed in which the high-speed images are sequentially added to the multiplane.
3) Under other conditions, in accordance with one release operation, control is performed so as to perform normal photographing in which one image is photographed and recorded in one exposure without performing rapid shooting or multi-plane addition. Alternatively, it is preferable to perform control so as to switch not only the alignment method but also the feature amount of the image to be compared at the time of alignment according to the shooting conditions and the scene.
（テンブレートマッチング処理）
図２６は、テンブレートマッチング処理の手順を示すフローチャートであり、図２７はテンブレート画像の説明図である。前画像ｇ（ｉ，ｊ）から、ｍ×ｎサイズの画像領域ｔ［ｋ，Ｌ］を抽出して、テンブレートメモリに記憶する（ステップＳＢ１）。Ｍ×Ｎサイズの今回のフレーム画像ｆ（ｉ，ｊ）を入力し（ステップＳＢ２）、ｊ←０、Ｒｍａｘ←０（又は、ｄｍｉｎ←∞）とした後（ステップＳＢ３）、ｉ←０とする（ステップＳＢ４）。予めプログラムメモリ１２３に記憶してあるテンブレート画像ｔ［ｋ，Ｌ］を、今回画像ｆ（ｉ，ｊ）の点（ｉ，ｊ）に重ねる（ステップＳＢ５）。
(Temprate matching process)
FIG. 26 is a flowchart showing the procedure of the template matching process, and FIG. 27 is an explanatory diagram of the template image. An image region t [k, L] of m × n size is extracted from the previous image g (i, j) and stored in the template memory (step SB1). The current frame image f (i, j) of M × N size is input (step SB2), and j ← 0, Rmax ← 0 (or dmin ← ∞) are set (step SB3), and then i ← 0. (Step SB4). The template image t [k, L] stored in advance in the
次に、下記例示式を用いて、ｔ［ｋ，Ｌ］とｆ（ｉ，ｊ）の重複部分の類似度Ｒ（ｉ，ｊ）又は、距離ｄ（ｉ，ｊ）を計算する（ステップＳＢ６）。
（例）類似度Ｒ（ｉ，ｊ）＝ΣＬΣＫｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋Ｌ］・ｔ［ｋ，Ｌ］、
距離ｄ（ｉ，ｊ）＝ΣＬΣＫ｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋Ｌ］−ｔ［ｋ，Ｌ］｜
（ただし、上式で、ΣＫはΣＫ＝０ （ｍ−１）、ΣＬはΣＬ＝０ （Ｎ−１）を表す。）
Next, the similarity R (i, j) or distance d (i, j) of the overlapping portion of t [k, L] and f (i, j) is calculated using the following exemplary formula (step SB6). ).
(Example) Similarity R (i, j) = Σ L Σ K f [i− (m / 2) + k, j− (n / 2) + L] · t [k, L],
The distance d (i, j) = Σ L Σ K | f [i- (m / 2) + k, j- (n / 2) + L] -t [k, L] |
(However, in the above equation, Σ K represents Σ K = 0 (m−1) and Σ L represents Σ L = 0 (N−1) .)
引き続き、類似度Ｒ（ｉ，ｊ）＞最大値Ｒｍａｘとを比較（又は、距離ｄ（ｉ，ｊ）とそれまでの最小値ｄｍｉｎとを比較）し（ステップＳＢ７）、類似度Ｒ（ｉ，ｊ）＞最大値Ｒｍａｘであるか否か（又は、距離ｄ（ｉ，ｊ）＜最小値ｄｍｉｎであるか否か）を判断する（ステップＳＢ８）。この判断がＹＥＳである場合には、（ｉ，ｊ）←（ｉ，ｊ）、Ｒｍａｘ←Ｒ（ｉ，ｊ）（又は、ｄｍｉｎ←ｄ（ｉ，ｊ））として、最大（最小）となる位置座標（ｉ，ｊ）と類似度（又は距離）を更新して記憶する（ステップＳＢ９）。 Subsequently, the similarity R (i, j)> the maximum value Rmax is compared (or the distance d (i, j) is compared with the minimum value dmin so far) (step SB7), and the similarity R (i, j, j)> It is determined whether or not the maximum value Rmax is satisfied (or whether or not the distance d (i, j) <the minimum value dmin) (step SB8). If this determination is YES, (i, j) ← (i, j), Rmax ← R (i, j) (or dmin ← d (i, j)) is the maximum (minimum). The position coordinates (i, j) and the similarity (or distance) are updated and stored (step SB9).
次に、ｉ≧Ｍ−１となったか否かを判断し（ステップＳＢ１０）、なっていない場合には、ｉ←ｉ＋１としてｔ［ｋ，Ｌ］を横移動し（ステップＳＢ１１）、ステップＳＢ５からの処理を繰り返す。また、ｉ≧Ｍ−１となったならば、ｉ≧Ｎ−１となったか否かを判断する（ステップＳＢ１２）。なっていなければ、ｊ←ｊ＋１としてｔ［ｋ，Ｌ］を縦移動し（ステップＳＢ１３）、ステップＳＢ４からの処理を繰り返す。そして、ｉ≧Ｍ−１となってステップＳＢ１２の判断がＹＥＳとなったならば、Ｒｍａｘ（又はｄｍｉｎ）をとる位置座標（ｉ，ｊ）を出力して（ステップＳＢ１４）、リターンする。 Next, it is determined whether or not i ≧ M−1 (step SB10). If not, i ← i + 1 is t (k, L) moved laterally (step SB11), and from step SB5. Repeat the process. If i ≧ M−1, it is determined whether i ≧ N−1 (step SB12). If not, j ← j + 1 and t [k, L] are moved vertically (step SB13), and the processing from step SB4 is repeated. If i ≧ M-1 and the determination in step SB12 is YES, the position coordinate (i, j) taking Rmax (or dmin) is output (step SB14), and the process returns.
（輪郭形状の特徴抽出） (Feature extraction of contour shape)
また、前述した位置合せのために、画像の相関や類似度を求める場合に、比較する画像の特徴量として、主要被写体などの輪郭形状を用いる場合には、図２８〜図３０に示すように、対象領域の図形の輪郭特徴データを抽出すればよい。画像の類似や探索は、前述のように、領域内の画像からテンブレート画像と類似する画像の位置を順次探索するテンブレート・マッチング等の手法により、類似する画像や図形の探索ができる。また、輪郭形状の識別は、２値化や線図形化したテンブレート画像やその特微量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。 Further, in the case of obtaining the correlation and similarity of images for the above-described alignment, when the contour shape of the main subject or the like is used as the feature amount of the image to be compared, as shown in FIGS. What is necessary is just to extract the outline feature data of the figure of the target area. As described above, similar images and figures can be searched for by using a technique such as template matching that sequentially searches for the positions of images similar to the template image from the images in the region. In addition, for identifying the contour shape, a binary or line figure template image and its characteristic amount are stored, and the correlation between the binarized input line image, the line figure image, and the feature data is stored. It is possible to identify the shape and determine the similarity by calculating the similarity.
輪郭形状の特徴データの抽出は、例えば、図２８に示すように、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、一次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、図２９に示すように、輪郭線に沿って順次、位置座標ｘ（ｓ），ｙ（ｓ）、又は、ｚ（ｓ）＝ｘ（ｓ）刊・ｙ（ｓ）を求めて、一次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。さらに、前述の偏角関数や位置座標関数などの一次元関数を離散フーリエ変換などを施し、その周波数成分やフーリエ係数を特徴量データとしてもよい。例えば、図３０に示すように、偏角関数θ（ｓ）を正規化して、正規化偏角関数θ（ｓ）を求め、
式（１３） 正規化偏角関数：θＮ（ｓ）＝θ（ｓ）−θ（Ｏ）−２πｓ／Ｌ、
このθＮ（ｓ）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Ｚａｈｎ）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
式（１４） θＮ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
式（１５） θＮ（ｓ）の離散フーリエ変換のフーリエ係数（Ｚ型記述子）：
For example, as shown in FIG. 28, the feature data of the contour shape is extracted from the starting point along the contour line of the figure to obtain the deflection angle θ (s) and convert it to a one-dimensional function (deflection function). Thus, it can be used as a feature amount of the contour shape. Alternatively, as shown in FIG. 29, position coordinates x (s), y (s), or z (s) = x (s) publication / y (s) are sequentially obtained along the contour line, It can be converted into the original position coordinate function and used as a feature amount of the contour shape. Furthermore, a one-dimensional function such as the aforementioned declination function or position coordinate function may be subjected to discrete Fourier transform, and the frequency component or Fourier coefficient may be used as feature amount data. For example, as shown in FIG. 30, the argument function θ (s) is normalized to obtain a normalized argument function θ (s),
Expression (13) Normalized argument function: θ N (s) = θ (s) −θ (O) −2πs / L,
The discretized data φ [i] of θ N (s) is Fourier-transformed to obtain the following Z (Zahn) type Fourier descriptor, which can be used for contour shape identification.
Expression (14) Discretized data of θ N (s): φ [i] = θ [i] −θ [0] −2πi / N
Formula (15) Fourier coefficient of discrete Fourier transform of θ N (s) (Z-type descriptor):
Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］ｅｘｐ（−ｊ２πｋｉ／Ｎ） Cz [k] = (1 / N) Σφ [i] exp (−j2πki / N)
また、図３１に示すように、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Ｐｈａｓｅ）形記述子を求め、輪郭形状の識別に利用してもよい。
式（１６） ｗ［ｉ］＝ｅｘｐ（ｊθ［ｉＤ＝ｃｏｓθ［ｉ］＋ｓｉｎθ［ｉ］＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分長δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
式（１７） ｗ［ｉ］の離散フーリエ変換のフーリエ係数（＝Ｐ形記述子）：
Further, as shown in FIG. 31, an exponential function w [i] of the deflection angle θ [i] approximated by a polygonal line is obtained, a P (Phase) shape descriptor obtained by Fourier transforming w [i] is obtained, and the contour shape is obtained. It may be used for identification.
Expression (16) w [i] = exp (jθ [iD = cos θ [i] + sin θ [i] = (z [i + 1] −z [i]) / δ,
However, the line segment length δ = | z [i + 1] −z [i] |
Formula (17) Fourier coefficient of discrete Fourier transform of w [i] (= P-type descriptor):
Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］ｅｘｐ（−ｊ２πｋｉ／Ｎ）
また、比較する主要被写体や背景の画像特徴量として、輝度パターンや輪郭形状などの特微量の代りに、領域画像の代表色や色分布などの色特徴情報を用いてもよい。
Cp [k] = (1 / N) Σw [i] exp (−j2πki / N)
Further, as the image feature amount of the main subject or background to be compared, color feature information such as the representative color or color distribution of the region image may be used instead of the feature amount such as the luminance pattern and the contour shape.
（代表色、色分布の抽出）
図３２は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。対象とする撮影画像を取り込み（ステップＳＣ１）、輝度階調値又は色差信号に基づいて複数の輪郭領域に分割する（ステップＳＣ２）。次に、面積の大きい領域、又は中央のフォーカス枠に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳＣ３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳＣ４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳＣ５）。
(Extraction of representative color and color distribution)
FIG. 32 is a flowchart illustrating an example of a processing procedure for extracting the representative color and the degree of dispersion of the distribution from the RGB histogram of the selected region image. The target captured image is captured (step SC1), and is divided into a plurality of contour regions based on the luminance gradation value or the color difference signal (step SC2). Next, 1 to n subject areas are selected in order from the area having the larger area or the area close to the central focus frame (step SC3), and the histogram distributions Pr (i) and Pg (i) for each divided area are selected. ), Pb (i) is obtained (step SC4). Subsequently, the Pr (i), Pg (i), and Pb (i) are normalized so that the whole becomes 1.0 (step SC5).
そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳＣ６）。
μｒ＝Ｍａｘ｛Ｐｒ（ｉ）｝，
μｇ＝Ｍａｘ｛Ｐｇ（ｉ）｝，
μｂ＝Ｍａｘ｛Ｐｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳＣ７）。
μｒ＝Σｉ・Ｐｒ（ｉ），
μｇ＝Σｉ・Ｐｇ（ｉ），
μｂ＝Σｉ・Ｐｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ２を求める（ステップＳＣ８）。
σｒ２＝Σ（ｉ−μｒ）２・Ｐｒ（ｉ），
σｇ２＝Σ（ｉ−μｇ）２・Ｐｇ（ｉ），
σｂ２＝Σ（ｉ−μｂ）２・Ｐｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値又は平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳＣ９）。
Then, the mode values of the RGB histograms Pr (i), Pg (i), and Pb (i) are obtained as described below (step SC6).
μr = Max {Pr (i)},
μg = Max {Pg (i)},
μb = Max {Pb (i)},
Further, the average μ of the RGB histograms Pr (i), Pg (i), and Pb (i) is obtained as described below (step SC7).
μr = Σi · Pr (i),
μg = Σi · Pg (i),
μb = Σi · Pb (i),
Further, the variance σ2 of the RGB histograms Pr (i), Pg (i), and Pb (i) is obtained as described below (step SC8).
σr2 = Σ (i−μr) 2 · Pr (i),
σg2 = Σ (i−μg) 2 · Pg (i),
σb2 = Σ (i−μb) 2 · Pb (i),
Next, the mode value or average value of the RGB histogram of each region is set as the representative color, and the representative color and the RGB dispersion value are described and output as color feature data (step SC9).
（色分布の抽出）
図３３は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。対象とする撮影画像、又は、領域画像を取り込み（ステップＳＤ１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳＤ２）。次に、各分割ブロック領域の平均色を算出し（ステップＳＤ３）、各分割ブロック領域の平均色をＲＧＢ又はＹＣｂＣｒ空間でＤＦＴ変換又はＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳＤ４）。そして、ＤＦＴ又はＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳＤ５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳＤ６）、このデジタル符号化したＤＦＴ又はＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳＤ７）。
(Extraction of color distribution)
FIG. 33 is a flowchart showing an example of a processing procedure for dividing an area image into a plurality of blocks, obtaining an average color for each block, and extracting the characteristics of the color distribution and color arrangement pattern, such as DCT coefficient distribution data obtained by DCT conversion. is there. A target photographed image or region image is captured (step SD1), and the region is divided into a plurality of block regions of length m × width n (step SD2). Next, the average color of each divided block area is calculated (step SD3), and the average color of each divided block area is converted into a frequency by DFT conversion or DCT conversion in the RGB or YCbCr space to obtain each coefficient (step SD4). . Then, the low-frequency component coefficient of DFT or DCT is scanned by zigzag scanning or the like to make it one-dimensional (step SD5), and each one-dimensionalized coefficient is quantized (digitally encoded) (step SD6). The encoded DFT or DCT coefficient string is described and output as color distribution feature data (step SD7).
また、人間の肌色領域の抽出など、特定の色の画像領域や輪郭の抽出を行う場合、人間の肌の分光反射率特性、又は、撮影画像サンプル中の肌色領域のＲＧＢ値、もしくはＨＳＶ値（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）などを元に、肌色の領域や人間の肌や顔の領域を抽出できる。例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データをとると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相（Ｈｕｅ）環では、約６°〜３８°の範囲に多く分布することが知られている。これらを利用すれば、ＨＳＶ値から、色相（Ｈｕｅ）が約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。 In addition, when extracting an image area or contour of a specific color, such as extraction of a human skin color area, the spectral reflectance characteristics of human skin, or the RGB value or HSV value of the skin color area in a captured image sample ( Based on hue: Hue, saturation: Saturation, brightness: Value of Brightness), it is possible to extract a skin color area, human skin, and face area. For example, if the distribution data of skin color hue (Hue) and saturation (Saturation) is taken, most of the skin color image data has a wide range of saturation, but in the hue (Hue) ring, about 6 ° to It is known that many distributions are in the range of 38 °. By using these, it is possible to appropriately extract a subject area of a specific color from the HSV value, such as a skin color of a human face whose hue (Hue) is in the range of about 6 ° to 38 °.
（高次局所自己相関関数によるテクスチャー特徴抽出）
図３４（ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、同図（ｂ）はその説明図である。図（ａ）に示すように、撮影画像を取り込み（ステップＳＥ１）、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得る（ステップＳＥ２）。次に、設定された特徴に応じて、同図（ｂ）に示すように、（ｎ×ｎ）画素のマスクパターン１〜２５（図（ｂ）のＮｏ．１〜２５）を作成する（ステップＳＥ３）。さらに、下記に示すように、各画像で、各参照点（ｉ，ｊ）にマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める（ステップＳＥ４）。
Ｃ１＝ΣｉΣｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。
(Texture feature extraction using higher-order local autocorrelation function)
FIG. 34A is a flowchart showing an example of texture feature extraction by a higher-order local autocorrelation function, and FIG. 34B is an explanatory diagram thereof. As shown in FIG. 1A, a captured image is captured (step SE1), and the RGB component of each image is converted into a YIQ component to obtain a Y image, an I image, and a Q image (step SE2). Next, according to the set feature,
C1 = ΣiΣj {f (i, j)},
C2 = ΣiΣj {f (i, j) f (i + 1, j)},
...
C5 = ΣiΣj {f (i, j) f (i−1, j + 1)},
C6 = ΣiΣj {f (i, j) f (i-1, j) f (i + 1, j)},
...
C25 = ΣiΣj {f (i, j) f (i-1, j + 1) f (i + 1, j + 1)}.
また、Ｃ（ａ１，・・・，ａＮ）＝Σｒ［ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］により、上記のＣ１〜Ｃ２５を加算（積和）し（ステップＳＥ５）、Ｃｉ＝Ｃｉ／Σｊ｛Ｃｊ｝（ｉ，ｊ＝１〜２５）により、各特徴量を特徴ベクトル全体の和Σｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化する（ステップＳＥ６）。そして、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、又はその統計量を、テクスチャーの特徴データとして記述し出力する（ステップＳＥ７）。 Also, C1 to C25 are added (product sum) by C (a1,..., AN) = Σr [n√ {f (r) f (r + a1)... F (r + aN)}] ( In step SE5), Ci = Ci / Σj {Cj} (i, j = 1 to 25) is used to divide each feature amount by the sum Σj {Cj} of the entire feature vector, and the absolute value of the feature vector becomes 1. Normalization is performed as follows (step SE6). Then, the feature vectors C1 to C25 by local autocorrelation obtained for each YIQ image, or their statistics are described and output as texture feature data (step SE7).
また、フーリエスペクトルからテクスチャー解析する方法として、離散２次元フーリエ変換（ＤＦＴ）したフーリエスペクトル
Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１ｘｕＷ２ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）を求め、
Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２を算出し、
これを極座標形式のＰ（ｒ，θ）に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、及び、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求め、
ｐ（ｒ）＝２Σθ＝０πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σｆ＝０Ｗ／２Ｐ（ｒ，θ）。
そのヒストグラム分布のピーク、平均、分散など統計量から、例えばＰ（ｒ）のピークよりテクスチャーのきめの大きさ、ｑ（θ）のピークよりテクスチャー画素の方向性など、テクスチャーの特徴量を抽出して、特徴データを記述して、出力するようにしてもよい。
Further, as a method of texture analysis from the Fourier spectrum, a discrete two-dimensional Fourier transform (DFT) Fourier spectrum F (u, v) = ΣΣf (x, y) W1xuW2yu (where W1 = exp (−j2π / M) is obtained. ,
F (u, v) power spectrum P (u, v) = | F (u, v) | 2 is calculated,
This is converted into P (r, θ) in the polar coordinate format, and the sum p (r) of energy in the donut-shaped region centered on the origin and the sum q (r) of energy in the sector-shaped region at the angle θ are converted. Seeking
p (r) = 2Σθ = 0πP (r, θ),
q (r) = 2Σf = 0W / 2P (r, θ).
From the statistics such as the peak, average, and variance of the histogram distribution, extract the texture features such as texture size from the P (r) peak and texture pixel directionality from the q (θ) peak. The feature data may be described and output.
８−４）輝度の共起行列によるテクスチャー解析
また、輝度の共起行列を用いてテクスチャーの特徴を抽出してもよい。画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求め（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）
、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計して、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め、正規化した共起行列ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／ΣｉΣｊ（ｉ，ｊ）から、・角２次モーメント（Angular second moment,全体の均一性を表す）ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝２、
・コントラスト（Contrast,局所変化を表す）ｆ２＝Σ｛ｎ２ｐ（ｉ，ｊ）｝、
・方向に関する相関（Correlation）ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ２）｝／σ２、 ただし、μ＝Σｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
・平方和（Sum of Squares,局所同調性を表すｆ４＝ΣΣ｛（ｉ−μ）２ｐ（ｉ，ｊ）｝、
・逆差分モーメント（Inverse difference Moment,複雑さの測度を表す）ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］、
などを求めて、テクスチャーの特徴データとすることができる。
8-4) Texture Analysis Using Luminance Co-occurrence Matrix Also, texture features may be extracted using the luminance co-occurrence matrix. In the image (x, y), the luminance of the pixel f (x2, y2) in the positional relationship (d, θ) at the distance d and the angle θ from the pixel f (x1, y1) is represented by d (1, 2,. ), Θ (0 degrees, 45 degrees, 90 degrees, 135 degrees, etc.) are sequentially obtained (however, the distance d = max (| x1-x2 |, | y1-y2 |))
, And the luminance co-occurrence by summing up the frequency (histogram) at which the luminance of two points in the positional relationship (d, θ) is paired with f (x1, y1) = i and f (x2, y2) = j, respectively. From the normalized co-occurrence matrix p (i, j) = P (i, j) / ΣiΣj (i, j) obtained from the matrix P (i, j; d, θ), the angular second moment (Angular second moment, representing overall uniformity) f1 = ΣΣ {p (i, j)} 2,
Contrast (representing local change) f2 = Σ {n2p (i, j)},
Correlation with respect to direction (Correlation) f3 = ΣΣ {(i, j) p (i, j−μ2)} / σ2, where μ = Σip (i) = 1 / g, (g: number of gradations)
σ = √ {Σ {p (i) −μ} / (g−1)}
Sum of Squares, f4 = ΣΣ {(i−μ) 2p (i, j)} representing local synchrony,
Inverse difference moment (representing a measure of complexity) f5 = ΣΣ [p (i, j) / {1+ (1-j))}],
Etc. can be obtained as texture feature data.
（位置合わせ＋マルチプレーン加算合成処理） (Positioning + Multiplane addition synthesis processing)
図３５は、位置合わせ＋マルチプレーン加算合成処理の他の処理手順を示すサブルーチンである。各連写画像を取り込み（ステップＳＦ１）、各連写画像の輝度階調値又は色差信号に基づいて、複数領域に分割する（ステップＳＦ２）。次に、オート撮影モードが設定されているか否かを判断し（ステップＳＦ３）、設定されている場合には、選択された画像領域において、顔画像の認識処理を実行する（ステップＳＦ４）。引き続き、対象画像内に顔の領域が検出されたか否かを判断し（ステップＳＦ５）、検出された場合には、顔を含む領域を主要被写体の領域として選択する（ステップＳＦ６）。しかる後に、主要被写体を位置合わせするマルチプレーン加算を行うべく、ステップＳＦ７及びＳＦ８の処理を実行する。すなわち、主要被写体領域の特徴量を抽出して特徴量データをメモリに記憶し（ステップＳＦ７）、主要被写体の特徴量に基づいて、連写画像の位置合わせ＋マルチプレーン加算処理を実行する（ステップＳＦ８）。 FIG. 35 is a subroutine showing another processing procedure of alignment + multiplane addition synthesis processing. Each continuous shot image is captured (step SF1), and is divided into a plurality of regions based on the luminance gradation value or color difference signal of each continuous shot image (step SF2). Next, it is determined whether or not the auto shooting mode is set (step SF3). If it is set, face image recognition processing is executed in the selected image area (step SF4). Subsequently, it is determined whether or not a face area is detected in the target image (step SF5). If a face area is detected, the area including the face is selected as the main subject area (step SF6). Thereafter, the processes of steps SF7 and SF8 are executed in order to perform multi-plane addition for aligning the main subject. That is, the feature amount of the main subject region is extracted and the feature amount data is stored in the memory (step SF7), and based on the feature amount of the main subject, continuous image alignment + multiplane addition processing is executed (step S1). SF8).
前記ステップＳＦ３の判断がＮＯであって、オート撮影モードが設定されていない場合には、ユーザにより選択された撮影シーンが「人物」、「人物＋風景」、「子ども」など人物を含むシーンであるか否かを判断し（ステップＳＦ９）、ＹＥＳである場合には前記ステップＳＦ４に進む。しかし、ＮＯである場合には、さらに選択されたシーンが「ペット」、「オークション」、「花」であるか否を判断する（ステップＳＦ１０）。この判断がＹＥＳである場合、及び前記ステップＳＦ５の判断がＮＯである場合には、中央又はフォーカス枠の領域を主要被写体の領域として選択する（ステップＳＦ１１）。しかる後に、主要被写体を位置合わせるマルチプレーン加算を行うべく、前記ステップＳＦ７及びＳＦ８の処理を実行する。 If the determination in step SF3 is NO and the auto shooting mode is not set, the shooting scene selected by the user is a scene including a person such as “person”, “person + landscape”, “child”, and the like. It is determined whether or not there is (step SF9). If YES, the process proceeds to step SF4. However, in the case of NO, it is further determined whether or not the selected scene is “pet”, “auction”, or “flower” (step SF10). If this determination is YES and if the determination in step SF5 is NO, the center or the area of the focus frame is selected as the main subject area (step SF11). Thereafter, the processes of steps SF7 and SF8 are performed in order to perform multi-plane addition for aligning the main subject.
また、ステップＳＦ１０の判断がＮＯである場合には、選択された撮影シーンが「風景」、「夜景」「夕日」などの人物を含まないシーンであるか否かを判断する（ステップＳＦ１２）。この判断がＹＥＳである場合には、中央又はフォーカス枠の被写体を除く背景領域を選択する（ステップＳＦ１３）。しかる後に、背景を位置合わせするマルチプレーン加算を行うべく、ステップＳＦ１４及びＳＦ１５の処理を実行する。すなわち、背景領域の特徴量を抽出して特徴量データをメモリに記憶し（ステップＳＦ１４）、背景領域の特徴量に基づいて、連写画像の位置合わせ＋マルチプレーン加算処理を実行する（ステップＳＦ１５）。 If the determination in step SF10 is NO, it is determined whether or not the selected shooting scene is a scene that does not include a person such as “landscape”, “night view”, and “sunset” (step SF12). If this determination is YES, a background area excluding the subject in the center or focus frame is selected (step SF13). Thereafter, the processes of steps SF14 and SF15 are executed in order to perform multi-plane addition for aligning the background. That is, the feature amount of the background region is extracted and the feature amount data is stored in the memory (step SF14), and the continuous shot image alignment + multiplane addition process is executed based on the feature amount of the background region (step SF15). ).
つまり、この位置合わせ＋マルチプレーン加算合成処理においては、
１）撮影シーンが「人物」、「人物＋風景」、「子供」、「スポーツ」など、人物が主な被写体と想定されるシーンの場合には、顔画像の認識手段により、人物の顔画像と認識された画像領域を抽出して、抽出された顔画像を含む主要被写体の位置が一致するように位置合せを行ってから、速写画像を順次マルチプレーン加算合成する。
２）領画像が認識されなかった場合、あるいは、撮影シーンが、「ペット」や「オークション」、「花」など、人物を主な被写体として含まないと想定される撮影シーンの場合には、顔画像の認識手段を用いず、輪郭特徴などの特微量により、中央やフォーカス枠の主要被写体の領域を抽出して、抽出された主要被写体の特微量の位置が一致するように位置合せを行ってから速写画像を順次加算合成する。
３）また、「風景」や「夕日」、「夜景」など、前景に明瞭な主要被写体を含まないことも想定される撮影シーンの場合には、各画像から抽出された主要被写体の輪郭の画像領域を除いた、背景領域の色分布やテクスチャーなど、所定の画像特微量の位置が一致するように位置合せを行ってから、速写画像を順次加算合成する。
In other words, in this alignment + multiplane addition synthesis process,
1) When the shooting scene is a scene in which a person is assumed to be the main subject, such as “person”, “person + landscape”, “child”, “sport”, etc., the face image of the person is detected by the face image recognition means. After the image area recognized as is extracted and aligned so that the positions of the main subjects including the extracted face image coincide with each other, the high-speed image is sequentially subjected to multiplane addition synthesis.
2) If the region image is not recognized, or if the shooting scene is a shooting scene that does not include a person as the main subject, such as “pet”, “auction”, “flower”, etc. Extract the area of the main subject in the center and the focus frame using features such as contour features without using image recognition means, and align the extracted features of the main subject to match. Then, the high-speed images are sequentially added and synthesized.
3) In addition, in the case of a shooting scene such as “landscape”, “sunset”, “night view”, etc., in which it is assumed that the clear main subject is not included in the foreground, an outline image of the main subject extracted from each image After aligning so that the positions of predetermined image features such as the color distribution and texture of the background area, excluding the areas, match, the high-speed images are sequentially added and synthesized.
したがって、選択されたシーンに応じて、顔認識処理と位置合せ方法を切替えて、マルチプレーン画像加算＋位置合せ合成による高感度＆手振れ補正処理（ブレ軽減速写合成モード）を行うように制御する。 Therefore, in accordance with the selected scene, the face recognition process and the alignment method are switched, and control is performed so as to perform a high sensitivity & camera shake correction process (blur reduction rapid shooting synthesis mode) by multi-plane image addition + alignment synthesis.
したがって、本実施の形態においては、撮影シーン、及び、顔認識結果とに応じて、人物の顔が含まれると想定されるシーンの場合には、自動的に顔認識処理を行うとともに、顔が認識された場合には、顔画像が含まれる被写体を主要被写体の領域として、その位置が一致するように位置合する。また、顔が認識されなかった場合、あるいは、人物が含まれないと想定されるシーンでは、中央やフォーカス枠の被写体を基準に位置合せし、あるいは、主要被写体が含まれない場合も想定されるシーンでは、背景画像が一致するように位置合せする。しかる後に、マルチプレーン加算処理するように、自動的に切り替えるので、シーンの画像特性などに応じて、より最適で精密な位置合せ処理ができ、より画像品位の高い像感撮影や効果的なブレ軽減撮影ができる。 Therefore, in the present embodiment, in the case of a scene that is assumed to include a human face according to the shooting scene and the face recognition result, the face recognition process is automatically performed and the face is If recognized, the subject including the face image is used as the main subject region, and the subject is positioned so that the positions coincide with each other. In addition, in the case where a face is not recognized, or in a scene that is assumed not to include a person, it may be possible to align with the subject in the center or the focus frame as a reference, or the main subject may not be included. In the scene, alignment is performed so that the background images match. After that, since it automatically switches to multi-plane addition processing, it is possible to perform more optimal and precise alignment processing according to the image characteristics of the scene, etc., image sensing with higher image quality and effective blurring. Reduced shooting is possible.
（色相の抽出、肌色の抽出）
図３６は、所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す。図（ａ）は、人間の肌の分光反射率特性の例であり、（ｂ）は、撮影画像サンプル中の肌色領域のＲＧＢ値、及びＨＳＶ値の例（色相：Ｈｕｅを０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎを０〜２５５、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓを０〜２５５として場合）である。また、（ｃ）は、肌色の色相：Ｈｕｅ：０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎ：０〜１分布の例で、肌色の画像データの多くは、色相環で６°〜３８°の範囲に多く分布することが知られている（Skin Colour Analysis(by J.Sherrah and S.Gong)http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPLES/GONGI/cvOnline-skinColourAnalysis.html）。これらを利用すれば、ＨＳＶ値から、色相で約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。
(Hue extraction, skin color extraction)
FIG. 36 shows an example of human skin color area extraction as an example of extracting a predetermined color area. (A) is an example of spectral reflectance characteristics of human skin, (b) is an example of RGB values and HSV values (hue: Hue of 0 to 360 °) in the skin color region in the photographed image sample. Saturation: Saturation is 0 to 255, and Lightness: Value of Brightness is 0 to 255). (C) is an example of skin color hue: Hue: 0 to 360 °, saturation: Saturation: 0 to 1 distribution, and most of the skin color image data is in the range of 6 ° to 38 ° in the hue circle. Many distributions are known (Skin Color Analysis (by J. Sherrah and S. Gong) http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPLES/GONGI/cvOnline-skinColourAnalysis.html ). By using these, it is possible to appropriately extract a subject area of a specific color from the HSV value, such as a skin color of a human face having a hue in the range of about 6 ° to 38 °.
（顔の認識処理）
前記の特徴抽出において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。図３７は、例えば「人物撮影シーン」などにおいて、人物の顔の領域における特徴データを抽出する場合の処理手順を子示すフロー説明図である。すなわち、ステップ（ａ）顔の位置検出では、顔の輪郭画像に様々なグラフを当てはめて、人物の顔部分を検出する。次に、ステップ（ｂ）顔の特徴点の位置検出では、画像の顔部分を切り出し、顔の大きさを正規化して、顔の特徴点の位置を検出する。さらに、ステップ（ｃ）特徴量の検出においては、各特徴点から、ウェーブレット変換等で、周波数成分など個人毎の特徴量を抽出する。
(Face recognition process)
In the feature extraction described above, dedicated identification data or recognition processing may be required for each specific subject or subject to be noticed in a scene-specific shooting mode. FIG. 37 is a flowchart for explaining a processing procedure in the case of extracting feature data in the face area of a person in, for example, “person photographing scene”. That is, in step (a) face position detection, various graphs are applied to the face contour image to detect a human face portion. Next, in step (b) position detection of face feature points, the face portion of the image is cut out, the face size is normalized, and the position of the face feature points is detected. Further, in step (c), feature quantity detection, individual feature quantities such as frequency components are extracted from each feature point by wavelet transform or the like.
図３８は、（ａ）は顔の眼の領域を抽出するためのマスクパターンの例で、これを参照パターンとして、テンブレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。（ｂ）は、眼を認識するデータの例で、例えば、
眼の細長さ＝ｂ／ａとして、α１≦ｂ／ａ≦α２の条件に合致する、又は、
（眼の面積）Ｓ１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ２＝π×ｒ２、黒眼（瞳）の比率Ｓ２／Ｓ１＝ｒ２／ａｂとして、β１≦ｒ２／ａｂ≦β２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、（ｃ）は、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、又は、（右眼の幅）Ｗ１≒（両眼の間）Ｗ２≒（左眼の幅）Ｗ３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。
FIG. 38A is an example of a mask pattern for extracting an eye area of a face. Using this as a reference pattern, a search is performed using template matching or the like, and an image having an eye or face is detected from an input image. You can search for an area. (B) is an example of data for recognizing eyes, for example,
Eye length = b / a, satisfying the condition of α 1 ≦ b / a ≦ α 2 , or
(Eye area) S 1 ≈π × a × b, (black eye (pupil) area) S 2 = π × r 2 , black eye (pupil) ratio S 2 / S 1 = r 2 / ab, An area of the subject image that satisfies a condition such as β 1 ≦ r 2 / ab ≦ β 2 can be identified as an “eye area”. (C) is a setting of condition data for recognizing a human face. For example, (length from below the eyebrows to below the nose) h1≈ (length from below the nose to the chin) h2, or An area of the subject image that satisfies the conditions such as (right eye width) W 1 ≈ (between eyes) W 2 ≈ (left eye width) W 3 can be identified as a “face area”.
図３９は、人間の顔の簡易な識別処理手順を示すフローチャートである。先ず、対象となる画像を取り込み（ステップＳＧ１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳＧ２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳＧ３）、分割領域の中からいずれかの対象領域を選択する（ステップＳＧ４）。そして、ＲＧＢ又は色差データに基づいて、選択した領域の平均ＲＧＢ又は平均色差データを算出し（ステップＳＧ５）、この算出したＲＧＢ又は色差値をＨＳＶに変換する（ステップＳＧ６）。 FIG. 39 is a flowchart showing a simple identification process procedure of a human face. First, a target image is captured (step SG1), and a contour is extracted based on luminance or color difference data (step SG2). Next, the image is divided into regions having the extracted contour as a boundary (step SG3), and any target region is selected from the divided regions (step SG4). Based on the RGB or color difference data, average RGB or average color difference data of the selected area is calculated (step SG5), and the calculated RGB or color difference value is converted into HSV (step SG6).
引き続き、この変換したＨＳＶが肌色の領域は否か、つまり、色相（Ｈｕｅ）が６〜３８°か否かを判断し（ステップＳＧ７）、この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。ステップＳＧ７での判断がＹＥＳである場合には、顔のマスクパターンを設定し、前記対象領域において眼と瞳の領域を検索する（ステップＳＧ８）。次に、眼の領域は検出できたか否かを判断し（ステップＳＧ９）、検出できない場合には、顔の領域でないと判断する（ステップＳＧ１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ２／ａｂ）を算出し（ステップＳＧ１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α１≦ｂ／ａ≦α２の条件に合致するか否かを判断する（ステップＳＧ１１）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。 Subsequently, it is determined whether or not the converted HSV is a skin color region, that is, whether or not the hue (Hue) is 6 to 38 ° (step SG7). If this determination is NO, the region is not a face region. (Step SG15). If the determination in step SG7 is yes, a face mask pattern is set, and eye and pupil regions are searched in the target region (step SG8). Next, it is determined whether or not the eye region has been detected (step SG9). If it cannot be detected, it is determined that the eye region is not a face region (step SG15). If detected, the aspect ratio (b / a) of the eye and the area ratio (r 2 / ab) of the eye and pupil (black eye) are calculated (step SG10), and the eye-to-pupil ratio is within a predetermined range. It is determined whether or not the condition of α 1 ≦ b / a ≦ α 2 is satisfied (step SG11). If this determination is NO, it is determined that the region is not a face (step SG15).
ステップＳＧ１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β１≦ｒ２／ａｂ≦β２の条件に合致するか否かを判断する（ステップＳＧ１２）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。ステップＳＧ１２の判断がＹＥＳである場合には、右眼の幅Ｗ１、右眼と左眼の間隔Ｗ２、左眼の幅Ｗ３を算出し（ステップＳＧ１３）、Ｗ１とＷ２、Ｗ３は等しいか否か、すなわちＷ１−δ≦Ｗ２≦Ｗ１＋δ、Ｗ１−δ≦Ｗ３≦Ｗ１＋δであるか否かを判断する（ステップＳＧ１４）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳＧ１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳＧ７、ＳＧ９、ＳＧ１１、ＳＧ１２、ＳＧ１４の判断が全てＹＥＳである場合には、前記ステップＳＧ４で選択した領域を、顔の領域として認識する（ステップＳＧ１６）。さらに、この認識された顔の領域の位置座標を記憶する（ステップＳＧ１７）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳＧ１８）、最後の領域でない場合には、ステップＳＧ４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳＧ１８の判断がＹＥＳとなり、認識結果、顔と認識された位置座標を出力する（ステップＳＧ１９）。 If the determination in step SG11 is YES, it is determined whether or not the ratio of the eyes to the pupil is within a predetermined range, that is, whether or not the condition of β 1 ≦ r 2 / ab ≦ β 2 is satisfied. (Step SG12). If this determination is NO, it is determined that the region is not a face (step SG15). If the determination in step SG12 is YES, the right eye width W 1 , the right and left eye interval W 2 , and the left eye width W 3 are calculated (step SG13), and W 1 and W 2 , W It is determined whether 3 is equal, that is, whether W 1 −δ ≦ W 2 ≦ W 1 + δ and W 1 −δ ≦ W 3 ≦ W 1 + δ (step SG14). If this determination is NO, it is determined that the region is not a face (step SG15). If this determination is YES, that is, if all the determinations in steps SG7, SG9, SG11, SG12, and SG14 are YES, the region selected in step SG4 is recognized as a face region (step SG16). Further, the position coordinates of the recognized face area are stored (step SG17). Next, it is determined whether or not the region selected this time is the last region in the image (step SG18). If it is not the last region, the process returns to step SG4 to select the next region and Repeat the process. And if the above process is performed to the last area | region, determination of step SG18 will become YES and the position coordinate recognized as a recognition result and a face will be output (step SG19).
なお、実施の形態においては、種々判断を行いこれら判断の結果に応じて、主被写体の特徴量を背景領域の特徴量に基づいて、位置合わせ＋マルチプレーン加算処理を行うようにしたが、前記種々判断を行うことなく、連写された画像の主被写体の特徴量を背景領域の特徴量に基づいて、位置合わせ＋マルチプレーン加算処理を行うようにしてもよい。これにより、背景技術で説明した単に連続する複数の画像を撮影し各画像の対応する画素同士を加算する電子式手振れ補正方式よりも、明瞭な手ブレ補正された画像を得ることができる。よって、本発明は、電子式手振れ補正方式により補正される画像の画質を向上させることを目的とすることもできる。 In the embodiment, various determinations are performed, and the feature amount of the main subject is subjected to the alignment + multiplane addition processing based on the feature amount of the background area according to the results of these determinations. Without making various determinations, the feature amount of the main subject in the continuously shot image may be subjected to alignment + multiplane addition processing based on the feature amount of the background area. This makes it possible to obtain a clear camera shake-corrected image as compared with the electronic camera shake correction method in which a plurality of continuous images described in the background art are simply taken and pixels corresponding to each image are added. Therefore, the present invention can also be aimed at improving the image quality of an image corrected by an electronic camera shake correction method.
１ デジタルカメラ
１０２ 制御回路
１０３ ＣＰＵ
１０７ 入力回路
１１１ 入出力回路
１２３ プログラムメモリ
１２４ データメモリ
１２５ 画像メモリ媒体
１２６ ＵＳＢ端子
１３２ 焦点レンズ駆動部
１３３ ズームレンズ駆動部
１３４ ブレ補正駆動部
１３６ シャッタ駆動部
１３７ ストロボ
１３８ ストロボ駆動回路
１３９ 測光／測距センサ
１４７ ＨＤＤ記憶装置
１４８ ディスク媒体
１５６ 撮像光学系
１５７ 撮像素子
１６０ イメージセンサ部
１６１ 水平走査部
１６２ 垂直走査部
１６３ Ｐ／Ｓ変換部
１６４ ＤＳＰ部
１６５ Ｓ／Ｐ変換部
１６７ マルチプレーン加算部
１６８ カラー補間部
１６９ 階調変換部
１７０ ガンマ補正部
１８０ 表示駆動回路
１８１ 表示部
２０２ 垂直走査回路
２０７ Ａ／Ｄ変換回路
1
DESCRIPTION OF
Claims (28)
操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理手段と、
操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理手段と、
前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手段と、
この判断手段により前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理手段を動作させ、満たしていると判断された場合は前記第２の撮像処理手段を動作させる制御手段と
を備えることを特徴とする電子カメラ。 An imaging unit having a plurality of pixels and capturing an image of a subject by exposing the imaging unit;
A first imaging processing means for exposing the imaging means a single time with a set exposure time in response to an operation and outputting the acquired image data;
In response to an operation, a second imaging is performed in which the imaging means is continuously exposed a plurality of times with an exposure time shorter than the set exposure time, and an addition process is performed in which image data for each exposure acquired sequentially is added. Processing means;
Determining means for determining whether or not a predetermined condition for executing the addition process is satisfied;
When the determination means determines that the predetermined condition is not satisfied, the first imaging processing means is operated, and when it is determined that the predetermined condition is satisfied, control is performed to operate the second imaging processing means. And an electronic camera.
前記所定条件とは、前記第２設定手段により設定された所定の撮影条件を含むものであることを特徴とする請求項１から４にいずれか記載の電子カメラ。 A second setting means for setting shooting conditions of the electronic camera;
5. The electronic camera according to claim 1, wherein the predetermined condition includes a predetermined photographing condition set by the second setting unit.
（ａ）当該カメラが有するレンズの焦点距離が所定値よりも大きい場合、
（ｂ）マクロモード又は近接撮影モードが設定されている場合、
（ｃ）当該カメラのブレ量を検出する検出手段により検出されたブレ量が所定ブレ量よりも大きい場合、
の少なくとも一つの条件を含むものであることを特徴とする請求項６記載の電子カメラ。 The predetermined camera shake occurrence condition is
(A) When the focal length of the lens of the camera is greater than a predetermined value,
(B) When the macro mode or the close-up mode is set,
(C) When the blur amount detected by the detecting means for detecting the blur amount of the camera is larger than the predetermined blur amount,
The electronic camera according to claim 6, comprising at least one of the following conditions.
（ｄ）設定された露出時間における被写体移動による像移動量が、所定値より大きい場合、
（ｅ）被写体の輝度が所定値よりも低く、当該カメラが有する発光手段が強制的に停止されている場合、
（ｆ）前記設定された露出時間が、所定の露出時間よりも長い場合、
（ｇ）当該カメラが設定した所定の設定値に基づき、暗い部屋又は電灯照明下の被写体と判断された場合、
の少なくとも一つの条件を含むものであることを特徴とする請求項８記載の電子カメラ。 The predetermined image blur occurrence condition is
(D) When the amount of image movement due to subject movement during the set exposure time is greater than a predetermined value,
(E) When the luminance of the subject is lower than a predetermined value and the light emitting means of the camera is forcibly stopped,
(F) When the set exposure time is longer than the predetermined exposure time,
(G) When it is determined that the subject is a dark room or a subject under electric lighting based on a predetermined set value set by the camera,
9. The electronic camera according to claim 8, comprising at least one of the following conditions.
この記憶手段に記憶されたいずれかの撮影シーンを選択する選択手段とを備え、
この選択手段により選択された撮影シーンに対応する撮影条件を設定する第３設定手段とを備え、
前記所定条件とは、前記選択手段により選択された撮影シーンの種別を含むものであることを特徴とする請求項１から９にいずれか記載の電子カメラ。 Storage means for storing shooting conditions set corresponding to each of a plurality of shooting scenes;
Selecting means for selecting any shooting scene stored in the storage means,
Third setting means for setting shooting conditions corresponding to the shooting scene selected by the selection means,
The electronic camera according to claim 1, wherein the predetermined condition includes a type of a shooting scene selected by the selection unit.
前記所定条件は、第１及び第２の所定条件を含み、
前記判断手段は、第１及び第２の所定条件を満たしているか否かを判断し、
前記制御手段は、
前記判断手段により第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、
前記第２の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、
前記第１及び第２の所定条件が満たされていないと判断された場合には、前記光学式手ブレ振れ補正手段を停止させて前記第１の撮像処理手段を動作させる第３の制御と
を実行することを特徴とする請求項３記載の電子カメラ。 It further comprises optical camera shake correction means,
The predetermined conditions include first and second predetermined conditions,
The determination means determines whether or not the first and second predetermined conditions are satisfied,
The control means includes
A first control for operating the first imaging processing unit while operating the optical camera shake correction unit when the determination unit determines that the first predetermined condition is satisfied;
A second control for operating the second imaging processing means while operating the positioning means when it is determined that the second predetermined condition is satisfied;
When it is determined that the first and second predetermined conditions are not satisfied, a third control for stopping the optical camera shake correction unit and operating the first imaging processing unit is performed. The electronic camera according to claim 3, wherein the electronic camera is executed.
前記制御手段は、
前記モード設定手段により第１のモードが設定されている場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させ、
前記第２のモードが設定されている場合には、前記位置合わせ手段の動作を伴って前記第２の撮像処理手段を動作させ、
第３のモードが設定されている場合には、前記第１、第２及び第３の制御を実行することを特徴とする請求項１１記載の電子カメラ。 Comprising mode setting means for selectively setting the first, second and third modes;
The control means includes
When the first mode is set by the mode setting means, the first imaging processing means is operated while operating the optical camera shake correction means,
When the second mode is set, the second imaging processing unit is operated along with the operation of the positioning unit,
12. The electronic camera according to claim 11, wherein when the third mode is set, the first, second and third controls are executed.
前記所定条件は、第１及び第２の所定条件を含み、
前記判断手段は、第１及び第２の所定条件を満たしているか否かを判断し、
前記制御手段は、
前記判断手段により第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、
前記第２の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、
前記第１及び第２の所定条件が満たされていないと判断された場合には、前記光学式手ブレ振れ補正手段を停止させて前記第１の撮像処理手段を動作させる第３の制御と
を実行することを特徴とする請求項１、２又は３記載の電子カメラ。 It further comprises optical camera shake correction means,
The predetermined conditions include first and second predetermined conditions,
The determination means determines whether or not the first and second predetermined conditions are satisfied,
The control means includes
A first control for operating the first imaging processing unit while operating the optical camera shake correction unit when the determination unit determines that the first predetermined condition is satisfied;
A second control for operating the second imaging processing means while operating the optical camera shake correction means when it is determined that the second predetermined condition is satisfied;
When it is determined that the first and second predetermined conditions are not satisfied, a third control for stopping the optical camera shake correction unit and operating the first imaging processing unit is performed. The electronic camera according to claim 1, wherein the electronic camera is executed.
前記制御手段は、
前記モード設定手段により第１のモードが設定されている場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させ、
前記第２のモードが設定されている場合には、前記前記光学式手ブレ振れ補正手段を動作させつつ前記第２の撮像処理手段を動作させ、
第３のモードが設定されている場合には、前記第１、第２及び第３の制御を実行することを特徴とする請求項１３記載の電子カメラ。 Comprising mode setting means for selectively setting the first, second and third modes;
The control means includes
When the first mode is set by the mode setting means, the first imaging processing means is operated while operating the optical camera shake correction means,
When the second mode is set, the second image pickup processing unit is operated while operating the optical camera shake correction unit,
14. The electronic camera according to claim 13, wherein when the third mode is set, the first, second and third controls are executed.
前記第２の所定条件とは、当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件を含むものであることを特徴とする請求項１１から１４にいずれか記載の電子カメラ。 The first predetermined condition includes a predetermined camera shake occurrence condition in which camera shake is assumed to occur in the camera.
15. The electronic apparatus according to claim 11, wherein the second predetermined condition includes a predetermined image blur occurrence condition in which image blur is assumed to occur in a subject imaged by the camera. camera.
前記所定条件とは、前記再設定手段により再設定された露出時間が所定時間よりも長い場合を含むものであることを特徴とする請求項１から１７にいずれか記載の電子カメラ。 Resetting means for resetting the set exposure time as short as possible by increasing the sensitivity of the imaging means,
18. The electronic camera according to claim 1, wherein the predetermined condition includes a case where the exposure time reset by the resetting unit is longer than a predetermined time.
前記所定条件は、第１、第２及び第３の所定条件を含み、
前記判断手段は、前記撮像手段に設定されている感度が所定以上であるか否か、及び第１乃至第３の所定条件を満たしているか否かを判断し、
前記制御手段は、
前記判断手段により、前記感度が所定以上であり、かつ第１の所定条件を満たしていると判断された場合には、前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第１の制御と、
前記感度が所定以上であり、かつ前記第２の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させつつ前記第２の撮像処理手段を動作させる第２の制御と、
前記感度が所定以上であり、前記第３の所定条件を満たしていると判断された場合には、前記位置合わせ手段を動作させることなく前記第２の撮像処理手段を動作させるか、又は前記光学式手ブレ振れ補正手段を動作させつつ前記第１の撮像処理手段を動作させる第３の制御とを実行することを特徴とする請求項３記載の電子カメラ。 It further comprises optical camera shake correction means,
The predetermined conditions include first, second and third predetermined conditions,
The determining means determines whether or not the sensitivity set in the imaging means is equal to or higher than a predetermined value and whether or not the first to third predetermined conditions are satisfied;
The control means includes
When the determination means determines that the sensitivity is equal to or higher than a predetermined value and satisfies a first predetermined condition, the first imaging processing means is operated while operating the optical camera shake correction means. A first control for operating
A second control for operating the second imaging processing means while operating the positioning means when it is determined that the sensitivity is not less than a predetermined value and the second predetermined condition is satisfied; ,
When it is determined that the sensitivity is equal to or higher than a predetermined value and the third predetermined condition is satisfied, the second imaging processing unit is operated without operating the alignment unit, or the optical The electronic camera according to claim 3, wherein a third control for operating the first imaging processing unit is performed while operating the image stabilization method.
前記第２の所定条件とは、当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件の一部を含むものであり、
前記第３の所定条件とは、前記第２の所定条件以外の前記像ブレ発生条件を含むものであることを特徴とする請求項１７記載の電子カメラ。 The first predetermined condition includes a predetermined camera shake occurrence condition in which camera shake is assumed to occur in the camera.
The second predetermined condition includes a part of a predetermined image blur occurrence condition in which image blur is assumed to occur in a subject imaged by the camera.
The electronic camera according to claim 17, wherein the third predetermined condition includes the image blur generation condition other than the second predetermined condition.
（ａ）当該カメラが有するレンズの焦点距離が所定値よりも大きい場合、
（ｂ）マクロモード又は近接撮影モードが設定され
ている場合、
（ｃ）当該カメラのブレ量を検出する検出手段により検出されたブレ量が所定ブレ量よりも大きい場合、の少なくとも一つの条件を含むものであり、
前記所定の像ブレ発生条件の一部とは、
（ｄ）設定された露出時間における被写体移動による像移動量が、所定値より大きい場合、を含むものであり、
前記第２の所定条件以外の前記像ブレ発生条件とは、
（ｅ）被写体の輝度が所定値よりも低く、当該カメラが有する発光手段が強制的に停止されている場
（ｆ）設定された露出時間が、所定の露出時間よりも長い場合、
（ｇ）当該カメラが設定した設定値に基づき、暗い部屋又は電灯照明下の被写体と判断された場合、の少なくとも一つの条件を含むものであることを特徴とする請求項１８記載の電子カメラ。 The predetermined camera shake occurrence condition is
(A) When the focal length of the lens of the camera is greater than a predetermined value,
(B) When the macro mode or the close-up mode is set,
(C) includes at least one condition in the case where the blur amount detected by the detecting means for detecting the blur amount of the camera is larger than the predetermined blur amount;
Part of the predetermined image blur occurrence condition is
(D) includes a case where the amount of image movement due to subject movement during the set exposure time is greater than a predetermined value;
The image blur occurrence condition other than the second predetermined condition is
(E) When the luminance of the subject is lower than a predetermined value and the light emitting means of the camera is forcibly stopped (f) When the set exposure time is longer than the predetermined exposure time,
19. The electronic camera according to claim 18, wherein the electronic camera includes at least one condition when it is determined that the subject is a dark room or a subject under electric light illumination based on a set value set by the camera.
前記位置合わせ手段は、前記特徴抽出手段により抽出された特徴に基づき、前記露出毎の画像データにおける画像の位置を合致させることを特徴とする請求項３記載の電子カメラ。 When the second imaging processing unit is operated, the image capturing unit includes a feature extraction unit that extracts a feature of the image in the image data acquired by the imaging unit,
4. The electronic camera according to claim 3, wherein the alignment unit matches the position of the image in the image data for each exposure based on the feature extracted by the feature extraction unit.
当該カメラが撮像する被写体において像ブレが生ずることが想定される所定の像ブレ発生条件が検出された場合に、前記主要被写体の特徴に基づき、該主要被写体が合致するように位置合わせすることを特徴とする請求項２０、２１又は２２記載の電子カメラ。 The alignment means includes
When a predetermined image blur occurrence condition that is assumed to cause image blur in the subject imaged by the camera is detected, alignment is performed so that the main subject matches based on the characteristics of the main subject. 23. The electronic camera according to claim 20, 21, or 22.
当該カメラにおいて手ブレが生ずることが想定される所定の手ブレ発生条件が検出された場合に、前記前記特徴抽出手段により抽出された背景画像の特徴に基づき、該背景画像が合致するように位置合わせすることを特徴とする請求項２０〜２３にいずれか記載記載の電子カメラ。 The alignment means includes
When a predetermined camera shake occurrence condition that is assumed to cause camera shake in the camera is detected, a position is set so that the background image matches based on the feature of the background image extracted by the feature extraction unit. 24. The electronic camera according to any one of claims 20 to 23, characterized by being combined.
前記位置合わせ手段は、前記特徴抽出手段により抽出された特徴に基づき、前記露出毎の画像データにおける画像の当該特徴抽出部分の位置を合致させることを特徴とする請求項１０記載の電子カメラ。 When the second imaging processing unit is operated, the image processing apparatus includes a feature extraction unit that extracts a feature of an image portion corresponding to a shooting scene selected by the selection unit from the image data acquired by the imaging unit.
The electronic camera according to claim 10, wherein the alignment unit matches the position of the feature extraction portion of the image in the image data for each exposure based on the feature extracted by the feature extraction unit.
このサイズ設定手段により設定されたサイズに応じて許容ブレ量を設定するブレ量設定手段と、
当該カメラにおける手ブレ又は当該カメラが撮像する被写体における像ブレの少なくとも一方を検出する検出手段を備え、
前記所定条件とは、前記検出手段により検出されたブレ量が前記許容ブレ量を超える場合を含むことを特徴とする請求項１から２５にいずれか記載の電子カメラ。 Size setting means for setting the size of the image to be recorded or the size of the image to be printed;
A blur amount setting means for setting an allowable blur amount according to the size set by the size setting means;
A detection means for detecting at least one of camera shake in the camera or image blur in a subject imaged by the camera;
26. The electronic camera according to claim 1, wherein the predetermined condition includes a case where a blur amount detected by the detection unit exceeds the allowable blur amount.
操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理手段と、
操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理手段と、
前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手段と、
この判断手段により前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理手段を動作させ、満たしていると判断された場合は前記第２の撮像処理手段を動作させる制御手段と
を備えることを特徴とする撮像制御プログラム。 A computer having an electronic camera having an imaging unit that has a plurality of pixels and that captures an image of a subject by exposure to obtain image data,
A first imaging processing means for exposing the imaging means a single time with a set exposure time in response to an operation and outputting the acquired image data;
In response to an operation, a second imaging is performed in which the imaging unit is exposed a plurality of times continuously with an exposure time shorter than the set exposure time, and an addition process is performed in which image data for each exposure acquired sequentially is added. Processing means;
Determining means for determining whether or not a predetermined condition for executing the addition process is satisfied;
When the determination means determines that the predetermined condition is not satisfied, the first imaging processing means is operated, and when it is determined that the predetermined condition is satisfied, control is performed to operate the second imaging processing means. An imaging control program.
操作に応答して前記撮像手段を設定された露出時間で単一回露出させ、前記取得した画像データを出力する第１の撮像処理ステップと、
操作に応答して前記撮像手段を前記設定された露出時間よりも短い露出時間で連続して複数回露出させ、順次取得された露出毎の画像データを加算する加算処理を実行する第２の撮像処理ステップと、
前記加算処理を実行させるべき所定条件を満たしているか否かを判断する判断手ステップと、
この判断ステップにより前記所定条件を満たしていないと判断された場合には、前記第１の撮像処理ステップを実行させ、満たしていると判断された場合は前記第２の撮像処理ステップを実行させることを特徴とする撮像制御方法。
A method for controlling an electronic camera having an imaging unit that has a plurality of pixels and that captures an image of a subject by exposure to obtain image data,
A first imaging processing step of exposing the imaging means in a single exposure in response to an operation for a set exposure time and outputting the acquired image data;
In response to an operation, a second imaging is performed in which the imaging unit is exposed a plurality of times continuously with an exposure time shorter than the set exposure time, and an addition process is performed in which image data for each exposure acquired sequentially is added. Processing steps;
A determination step for determining whether or not a predetermined condition for executing the addition process is satisfied;
When it is determined that the predetermined condition is not satisfied by this determination step, the first imaging process step is executed, and when it is determined that the predetermined condition is satisfied, the second imaging process step is executed. An imaging control method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006267405A JP4867554B2 (en) | 2006-09-29 | 2006-09-29 | Electronic camera, imaging control program, and imaging control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006267405A JP4867554B2 (en) | 2006-09-29 | 2006-09-29 | Electronic camera, imaging control program, and imaging control method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2008092005A true JP2008092005A (en) | 2008-04-17 |
| JP2008092005A5 JP2008092005A5 (en) | 2009-11-12 |
| JP4867554B2 JP4867554B2 (en) | 2012-02-01 |
Family
ID=39375725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006267405A Expired - Fee Related JP4867554B2 (en) | 2006-09-29 | 2006-09-29 | Electronic camera, imaging control program, and imaging control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4867554B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009284394A (en) * | 2008-05-26 | 2009-12-03 | Olympus Imaging Corp | Imaging apparatus and imaging method |
| WO2010058448A1 (en) * | 2008-11-21 | 2010-05-27 | パナソニック株式会社 | Imaging processing system and digital camera |
| JP2010273023A (en) * | 2009-05-20 | 2010-12-02 | Hoya Corp | Image pickup device |
| WO2012077464A1 (en) * | 2010-12-07 | 2012-06-14 | シャープ株式会社 | Image pickup device |
| CN102685365A (en) * | 2011-03-11 | 2012-09-19 | 索尼公司 | Image synthesizing apparatus, image synthesizing method, and image synthesizing program |
| US8310553B2 (en) | 2009-02-17 | 2012-11-13 | Casio Computer Co., Ltd. | Image capturing device, image capturing method, and storage medium having stored therein image capturing program |
| JP2013088759A (en) * | 2011-10-21 | 2013-05-13 | Nikon Corp | Imaging device and control program for imaging device |
| KR101442613B1 (en) | 2008-04-04 | 2014-09-19 | 삼성전자주식회사 | Apparatus for processing digital image and method for controlling thereof |
| EP2866430A1 (en) * | 2013-10-23 | 2015-04-29 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
| US9049372B2 (en) | 2011-11-02 | 2015-06-02 | Casio Computer Co., Ltd. | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method |
| JP2015118338A (en) * | 2013-12-19 | 2015-06-25 | キヤノン株式会社 | Image capturing device, control method therefor, program, and storage medium |
| CN112738365A (en) * | 2015-07-16 | 2021-04-30 | 索尼公司 | Imaging apparatus and information processing system |
| CN115035529A (en) * | 2021-03-03 | 2022-09-09 | 重庆云石高科技有限公司 | VIN equal-proportion reduction and character recognition method based on image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002107787A (en) * | 2000-09-29 | 2002-04-10 | Minolta Co Ltd | Camera body of digital camera and computer readable recording medium recorded with program for controlling camera body of digital camera |
| JP2005136760A (en) * | 2003-10-31 | 2005-05-26 | Nikon Corp | Digital still camera |
| JP2005176050A (en) * | 2003-12-12 | 2005-06-30 | Nikon Corp | Imaging apparatus |
-
2006
- 2006-09-29 JP JP2006267405A patent/JP4867554B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002107787A (en) * | 2000-09-29 | 2002-04-10 | Minolta Co Ltd | Camera body of digital camera and computer readable recording medium recorded with program for controlling camera body of digital camera |
| JP2005136760A (en) * | 2003-10-31 | 2005-05-26 | Nikon Corp | Digital still camera |
| JP2005176050A (en) * | 2003-12-12 | 2005-06-30 | Nikon Corp | Imaging apparatus |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101442613B1 (en) | 2008-04-04 | 2014-09-19 | 삼성전자주식회사 | Apparatus for processing digital image and method for controlling thereof |
| JP2009284394A (en) * | 2008-05-26 | 2009-12-03 | Olympus Imaging Corp | Imaging apparatus and imaging method |
| WO2010058448A1 (en) * | 2008-11-21 | 2010-05-27 | パナソニック株式会社 | Imaging processing system and digital camera |
| US8310553B2 (en) | 2009-02-17 | 2012-11-13 | Casio Computer Co., Ltd. | Image capturing device, image capturing method, and storage medium having stored therein image capturing program |
| JP2010273023A (en) * | 2009-05-20 | 2010-12-02 | Hoya Corp | Image pickup device |
| WO2012077464A1 (en) * | 2010-12-07 | 2012-06-14 | シャープ株式会社 | Image pickup device |
| JP2012124622A (en) * | 2010-12-07 | 2012-06-28 | Sharp Corp | Imaging apparatus |
| US9456135B2 (en) | 2011-03-11 | 2016-09-27 | Sony Corporation | Image synthesizing apparatus, image synthesizing method, and image synthesizing program |
| CN102685365A (en) * | 2011-03-11 | 2012-09-19 | 索尼公司 | Image synthesizing apparatus, image synthesizing method, and image synthesizing program |
| JP2012191486A (en) * | 2011-03-11 | 2012-10-04 | Sony Corp | Image composing apparatus, image composing method, and program |
| JP2013088759A (en) * | 2011-10-21 | 2013-05-13 | Nikon Corp | Imaging device and control program for imaging device |
| US9049372B2 (en) | 2011-11-02 | 2015-06-02 | Casio Computer Co., Ltd. | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method |
| US9420181B2 (en) | 2011-11-02 | 2016-08-16 | Casio Computer Co., Ltd. | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method |
| EP2866430A1 (en) * | 2013-10-23 | 2015-04-29 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
| US9554054B2 (en) | 2013-10-23 | 2017-01-24 | Canon Kabushiki Kaisha | Imaging apparatus and its control method and program |
| JP2015118338A (en) * | 2013-12-19 | 2015-06-25 | キヤノン株式会社 | Image capturing device, control method therefor, program, and storage medium |
| CN112738365A (en) * | 2015-07-16 | 2021-04-30 | 索尼公司 | Imaging apparatus and information processing system |
| CN115035529A (en) * | 2021-03-03 | 2022-09-09 | 重庆云石高科技有限公司 | VIN equal-proportion reduction and character recognition method based on image |
| CN115035529B (en) * | 2021-03-03 | 2024-04-05 | 重庆云石高科技有限公司 | VIN equal proportion reduction and character recognition method based on image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4867554B2 (en) | 2012-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4867554B2 (en) | Electronic camera, imaging control program, and imaging control method | |
| JP5791336B2 (en) | Image processing apparatus and control method thereof | |
| US8395694B2 (en) | Apparatus and method for blurring image background in digital image processing device | |
| US8111946B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| US9591231B2 (en) | Image processing apparatus capable of properly emphasizing differences in brightness between bright spots, image processing method, and storage medium | |
| JP6659162B2 (en) | Imaging device, imaging device control method, and program | |
| JP2009284309A (en) | Imaging device, display control program, and display control method | |
| US20110193986A1 (en) | Image sensing device | |
| JP2004064676A (en) | Image pickup apparatus | |
| JP2007281873A (en) | Imaging device | |
| JP2019106045A (en) | Image processing device, method, and program | |
| JP5156991B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP4127521B2 (en) | Digital camera and control method thereof | |
| JP2009010616A (en) | Imaging device and image output control method | |
| US10897581B2 (en) | Image capturing apparatus, image compositing method, and recording medium having recorded therein image compositing program to be executed by computer of image capturing apparatus | |
| JP7110406B2 (en) | IMAGING DEVICE, IMAGING METHOD, AND PROGRAM | |
| JP2008072682A (en) | Imaging apparatus | |
| JP2009124644A (en) | Image processing device, imaging device, and image reproduction device | |
| JP2003189325A (en) | Image processing apparatus and color image photographic apparatus | |
| JP2013062711A (en) | Photographing device, photographed image processing method, and program | |
| JP5392336B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5223950B2 (en) | Imaging apparatus, display control program, and display control method | |
| JP2015041865A (en) | Image processing apparatus and image processing method | |
| JP2008172733A (en) | Imaging apparatus and control method thereof | |
| JP6433177B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090924 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090924 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4867554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |