JP2009273023A - Imaging device, imaging method, focusing control method, and program - Google Patents
Imaging device, imaging method, focusing control method, and program Download PDFInfo
- Publication number
- JP2009273023A JP2009273023A JP2008123544A JP2008123544A JP2009273023A JP 2009273023 A JP2009273023 A JP 2009273023A JP 2008123544 A JP2008123544 A JP 2008123544A JP 2008123544 A JP2008123544 A JP 2008123544A JP 2009273023 A JP2009273023 A JP 2009273023A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- moving
- image
- imaging
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 88
- 238000000034 method Methods 0.000 title claims description 69
- 238000001514 detection method Methods 0.000 claims abstract description 149
- 230000003287 optical effect Effects 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 62
- 238000011156 evaluation Methods 0.000 description 11
- 238000001444 catalytic combustion detection Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006837 decompression Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004645 scanning capacitance microscopy Methods 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置、撮像方法、合焦制御方法及びプログラムに係り、特に撮像素子で撮像される画像をリアルタイムに表示（スルー画像の表示）する撮像装置、撮像方法、合焦制御方法及びプログラムに関する。 The present invention relates to an image pickup apparatus, an image pickup method, a focus control method, and a program, and more particularly to an image pickup apparatus, an image pickup method, a focus control method, and a program that display an image picked up by an image pickup device in real time (display a through image). .
特許文献１には、スルー画像表示時には両方のＣＣＤに蓄積された画像データを交互に読み出しスルー画像表示に適した制御により、ＡＦ処理時には一方のＣＣＤの画像データを用いてＡＦ処理を行い、他方のＣＣＤの画像データをスルー画像表示することにより、スルー画像表示時のフレームレートを向上させ、かつＡＦ処理時の性能を高める撮像装置が記載されている。
In
特許文献２には、被写体光を２個に分割し、分割されたそれぞれの像において光軸と垂直な横方向に移動する被写体像を検出し、検出結果に基づいて被写体の光軸方向及び光軸方向と垂直な方向の被写体の動きを検出し、その被写体に対し合焦を行う自動焦点装置が記載されている。
しかしながら、特許文献１に記載された発明においては、ＡＦ処理に用いるＣＣＤと、スルー画像表示に用いるＣＣＤとで別のＣＣＤを用意しなければならないという問題がある。
However, the invention described in
また、特許文献２に記載された発明においては、被写体光を２個に分割する必要があるため、構造が複雑になり、またコストがかかるという問題がある。 Further, in the invention described in Patent Document 2, since it is necessary to divide subject light into two, there is a problem that the structure becomes complicated and the cost is high.
さらに、特許文献２に記載された発明においては、光軸と垂直な横方向以外に移動する被写体像を検出して被写体の動きを検出するため、光軸と垂直な横方向以外に移動する被写体像に対して合焦精度がよくないという問題がある。 Furthermore, in the invention described in Patent Document 2, in order to detect a subject image that moves in a direction other than the horizontal direction perpendicular to the optical axis and detect the movement of the subject, a subject that moves in a direction other than the horizontal direction perpendicular to the optical axis. There is a problem that focusing accuracy is not good for an image.
本発明はこのような事情に鑑みてなされたもので、被写体の動きに合わせたスルー画像撮影やＡＦ制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances. By performing through image shooting and AF control in accordance with the movement of a subject with a simple configuration, the image quality of the through image and the focusing accuracy are improved. It is an object to provide an imaging apparatus, an imaging method, a focus control method, and a program capable of performing the above.
前記目的を達成するために、請求項１に記載の撮像装置は被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、を備えたことを特徴とする。
In order to achieve the object, the imaging apparatus according to
請求項１に記載の撮像装置によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体の移動速度に応じたフレームレートでスルー画像の撮影を行う。これにより、フレームレートの制御に最も適した被写体を選択し、その被写体に最適なフレームレートでスルー画像の撮影をすることができる。そのため、画質のよいスルー画像を得ることができる。
According to the imaging apparatus according to
請求項２に記載の撮像装置は、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、を備えたことを特徴とする。 An image pickup apparatus according to claim 2 includes an image pickup optical system and an image pickup device for picking up a subject image formed by the image pickup optical system, and an image pickup unit for picking up a subject continuously at a predetermined frame rate. Subject detection means for detecting a moving subject from at least two front and rear images taken by the imaging means; calculation means for calculating a moving speed or a movement distance of the moving subject detected by the subject detection means; Automatic focusing control means for continuously performing focusing control for moving a photographing optical system and maintaining a focusing state for a moving subject detected by the subject detecting means, the subject calculated by the calculating means And automatic focusing control means for controlling the interval of the focusing control performed continuously based on the moving speed or the moving distance.
請求項２に記載の撮像装置によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、検出された動く被写体の位置の移動速度又は移動距離を算出し、算出された移動速度又は移動距離に応じて連続的に行う合焦制御（コンティニュアスＡＦ）の間隔を制御する。これにより、動く被写体に対する合焦精度を上げることができる。 According to the imaging apparatus of claim 2, a moving subject is detected from continuously captured images (through images), and the moving speed or moving distance of the detected moving subject position is calculated and calculated. The interval of the focusing control (continuous AF) continuously performed according to the moving speed or the moving distance is controlled. Thereby, the focusing accuracy with respect to the moving subject can be increased.
請求項３に記載の撮像装置は、撮影光学系と、該撮影光学系により結像された被写体像を撮像する撮像素子とを含み、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、を備えたことを特徴とする。 An imaging apparatus according to claim 3 includes an imaging optical system and an imaging device that images a subject image formed by the imaging optical system, and imaging means that continuously images the subject at a predetermined frame rate. A subject detection unit that detects a moving subject from at least two front and rear images taken by the imaging unit, and a moving subject detected by the subject detection unit is moving in a direction approaching the shooting position, or A moving direction detecting unit that detects whether or not the camera is moving away from the shooting position, and a focusing control that moves the shooting optical system and maintains a focused state with respect to the moving subject detected by the subject detecting unit. Automatic focusing control means for determining the search direction of the photographing optical system based on the moving direction of the subject detected by the moving direction detecting means. Characterized by comprising a Dogoase control means.
請求項３に記載の撮像装置によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出し、検出された移動方向に応じて連続的に行う合焦制御（コンティニュアスＡＦ）のサーチ方向を制御する。これにより、動く被写体に対する合焦精度を上げることができる。また、撮像光学系を動かす方向を予め決められるため、合焦制御を高速化することができる。 According to the imaging apparatus according to claim 3, a moving subject is detected from continuously shot images (through images), and the moving subject is moving in a direction approaching the shooting position, or a direction away from the shooting position. And the search direction of the focus control (continuous AF) that is continuously performed according to the detected moving direction is controlled. Thereby, the focusing accuracy with respect to the moving subject can be increased. In addition, since the direction in which the imaging optical system is moved can be determined in advance, the focusing control can be speeded up.
請求項４に記載の撮像装置は、被写体を所定のフレームレートで連続して撮像する撮像手段と、前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測手段と、前記被写***置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、を備えたことを特徴とする。 5. The imaging apparatus according to claim 4, wherein an imaging unit that continuously images a subject at a predetermined frame rate, and a subject detection unit that detects a moving subject from at least two front and rear images captured by the imaging unit. Based on the position of the moving subject detected by the subject detection means, subject position prediction means for predicting the position of the moving subject in the next captured image, and the position of the subject predicted by the subject position prediction means And an automatic focusing control means for performing focusing control on a predetermined area including.
請求項４に記載の撮像装置によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、動く被写体の位置に基づいて被写***置を予測し、予測された被写***置を含む所定の領域に対して合焦制御（コンティニュアスＡＦ）を行う。これにより、動く被写体に対して確実に合焦制御を行うことができる。 According to the imaging device of the fourth aspect, a moving subject is detected from continuously captured images (through images), the subject position is predicted based on the position of the moving subject, and the predicted subject position is included. Focus control (continuous AF) is performed on a predetermined area. Thereby, focusing control can be reliably performed on a moving subject.
請求項５に記載の撮像装置は、請求項２に記載の撮像装置において、前記被写体検出手段により複数の被写体が検出された場合には、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段を備え、前記自動合焦制御手段は、前記対照被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする。請求項６に記載の撮像装置は、請求項３又は４に記載の撮像装置において、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする。 According to a fifth aspect of the present invention, in the imaging device of the second aspect, when a plurality of subjects are detected by the subject detecting unit, the moving speed or moving distance calculated by the calculating unit is maximum. Target subject setting means for setting the subject as a target subject, and the automatic focus control means performs focus control on the target subject set by the reference subject setting means. An imaging apparatus according to a sixth aspect is the imaging apparatus according to the third or fourth aspect, wherein a calculation means for calculating a moving speed or a moving distance of a moving subject detected by the subject detection means, and the subject detection means. A target subject setting unit configured to set a subject having the maximum moving speed or moving distance calculated by the calculating unit as a target subject when a plurality of subjects are detected, and the automatic focusing control unit includes: Focusing control is performed on the target subject set by the target subject setting means.
請求項５、６に記載の撮像装置によれば、複数の動く被写体が検出された場合には、移動速度又は移動距離が最大の被写体を対象被写体とし、対象被写体に対してＡＦ制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。 According to the imaging device of the fifth and sixth aspects, when a plurality of moving subjects are detected, the subject having the maximum moving speed or moving distance is set as the target subject, and AF control is performed on the target subject. Thereby, focusing control can be performed on the most suitable subject.
請求項７に記載の撮像装置は、請求項２又は３に記載の撮像装置において、前記被写体検出手段によりそれぞれの画像に対して検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測手段と、前記被写体検出手段により複数の被写体が検出された場合に、前記被写***置予測手段により予測された被写体の位置が前記画像の中心に最も近い被写体を対象被写体と設定する対象被写体設定手段と、を備え、前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする。請求項８に記載の撮像装置は、請求項４に記載の撮像装置において、前記被写体検出手段により複数の被写体が検出された場合に、前記被写***置予測手段により予測された被写体の位置が前記画像の中心に最も近い被写体を対象被写体と設定する対象被写体設定手段を備え、前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする。
The image pickup apparatus according to
請求項７、８に記載の撮像装置によれば、検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測し、複数の動く被写体が検出された場合には被写***置が画面中心に最も近い被写体を対象被写体とし、対象被写体に対してＡＦ制御を行う。これにより、最も適した被写体に対して合焦制御をすることができる。
According to the imaging device according to
請求項９に記載の撮像装置は、請求項２に記載の撮像装置において、前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、を備えたことを特徴とする。請求項１０に記載の撮像装置は、請求項３又は４に記載の撮像装置において、前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、を備えたことを特徴とする。
The image pickup apparatus according to claim 9 is the image pickup apparatus according to claim 2, wherein display means for continuously displaying an image of the subject imaged by the image pickup means, and movement of the subject calculated by the calculation means. Frame rate control means for controlling the frame rate based on speed or moving distance. The imaging device according to
請求項９、１０に記載の撮像装置によれば、連続して撮影された画像（スルー画像）から動く被写体を検出し、動く被写体の移動速度又は移動距離を算出し、算出された移動速度又は移動距離に応じたフレームレートでスルー画像の撮影を行う。それと共に、動く被写体に対してコンティニュアスＡＦを行う。これにより、より画質のよいスルー画像を得ることができる。
According to the imaging device according to
請求項１１に記載の撮像装置は、請求項１、２、５、６、８、９及び１０のいずれかに記載の撮像装置において、前記撮像手段により撮像された画像の特徴点を抽出する特徴点抽出手段を備え、前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする。 An imaging apparatus according to an eleventh aspect is the imaging apparatus according to any one of the first, second, fifth, sixth, eighth, ninth, and tenth aspects, wherein feature points of an image captured by the imaging unit are extracted. A point extraction unit, wherein the subject detection unit detects a center position of the subject based on the feature point extracted by the feature point extraction unit, and the calculation unit detects the center of the subject detected by the subject detection unit. The moving speed or moving distance of the subject is calculated based on the position.
請求項１１に記載の撮像装置によれば、画像データの特徴点を抽出することにより被写体とその中心位置を検出し、その中心位置に基づいて被写体の移動速度又は移動距離を算出する。これにより、被写体を誤認識することを防止することができる。 According to the imaging apparatus of the eleventh aspect, the subject and its center position are detected by extracting the feature points of the image data, and the moving speed or moving distance of the subject is calculated based on the center position. Thereby, it is possible to prevent erroneous recognition of the subject.
請求項１２に記載の撮像方法は、被写体を所定のフレームレートで連続して撮像するステップと、前記撮像された被写体の画像を連続して表示するステップと、前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、前記検出された動く被写体の移動速度又は移動距離を算出するステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出するステップと、前記算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するステップと、を含むことを特徴とする。
The imaging method according to
請求項１３に記載の合焦制御方法は、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像するステップと、前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、前記検出された動く被写体の移動速度又は移動距離を算出するステップと、前記撮影光学系を移動させて前記検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行うステップであって、前記算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御するステップと、を含むことを特徴とする。 According to a thirteenth aspect of the present invention, there is provided a focusing control method including: a step of continuously capturing an image of a subject at a predetermined frame rate via an image sensor that captures a subject image formed by a photographing optical system; Detecting a moving subject from at least two images before and after, calculating a moving speed or moving distance of the detected moving subject, and moving the photographing optical system to detect the moving subject Continuously performing in-focus control for maintaining the in-focus state, and controlling the continuous in-focus control interval based on the calculated moving speed or moving distance of the subject. It is characterized by including.
請求項１４に記載の合焦制御方法は、撮影光学系により結像された被写体像を撮像する撮像素子を介して、被写体を所定のフレームレートで連続して撮像するステップと、前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、前記検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出するステップと、前記撮影光学系を移動させて前記検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行うステップであって、前記検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定するステップと、を含むことを特徴とする。 The focus control method according to claim 14 includes: a step of continuously imaging a subject at a predetermined frame rate via an imaging device that captures a subject image formed by a photographing optical system; Detecting each moving subject from at least two front and rear images, and detecting whether the detected moving subject is moving in a direction approaching the shooting position or moving away from the shooting position. , Continuously performing focusing control for moving the photographing optical system to maintain a focused state with respect to the detected moving subject, the photographing optical system based on the moving direction of the detected subject. Determining a search direction.
請求項１５に記載の合焦制御方法は、被写体を所定のフレームレートで連続して撮像するステップと、前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、前記検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測するステップと、前記予測された被写体の位置を含む所定の領域に対して合焦制御を行うステップと、を含むことを特徴とする。 16. The focus control method according to claim 15, wherein a step of continuously capturing an image of a subject at a predetermined frame rate, a step of detecting a moving subject from at least two captured images before and after, and the detection A step of predicting a position of a moving subject in an image to be captured next based on the position of the moving subject, a step of performing focus control on a predetermined area including the position of the predicted subject; It is characterized by including.
請求項１６に記載のプログラムは、請求項１２に記載の撮像方法又は請求項１３から１５のいずれかに記載の合焦制御方法を演算装置に実行させることを特徴とする。 A program according to a sixteenth aspect is characterized by causing an arithmetic device to execute the imaging method according to the twelfth aspect or the focusing control method according to any one of the thirteenth to fifteenth aspects.
本発明によれば、被写体の動きに合わせたスルー画像撮影やＡＦ制御を簡単な構成で行うことで、スルー画像の画質向上や合焦精度の向上を図ることができる撮像装置、撮像方法、合焦制御方法及びプログラムを提供することができる。 According to the present invention, it is possible to improve the image quality and focusing accuracy of a through image by performing through image capturing and AF control in accordance with the movement of the subject with a simple configuration. A focus control method and program can be provided.
以下、添付図面に従って本発明が適用された撮像装置、撮像方法、合焦制御方法及びプログラムを実施するための最良の形態について詳細に説明する。 DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for carrying out an imaging apparatus, an imaging method, a focus control method and a program to which the present invention is applied will be described in detail below with reference to the accompanying drawings.
＜第１の実施の形態＞
本発明の第１の実施の形態は、撮像された被写体像のなかに動きのある被写体が１つ検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。
<First Embodiment>
In the first embodiment of the present invention, when one moving subject is detected in a captured subject image, a through image is displayed at an optimum frame rate according to the subject's motion. is there.
図１は第１の実施の形態の撮像装置のデジタルカメラ１０の内部の電気的な概略構成を示すブロック図である。
FIG. 1 is a block diagram showing an electrical schematic configuration inside the
図１に示すように、デジタルカメラ１０は、主として、ＣＰＵ１１０、メモリ１１２、タイミングジェネレータ（ＴＧ）１１４、モータドライバ１１６、１１８、操作部１２０、ズームレンズ１２２、フォーカスレンズ１２４、撮像素子１２６、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２、画像信号処理部１３４、圧縮伸張処理部１３６、ＡＥ／ＡＦ検出回路１４０、動体検出回路１４２、メディアコントローラ１５０、表示回路１５４、記憶メディア１５２、画像表示装置１５６等で構成されている。
As shown in FIG. 1, the
ＣＰＵ１１０は、操作部１２０から入力される操作信号に基づき所定の制御プログラムに従ってデジタルカメラ１０の全体を統括制御する。
The
バスを介してＣＰＵ１１０と接続されたメモリ１１２には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データや、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。また、メモリ１１２は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データ等の一時記憶領域として利用される。
A
操作部１２０は、シャッターボタン、電源／モードスイッチ、ズームボタン等により構成される。
The
シャッターボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。デジタルカメラ１０は、このシャッターボタン２６が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。
The shutter button is composed of a two-stage stroke type switch composed of a so-called “half press” and “full press”. When the shutter button 26 is “half-pressed”, the
電源／モードスイッチは、デジタルカメラ１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、デジタルカメラ１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。デジタルカメラ１０は、電源／モードスイッチをスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチをスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
The power / mode switch has both a function as a power switch for turning on / off the power of the
ズームボタンは、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとからなる。撮影モード時にズームテレボタンとズームワイドボタンとが操作されると、ＣＰＵ１１０は、モータドライバ１１６を介してズームレンズ１２２を移動し、焦点距離を変化させる。
The zoom button functions as zoom instruction means for instructing zooming, and includes a zoom tele button for instructing zooming to the telephoto side and a zoom wide button for instructing zooming to the wide angle side. When the zoom tele button and the zoom wide button are operated in the shooting mode, the
ズームレンズ１２２は、モータドライバ１１６を介してズームモータにより駆動されて撮影光軸上を前後移動し、これにより、焦点距離を変化させる。
The
フォーカスレンズ１２４は、モータドライバ１１８を介してフォーカスモータにより駆動されて撮影光軸上を前後移動し、これにより結像位置を変化させる。
The
撮像素子１２６は、たとえば、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が受光面に二次元的に配置されており、ズームレンズ１２２、フォーカスレンズ１２４等によって結像された被写体の画像を電子的に撮像する。タイミングジェネレータ（ＴＧ）１１４は、ＣＰＵ１１０からの指令に応じて、この撮像素子１２６を駆動するためのタイミング信号を出力する。
The
アナログ処理部１２８は、撮像素子１２６から出力された画像信号に対して、画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅してＡ／Ｄ変換器１３０に出力する。
The
Ａ／Ｄ変換器１３０は、アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して出力する。
The A /
画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。
The image
画像信号処理部１３４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。
The image
圧縮伸張処理部１３６は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。
The compression /
ＡＥ／ＡＦ検出回路１４０は、ＡＥ（自動露出）検出回路とＡＦ（自動合焦）検出回路とで構成される。ＡＦ検出回路は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア検出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズ１２４を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２６を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させるコントラストＡＦを行う。
The AE /
ＡＥ検出回路は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ（自動ホワイトバランス）制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。
The AE detection circuit calculates a physical quantity necessary for AE control and AWB (automatic white balance) control from the input image signal in accordance with a command from the
動体検出回路１４２は、被写体の動きを検出し、スルー画像表示用のフレームレートを決定する。動体検出回路１４２は、図２に示すように、動体検出時（ｎフレーム目）の画像と、動体検出時より１フレーム前（ｎ−１フレーム目）の画像とが入力されると、パラメータとしてメモリ１１２に記録された移動速度とフレームレートの対応表を用いて、スルー画表示用のフレームレートを出力する。動体検出回路１４２で行う処理については後に詳述する。
The moving
メディアコントローラ１５０は、ＣＰＵ１１０からの指令に従い、メディアスロットに装填された記憶メディア１５２に対してデータの読み／書きを制御する。
The
表示回路１５４は、ＣＰＵ１１０からの指令に従い、画像表示装置１５６への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号を画像表示装置１５６に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換して画像表示装置１５６に出力するとともに、必要に応じてＣＰＵ１１０で合成された、所定の文字、図形情報を画像表示装置１５６に出力する。
The
画像表示装置１５６は、カラー表示が可能な液晶ディスプレイで構成されている。この画像表示装置１５６は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。 The image display device 156 includes a liquid crystal display capable of color display. The image display device 156 is used as an image display panel for displaying captured images in the playback mode, and is used as a user interface display panel for performing various setting operations. In the photographing mode, a through image is displayed as necessary, and is used as an electronic viewfinder for checking the angle of view.
次に、以上のように構成された本実施の形態のデジタルカメラ１０の作用について説明する。
Next, the operation of the
電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。 By setting the power / mode switch to the shooting position, the shooting mode is set and shooting is possible. Then, when the photographing mode is set, the lens group is extended and the photographing standby state is set.
この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。
Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the
各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。 The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.
アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。
Analog R, G, and B signals output from the
デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４２に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。
Digital R, G, and B signals are input from the
図３は、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号から動体検出回路１４２においてスルー画像表示用のフレームレートを出力し、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。
In FIG. 3, a frame rate for displaying a through image is output from the digital R, G, B signal generated based on the image acquired by the
動体検出回路１４２は、以下に示すように、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体を検出する（ステップＳ１０）。
As shown below, the moving
動体検出回路１４２は、被写体の動きを検出する画像として、ｎフレーム目の画像データを取得する。動体検出回路１４２は、図４（ｂ）に示すように、入力されたｎフレーム目の画像データから、被写体の特徴点（例えば被写体のエッジ等）を検出する。
The moving
次に動体検出回路１４２は、ｎフレーム目の画像の１フレーム前（ｎ−１フレーム目）の画像データを取得する。動体検出回路１４２は、入力されたｎ−１フレーム目の画像について、ｎフレーム目の画像データに対して行ったのと同様にして、被写体の特徴点（例えば被写体のエッジ等）を検出する。
Next, the moving
そして、ｎ−１フレーム目の画像データから検出された特徴点（図４（ａ）参照）と、に示すようなｎフレーム目の画像データから検出された特徴点（図４（ｂ）参照）とを比較し、同一の特徴点の位置が一致しない場合には、被写体が動いていると判断する。 Then, feature points detected from the image data of the (n−1) th frame (see FIG. 4A) and feature points detected from the image data of the nth frame as shown in FIG. 4 (see FIG. 4B). If the positions of the same feature points do not match, it is determined that the subject is moving.
また、動体検出回路１４２は、ｎ−１フレーム目の画像データから検出された特徴点（図４（ａ）参照）に基づいて被写体の輪郭を検出し、それに基づいてｎ−１フレーム目の被写体の中心を求める。また、動体検出回路１４２は、ｎフレーム目の画像データから検出された特徴点（図４（ｂ）参照）に基づいて被写体の輪郭を検出し、それに基づいてｎフレーム目の被写体の中心を求める。このように、特徴点に基づいて被写体の中心を算出することにより、被写体を誤認識することを防止することができる。
In addition, the moving
これにより、被写体検出処理（ステップＳ１０）が終了する。ステップＳ１０において、動いている被写体が検出された場合には、動体検出回路１４２は、図４（ｃ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度を算出する（ステップＳ１１）。このように、被写体の中心に基づいて被写体の移動速度を算出することにより、被写体の移動速度を正確に算出することができる。
Thereby, the subject detection process (step S10) ends. When a moving subject is detected in step S10, the moving
動体検出回路１４２は、算出された被写体の移動距離と、１フレームの時間（フレームレートの逆数）とに基づいて、被写体の移動速度を算出する。
The moving
これにより、移動速度算出処理（ステップＳ１１）を終了する。動体検出回路１４２は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する（ステップＳ１２）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて３０〜６０フレーム／秒のフレームレートが設定されている。ステップＳ１２で選択されたスルー画像表示用のフレームレートは動体検出回路１４２からＣＰＵ１１０に出力される。
Thereby, the moving speed calculation process (step S11) is terminated. The moving
ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。取画像信号処理部１３４はり込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像がリアルタイムで画像表示装置１５６に表示される（ステップＳ１３）。
The
これにより、動く被写体に対して最適なフレームレートが選択され、被写体の動きに合わせたスルー画像制御が行われる。ユーザは、画像表示装置１５６に表示されたスルー画像を確認しながらズームボタンを操作することにより、画角を決定し、撮影動作を行う。 As a result, an optimal frame rate is selected for the moving subject, and through image control is performed in accordance with the motion of the subject. The user operates the zoom button while confirming the through image displayed on the image display device 156, thereby determining the angle of view and performing a photographing operation.
撮影はシャッターボタン２６の押下によって行なわれる。シャッターボタン２６が半押しされると、Ｓ１ＯＮ信号がＣＰＵ１１０に入力される。
Shooting is performed by pressing the shutter button 26. When the shutter button 26 is half-pressed, an S1 ON signal is input to the
ＣＰＵ１１０は、ＡＥ／ＡＦ検出回路１４０で算出された積算値のデータに基づいて、レンズ駆動部を制御してレンズ群を含む撮影光学系のフォーカスレンズ１２４を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ１２４が移動するように、レンズ駆動部を制御する。
Based on the integrated value data calculated by the AE /
ＣＰＵ１１０は、ＡＥ／ＡＦ検出回路１４０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、求めた撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタースピードを決定し、これに従い撮像素子１２６の電子シャッターと絞り駆動部を制御して（いわゆる電子シャッター）適正な露光量を得る。
The
また、ＡＥ／ＡＦ検出回路１４０は、自動ホワイトバランス調整時、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１１０に提供する。
Further, the AE /
ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。
The
以上のように、シャッターボタン２６の半押しによって、ＡＥ／ＡＦ処理及びＡＷＢ処理が行なわれる。この間、ユーザは、必要に応じてズームボタン３８を操作し、レンズ群をズーミングさせて画角を調整し、ＣＰＵ１１０は、ＡＥ／ＡＦ処理及びＡＷＢ処理を継続して行う。
As described above, AE / AF processing and AWB processing are performed by half-pressing the shutter button 26. During this time, the user operates the zoom button 38 as necessary to zoom the lens group and adjust the angle of view, and the
この後、シャッターボタン２６が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力され、ＣＰＵ１１０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で撮像素子１２６を露光する。
Thereafter, when the shutter button 26 is fully pressed, an S2ON signal is input to the
撮像素子１２６から出力された画像信号は、アナログ処理部１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２を介してメモリ１１２に取り込まれ、画像信号処理部１３４において輝度／色差信号に変換されたのち、メモリ１１２に格納される。
The image signal output from the
メモリ１１２に格納された画像データは、圧縮伸張処理部１３６に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、メモリ１１２に格納され、所定の画像記録フォーマット（たとえばＥｘｉｆ形式）の画像ファイルとされたのち、メディアコントローラ１５０を介して記憶メディア１５２に記録される。
The image data stored in the
本実施の形態によれば、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。 According to the present embodiment, it is possible to switch the frame rate at the time of obtaining a through image based on the moving speed of the subject and display the through image at an appropriate frame rate according to the moving speed of the subject.
すなわち、被写体の動きが早くなると、フレームレートは自動的に上げられる。被写体の動きよりフレームレートが遅い場合には、被写体の動きが滑らかに見えない等の問題が発生するが、被写体の動きにあわせてフレームレートを上げることにより、動く被写体が含まれる場合のスルー画像の画質を向上させることができる。 That is, the frame rate is automatically increased as the subject moves faster. When the frame rate is slower than the movement of the subject, problems such as the subject's movement not appearing smoothly occur, but a through image when moving subjects are included by increasing the frame rate according to the subject's movement. Image quality can be improved.
また、被写体の動きが遅くなったり被写体が止まったりした場合には、フレームレートは自動的に下げられる。被写体の動きよりフレームレートが速い場合には消費電力が大きくなる、ノイズが大きくなることにより画質が低下するなどの不具合が発生するが、被写体の動きに合わせてフレームレートを下げることにより、このような不具合を防止することができる。 Also, when the movement of the subject slows down or the subject stops, the frame rate is automatically lowered. When the frame rate is faster than the movement of the subject, power consumption increases and noise increases, resulting in problems such as image quality degradation.However, by reducing the frame rate according to the subject's movement, Can be prevented.
なお、本実施の形態では、ステップＳ１１において、図４（ｃ）に示すように、ステップＳ１０で算出された特徴点に基づいて被写体の中心を算出し、被写体の中心に基づいて被写体の移動距離を算出したが、図５に示すように、ステップＳ１０で算出された特徴点に基づいて被写体の移動距離を算出するようにしてもよい。この場合には、被写体の中心を求める必要が無いため、処理を簡略化し、処理に要する時間を短縮することができる。 In the present embodiment, in step S11, as shown in FIG. 4C, the center of the subject is calculated based on the feature point calculated in step S10, and the moving distance of the subject is calculated based on the center of the subject. However, as shown in FIG. 5, the moving distance of the subject may be calculated based on the feature points calculated in step S10. In this case, since it is not necessary to obtain the center of the subject, the processing can be simplified and the time required for the processing can be shortened.
また、本実施の形態では、ステップＳ１２において、移動速度とフレームレートの対応表を参照して、ステップＳ１１で算出された被写体の移動速度に対応したスルー画像表示用のフレームレートを選択したが、スルー画像表示用のフレームレートを選択する方法はこれに限らない。例えば、ステップＳ１１で被写体の移動速度を算出する代わりに、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心との移動距離を算出し、予めメモリ１１２に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したスルー画像表示用のフレームレートを選択するようにしてもよい。
In the present embodiment, the frame rate for through image display corresponding to the moving speed of the subject calculated in step S11 is selected in step S12 with reference to the correspondence table of moving speed and frame rate. The method for selecting the frame rate for displaying the through image is not limited to this. For example, instead of calculating the moving speed of the subject in step S11, the moving distance between the center of the subject of the (n-1) th frame and the center of the subject of the nth frame is calculated, and the subject stored in the
また、本実施の形態では、連続した２枚の画像から被写体を検出したが、連続していない２枚の画像から被写体を検出してもよいし、２枚以上の画像から被写体を検出してもよい。 In this embodiment, the subject is detected from two consecutive images. However, the subject may be detected from two non-continuous images, or the subject may be detected from two or more images. Also good.
＜第２の実施の形態＞
本発明の第１の実施の形態は、動体検出回路１４２において動きのある被写体が１つだけ検出された（ステップＳ１０）場合について説明したが、動きのある被写体が１つだけ検出されるとは限らない。
<Second Embodiment>
In the first embodiment of the present invention, the case where only one moving subject is detected in the moving object detection circuit 142 (step S10) has been described. However, only one moving subject is detected. Not exclusively.
本発明の第２の実施の形態は、動体検出回路１４２において動きのある被写体が複数検出された場合に、被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態である。以下、本発明の第２の実施の形態のデジタルカメラ１１について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
In the second embodiment of the present invention, when a plurality of moving subjects are detected by the moving
デジタルカメラ１１の内部の電気的な概略構成は、デジタルカメラ１０と同一であるため説明を省略し、デジタルカメラ１１の作用について説明する。
Since the electrical schematic configuration inside the digital camera 11 is the same as that of the
デジタルカメラ１１の電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。 By setting the power / mode switch of the digital camera 11 to the photographing position, the photographing mode is set and the photographing standby state is set.
この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。
Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the
各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。
アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。
The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.
Analog R, G, and B signals output from the
デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４２に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。
Digital R, G, and B signals are input from the
図６は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてスルー画像表示用のフレームレートを求め、このフレームレートで取得されたスルー画像を表示する処理の流れを示すフローチャートである。
FIG. 6 shows a frame rate for displaying a through image based on digital R, G, and B signals generated based on an image acquired by the
動体検出回路１４２は、以下に示すように、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。
As shown below, the moving
次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。 Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).
まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。 First, i is set to 1 (step S21), and N is set to i (step S22).
動体検出回路１４２は、図７に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、被写体がどちらに移動するか（被写体の移動方向）を予測する（ステップＳ２３）。
As shown in FIG. 7, the moving
また、動体検出回路１４２は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。
The moving
動体検出回路１４２は、ステップＳ２３で予測された移動方向と、ステップＳ１１で予測された移動速度とに基づいて、ｎ＋１フレーム目の画像データにおいて被写体がどこに移動しているか（被写体の予測移動距離）を算出する（ステップＳ２４）。
Based on the movement direction predicted in step S23 and the movement speed predicted in step S11, the moving
Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。 N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).
ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１及びＳ２４を再度行う。 If the processes in steps S23, S11, and S24 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, and S24 are performed again. Do.
ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われた場合（ステップＳ２６でＹＥＳ）には、Ｎ個の被写体に対してステップＳ２５で算出された予測移動距離が最大となる被写体を対象被写体として選択する（ステップＳ２７）。このステップＳ２７で予測移動距離を算出するのは、速く進むこと等によりｎ＋１フレーム目の画像の撮影範囲から外れる被写体を除外するためである。図８は、ステップＳ２０で２個の被写体が検出された場合におけるそれぞれの被写体の予測移動距離を示したものである。図８において、被写体１の予測移動距離より被写体２の予測移動距離のほうが大きいこと、及び被写体２が撮影範囲の中にとどまることにより、被写体２が対象被写体として選択される。 When the processes in steps S23, S11, and S24 have been performed on all N subjects detected in step S30 (YES in step S26), the prediction calculated in step S25 for N subjects. A subject having the maximum moving distance is selected as a target subject (step S27). The reason for calculating the predicted moving distance in this step S27 is to exclude subjects that are out of the shooting range of the image of the (n + 1) th frame due to fast progress. FIG. 8 shows the predicted movement distance of each subject when two subjects are detected in step S20. In FIG. 8, the subject 2 is selected as the target subject because the predicted travel distance of the subject 2 is larger than the predicted travel distance of the subject 1 and the subject 2 remains in the shooting range.
動体検出回路１４２は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ２１で選択された対象被写体の移動速度に対応したスルー画像表示用のフレームレートを選択する（ステップＳ２８）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。この対応表において、移動速度に応じて３０〜６０フレーム／秒のフレームレートが設定されている。ステップＳ２８で選択されたスルー画像表示用のフレームレートは動体検出回路１４２からＣＰＵ１１０に出力される。
The moving
ＣＰＵ１１０は、動体検出回路１４２から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。取画像信号処理部１３４はり込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像がリアルタイムで画像表示装置１５６に表示される（ステップＳ１３）。
The
この結果、動く被写体に対して最適なスルー画像制御が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。 As a result, optimal through image control is performed on a moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.
本実施の形態によれば、最も動きの早い被写体に合わせてスルー画像のフレームレートを選択することにより、画像データのなかに動く被写体が複数存在する場合においても、被写体の移動速度に基づいてスルー画像取得時のフレームレートを切り替え、被写体の移動速度に応じた適切なフレームレートでスルー画像を表示することができる。 According to the present embodiment, by selecting the through image frame rate in accordance with the fastest moving subject, even if there are a plurality of moving subjects in the image data, the through speed is determined based on the moving speed of the subject. By switching the frame rate at the time of image acquisition, a through image can be displayed at an appropriate frame rate according to the moving speed of the subject.
なお、本実施の形態では、ステップＳ２４において、ステップＳ２３で予測された被写体の移動方向と、ステップＳ１１で算出された被写体の移動速度とを用いて被写体の予測移動距離を求めたが、被写体の予測移動距離の求め方はこれに限らず、ｎ−１フレーム目の被写体の中心位置と、ｎフレーム目の被写体の中心位置とからｎ＋１フレーム目の被写体の中心位置を求め、ｎフレーム目の被写体の中心位置とｎ＋１フレーム目の被写体の中心位置との差を予測移動距離としてもよい。 In this embodiment, in step S24, the predicted moving distance of the subject is obtained using the moving direction of the subject predicted in step S23 and the moving speed of the subject calculated in step S11. The method of obtaining the predicted movement distance is not limited to this, and the center position of the subject of the (n + 1) th frame is obtained from the center position of the subject of the (n-1) th frame and the center position of the subject of the nth frame, and the subject of the nth frame. The difference between the center position of the subject and the center position of the subject of the (n + 1) th frame may be used as the predicted movement distance.
また、本実施の形態では、ステップＳ２４において、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動距離を算出したが、光軸方向（ｚ方向）を加え、ｚ方向、ｙ方向及びｚ方向の全ての方向を考慮した移動距離を算出してもよい。ｚ方向の移動距離は、例えば、被写体の大きさの変化量と、被写体間での距離と、被写体の大きさ（例えば、人物の顔の場合には、約２０〜３０ｃｍ）とに基づいて算出することができる。この場合には、被写体の種類と大きさとの関係を予めメモリ１１２に記憶しておけばよい。
In the present embodiment, the moving distance of the subject in the direction perpendicular to the optical axis direction (x direction and y direction) is calculated in step S24. However, the optical axis direction (z direction) is added to the z direction and the y direction. In addition, the movement distance may be calculated in consideration of all the directions in the z direction. The moving distance in the z direction is calculated based on, for example, the amount of change in the size of the subject, the distance between the subjects, and the size of the subject (for example, about 20 to 30 cm in the case of a human face). can do. In this case, the relationship between the type and size of the subject may be stored in the
また、本実施の形態では、ステップＳ２７において、ステップＳ２０で検出された被写体がＮ個の被写体から予測移動距離が最大となる被写体を対象被写体として選択したが、対象被写体を選択する方法はこれに限らず、ステップＳ１１で算出された被写体の移動速度が最大の被写体を対象被写体としてもよいし、画像中心に最も近い被写体（図１７ステップＳ２０〜Ｓ５２参照、詳細は後述）を対象被写体としてもよい。 In this embodiment, in step S27, the subject detected in step S20 is selected from the N subjects as the target subject with the maximum predicted movement distance. However, the method of selecting the target subject is not limited to this. Not limited, the subject whose moving speed of the subject calculated in step S11 is the maximum may be set as the target subject, and the subject closest to the center of the image (see steps S20 to S52 in FIG. 17, details will be described later) may be set as the target subject. .
＜第３の実施の形態＞
本発明の第１の実施の形態及び第２の実施の形態は、動く被写体に応じたフレームレートでスルー画像を表示することで、滑らかで画質のよいスルー画像を表示する形態であるが、滑らかで画質のよいスルー画像を表示する方法はこれに限らない。
<Third Embodiment>
In the first embodiment and the second embodiment of the present invention, a through image is displayed at a frame rate corresponding to a moving subject, thereby displaying a smooth through image with good image quality. The method of displaying a through image with good image quality is not limited to this.
本発明の第３の実施の形態は、画質のよりスルー画像を得るために、動く被写体に対してコンティニュアスＡＦを行う形態である。以下、本発明の第３の実施の形態のデジタルカメラ１２について説明する。なお、第１の実施の形態又は第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
The third embodiment of the present invention is a form in which continuous AF is performed on a moving subject in order to obtain a through image with higher image quality. The
図９はデジタルカメラ１２の内部の電気的な概略構成を示すブロック図である。
FIG. 9 is a block diagram showing a schematic electrical configuration inside the
図９に示すように、デジタルカメラ１０は、主として、ＣＰＵ１１０、メモリ１１２、タイミングジェネレータ（ＴＧ）１１４、モータドライバ１１６、１１８、操作部１２０、ズームレンズ１２２、フォーカスレンズ１２４、撮像素子１２６、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８、Ａ／Ｄ変換器１３０、画像入力制御部１３２、画像信号処理部１３４、圧縮伸張処理部１３６、ＡＥ／ＡＦ検出回路１４４、動体検出回路１４６、メディアコントローラ１５０、表示回路１５４、記憶メディア１５２、画像表示装置１５６等で構成されている。
As shown in FIG. 9, the
ＡＥ／ＡＦ検出回路１４４は、ＡＥ検出回路とＡＦ検出回路とで構成される。ＡＥ検出回路については、ＡＥ／ＡＦ検出回路１４０と同一であるため、説明を省略する。
The AE /
ＡＦ検出回路は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア（たとえば、画面中央部）内の信号を切り出すＡＦエリア検出部及びＡＦエリア内の評価値を積算する積算部から構成される。 The AF detection circuit includes a high-pass filter that passes only a high-frequency component of the G signal, an absolute value processing unit, an AF area detection unit that extracts a signal in a predetermined focus area (for example, the center of the screen), and an evaluation value in the AF area It is comprised from the integration part which integrates.
ＡＦ検出回路は、通常は、測距エリアを画面中央に固定して評価値を算出し、動体検出回路１４６からコンティニュアスＡＦの対象エリアが入力された場合には、入力された対象エリアを測距エリアとして評価値を算出する。
The AF detection circuit normally calculates an evaluation value by fixing the distance measurement area at the center of the screen, and when the target area of continuous AF is input from the moving
ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズ１２４を至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２６を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出回路から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させるコントラストＡＦを行う。
During the AF control, the
また、ＣＰＵ１１０は、スルー画像撮影時には、コントラスト方式によるＡＦ処理を繰り返し行うコンティニュアスＡＦを行う。
In addition, the
動体検出回路１４６は、被写体の動きを検出し、コンティニュアスＡＦのサーチ方向、フレームレート（ＡＦ処理の間隔）及び対象エリアを決定する。動体検出回路１４６は、図１０に示すように、動体検出時（ｎフレーム目）の画像と、動体検出時より１フレーム前（ｎ−１フレーム目）の画像とが入力されると、コンティニュアスＡＦのサーチ方向及び対象エリアを出力し、更にパラメータとしてメモリ１１２に記録された移動速度とフレームレートの対応表を用いてコンティニュアスＡＦのフレームレートを出力する。動体検出回路１４６で行う処理については後に詳述する。
The moving
次に、以上のように構成された本実施の形態のデジタルカメラ１２の作用について説明する。
Next, the operation of the
電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズ群が繰り出され、撮影スタンバイ状態になる。 By setting the power / mode switch to the shooting position, the shooting mode is set and shooting is possible. Then, when the photographing mode is set, the lens group is extended and the photographing standby state is set.
この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。
Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the
各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。 The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.
アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。これにより、撮像素子１２６で撮像された被写体像が画像信号として取り込まれる。
Analog R, G, and B signals output from the
ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、所定のフレームレートで撮像素子１２６を駆動し、撮像素子１２６から画像信号を定期的に取り込む。画像信号処理部１３４は取り込まれた画像信号より輝度／色差信号を生成し、表示回路１５４は輝度／色差信号を表示用の信号形式（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置１５６に出力する。これにより、撮像素子１２６で撮像される画像が画像表示装置１５６にスルー画像として表示される。
The
それと共に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号は動体検出回路１４６に取り込まれる。動体検出回路１４６は、コンティニュアスＡＦの対象エリア、フレームレート及びサーチ方向を出力し、ＣＰＵ１１０は、動体検出回路１４６から出力された結果に基づいてコンティニュアスＡＦを行う。当該処理の流れについて図１１を用いて説明する。
At the same time, digital R, G, and B signals generated based on the image acquired by the
動体検出回路１４６は、ｎフレーム目の画像データとｎフレーム目の画像の１フレーム前（ｎ−１フレーム目）の画像データとを取得し、それぞれの画像データから被写体の特徴点（例えば被写体のエッジ等）を検出し（図１２（ａ）、（ｂ）参照）、これらの特徴点を比較し、同一の特徴点の位置が一致しない場合には被写体が動いていると判断する。そして、動体検出回路１４６は、検出された特徴点に基づいて、ｎ−１フレーム目の被写体の中心を算出と、ｎフレーム目の被写体の中心とを算出することにより、動いている被写体を検出する（ステップＳ１０）。
The moving
そして、動体検出回路１４６は、図１２（ｃ）に示すように、これらに基づいて被写体がどちらに移動するか（被写体の移動方向）を予測する（ステップＳ２３）。ステップＳ２３では、光軸方向と垂直な方向（ｘ方向及びｙ方向）の移動方向を予測する。
Then, as shown in FIG. 12C, the moving
また、動体検出回路１４６は、図１２（ｃ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて被写体の移動距離を算出し、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。
Further, as shown in FIG. 12C, the moving
さらに、動体検出回路１４６は、図１２（ｄ）に示すように、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の光軸方向と垂直な方向（ｘ方向及びｙ方向）、すなわち画像データ上における被写体の位置を予測する（ステップＳ３０）。
Further, as shown in FIG. 12D, the moving
ステップＳ３０で予測された被写体の予測位置は、コンティニュアスＡＦの対象エリアとして動体検出回路１４６からＡＥ／ＡＦ検出回路１４４に入力される。ＡＥ／ＡＦ検出回路１４４は、入力された対象エリアをｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定する（ステップＳ３１）。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。
The predicted position of the subject predicted in step S30 is input from the moving
コンティニュアスＡＦの測距エリアの設定（ステップＳ３１）が終了したら、動体検出回路１４６は、以下のようにして被写体の移動方向に基づいてコンティニュアスＡＦのサーチ方向を決定する（ステップＳ３２）。
When the setting of the ranging area of the continuous AF (step S31) is completed, the moving
まず、動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を予測する。すなわち、動体検出回路１４６は、図１４（ａ）に示すように、ｎフレーム目の被写体がｎ−１フレーム目の被写体より小さい場合には、被写体が離れる方向に移動していると判断し、図１４（ｂ）に示すように、ｎフレーム目の被写体がｎ−１フレーム目の被写体より大きい場合には、被写体が近づく方向に移動していると判断する。なお、被写体の大きさは、ステップＳ１０で算出された特徴点を連結するなどの方法により求めることができる。
First, the moving
そして、動体検出回路１４６は、予測された被写体のｚ方向の移動方向と同一の方向をコンティニュアスＡＦのサーチ方向と決定する。すなわち、動体検出回路１４６は、被写体が離れる方向に移動していると判断した場合には、被写体が離れる方向をコンティニュアスＡＦのサーチ方向と決定し、被写体が近づく方向に移動していると判断した場合には、被写体が近づく方向をコンティニュアスＡＦのサーチ方向と決定する。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。このように、コンティニュアスＡＦのサーチ方向、すなわちフォーカスレンズ１２４を動かす方向が予め決められるため、フォーカスレンズ１２４の移動に要する時間を短縮し、すぐにピントを合わせることができる。
Then, the moving
動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。
The moving
ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。ＡＦ／ＡＦ検出回路１４４は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートで、ステップＳ３１で算出されたコンティニュアスＡＦの測距エリアに対して評価値を算出する。その評価値が所定の値より低くなった場合には、ＣＰＵ１１０は、ステップＳ３２で算出されたコンティニュアスＡＦのサーチ方向にフォーカスレンズ１２４を移動させ、ステップＳ３１で算出されたコンティニュアスＡＦの測距エリアの評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズ１２４を移動させる。
The
この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。 As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.
本実施の形態によれば、動く被写体の速さや位置に追従してコンティニュアスＡＦを行うことができる。そのため、動き回る子供など規則的でない動きをする被写体に対しても、確実に合焦させることができる。また、被写体の動きを予測しているため、合焦速度を上げ、すぐに被写体にピントを合わせることができる。 According to the present embodiment, continuous AF can be performed following the speed and position of a moving subject. Therefore, even a subject that moves irregularly, such as a moving child, can be reliably focused. Since the movement of the subject is predicted, the focusing speed can be increased and the subject can be focused immediately.
なお、本実施の形態では、被写体の動きに合わせてコンティニュアスＡＦのフレームレートを変えたが、コンティニュアスＡＦのフレームレートのみでなく、被写体の動きに合わせてスルー画像表示のフレームレートも変えるようにしてもよい。 In this embodiment, the frame rate of the continuous AF is changed according to the movement of the subject. However, not only the frame rate of the continuous AF but also the frame rate of the through image display according to the movement of the subject. It may be changed.
また、本実施の形態では、ステップＳ３０において、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて被写体の位置を予測したが、被写体の位置を予測する方法はこれに限らず、例えば、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて算出してもよい。 In the present embodiment, in step S30, the position of the subject is predicted based on the center of the subject in the (n-1) th frame and the center of the subject in the nth frame. However, the method for predicting the position of the subject is as follows. For example, the calculation may be performed based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11.
また、本実施の形態では、ステップＳ２３で光軸方向と垂直な方向（ｘ方向及びｙ方向）の移動方向を予測し、ステップＳ３２で光軸方向（ｚ方向）の移動方向を予測したが、ステップＳ３３においてｘ方向、ｙ方向及びｚ方向の全ての移動方向を予測してもよい。 In this embodiment, the movement direction in the direction (x direction and y direction) perpendicular to the optical axis direction is predicted in step S23, and the movement direction in the optical axis direction (z direction) is predicted in step S32. In step S33, all the movement directions of the x direction, the y direction, and the z direction may be predicted.
また、本実施の形態では、ステップＳ３２において、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を予測したが、光軸方向（ｚ方向）の被写体の移動方向を予測する方法はこれに限らない。例えば、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より上向きであれば被写体が離れていると判断し、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とを結んだベクトルが画像の水平方向より下向きであれば被写体が近づく方向に移動していると判断するようにしてもよい。 In the present embodiment, in step S32, the movement direction of the subject in the optical axis direction (z direction) is predicted based on the change in the size of the subject. However, the movement direction of the subject in the optical axis direction (z direction) is predicted. The method of predicting is not limited to this. For example, if the vector connecting the center of the subject of the (n−1) th frame and the center of the subject of the nth frame is upward from the horizontal direction of the image, it is determined that the subject is separated, and the n−1th frame If the vector connecting the center of the subject and the center of the nth frame is downward from the horizontal direction of the image, it may be determined that the subject is moving in the approaching direction.
また、本実施の形態では、ステップＳ３３において、移動速度とフレームレートの対応表を参照して、ステップＳ１１で算出された被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択したが、コンティニュアスＡＦのフレームレートを選択する方法はこれに限らない。例えば、ステップＳ１１で被写体の移動速度を算出する代わりに、ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心との移動距離を算出し、予めメモリ１１２に記憶された被写体の移動距離とフレームレートの対応表を参照して、算出された被写体の移動距離に対応したコンティニュアスＡＦのフレームレートを選択するようにしてもよい。
In the present embodiment, the frame rate of the continuous AF corresponding to the moving speed of the subject calculated in step S11 is selected in step S33 with reference to the correspondence table of moving speed and frame rate. The method for selecting the frame rate of continuous AF is not limited to this. For example, instead of calculating the moving speed of the subject in step S11, the moving distance between the center of the subject of the (n-1) th frame and the center of the subject of the nth frame is calculated, and the subject stored in the
＜第４の実施の形態＞
本発明の第３の実施の形態は、動体検出回路１４６において動きのある被写体が１つだけ検出された（ステップＳ３０）場合について説明したが、動きのある被写体が１つだけ検出されるとは限らない。
<Fourth embodiment>
In the third embodiment of the present invention, the case where only one moving subject is detected in the moving
本発明の第４の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、第２の実施の形態と同様の方法により被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態である。以下、本発明の第４の実施の形態のデジタルカメラ１３について説明する。なお、第３の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
In the fourth embodiment of the present invention, when a plurality of moving subjects are detected by the moving
デジタルカメラ１３の内部の電気的な概略構成は、デジタルカメラ１２と同一であるため説明を省略し、デジタルカメラ１３の作用について説明する。
Since the electrical schematic configuration inside the digital camera 13 is the same as that of the
デジタルカメラ１３の電源／モードスイッチを撮影位置に合わせることで、撮影モードに設定され、撮影スタンバイ状態になる。 By setting the power / mode switch of the digital camera 13 to the photographing position, the photographing mode is set and the photographing standby state is set.
この撮影モードの下、レンズ群を通過した被写体光は、絞り（図示せず）を介して撮像素子１２６の受光面に結像される。レンズ群を通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。
Under this photographing mode, the subject light that has passed through the lens group forms an image on the light receiving surface of the
各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）１１４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１２８に加えられる。 The signal charge accumulated in each photodiode is sequentially read out as a voltage signal (image signal) corresponding to the signal charge on the basis of the drive pulse supplied from the timing generator (TG) 114, and an analog processing unit (CDS / AMP). 128.
アナログ処理部１２８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１３０でデジタルのＲ、Ｇ、Ｂ信号に変換され、画像入力制御部１３２に加えられる。画像入力制御部１３２は、Ａ／Ｄ変換器１３０から出力されたデジタルのＲ、Ｇ、Ｂ信号をメモリ１１２に出力する。
Analog R, G, and B signals output from the
デジタルのＲ、Ｇ、Ｂ信号は、メモリ１１２から動体検出回路１４６に入力され、ＣＰＵ１１０は、タイミングジェネレータ（ＴＧ）１１４に指令を出し、動体検出回路１４６から出力されたスルー画像表示用のフレームレートで撮像素子１２６を駆動する。
Digital R, G, and B signals are input from the
図１５は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてコンティニュアスＡＦの条件（サーチ方向、フレームレート及び対象エリア）を決定し、この条件でコンティニュアスＡＦを行う処理の流れを示すフローチャートである。
FIG. 15 shows the condition of the continuous AF (search direction, frame) based on digital R, G, B signals generated based on the image acquired by the
動体検出回路１４６は、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。
The moving
次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。 Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).
まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。 First, i is set to 1 (step S21), and N is set to i (step S22).
動体検出回路１４６は、特徴点に基づいて、ｎ−１フレーム目の被写体の中心とｎフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する（ステップＳ２３）。
The moving
また、動体検出回路１４６は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ４１）。ここでは、ある被写体を基準にした相対的な移動速度を算出する。ｎ−１フレーム目の被写体の中心と、ｎフレーム目の被写体の中心とに基づいて、光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度を算出する。また、ｎ−１フレーム目の被写体の大きさとｎフレーム目の被写体の大きさとの差と、テレ端とワイド端との比率とに基づいて、光軸方向（ｚ方向）の被写体の移動速度を算出する。そして、ｘ方向及びｙ方向の移動速度と、ｚ方向の移動速度とに基づいて被写体の移動速度を算出する。
Further, the moving
動体検出回路１４６は、ステップＳ１７で予測された移動方向と、ステップＳ４１で予測された光軸方向と垂直方向（ｘ方向及びｙ方向）の被写体の移動速度とに基づいて、ｎ＋１フレーム目の画像データにおいて、被写体がどこに移動しているか（被写体の予測移動距離）を算出する（ステップＳ２４）。
The moving
Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。 N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).
ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１及びＳ２４を再度行う。 If the processes in steps S23, S11, and S24 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, and S24 are performed again. Do.
ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われた場合（ステップＳ２６でＹＥＳ）には、Ｎ個の被写体に対してステップＳ２５で算出された予測移動距離が最大となる被写体を対象被写体として選択する（ステップＳ２７）。このステップＳ２７で予測移動距離を算出するのは、速く進むこと等により撮影範囲から外れる被写体を除外するためである。図１６に示す例においては、被写体２が対象被写体として選択される。 When the processes in steps S23, S11, and S24 have been performed on all N subjects detected in step S30 (YES in step S26), the prediction calculated in step S25 for N subjects. A subject having the maximum moving distance is selected as a target subject (step S27). The reason for calculating the predicted moving distance in this step S27 is to exclude subjects that are out of the shooting range due to fast advancement or the like. In the example shown in FIG. 16, the subject 2 is selected as the target subject.
次に、ステップＳ２７で選択された被写体に対して最適なコンティニュアスＡＦの条件を求める（ステップＳ３０〜Ｓ３３）。以下、図１６に示す被写体２に対して最適なコンティニュアスＡＦの条件を求める場合を例に説明する。 Next, the optimum continuous AF condition is obtained for the subject selected in step S27 (steps S30 to S33). Hereinafter, the case where the optimum continuous AF condition is obtained for the subject 2 shown in FIG. 16 will be described as an example.
動体検出回路１４６は、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の画像データ上における被写体２のｘ方向及びｙ方向の位置を予測する（ステップＳ３０）。
Based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11, the moving
ステップＳ３０で予測された被写体の予測位置は、コンティニュアスＡＦの対象エリアとして動体検出回路１４６からＡＥ／ＡＦ検出回路１４４に入力され、ＡＥ／ＡＦ検出回路１４４でｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定される（ステップＳ３１）。これにより、被写体が画面中央にいない場合においても、被写体に対して確実に合焦させることができる。
The predicted position of the subject predicted in step S30 is input from the moving
動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスＡＦのサーチ方向と決定する（ステップＳ３２）。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。これにより、ＣＰＵ１１０は、フォーカスレンズ１２４を動かす方向を予め決めておくことができるため、フォーカスレンズ１２４の移動に要する時間を短縮することができる。
The moving
動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。
The moving
これにより、コンティニュアスＡＦの条件を求めるステップ（ステップＳ３０〜Ｓ３３）が終了する。そして、ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。
Thereby, the steps (steps S30 to S33) for obtaining the condition for continuous AF are completed. Then, the
この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。 As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.
本実施の形態によれば、最も動きの早い被写体に合わせてＡＦ処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。 According to the present embodiment, by performing AF processing in accordance with the fastest moving subject, even when there are a plurality of moving subjects in the image data, the main subject can be reliably focused.
＜第５の実施の形態＞
本発明の第４の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、被写体の移動距離が最大となる被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態であるが、主要な被写体を選択する方法はこれに限らない。
<Fifth embodiment>
According to the fourth embodiment of the present invention, when a plurality of moving subjects are detected by the moving
本発明の第５の実施の形態は、動体検出回路１４６において動きのある被写体が複数検出された場合に、画面の中心に最も近い被写体を対象被写体とすることで、主要な被写体の動きに応じた最適なコンティニュアスＡＦを行う形態である。以下、本発明の第５の実施の形態のデジタルカメラ１４について説明する。なお、第３の実施の形態又は第４の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。
In the fifth embodiment of the present invention, when a plurality of moving subjects are detected by the moving
デジタルカメラ１４の内部の電気的な概略構成は、デジタルカメラ１２と同一であるため説明を省略し、デジタルカメラ１４の作用について説明する。
Since the electrical schematic configuration inside the digital camera 14 is the same as that of the
図１７は、動きのある被写体が複数ある場合に、撮像素子１２６で取得された画像に基づいて生成されたデジタルのＲ、Ｇ、Ｂ信号に基づいてコンティニュアスＡＦの条件（サーチ方向、フレームレート及び対象エリア）を決定し、この条件でコンティニュアスＡＦを行う処理の流れを示すフローチャートである。
FIG. 17 shows the condition of continuous AF (search direction, frame based on digital R, G, and B signals generated based on the image acquired by the
動体検出回路１４６は、入力されたデジタルのＲ、Ｇ、Ｂ信号に基づいて動きのある被写体をＮ個検出する（ステップＳ２０）。これは、ステップＳ１０の処理を行った結果、動きのある被写体がＮ個検出されたことを意味する。
The moving
次に、ステップＳ２０で検出されたＮ個の被写体のなかから予測移動距離が最大となる被写体を選択する（ステップＳ２１〜Ｓ２６）。 Next, the subject having the maximum predicted movement distance is selected from the N subjects detected in step S20 (steps S21 to S26).
まずｉを１に設定し（ステップＳ２１）、Ｎをｉに設定する（ステップＳ２２）。 First, i is set to 1 (step S21), and N is set to i (step S22).
動体検出回路１４６は、特徴点に基づいて、ｎ−１フレーム目の被写体の中心とｎフレーム目の被写体の中心を算出し、これに基づいて被写体の移動方向を予測する（ステップＳ２３）。
The moving
また、動体検出回路１４６は、算出された被写体の移動距離と、１フレームの時間とに基づいて、被写体の移動速度を算出する（ステップＳ１１）。
Further, the moving
動体検出回路１４６は、ｎフレーム目の被写体の中心と、ステップＳ１１で算出された被写体の移動速度とに基づいて、ｎフレーム目の１フレーム後（ｎ＋１フレーム目）の画像データ上における被写体のｘ方向及びｙ方向の位置を予測し（ステップＳ３０）、画像データの中心からステップＳ３０で予測された被写体の位置までの距離を算出する（ステップＳ５１）。
Based on the center of the subject of the nth frame and the moving speed of the subject calculated in step S11, the moving
Ｎをｉ＋１とし（ステップＳ２５）、ＮがＮであるか、すなわちステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１及びＳ２４の処理が行われたかどうかを判断する（ステップＳ２６）。 N is set to i + 1 (step S25), and it is determined whether N is N, that is, whether or not the processes of steps S23, S11, and S24 have been performed on all N subjects detected in step S20 (step S26). ).
ステップＳ２０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１の処理が行われていない場合（ステップＳ２６でＮＯ）には、ステップＳ２３に戻り、ステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１を再度行う。 If the processes in steps S23, S11, S30, and S51 have not been performed on all N subjects detected in step S20 (NO in step S26), the process returns to step S23, and steps S23, S11, S30 are performed. And S51 are performed again.
ステップＳ３０で検出されたＮ個全ての被写体に対してステップＳ２３、Ｓ１１、Ｓ３０及びＳ５１の処理が行われた場合（ステップＳ２６でＹＥＳ）には、ステップＳ５１で算出された画像データの中心から被写体の位置までの距離が最も短い被写体、すなわち画面中心に最も近い被写体を対象被写体として選択する（ステップＳ５２）。 When the processes in steps S23, S11, S30, and S51 are performed on all N subjects detected in step S30 (YES in step S26), the subject from the center of the image data calculated in step S51. The subject having the shortest distance to the position of the subject, that is, the subject closest to the center of the screen is selected as the subject subject (step S52).
図１８に示す例においては、現在のフレーム（ｎフレーム目）では、被写体２が画面中心に近い被写体であるため、被写体２が対象被写体とうぃて選択される。それに対し、現在のフレームの次のフレーム（ｎ＋１フレーム目）では、被写体１が画面中心に近いため、被写体１を対象被写体とする。
In the example shown in FIG. 18, in the current frame (the nth frame), since the subject 2 is a subject close to the center of the screen, the subject 2 is selected as the target subject. On the other hand, since the
動体検出回路１４６は、ステップＳ５２で選択された被写体の予測位置であって、ステップＳ３０で予測された予測位置をＡＥ／ＡＦ検出回路１４４に入力する。ＡＥ／ＡＦ検出回路１４４は、入力された予測位置をｎ＋１フレーム目のコンティニュアスＡＦの測距エリアとして設定する（ステップＳ３１）。これにより、画面中心に最も近い被写体に対して確実に合焦させることができる。
The moving
動体検出回路１４６は、被写体の大きさの変化に基づいて光軸方向（ｚ方向）の被写体の移動方向を判断し、被写体を追いかける方向をコンティニュアスＡＦのサーチ方向と決定する（ステップＳ３２）。このようにして決定されたコンティニュアスＡＦのサーチ方向は、動体検出回路１４６からＣＰＵ１１０に入力される。
The moving
動体検出回路１４６は、メモリ１１２に記録された移動速度とフレームレートの対応表を参照し、ステップＳ１１で選択された対象被写体の移動速度に対応したコンティニュアスＡＦのフレームレートを選択する（ステップＳ３３）。移動速度に対応したフレームレートを選択できるように、メモリ１１２には、移動速度とフレームレートの対応表をあらかじめ用意しておく。ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートは動体検出回路１４６からＣＰＵ１１０に出力される。
The moving
これにより、コンティニュアスＡＦの条件を求めるステップ（ステップＳ３０〜Ｓ３３）が終了する。そして、ＣＰＵ１１０は、ステップＳ３３で選択されたコンティニュアスＡＦのフレームレートでコントラスト検出方式によるＡＦ処理を繰り返し行う（ステップＳ３４）。
Thereby, the steps (steps S30 to S33) for obtaining the condition for continuous AF are completed. Then, the
この結果、動く被写体に対して最適なＡＦ処理が行われる。その後、撮影、記録処理が行われる。撮影、記録処理は第１の実施の形態と同様であるため、説明を省略する。 As a result, the optimum AF process is performed on the moving subject. Thereafter, photographing and recording processes are performed. Since the photographing and recording processing is the same as that of the first embodiment, description thereof is omitted.
本実施の形態によれば、画面中心に最も近い被写体に合わせてＡＦ処理を行うことにより、画像データのなかに動く被写体が複数存在する場合においても、主要被写体に確実に合焦させることができる。 According to the present embodiment, by performing AF processing on the subject closest to the center of the screen, even when there are a plurality of moving subjects in the image data, the main subject can be reliably focused. .
なお、本実施の形態では、画面中心に最も近い被写体を対象被写体として選択し（ステップＳ５２）、選択された被写体の動きに応じてその被写体に対してＡＦ処理を行ったが、当該動きのある被写体が複数検出された場合に所望の被写体を選択する方法を被写体の動きに応じた最適なフレームレートでスルー画像を表示する形態（例えば第１の実施の形態や第２の実施の形態）に適用してもよい。 In the present embodiment, the subject closest to the center of the screen is selected as the target subject (step S52), and AF processing is performed on the subject according to the movement of the selected subject. A method of selecting a desired subject when a plurality of subjects are detected is a form in which a through image is displayed at an optimal frame rate corresponding to the movement of the subject (for example, the first embodiment or the second embodiment). You may apply.
なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理をおこなうＰＣなどの撮像装置にも同様に適用することができる。また、ＰＣなどの装置に適用するプログラムとして提供することもできる。 Note that the application of the present invention is not limited to a digital camera. The same applies to an imaging device such as a mobile phone with a camera or a video camera, or an imaging device such as a PC that processes an image captured by the imaging device. Can be applied to. It can also be provided as a program applied to a device such as a PC.
１０、１１、１２、１３，１４：デジタルカメラ、１１０：ＣＰＵ、１１２：メモリ、１１４：タイミングジェネレータ（ＴＧ）、１１６、１１８：モータドライバ、１２０：操作部、１２２：ズームレンズ、１２４：フォーカスレンズ、１２６：撮像素子、１２８：アナログ処理部（ＣＤＳ／ＡＭＰ）、１３０：Ａ／Ｄ変換器、１３２；画像入力制御部、１３４：画像信号処理部、１３６：圧縮伸張処、１４０、１４４：ＡＥ／ＡＦ検出回路、１４２、１４６：動体検出回路、１５０：メディアコントローラ、１５２記憶メディア、１５４：表示回路、１５６：画像表示装置 10, 11, 12, 13, 14: Digital camera, 110: CPU, 112: Memory, 114: Timing generator (TG), 116, 118: Motor driver, 120: Operation unit, 122: Zoom lens, 124: Focus lens 126: Image sensor, 128: Analog processing unit (CDS / AMP), 130: A / D converter, 132: Image input control unit, 134: Image signal processing unit, 136: Compression / decompression processing, 140, 144: AE / AF detection circuit, 142, 146: moving object detection circuit, 150: media controller, 152 storage media, 154: display circuit, 156: image display device
Claims (16)
前記撮像手段により撮像された被写体の画像を連続して表示する表示手段と、
前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段であって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出する算出手段と、
前記算出手段により算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、
を備えたことを特徴とする撮像装置。 Imaging means for continuously imaging a subject at a predetermined frame rate;
Display means for continuously displaying images of the subject imaged by the imaging means;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
A calculating means for calculating a moving speed or moving distance of a moving subject detected by the subject detecting means, and when a plurality of moving subjects are detected, a calculating means for calculating a maximum moving speed or moving distance;
Frame rate control means for controlling the frame rate based on the moving speed or moving distance of the moving subject calculated by the calculating means;
An imaging apparatus comprising:
前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御する自動合焦制御手段と、
を備えたことを特徴とする撮像装置。 An imaging unit that includes an imaging optical system and an imaging device that captures a subject image formed by the imaging optical system, and that continuously images the subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
Automatic focusing control means for continuously performing focusing control for moving a photographing optical system and maintaining a focusing state for a moving subject detected by the subject detecting means, the subject calculated by the calculating means Automatic focusing control means for controlling the continuous focusing control interval based on the moving speed or moving distance of
An imaging apparatus comprising:
前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているかを検出する移動方向検出手段と、
前記撮影光学系を移動させて前記被写体検出手段により検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行う自動合焦制御手段であって、前記移動方向検出手段により検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定する自動合焦制御手段と、
を備えたことを特徴とする撮像装置。 An imaging unit that includes an imaging optical system and an imaging device that captures a subject image formed by the imaging optical system, and that continuously images the subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
A moving direction detecting means for detecting whether the moving subject detected by the subject detecting means is moving in a direction approaching the photographing position or moving away from the photographing position;
An automatic focusing control means for continuously performing focusing control for moving the photographing optical system and maintaining a focused state for a moving subject detected by the subject detecting means, and is detected by the moving direction detecting means. Automatic focusing control means for determining a search direction of the photographing optical system based on a moving direction of the subject,
An imaging apparatus comprising:
前記撮像手段により撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出する被写体検出手段と、
前記被写体検出手段により検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測する被写***置予測手段と、
前記被写***置予測手段により予測された被写体の位置を含む所定の領域に対して合焦制御を行う自動合焦制御手段と、
を備えたことを特徴とする撮像装置。 Imaging means for continuously imaging a subject at a predetermined frame rate;
Subject detection means for detecting moving subjects from at least two images before and after the image taken by the imaging means;
Subject position prediction means for predicting the position of the moving subject in the next image to be captured based on the position of the moving subject detected by the subject detection means;
Automatic focus control means for performing focus control on a predetermined area including the position of the subject predicted by the subject position prediction means;
An imaging apparatus comprising:
前記自動合焦制御手段は、前記対照被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする請求項２に記載の撮像装置。 When a plurality of subjects are detected by the subject detection unit, the subject detection unit includes a target subject setting unit that sets a subject having the maximum movement speed or movement distance calculated by the calculation unit as a target subject.
The imaging apparatus according to claim 2, wherein the automatic focusing control unit performs focusing control on the target subject set by the reference subject setting unit.
前記被写体検出手段により複数の被写体が検出された場合に、前記算出手段により算出された移動速度又は移動距離が最大の被写体を対象被写体と設定する対象被写体設定手段と、
を備え、
前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする請求項３又は４に記載の撮像装置。 Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
A target subject setting means for setting a subject having the maximum moving speed or moving distance calculated by the calculating means as a target subject when a plurality of subjects are detected by the subject detecting means;
With
The imaging apparatus according to claim 3 or 4, wherein the automatic focusing control unit performs focusing control on the target subject set by the target subject setting unit.
前記被写体検出手段により複数の被写体が検出された場合に、前記被写***置予測手段により予測された被写体の位置が前記画像の中心に最も近い被写体を対象被写体と設定する対象被写体設定手段と、
を備え、
前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする請求項２又は３に記載の撮像装置。 Subject position prediction means for predicting the position of the moving subject in the next image to be picked up based on the position of the moving subject detected for each image by the subject detection means;
A target subject setting unit that sets a subject whose position predicted by the subject position prediction unit is closest to the center of the image as a target subject when a plurality of subjects are detected by the subject detection unit;
With
The imaging apparatus according to claim 2, wherein the automatic focusing control unit performs focusing control on the target subject set by the target subject setting unit.
前記自動合焦制御手段は、前記対象被写体設定手段により設定された対象被写体に対して合焦制御を行うことを特徴とする請求項４に記載の撮像装置。 A target subject setting unit configured to set a subject whose position predicted by the subject position prediction unit is closest to the center of the image as a target subject when a plurality of subjects are detected by the subject detection unit;
The imaging apparatus according to claim 4, wherein the automatic focusing control unit performs focusing control on the target subject set by the target subject setting unit.
前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、
を備えたことを特徴とする請求項２に記載の撮像装置。 Display means for continuously displaying images of the subject imaged by the imaging means;
Frame rate control means for controlling the frame rate based on the moving speed or moving distance of the subject calculated by the calculating means;
The imaging apparatus according to claim 2, further comprising:
前記被写体検出手段により検出された動く被写体の移動速度又は移動距離を算出する算出手段と、
前記算出手段により算出された被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するフレームレート制御手段と、
を備えたことを特徴とする請求項３又は４に記載の撮像装置。 Display means for continuously displaying images of the subject imaged by the imaging means;
Calculating means for calculating the moving speed or moving distance of the moving subject detected by the subject detecting means;
Frame rate control means for controlling the frame rate based on the moving speed or moving distance of the subject calculated by the calculating means;
The imaging apparatus according to claim 3, further comprising:
前記被写体検出手段は、前記特徴点抽出手段により抽出された特徴点に基づいて被写体の中心位置を検出し、
前記算出手段は、前記被写体検出手段により検出された被写体の中心位置に基づいて前記被写体の移動速度又は移動距離を算出することを特徴とする請求項１、３、５、６、８、９及び１０のいずれかに記載の撮像装置。 Comprising feature point extraction means for extracting feature points of the image captured by the imaging means;
The subject detection means detects the center position of the subject based on the feature points extracted by the feature point extraction means;
The said calculating means calculates the moving speed or moving distance of the said subject based on the center position of the to-be-photographed object detected by the said object detection means, The 1, 3, 5, 6, 8, 9 and The imaging apparatus according to any one of 10.
前記撮像された被写体の画像を連続して表示するステップと、
前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、
前記検出された動く被写体の移動速度又は移動距離を算出するステップであって、動く被写体が複数検出された場合には、最大の移動速度又は移動距離を算出するステップと、
前記算出された動く被写体の移動速度又は移動距離に基づいて前記フレームレートを制御するステップと、
を含むことを特徴とする撮像方法。 Continuously imaging a subject at a predetermined frame rate;
Continuously displaying the captured image of the subject;
Detecting each moving subject from at least two images taken before and after the imaged;
Calculating a moving speed or moving distance of the detected moving subject, and when a plurality of moving subjects are detected, calculating a maximum moving speed or moving distance;
Controlling the frame rate based on the calculated moving speed or moving distance of the moving subject;
An imaging method comprising:
前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、
前記検出された動く被写体の移動速度又は移動距離を算出するステップと、
前記撮影光学系を移動させて前記検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行うステップであって、前記算出された被写体の移動速度又は移動距離に基づいて前記連続的に行う合焦制御の間隔を制御するステップと、
を含むことを特徴とする合焦制御方法。 Step of continuously imaging a subject at a predetermined frame rate via an imaging device that captures a subject image formed by the photographing optical system;
Detecting each moving subject from at least two images taken before and after the imaged;
Calculating a moving speed or moving distance of the detected moving subject;
A step of continuously performing focusing control for moving the photographing optical system and maintaining the in-focus state with respect to the detected moving subject, wherein the continuous control is performed based on the calculated moving speed or moving distance of the subject. Controlling the focusing control interval to be performed automatically,
A focusing control method comprising:
前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、
前記検出された動く被写体が撮影位置に近づく方向に移動しているか、又は撮影位置から離れる方向に移動しているか検出するステップと、
前記撮影光学系を移動させて前記検出された動く被写体に対する合焦状態を保持する合焦制御を連続的に行うステップであって、前記検出された被写体の移動方向に基づいて前記撮影光学系のサーチ方向を決定するステップと、
を含むことを特徴とする合焦制御方法。 Step of continuously imaging a subject at a predetermined frame rate via an imaging device that captures a subject image formed by the photographing optical system;
Detecting each moving subject from at least two images taken before and after the imaged;
Detecting whether the detected moving subject is moving in a direction approaching the shooting position or moving away from the shooting position;
A step of continuously performing focusing control for moving the photographing optical system to maintain a focus state with respect to the detected moving subject, and based on the detected moving direction of the subject. Determining a search direction;
A focusing control method comprising:
前記撮像された少なくとも前後の２枚の画像から動く被写体をそれぞれ検出するステップと、
前記検出された動く被写体の位置に基づいて、次に撮像される画像における動く被写体の位置を予測するステップと、
前記予測された被写体の位置を含む所定の領域に対して合焦制御を行うステップと、
を含むことを特徴とする合焦制御方法。 Continuously imaging a subject at a predetermined frame rate;
Detecting each moving subject from at least two images taken before and after the imaged;
Predicting the position of the moving subject in the next imaged image based on the detected position of the moving subject;
Performing focusing control on a predetermined area including the predicted position of the subject;
A focusing control method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008123544A JP4980982B2 (en) | 2008-05-09 | 2008-05-09 | Imaging apparatus, imaging method, focus control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008123544A JP4980982B2 (en) | 2008-05-09 | 2008-05-09 | Imaging apparatus, imaging method, focus control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009273023A true JP2009273023A (en) | 2009-11-19 |
| JP4980982B2 JP4980982B2 (en) | 2012-07-18 |
Family
ID=41439158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008123544A Active JP4980982B2 (en) | 2008-05-09 | 2008-05-09 | Imaging apparatus, imaging method, focus control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4980982B2 (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426181A (en) * | 2012-05-25 | 2013-12-04 | 信帧电子技术（北京）有限公司 | Automatic frame rate changing wire-mixing detection method |
| JP2014095893A (en) * | 2012-10-12 | 2014-05-22 | Panasonic Corp | Imaging apparatus |
| JP2015119205A (en) * | 2013-12-16 | 2015-06-25 | キヤノン株式会社 | Imaging device, control method, and program |
| WO2016084611A1 (en) * | 2014-11-26 | 2016-06-02 | ソニー株式会社 | Image processing device, method, and program |
| JP2016143022A (en) * | 2015-02-05 | 2016-08-08 | オリンパス株式会社 | Imaging device and imaging method |
| US9854216B2 (en) | 2013-12-10 | 2017-12-26 | Canon Kabushiki Kaisha | Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium |
| CN109416458A (en) * | 2016-06-30 | 2019-03-01 | 株式会社尼康 | Camera |
| CN109819161A (en) * | 2019-01-21 | 2019-05-28 | 北京中竞鸽体育文化发展有限公司 | A kind of method of adjustment of frame per second, device, terminal and readable storage medium storing program for executing |
| JP2021032964A (en) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control device, imaging system, control method and program |
| JP2022528011A (en) * | 2019-05-06 | 2022-06-07 | アップル インコーポレイテッド | User interface for capturing and managing visual media |
| US11468625B2 (en) | 2018-09-11 | 2022-10-11 | Apple Inc. | User interfaces for simulated depth effects |
| US11490017B2 (en) | 2015-04-23 | 2022-11-01 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11617022B2 (en) | 2020-06-01 | 2023-03-28 | Apple Inc. | User interfaces for managing media |
| US11641517B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | User interface for camera effects |
| US11669985B2 (en) | 2018-09-28 | 2023-06-06 | Apple Inc. | Displaying and editing images with depth information |
| US11687224B2 (en) | 2017-06-04 | 2023-06-27 | Apple Inc. | User interface camera effects |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11977731B2 (en) | 2018-02-09 | 2024-05-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102657050B1 (en) * | 2017-01-25 | 2024-04-15 | 삼성전자주식회사 | Electronic device and method for capturing an image in the electronic device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107335A (en) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | Image pickup device, automatic focusing method, and program for making computer execute the method |
| JP2005164669A (en) * | 2003-11-28 | 2005-06-23 | Konica Minolta Photo Imaging Inc | Digital camera |
| JP2005311699A (en) * | 2004-04-21 | 2005-11-04 | Fuji Photo Film Co Ltd | Imaging apparatus and display control method |
| JP2007219603A (en) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | Person tracking device, person tracking method and person tracking program |
| WO2008023709A1 (en) * | 2006-08-22 | 2008-02-28 | Panasonic Corporation | Imaging device |
-
2008
- 2008-05-09 JP JP2008123544A patent/JP4980982B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003107335A (en) * | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | Image pickup device, automatic focusing method, and program for making computer execute the method |
| JP2005164669A (en) * | 2003-11-28 | 2005-06-23 | Konica Minolta Photo Imaging Inc | Digital camera |
| JP2005311699A (en) * | 2004-04-21 | 2005-11-04 | Fuji Photo Film Co Ltd | Imaging apparatus and display control method |
| JP2007219603A (en) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | Person tracking device, person tracking method and person tracking program |
| WO2008023709A1 (en) * | 2006-08-22 | 2008-02-28 | Panasonic Corporation | Imaging device |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426181A (en) * | 2012-05-25 | 2013-12-04 | 信帧电子技术（北京）有限公司 | Automatic frame rate changing wire-mixing detection method |
| JP2014095893A (en) * | 2012-10-12 | 2014-05-22 | Panasonic Corp | Imaging apparatus |
| US9854216B2 (en) | 2013-12-10 | 2017-12-26 | Canon Kabushiki Kaisha | Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium |
| US10349028B2 (en) | 2013-12-10 | 2019-07-09 | Canon Kabushiki Kaisha | Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium |
| JP2015119205A (en) * | 2013-12-16 | 2015-06-25 | キヤノン株式会社 | Imaging device, control method, and program |
| WO2016084611A1 (en) * | 2014-11-26 | 2016-06-02 | ソニー株式会社 | Image processing device, method, and program |
| JP2016143022A (en) * | 2015-02-05 | 2016-08-08 | オリンパス株式会社 | Imaging device and imaging method |
| US11711614B2 (en) | 2015-04-23 | 2023-07-25 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US11490017B2 (en) | 2015-04-23 | 2022-11-01 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
| US11962889B2 (en) | 2016-06-12 | 2024-04-16 | Apple Inc. | User interface for camera effects |
| US11641517B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | User interface for camera effects |
| JP2021051314A (en) * | 2016-06-30 | 2021-04-01 | 株式会社ニコン | camera |
| JP7088268B2 (en) | 2016-06-30 | 2022-06-21 | 株式会社ニコン | camera |
| CN109416458A (en) * | 2016-06-30 | 2019-03-01 | 株式会社尼康 | Camera |
| US11687224B2 (en) | 2017-06-04 | 2023-06-27 | Apple Inc. | User interface camera effects |
| US11977731B2 (en) | 2018-02-09 | 2024-05-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US11468625B2 (en) | 2018-09-11 | 2022-10-11 | Apple Inc. | User interfaces for simulated depth effects |
| US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11669985B2 (en) | 2018-09-28 | 2023-06-06 | Apple Inc. | Displaying and editing images with depth information |
| CN109819161A (en) * | 2019-01-21 | 2019-05-28 | 北京中竞鸽体育文化发展有限公司 | A kind of method of adjustment of frame per second, device, terminal and readable storage medium storing program for executing |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| JP7171947B2 (en) | 2019-05-06 | 2022-11-15 | アップル インコーポレイテッド | User interface for capturing and managing visual media |
| JP2022528011A (en) * | 2019-05-06 | 2022-06-07 | アップル インコーポレイテッド | User interface for capturing and managing visual media |
| JP2021032964A (en) * | 2019-08-20 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Control device, imaging system, control method and program |
| US11617022B2 (en) | 2020-06-01 | 2023-03-28 | Apple Inc. | User interfaces for managing media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4980982B2 (en) | 2012-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4980982B2 (en) | Imaging apparatus, imaging method, focus control method, and program | |
| JP5954336B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US8717490B2 (en) | Imaging apparatus, focusing method, and computer-readable recording medium recording program | |
| JP5054583B2 (en) | Imaging device | |
| KR101519427B1 (en) | Imaging device and its shutter drive mode selection method | |
| KR101346426B1 (en) | Image processing device capable of generating wide-range image | |
| JP2012002951A (en) | Imaging device, method for detecting in-focus position and in-focus position detection program | |
| US20070237513A1 (en) | Photographing method and photographing apparatus | |
| JP2007215091A (en) | Imaging apparatus and program therefor | |
| JP4645413B2 (en) | Imaging device | |
| JP3859131B2 (en) | Digital camera | |
| KR20140014288A (en) | Imaging device | |
| JP5849389B2 (en) | Imaging apparatus and imaging method | |
| JP3820076B2 (en) | Automatic focusing device, digital camera, portable information input device, focusing position detection method, and computer-readable recording medium | |
| JP2009169282A (en) | Imaging apparatus and its program | |
| JP2008079193A (en) | Digital camera | |
| JP2007225897A (en) | Focusing position determination device and method | |
| KR101613617B1 (en) | Apparatus and method for digital picturing image | |
| JP5195663B2 (en) | Imaging apparatus, focusing method, and program | |
| JP2006293383A (en) | Automatic focusing device, digital camera, portable information input device, method for detecting focusing position, and computer-readable storage medium | |
| JP4534250B2 (en) | Movie imaging apparatus and program thereof | |
| JP2012003029A (en) | Imaging device | |
| JP2004309653A (en) | Imaging unit | |
| JP5477345B2 (en) | Imaging apparatus, focusing method, and program | |
| US8073319B2 (en) | Photographing method and photographing apparatus based on face detection and photography conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120406 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4980982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |