JP2005326706A - Imaging apparatus and method, program and recording medium - Google Patents
Imaging apparatus and method, program and recording medium Download PDFInfo
- Publication number
- JP2005326706A JP2005326706A JP2004145896A JP2004145896A JP2005326706A JP 2005326706 A JP2005326706 A JP 2005326706A JP 2004145896 A JP2004145896 A JP 2004145896A JP 2004145896 A JP2004145896 A JP 2004145896A JP 2005326706 A JP2005326706 A JP 2005326706A
- Authority
- JP
- Japan
- Prior art keywords
- exposure time
- focus lens
- delay
- calculation
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置および方法、プログラム並びに記録媒体に関し、特に、CMOSセンサを利用して、最適なフォーカス位置を得ることができるようにする撮像装置および方法、プログラム並びに記録媒体に関する。 The present invention relates to an imaging apparatus and method, a program, and a recording medium, and more particularly, to an imaging apparatus and method, a program, and a recording medium that can obtain an optimum focus position using a CMOS sensor.
従来、ディジタルスチルカメラやビデオカメラなどに利用される撮像素子として、CCD(charge coupled device)イメージセンサが多く利用されてきた。自動的にフォーカス位置を検出するオートフォーカス(AF)機能をもったディジタルスチルカメラやビデオカメラでは、例えば、撮像素子から出力される信号の評価値を山登り法などにより評価して、最適なフォーカス位置を特定する。 2. Description of the Related Art Conventionally, CCD (charge coupled device) image sensors have been widely used as image sensors used in digital still cameras and video cameras. In a digital still camera or video camera having an autofocus (AF) function that automatically detects a focus position, for example, an evaluation value of a signal output from an image sensor is evaluated by a hill-climbing method or the like to obtain an optimum focus position. Is identified.
また、AF機能を実現するとき、周囲の光量の変化などにより撮像素子から出力される信号の評価値が変化することを抑制する方法も提案されている(例えば、特許文献1参照)。 Also, a method has been proposed in which when the AF function is realized, a change in the evaluation value of a signal output from the image sensor due to a change in the amount of ambient light or the like is suppressed (see, for example, Patent Document 1).
一方、近年では、CCDイメージセンサに代わるあらたな撮像素子としてCMOS(complementary metal oxide semiconductor)イメージセンサが注目されている。CMOSイメージセンサは、個々の画素で信号をいったん増幅することにより、CCDイメージセンサと比較して信号を取り出す際ノイズの影響を小さくすることができる。 On the other hand, in recent years, a CMOS (complementary metal oxide semiconductor) image sensor has attracted attention as a new imaging element that can replace a CCD image sensor. The CMOS image sensor can reduce the influence of noise when extracting a signal as compared with the CCD image sensor by once amplifying the signal in each pixel.
また、CMOSイメージセンサの製造には、CCDイメージセンサのように特有のプロセスは必要なく、既存のメモリやLSIを製造するプロセスをそのまま使うことができるので、イメージセンサの製造コストを抑制することができるとともに、撮像素子としての機能だけではなく、信号処理やI/Oなどの複数の周辺回路を同じチップ上に形成でき、装置を小型化することができる。さらに、CCDイメージセンサでは垂直CCDと水平CCDを駆動するために正負合わせて3電源が必要であるが、CMOSイメージセンサでは低電圧単一電源があればよいので、CCDイメージセンサと比較して消費電力を抑制することができる。
しかしながら、CMOSイメージセンサを用いたディジタルスチルカメラやビデオカメラなどで、AF機能を実現する場合、CCDイメージセンサとCMOSイメージセンサとでは信号の読み出し方式が異なるため、この違いの整合をとる必要が出てくる。 However, when the AF function is realized by a digital still camera or a video camera using a CMOS image sensor, since the signal readout method differs between the CCD image sensor and the CMOS image sensor, it is necessary to match this difference. Come.
すなわち、CCDイメージセンサのCCDには電荷保持機能があるため、垂直CCDを1画面分のバッファメモリとして用いることができる。これにより、信号電荷の蓄積時間と読み出し時間を分離することができるため、画素の位置にかかわらず、1画面の信号電荷に蓄積時間(光電変換素子に対する露光時間)の同時性をもたせることができる。しかし、CMOSイメージセンサでは、CMOSスイッチにより画素1つ1つの電荷量を電圧に変換して、それにより得られた信号を画素単位で順に転送(読み出し)していくため、画素位置により蓄積時間(光電変換素子に対する露光時間)の差(ディレイ)が生じる。 That is, since the CCD of the CCD image sensor has a charge holding function, a vertical CCD can be used as a buffer memory for one screen. Accordingly, since the signal charge accumulation time and the readout time can be separated, the signal charge of one screen can have the accumulation time (exposure time for the photoelectric conversion element) at the same time regardless of the pixel position. . However, in a CMOS image sensor, the charge amount of each pixel is converted into a voltage by a CMOS switch, and signals obtained thereby are sequentially transferred (read) in units of pixels. A difference (delay) in the exposure time for the photoelectric conversion element occurs.
このため、従来のCCDイメージセンサを利用したディジタルスチルカメラ、ビデオカメラなどのAF機能を、CMOSイメージセンサを利用したディジタルスチルカメラ、ビデオカメラなどに適用しても、そのカメラにおいて、フォーカスレンズの移動速度が速い場合、露光時間が長く設定されているなどの場合、オートフォーカスにより最適なフォーカス位置を特定することができないという課題があった。 For this reason, even if the AF function of a conventional digital still camera or video camera using a CCD image sensor is applied to a digital still camera or video camera using a CMOS image sensor, the focus lens moves in the camera. When the speed is high, or when the exposure time is set to be long, there is a problem that the optimum focus position cannot be specified by autofocus.
本発明はこのような状況に鑑みてなされたものであり、CMOSセンサを利用して、最適なフォーカス位置を得ることができるようにするものである。 The present invention has been made in view of such a situation, and makes it possible to obtain an optimum focus position using a CMOS sensor.
本発明の撮像装置は、フォーカスレンズおよび撮像センサを有する撮像装置において、合焦のために、前記フォーカスレンズの移動を制御するフォーカスレンズ制御手段と、前記撮像センサの露光時間を算出する露光時間算出手段と、前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲を選択する範囲選択手段と、前記範囲選択手段により選択された前記画素の範囲に基づいて、前記露光時間算出手段により算出された前記露光時間に対する前記画素の範囲に対応する露光時間の遅延を算出する遅延算出手段と、前記露光時間算出部により算出された露光時間を、前記遅延算出手段が算出した遅延に基づいて補正した補正露光時間を算出する補正露光時間算出手段と、合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動された前記フォーカスレンズの代表位置である重心位置を算出する重心位置算出手段とを備えることを特徴とする。 An imaging apparatus according to the present invention includes a focus lens control unit that controls movement of the focus lens for focusing and an exposure time calculation that calculates an exposure time of the imaging sensor in an imaging apparatus having a focus lens and an imaging sensor. Means, a range selection means for selecting a range of pixels used for controlling movement of the focus lens for focusing in the imaging sensor, and a range of the pixels selected by the range selection means A delay calculation unit that calculates a delay of an exposure time corresponding to a range of the pixel with respect to the exposure time calculated by the exposure time calculation unit; and an exposure time calculated by the exposure time calculation unit is the delay calculation unit. Corrected exposure time calculating means for calculating a corrected exposure time corrected based on the delay calculated by Based on the information on the movement of the focus lens, the movement of which is controlled by the slack lens control means, and the information on the corrected exposure time, the position required for focusing and moved during a predetermined period And a center-of-gravity position calculating unit that calculates a center-of-gravity position that is a representative position of the focus lens.
前記撮像センサから出力される撮像信号に基づいて、合焦のための焦点評価値を算出する評価値算出手段をさらに備えるようにすることができる。 Evaluation value calculation means for calculating a focus evaluation value for focusing based on an imaging signal output from the imaging sensor can be further provided.
前記評価値算出手段は、撮像信号の輝度信号の高周波成分に基づいて、焦点評価値を算出するようにすることができる。 The evaluation value calculation means can calculate a focus evaluation value based on a high frequency component of a luminance signal of an imaging signal.
前記焦点評価値と、フォーカスレンズの重心位置とに基づいて、フォーカスレンズの合焦位置を特定するようにすることができる。 The focus position of the focus lens can be specified based on the focus evaluation value and the gravity center position of the focus lens.
前記遅延算出手段は、撮像センサの露光時間と、範囲選択手段により選択された画素が電荷を蓄積する時間との差異に基づいて、遅延を算出するようにすることができる。 The delay calculation unit may calculate a delay based on a difference between an exposure time of the image sensor and a time during which the pixels selected by the range selection unit accumulate charges.
前記撮像センサは、CMOSイメージセンサにより構成されるようにすることができる。 The image sensor can be constituted by a CMOS image sensor.
本発明の撮像方法は、フォーカスレンズおよび撮像センサを有し、合焦のためにフォーカスレンズを移動させる撮像装置の撮像方法において、撮像センサの露光時間を算出する露光時間算出ステップと、撮像センサにおいて、合焦のためのフォーカスレンズの移動の制御に利用される画素の範囲を選択する範囲選択ステップと、範囲選択ステップの処理により選択された画素の範囲に基づいて、露光時間算出ステップの処理により算出された露光時間に対する、画素の範囲に対応する露光時間の遅延を算出する遅延算出ステップと、露光時間算出ステップの処理により算出された露光時間を、遅延算出ステップが算出した遅延に基づいて補正した補正露光時間を算出する補正露光時間算出ステップと、合焦のために、フォーカスレンズ制御手段により移動が制御されたフォーカスレンズの移動に関する情報、および補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動されたフォーカスレンズの代表位置である重心位置を算出する重心位置算出ステップとを含むことを特徴とする。 An imaging method according to the present invention includes an exposure time calculating step of calculating an exposure time of an imaging sensor in an imaging method of an imaging apparatus that has a focus lens and an imaging sensor and moves the focus lens for focusing. A range selection step for selecting a range of pixels used for controlling the movement of the focus lens for focusing, and a process for the exposure time calculation step based on the range of pixels selected by the range selection step A delay calculation step for calculating an exposure time delay corresponding to the pixel range with respect to the calculated exposure time, and an exposure time calculated by the processing of the exposure time calculation step is corrected based on the delay calculated by the delay calculation step. The corrected exposure time calculating step for calculating the corrected exposure time and the focus lens control for focusing. Based on the information on the movement of the focus lens whose movement is controlled by the above and the information on the corrected exposure time, the position is necessary for focusing and is the representative position of the focus lens moved during the predetermined period. A centroid position calculating step of calculating a centroid position.
本発明のプログラムは、フォーカスレンズおよび撮像センサを有し、合焦のためにフォーカスレンズを移動させる撮像装置のプログラムにおいて、撮像センサの露光時間の算出を制御する露光時間算出制御ステップと、撮像センサにおいて、合焦のためのフォーカスレンズの移動の制御に利用される画素の範囲の選択を制御する範囲選択制御ステップと、範囲選択制御ステップの処理により選択された画素の範囲に基づいて、露光時間算出制御ステップの処理により算出された露光時間に対する、画素の範囲に対応する露光時間の遅延の算出を制御する遅延算出制御ステップと、露光時間算出制御ステップの処理により算出された露光時間を、遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間の算出を制御する補正露光時間算出制御ステップと、合焦のために、フォーカスレンズ制御手段により移動が制御されたフォーカスレンズの移動に関する情報、および補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動されたフォーカスレンズの代表位置である重心位置の算出を制御する重心位置算出制御ステップとをコンピュータに実行させることを特徴とする。 The program of the present invention includes a focus lens and an image sensor, and an exposure time calculation control step for controlling calculation of an exposure time of the image sensor in the program of the image pickup apparatus that moves the focus lens for focusing, the image sensor A range selection control step for controlling selection of a pixel range used for controlling movement of the focus lens for focusing, and an exposure time based on the pixel range selected by the processing of the range selection control step The delay calculation control step for controlling the calculation of the delay of the exposure time corresponding to the pixel range with respect to the exposure time calculated by the processing of the calculation control step, and the exposure time calculated by the processing of the exposure time calculation control step are delayed. Corrected exposure for controlling calculation of corrected exposure time corrected based on the delay calculated by the calculation control step Based on the interval calculation control step, information on the movement of the focus lens whose movement is controlled by the focus lens control means for focusing, and information on the corrected exposure time, the position is required for focusing. Thus, the computer is caused to execute a center-of-gravity position calculation control step for controlling calculation of the center-of-gravity position, which is a representative position of the focus lens moved during a predetermined period.
本発明の記録媒体は、フォーカスレンズおよび撮像センサを有し、合焦のためにフォーカスレンズを移動させる撮像装置のプログラムが記録されている記録媒体において、撮像センサの露光時間の算出を制御する露光時間算出制御ステップと、撮像センサにおいて、合焦のためのフォーカスレンズの移動の制御に利用される画素の範囲の選択を制御する範囲選択制御ステップと、範囲選択制御ステップの処理により選択された画素の範囲に基づいて、露光時間算出制御ステップの処理により算出された露光時間に対する、画素の範囲に対応する露光時間の遅延の算出を制御する遅延算出制御ステップと、露光時間算出制御ステップの処理により算出された露光時間を、遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間の算出を制御する補正露光時間算出制御ステップと、合焦のために、フォーカスレンズ制御手段により移動が制御されたフォーカスレンズの移動に関する情報、および補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動されたフォーカスレンズの代表位置である重心位置の算出を制御する重心位置算出制御ステップとをコンピュータに実行させるプログラムが記録されることを特徴とする。 The recording medium of the present invention has a focus lens and an image sensor, and is an exposure that controls calculation of an exposure time of the image sensor in a recording medium in which a program of an image capturing apparatus that moves the focus lens for focusing is recorded. Pixels selected by the processing of the time calculation control step, the range selection control step for controlling the selection of the pixel range used for controlling the movement of the focus lens for focusing in the imaging sensor, and the range selection control step A delay calculation control step for controlling the calculation of the delay of the exposure time corresponding to the pixel range with respect to the exposure time calculated by the process of the exposure time calculation control step, and the processing of the exposure time calculation control step The corrected exposure time is corrected based on the delay calculated by the delay calculation control step. Based on the corrected exposure time calculation control step for controlling the output, the information on the movement of the focus lens whose movement is controlled by the focus lens control means for focusing, and the information on the corrected exposure time. A program for causing a computer to execute a centroid position calculation control step for controlling calculation of a centroid position, which is a required position and is a representative position of a focus lens moved during a predetermined period, is recorded. To do.
本発明の撮像装置および方法、並びにプログラムにおいては、撮像センサの露光時間が算出され、撮像センサにおいて、合焦のためのフォーカスレンズの移動の制御に利用される画素の範囲が選択され、選択された画素の範囲に基づいて、算出された露光時間に対する、画素の範囲に対応する露光時間の遅延が算出される。また、算出された露光時間を、遅延に基づいて補正した補正露光時間が算出され、合焦のために、フォーカスレンズ制御手段により移動が制御されたフォーカスレンズの移動に関する情報、および補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動されたフォーカスレンズの代表位置である重心位置が算出される。 In the imaging apparatus and method and the program of the present invention, the exposure time of the imaging sensor is calculated, and the range of pixels used for controlling the movement of the focus lens for focusing is selected and selected in the imaging sensor. Based on the pixel range, a delay of the exposure time corresponding to the pixel range is calculated with respect to the calculated exposure time. Further, a corrected exposure time obtained by correcting the calculated exposure time based on the delay is calculated, and information on the movement of the focus lens whose movement is controlled by the focus lens control means for focusing, and the corrected exposure time. Based on the information, a position of the center of gravity, which is a position necessary for focusing and is a representative position of the focus lens moved during a predetermined period, is calculated.
本発明によれば、CMOSセンサを利用して、最適なフォーカス位置を得るようにすることができる。 According to the present invention, it is possible to obtain an optimum focus position using a CMOS sensor.
以下に本発明の実施の形態を説明するが、本明細書に記載した発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が明細書に記載されていることを確認するためのものである。従って、明細書には記載されているが、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. The correspondence relationship between the invention described in this specification and the embodiments of the invention is exemplified as follows. This description is intended to confirm that the embodiments supporting the invention described in this specification are described in the specification. Therefore, even if there is an embodiment which is described in the specification but is not described here, this means that the embodiment does not correspond to the invention. It is not a thing. Conversely, even if an embodiment is described herein as corresponding to an invention, that means that the embodiment does not correspond to an invention other than the invention. Absent.
さらに、この記載は、明細書に記載されている発明が、全て請求されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願、または追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions described in the specification are claimed. In other words, this description is for the invention described in the specification and not claimed in this application, i.e., for the invention that will be filed in division or applied or added in the future. It does not deny existence.
請求項1に記載の撮像装置は、フォーカスレンズ(例えば、図1のフォーカスレンズ3)および撮像センサ(例えば、図1の撮像センサ4)を有する撮像装置(例えば、図1のビデオカメラ)において、合焦のために、前記フォーカスレンズの移動を制御するフォーカスレンズ制御手段(例えば、図2のAF制御部45)と、前記撮像センサの露光時間(例えば、図13の制御露光時間)を算出する露光時間算出手段(例えば、図1の露光時間算出部41)と、前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲(例えば、図11のAF枠)を選択する範囲選択手段(例えば、図2のAF枠選択部42)と、前記範囲選択手段により選択された前記画素の範囲に基づいて、前記露光時間算出手段により算出された前記露光時間に対する前記画素の範囲に対応する露光時間の遅延(例えば、図13のA枠ディレイ)を算出する遅延算出手段(例えば、図14のステップS34の処理を実行する図2のディレイ算出部43)と、前記露光時間算出部により算出された露光時間を、前記遅延算出手段が算出した遅延に基づいて補正した補正露光時間(例えば、実際の露光時間)を算出する補正露光時間算出手段(例えば、図14のステップS35の処理を実行する図2のディレイ算出部43)と、合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報(例えば、図3の駆動履歴)、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中(例えば、図3の4つのVD周期)に移動された前記フォーカスレンズの代表位置である重心位置(例えば、図3の重心位置)を算出する重心位置算出手段(例えば、図2の重心位置算出部44)とを備える。
The imaging apparatus according to
請求項2に記載の撮像装置は、前記撮像センサから出力される撮像信号に基づいて、合焦のための焦点評価値を算出する評価値算出手段(例えば、図1のAF検波部7)をさらに備えるようにすることができる。 The imaging apparatus according to claim 2 includes an evaluation value calculation unit (for example, an AF detection unit 7 in FIG. 1) that calculates a focus evaluation value for focusing based on an imaging signal output from the imaging sensor. Further, it can be provided.
請求項4に記載の撮像装置は、前記焦点評価値と、前記フォーカスレンズの重心位置とに基づいて、前記フォーカスレンズの合焦位置を特定する(例えば、図7の山登り制御により特定する)ようにすることができる。 The imaging device according to claim 4 specifies a focus position of the focus lens based on the focus evaluation value and a gravity center position of the focus lens (for example, specified by hill climbing control in FIG. 7). Can be.
請求項6に記載の撮像装置は、前記撮像センサが、CMOS(complementary metal oxide semiconductor)イメージセンサ(例えば、図9のCMOSイメージセンサ)により構成されるようにすることができる。 In the imaging apparatus according to a sixth aspect, the imaging sensor may be configured by a complementary metal oxide semiconductor (CMOS) image sensor (for example, the CMOS image sensor of FIG. 9).
請求項7に記載の撮像方法は、フォーカスレンズ(例えば、図1のフォーカスレンズ3)および撮像センサ(例えば、図1の撮像センサ4)を有し、合焦のために前記フォーカスレンズを移動させる撮像装置(例えば、図1のビデオカメラ)の撮像方法において、前記撮像センサの露光時間(例えば、図13の制御露光時間)を算出する露光時間算出ステップ(例えば、図14のステップS32)と、前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲(例えば、図11のAF枠)を選択する範囲選択ステップ(例えば、図14のステップS33)と、前記範囲選択ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延(例えば、図13のA枠ディレイ)を算出する遅延算出ステップ(例えば、図14のステップS34)と、前記露光時間算出ステップの処理により算出された露光時間を、前記遅延算出ステップが算出した遅延に基づいて補正した補正露光時間(例えば、実際の露光時間)を算出する補正露光時間算出ステップ(例えば、図14のステップS35)と、合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報(例えば、図3の駆動履歴)、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中(例えば、図3の4つのVD周期)に移動された前記フォーカスレンズの代表位置である重心位置(例えば、図3の重心位置)を算出する重心位置算出ステップ(例えば、図14のステップS36)とを含む。 The imaging method according to claim 7 includes a focus lens (for example, the focus lens 3 in FIG. 1) and an image sensor (for example, the image sensor 4 in FIG. 1), and moves the focus lens for focusing. In the imaging method of the imaging apparatus (for example, the video camera in FIG. 1), an exposure time calculating step (for example, step S32 in FIG. 14) for calculating the exposure time (for example, the control exposure time in FIG. 13) of the imaging sensor; In the imaging sensor, a range selection step (for example, step S33 in FIG. 14) for selecting a range of pixels (for example, an AF frame in FIG. 11) used for controlling the movement of the focus lens for focusing; Based on the range of the pixels selected by the processing of the range selection step, the exposure time calculated by the processing of the exposure time calculation step A delay calculation step (for example, step S34 in FIG. 14) for calculating an exposure time delay (for example, A frame delay in FIG. 13) corresponding to the pixel range, and the exposure time calculation step. A corrected exposure time calculating step (for example, step S35 in FIG. 14) for calculating a corrected exposure time (for example, an actual exposure time) obtained by correcting the exposure time based on the delay calculated by the delay calculating step; Therefore, it is necessary for focusing based on information on the movement of the focus lens whose movement is controlled by the focus lens control means (for example, driving history in FIG. 3) and information on the corrected exposure time. Is a position that is a representative position of the focus lens moved during a predetermined period (for example, four VD periods in FIG. 3). And a center-of-gravity position calculating step (for example, step S36 in FIG. 14) for calculating a heart position (for example, the position of the center of gravity in FIG. 3).
請求項8に記載のプログラムは、フォーカスレンズ(例えば、図1のフォーカスレンズ3)および撮像センサ(例えば、図1の撮像センサ4)を有し、合焦のために前記フォーカスレンズを移動させる撮像装置(例えば、図1のビデオカメラ)のプログラムにおいて、前記撮像センサの露光時間(例えば、図13の制御露光時間)の算出を制御する露光時間算出制御ステップ(例えば、図14のステップS32)と、前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲(例えば、図11のAF枠)の選択を制御する範囲選択制御ステップ(例えば、図14のステップS33)と、前記範囲選択制御ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出制御ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延(例えば、図13のA枠ディレイ)の算出を制御する遅延算出制御ステップ(例えば、図14のステップS34)と、前記露光時間算出制御ステップの処理により算出された露光時間を、前記遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間(例えば、実際の露光時間)の算出を制御する補正露光時間算出制御ステップ(例えば、図14のステップS35)と、合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報(例えば、図3の駆動履歴)、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中(例えば、図3の4つのVD周期)に移動された前記フォーカスレンズの代表位置である重心位置(例えば、図3の重心位置)の算出を制御する重心位置算出制御ステップ(例えば、図14のステップS36)とをコンピュータに実行させる。
The program according to
請求項9に記載の記録媒体は、フォーカスレンズ(例えば、図1のフォーカスレンズ3)および撮像センサ(例えば、図1の撮像センサ4)を有し、合焦のために前記フォーカスレンズを移動させる撮像装置(例えば、図1のビデオカメラ)のプログラムが記録されている記録媒体において、前記撮像センサの露光時間(例えば、図13の制御露光時間)の算出を制御する露光時間算出制御ステップ(例えば、図14のステップS32)と、前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲(例えば、図11のAF枠)の選択を制御する範囲選択制御ステップ(例えば、図14のステップS33)と、前記範囲選択制御ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出制御ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延(例えば、図13のA枠ディレイ)の算出を制御する遅延算出制御ステップ(例えば、図14のステップS34)と、前記露光時間算出制御ステップの処理により算出された露光時間を、前記遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間(例えば、実際の露光時間)の算出を制御する補正露光時間算出制御ステップ(例えば、図14のステップS35)と、合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報(例えば、図3の駆動履歴)、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中(例えば、図3の4つのVD周期)に移動された前記フォーカスレンズの代表位置である重心位置(例えば、図3の重心位置)の算出を制御する重心位置算出制御ステップ(例えば、図14のステップS36)とをコンピュータに実行させるプログラムが記録される。
The recording medium according to
以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明を適用したビデオカメラの構成例を示すブロック図である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of a video camera to which the present invention is applied.
ズームレンズ2およびフォーカスレンズ3を含むレンズブロック1は、光(すなわち、被写体の映像)を、撮像センサ4に入射させる。撮像センサ4は、光電変換を行う光電変換素子が2次元に配置されたものであって、その前面には、R,GおよびBがモザイク状に配列された原色フィルタ(図示せず)が装着されている。すなわち、撮像センサ4は、レンズブロック1および原色フィルタを介して入射された被写体の光像を光電変換して撮像信号(電荷)を生成し、生成した撮像信号をカメラ信号処理部5に出力する。
The
撮像センサ4を構成する光電変換素子は、CCD(Charge Coupled Devices)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより構成される。 The photoelectric conversion element that constitutes the image sensor 4 includes a CCD (Charge Coupled Devices) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like.
カメラ信号処理部5は、撮像センサ4から入力された撮像信号に対し、サンプリング処理やYC分離処理などを行い、輝度信号Yをゲート部6に出力し、輝度信号Yおよび色信号C(色差信号や原色信号など)などの信号を、メモリコントローラ13に出力する。
The camera signal processing unit 5 performs sampling processing, YC separation processing, and the like on the imaging signal input from the imaging sensor 4, outputs the luminance signal Y to the gate unit 6, and outputs the luminance signal Y and the color signal C (color difference signal). Or a primary color signal) is output to the
ゲート部6は、カメラ信号処理部5から入力された信号のうち、予め設定された画面内の合焦検出領域に相当する信号のみを抽出してAF(オートフォーカス)検波部7に出力する。AF検波部7は、入力された合焦検出領域に相当する映像信号の高周波成分を取り出し、それを整流検波してオートフォーカスに必要な焦点評価値を生成し、カメラコントローラ8のAFモジュール8aに出力する。 The gate unit 6 extracts only a signal corresponding to a focus detection area in a preset screen from the signals input from the camera signal processing unit 5 and outputs the extracted signal to an AF (autofocus) detection unit 7. The AF detection unit 7 extracts a high-frequency component of the video signal corresponding to the input focus detection region, rectifies and detects the high-frequency component, and generates a focus evaluation value necessary for autofocus. Output.
カメラコントローラ8は、入力部14から入力されるマニュアルフォーカス指示信号、ズーム指示信号、およびマニュアル/オートフォーカス切換え信号などに基づいて、レンズドライバ9および撮像素子ドライバ12の駆動を制御する。さらに、ビデオカメラの露出を指定する信号なども、入力部14を介してカメラコントローラ8に入力される。また、カメラコントローラ8のAFモジュール8aは、映像信号から得られた焦点評価値に基づいて、オートフォーカスを行うようにレンズドライバ9を制御する。
The
レンズドライバ9は、カメラコントローラ8の制御の下、ズームレンズ2を駆動するモータ10およびフォーカスレンズ3を駆動するモータ11の駆動をそれぞれ制御する。モータ10,11は、レンズドライバ9の制御の下、ズームレンズ2またはフォーカスレンズ3の駆動をそれぞれ制御する。撮像素子ドライバ12は、撮像センサ4を制御し、レンズブロック1および原色フィルタ(図示せず)を介して入射された被写体の光像を光電変換して撮像信号を生成させるようにしたり、電子シャッタ(図示せず)の駆動を制御する。
The
メモリコントローラ13は、カメラ信号処理部5から入力された映像信号をメモリ13aに一時記憶するとともに、逐次それを読み出し、ディスプレイ(図示せず)に出力し、映像として表示させたり、あるいは、リムーバブルメディア(図示せず)に出力し、そこに記録させる。入力部14は、ユーザによって操作され、ユーザからの各種指示信号をカメラコントローラ8に入力する。
The
このビデオカメラでは、例えば、撮像センサ4から得られる映像信号の輝度信号の高周波成分を焦点評価値とし、この焦点評価値が大きくなるようにフォーカスレンズ3を駆動させる、いわゆる山登りオートフォーカス方式を用いることで、オートフォーカスを実現する。 In this video camera, for example, a high-frequency component of a luminance signal of a video signal obtained from the image sensor 4 is used as a focus evaluation value, and a so-called hill-climbing autofocus method is used in which the focus lens 3 is driven so as to increase the focus evaluation value. In this way, auto focus is realized.
山登りオートフォーカスは、例えば、次のようにして行われる。すなわち、レンズドライバ9がモータ11の駆動を制御して、フォーカスレンズ3の位置をfar(無限遠)方向からnear(至近)方向、またはnear方向からfar方向へ移動させていき、そのときAF検波部7から出力されるオートフォーカスに必要な焦点評価値の変化をAFモジュール8aで解析する。AFモジュール8aは、AF検波部7から入力される焦点評価値を取り込み、この評価値が最大になるように、フォーカスレンズ3を移動させるような、「山登り制御」を行わせる。
The hill-climbing autofocus is performed as follows, for example. That is, the
図2は、AFモジュール8aの詳細な構成例を示すブロック図である。
FIG. 2 is a block diagram showing a detailed configuration example of the
露光時間算出部41は、入力部14を介して入力される各種の信号に基づいて、露光時間を算出する。露光時間は、例えば、ユーザにより指定される露出の値に対応する、予め設定された時間として算出される。また、露出は、ユーザにより都度指定されるものであってもよいし、ビデオカメラの自動露出機能(以下、AE(Auto Exposure)と称する)により自動的に設定されるものであってもよい。
The exposure time calculation unit 41 calculates the exposure time based on various signals input via the
AF枠選択部42は、撮像センサ4を構成する光電変換素子が、CMOSイメージセンサにより構成されている場合、撮像センサの中ので、オートフォーカスに必要となる所定の範囲(枠)を、図11を参照して後述するAF枠として選択する。ディレイ算出部43は、AF枠選択部42により選択されたAF枠に対応するディレイ(図12を参照して後述)を算出する。 When the photoelectric conversion element that constitutes the image sensor 4 is constituted by a CMOS image sensor, the AF frame selection unit 42 indicates a predetermined range (frame) required for autofocusing in the image sensor, as shown in FIG. To select an AF frame, which will be described later. The delay calculation unit 43 calculates a delay (described later with reference to FIG. 12) corresponding to the AF frame selected by the AF frame selection unit 42.
重心位置算出部44は、山登りオートフォーカスにおいて必要となる重心位置を算出する。なお、重心位置については、図3を参照して後述する。AF制御部45は、レンズドライバ9、および撮像素子ドライバ12の駆動を制御して、フォーカスレンズ3の位置、および露光時間を調整するとともに、重心算出部44により算出された重心位置に基づいて、AF検波部7から出力されるオートフォーカスに必要な焦点評価値を解析し、山登り制御によるオートフォーカスを行うよう各部を制御する。
The center-of-gravity position calculation unit 44 calculates the center-of-gravity position necessary for hill-climbing autofocus. The center of gravity position will be described later with reference to FIG. The AF control unit 45 controls the driving of the
AFモジュール8aを構成する各部は、バス40を介して相互に接続され、バス40は、AF検波部7、レンズドライバ9、撮像素子ドライバ12、および入力部14への信号の入出力を制御する。
Each unit constituting the
次に図3を参照して、山登りオートフォーカスにおいて必要となる重心位置について説明する。 Next, with reference to FIG. 3, the center of gravity position necessary for hill-climbing autofocus will be described.
図3は、本発明を適用したビデオカメラによりオートフォーカスを行う際、横軸を時間とし、時間の経過に伴う、フォーカスレンズ3の駆動履歴(位置)、露光時間履歴、重心履歴、および露光時間履歴と重心履歴との積がそれぞれ記録された例を示す図である。この例では、図中の破線により横軸の時間が4つに区切られている。この破線により区切られた時間は、ビデオカメラにより撮影される映像の垂直同期信号(VD)の周期であり、例えば、1/60秒とされる。また図中の斜線部71で示される区間(時間)が露光時間とされている。
FIG. 3 shows the driving history (position), exposure time history, center of gravity history, and exposure time of the focus lens 3 as time elapses, when autofocus is performed by the video camera to which the present invention is applied. It is a figure which shows the example in which the product of the log | history and the gravity center log | history was each recorded. In this example, the time on the horizontal axis is divided into four by a broken line in the figure. The time delimited by the broken line is the period of the vertical synchronizing signal (VD) of the video taken by the video camera, and is, for example, 1/60 seconds. Further, the section (time) indicated by the hatched
この例では、最初のVD周期において、フォーカスレンズ3の位置は、0x00μm(サーチ開始位置)から0x80μmに移動している。ここで、「0x」は、表記される数値が16進数であることを表す記号であり、「0x」に続いて記述される数値は、16進数の数値であるものとする。 In this example, in the first VD cycle, the position of the focus lens 3 has moved from 0x00 μm (search start position) to 0x80 μm. Here, “0x” is a symbol indicating that a numerical value to be expressed is a hexadecimal number, and a numerical value described following “0x” is a hexadecimal numerical value.
露光時間履歴は、そのVD周期における露光時間を表すものであり、1/60秒(=VD周期)だけ露光された場合、値「0x80」が記録される。最初のVD周期においては、露光されていないので露光時間履歴は、値「0x00」が記録されている。 The exposure time history represents the exposure time in the VD cycle, and the value “0x80” is recorded when the exposure time is exposed for 1/60 seconds (= VD cycle). In the first VD cycle, since exposure is not performed, the value “0x00” is recorded in the exposure time history.
重心履歴は、そのVD周期における露光時間の中心におけるフォーカスレンズ3の位置を表すものであり、例えば、そのVD周期において、1/60秒露光された場合、露光が開始されてから(VD周期の開始時点から)1/120(=(1/60)/2)秒経過した時点でのフォーカスレンズ3の位置が記録される。最初のVD周期においては、露光されていないので重心履歴は記録されていない。 The history of the center of gravity represents the position of the focus lens 3 at the center of the exposure time in the VD cycle. For example, when exposure is performed for 1/60 seconds in the VD cycle, the exposure starts (VD cycle The position of the focus lens 3 at the time when 1/120 (= (1/60) / 2) second has elapsed from the start time is recorded. In the first VD cycle, the center of gravity history is not recorded because it is not exposed.
露光時間履歴*重心履歴は、露光時間履歴と重心履歴との積の値を表すものであり、最初のVD周期においては、値「0x00」(=露光時間履歴(0x00)×重心履歴(0x00))が記録されている。なお、重心履歴が記録されていない場合、その値は便宜上、「0x00」として露光時間履歴と重心履歴との積が計算される。 The exposure time history * centroid history represents a product value of the exposure time history and the centroid history. In the first VD cycle, the value “0x00” (= exposure time history (0x00) × centroid history (0x00)) ) Is recorded. When the gravity center history is not recorded, the value is “0x00” for convenience, and the product of the exposure time history and the gravity center history is calculated.
第2番目のVD周期において、フォーカスレンズ3の位置は、0x80μmから0x100μmに移動している。このとき、斜線部71で示されるように、VD周期の約半分の時間だけ露光されている。すなわち、第2番目のVD周期の開始時点から約1/120秒経過した時点から約1/120秒間だけ露光されている。
In the second VD cycle, the position of the focus lens 3 has moved from 0x80 μm to 0x100 μm. At this time, as indicated by the hatched
第2番目のVD周期においては、1/120秒(=VD周期の半分)だけ露光されているので、露光時間履歴には、値「0x40」(=0x80/2)が記録されている。 In the second VD cycle, the exposure is carried out for 1/120 seconds (= half of the VD cycle), so the value “0x40” (= 0x80 / 2) is recorded in the exposure time history.
また、第2番目のVD周期における露光時間は、VD周期の開始時点から約1/120秒経過した時点から約1/120秒間なので、露光時間の中心は、VD周期の開始時点から約1/80(=1/120+(1/120)/2)秒後となり、この時点のフォーカスレンズ3の位置0xE0(μm)が、第2番目のVD周期における重心履歴として記録されている。 Further, since the exposure time in the second VD cycle is about 1/120 second from about 1/120 second after the start of the VD cycle, the center of exposure time is about 1/120 second from the start of the VD cycle. After 80 (= 1/120 + (1/120) / 2) seconds, the position 0xE0 (μm) of the focus lens 3 at this time is recorded as the history of the center of gravity in the second VD cycle.
そして、露光時間履歴(0x40)×重心履歴(0xE0)=0x3800が第2番目のVD周期における露光時間履歴と重心履歴との積として記録されている。 Then, exposure time history (0x40) × centroid history (0xE0) = 0x3800 is recorded as the product of the exposure time history and the centroid history in the second VD cycle.
第3番目のVD周期において、フォーカスレンズ3の位置は、0x100μmから0x160μmに移動している。このとき、斜線部71で示されるように、VD周期と同じ時間だけ露光されている。すなわち、第3番目のVD周期の開始時点から1/60秒だけ露光されている。
In the third VD cycle, the position of the focus lens 3 has moved from 0x100 μm to 0x160 μm. At this time, as indicated by the hatched
第3番目のVD周期においては、1/60秒(=VD周期)だけ露光されているので、露光時間履歴には、値「0x80」が記録されている。 In the third VD cycle, since exposure is performed for 1/60 seconds (= VD cycle), the value “0x80” is recorded in the exposure time history.
また、第3番目のVD周期における露光時間は、VD周期の開始時点から1/60秒間なので、露光時間の中心は、VD周期の開始時点から1/120(=(1/60)/2)秒後となり、この時点のフォーカスレンズ3の位置0x130(μm)が、第3番目のVD周期における重心履歴として記録されている。 Further, since the exposure time in the third VD cycle is 1/60 second from the start time of the VD cycle, the center of the exposure time is 1/120 (= (1/60) / 2) from the start time of the VD cycle. After a second, the position 0x130 (μm) of the focus lens 3 at this time is recorded as the center of gravity history in the third VD cycle.
そして、露光時間履歴(0x80)×重心履歴(0x130)=0x9800が第3番目のVD周期における露光時間履歴と重心履歴との積として記録されている。 Then, exposure time history (0x80) × centroid history (0x130) = 0x9800 is recorded as the product of the exposure time history and the centroid history in the third VD cycle.
第4番目のVD周期において、フォーカスレンズ3の位置は、0x160μmから0x160μmであり移動していない。このとき、斜線部71で示されるように、VD周期と同じ時間だけ露光されている。すなわち、第4番目のVD周期の開始時点から1/60秒だけ露光されている。
In the fourth VD cycle, the position of the focus lens 3 is 0x160 μm to 0x160 μm and has not moved. At this time, as indicated by the hatched
第4番目のVD周期においては、1/60秒(=VD周期)だけ露光されているので、露光時間履歴には、値「0x80」が記録されている。 In the fourth VD cycle, since exposure is performed for 1/60 seconds (= VD cycle), the value “0x80” is recorded in the exposure time history.
また、第4番目のVD周期における露光時間は、VD周期の開始時点から1/60秒間なので、露光時間の中心は、VD周期の開始時点から1/120(=(1/60)/2)秒後となり、この時点のフォーカスレンズ3の位置0x160(μm)が、第4番目のVD周期における重心履歴として記録されている。 Further, since the exposure time in the fourth VD cycle is 1/60 second from the start time of the VD cycle, the center of the exposure time is 1/120 (= (1/60) / 2) from the start time of the VD cycle. After a second, the position 0x160 (μm) of the focus lens 3 at this time is recorded as the gravity center history in the fourth VD cycle.
そして、露光時間履歴(0x80)×重心履歴(0x160)=0xB000が第4番目のVD周期における露光時間履歴と重心履歴との積として記録されている。 The exposure time history (0x80) × centroid history (0x160) = 0xB000 is recorded as the product of the exposure time history and the center of gravity history in the fourth VD cycle.
時間の経過に伴うフォーカスレンズ3の動きと、露光時間をグラフにして表すと、図4のようになる。図4は横軸に時間をVD周期単位で表し、縦軸にフォーカスレンズ3の位置を表したものであり、図中の線81は、時間の経過に伴うフォーカスレンズ3の動きを表し、矢印82は、露光されていた時間を表している。
FIG. 4 shows the movement of the focus lens 3 over time and the exposure time as a graph. In FIG. 4, the horizontal axis represents time in VD cycle units, and the vertical axis represents the position of the focus lens 3. A
同図に示されるように、フォーカスレンズ3の動きは一定ではなく、例えば、第1番目のVD周期と第2番目のVD周期においては、右上がりに同じ傾きで傾斜しているが、第3番目のVD周期においては、傾きがやや緩やかになり、第4番目のVD周期においては、横軸と並行になっている。 As shown in the figure, the movement of the focus lens 3 is not constant. For example, in the first VD cycle and the second VD cycle, the focus lens 3 is tilted to the right with the same inclination. In the 4th VD cycle, the slope is slightly gentler, and in the 4th VD cycle, it is parallel to the horizontal axis.
また、矢印82に示されるように、露光時間は、(4つのVD周期の間すべて露光されるものではなく)第2番目のVD周期の途中から始まり第4番目のVD周期の終了時点までとされている。
Also, as shown by the
山登りオートフォーカスを行う場合、例えば、フォーカスレンズ3を少し移動させては止めて、所定の時間だけ露光させ、そのとき撮像センサ4から出力される信号に基づいて、AF検波部7が出力する焦点評価値を解析するようにすることもできるが、このような方法では、フォーカスレンズ3を、例えば、near方向からfar方向へ所定の距離だけ移動させて、最適な合焦点のサーチが完了するまで、すなわちオートフォーカスが完了するまでに多大な時間を要する。 When performing hill-climbing autofocus, for example, the focus lens 3 is slightly moved and stopped, the exposure is performed for a predetermined time, and the focus output by the AF detection unit 7 based on the signal output from the image sensor 4 at that time. Although it is possible to analyze the evaluation value, in such a method, the focus lens 3 is moved by a predetermined distance from the near direction to the far direction, for example, until the search for the optimum in-focus point is completed. That is, it takes a long time to complete autofocus.
このため、本発明を適用したビデオカメラにおいては、図4で示されるように、フォーカスレンズ3を移動させながら所定の時間だけ露光させ、そのとき撮像センサ4から出力される信号に基づいて、AF検波部7が出力する焦点評価値を解析する。しかし、この場合、上述したように、フォーカスレンズ3の動きは一定ではなく、4つのVD周期の間すべて露光されるものではないので、フォーカスレンズ3が移動中に、AF検波部7から出力される焦点評価値を、(フォーカスレンズ3の)どの位置における評価値として解析すべきかが重要になる。 For this reason, in the video camera to which the present invention is applied, as shown in FIG. 4, the exposure is performed for a predetermined time while moving the focus lens 3, and AF is performed based on the signal output from the image sensor 4 at that time. The focus evaluation value output from the detector 7 is analyzed. However, in this case, as described above, the movement of the focus lens 3 is not constant and is not exposed during all four VD cycles, so that the focus lens 3 is output from the AF detector 7 while the focus lens 3 is moving. It is important which position (of the focus lens 3) the focus evaluation value is to be analyzed as.
そこで、図3を参照して上述した露光時間履歴と重心履歴に基づいて、重心位置を算出する。上述した、露光時間履歴と重心履歴との積は、各VD周期において、移動しているフォーカスレンズ3の中心位置(重心履歴)を露光時間(露光時間履歴)によって、いわば重みづけしたものであり、露光時間履歴と重心履歴との積の総和を、露光時間の総和で割ったもの(フォーカスレンズ3の位置)を、4つのVD周期の間の焦点評価値に対応するフォーカスレンズ3の位置とする。この位置は、所定の期間(いまの場合、4つのVD周期の間)における焦点評価値が得られたとき、その期間中移動されていた(いまの場合、0x00μmから0x160μmまで)フォーカスレンズ3の、いわば代表位置となるものであり、本発明ではこの位置を重心位置と称する。 Therefore, the center of gravity position is calculated based on the exposure time history and the center of gravity history described above with reference to FIG. The product of the exposure time history and the center-of-gravity history described above weights the center position (center-of-gravity history) of the moving focus lens 3 by the exposure time (exposure time history) in each VD cycle. The sum of the products of the exposure time history and the center of gravity history divided by the sum of the exposure times (the position of the focus lens 3) is the position of the focus lens 3 corresponding to the focus evaluation value during the four VD periods. To do. This position was moved during that period (from 0x00 μm to 0x160 μm in this case) when the focus evaluation value for a predetermined period (in this case, between four VD cycles) was obtained. In other words, it is a representative position, and in the present invention, this position is referred to as a gravity center position.
図3の例の場合、露光時間履歴と重心履歴との積の総和は、0x18000(=0x3800+0x9800+0xB000)であり、露光時間の総和は、0x140(=0x40+0x80+0x80)なので、重心位置は、図3の矢印72で示される0x133(=0x18000/0x140)μmとなる。
In the case of the example in FIG. 3, the sum of the products of the exposure time history and the centroid history is 0x18000 (= 0x3800 + 0x9800 + 0xB000), and the sum of the exposure times is 0x140 (= 0x40 + 0x80 + 0x80). 0x133 (= 0x18000 / 0x140) μm indicated by the
次に、図5のフローチャートを参照して、AFモジュール8aにおいて、図3を参照して上述したように重心位置を算出するオートフォーカス準備処理について説明する。この処理は、撮像センサ4を構成する光電変換素子が、CCDイメージセンサにより構成されている場合、実行される。
Next, with reference to the flowchart of FIG. 5, the autofocus preparation process for calculating the position of the center of gravity as described above with reference to FIG. 3 in the
ステップS1において、露光時間算出部41は、入力部14を介してユーザの指定に基づいて供給される信号に基づいて、露出を決定する。なお、露出は、ビデオカメラのAE機能などによる指定に基づいて決定されるようにしてもよい。
In step S <b> 1, the exposure time calculation unit 41 determines the exposure based on a signal supplied based on the user's designation via the
ステップS2において、露光時間算出部41は、ステップS1で決定された露出に対応する露光時間を算出する。 In step S2, the exposure time calculation unit 41 calculates an exposure time corresponding to the exposure determined in step S1.
ステップS3において、重心位置算出部44は、ステップS2で算出された露光時間と、フォーカスレンズ3の動きに基づいて、図3を参照して上述したように重心位置を求める。 In step S3, the center-of-gravity position calculation unit 44 obtains the center-of-gravity position as described above with reference to FIG. 3 based on the exposure time calculated in step S2 and the movement of the focus lens 3.
このようにして重心位置が算出される。算出された重心位置は、図6に示されるように、AF機能により、例えば、山登り制御などによる合焦点のサーチを行うときに利用される。図6は、横軸に示されるフォーカスレンズ3の動きと、重心位置との関係を表す図である。AF機能において、合焦点のサーチを行うとき、例えば、フォーカスレンズ3を図中左側の至近側(near)から図中右側の無限遠側(far)に移動させサーチするものとする。ここで、所定の単位時間分(例えば、4VD周期分)のフォーカスレンズ3の移動距離をSPDで表す。 In this way, the center of gravity position is calculated. As shown in FIG. 6, the calculated center-of-gravity position is used when searching for a focal point by, for example, hill-climbing control by the AF function. FIG. 6 is a diagram illustrating the relationship between the movement of the focus lens 3 shown on the horizontal axis and the position of the center of gravity. In the AF function, when searching for a focal point, for example, the focus lens 3 is moved from the near side (near) on the left side in the figure to the infinity side (far) on the right side in the figure. Here, the movement distance of the focus lens 3 for a predetermined unit time (for example, 4VD period) is represented by SPD.
山登り制御による合焦点のサーチを行うときは、予めサーチ開始位置(フォーカスレンズ3の移動開始位置)を、図5の処理により求められた重心位置の分だけ図中左側に送り込み(OFFSETし)、サーチ終了位置を、距離SPDから重心位置の値を引いた分だけ図中右側に送り込む(OFFSETする)。その結果、図中POS0乃至POS6で示される重心位置が、フォーカスレンズ3の移動距離SPDの中心となる。 When searching for a focal point by hill-climbing control, the search start position (movement start position of the focus lens 3) is sent to the left side of the figure by the amount of the center of gravity obtained by the processing of FIG. 5 (OFFSET), The search end position is sent to the right side in the figure (OFFSET) by the amount obtained by subtracting the value of the center of gravity position from the distance SPD. As a result, the center of gravity indicated by POS0 to POS6 in the figure becomes the center of the movement distance SPD of the focus lens 3.
このようにすることで、山登り制御を行う際、図7に示されるように、図中縦軸に示される焦点評価値と、図中横軸に示されるフォーカスレンズ位置の関係を解析し、焦点評価値が最も高い値となる合焦点を、迅速かつ正確に(この例では、POS3)を求めることができる。 In this way, when performing hill climbing control, as shown in FIG. 7, the relationship between the focus evaluation value shown on the vertical axis in the figure and the focus lens position shown on the horizontal axis in the figure is analyzed, and the focus The in-focus point where the evaluation value becomes the highest value can be obtained quickly and accurately (POS3 in this example).
図5を参照して上述したように、重心位置を算出するオートフォーカス準備処理を行うことにより迅速かつ正確に合焦点を求めることができるが、撮像センサ4を構成する光電変換素子が、CMOSイメージセンサにより構成されている場合、CMOSイメージセンサは、CCDイメージセンサとは動作原理(信号の読み出し方法など)が異なるため、オートフォーカス準備処理の内容を変更する必要がある。 As described above with reference to FIG. 5, the focus can be obtained quickly and accurately by performing the autofocus preparation process for calculating the position of the center of gravity, but the photoelectric conversion element constituting the image sensor 4 is a CMOS image. When the sensor is composed of sensors, the CMOS image sensor has a different operation principle (signal reading method and the like) from the CCD image sensor, and therefore, it is necessary to change the contents of the autofocus preparation process.
図8と図9を参照してCCDイメージセンサとCMOSイメージセンサの動作原理の違いについて説明する。 The difference in operating principle between the CCD image sensor and the CMOS image sensor will be described with reference to FIGS.
図8は、CCDイメージセンサの構成例を示すブロック図である。同図に示されるように、CCDイメージセンサには、露光された光を光電変換して電荷を生成し、蓄積するフォトダイオードが複数設けられており、この例では、図中最も左側の列に、上から順番にフォトダイオード101a乃至101dが配置されている。フォトダイオード101a乃至101dの右側の列には、同様に、フォトダイオード102a乃至102d、フォトダイオード103a乃至103d、およびフォトダイオード104a乃至104dがそれぞれ配置されている。なお、垂直方向に配列される各ダイオードを特に区別する必要がない場合、単に、フォトダイオード101乃至104と称する。
FIG. 8 is a block diagram illustrating a configuration example of a CCD image sensor. As shown in the figure, the CCD image sensor is provided with a plurality of photodiodes that photoelectrically convert exposed light to generate and store electric charges. The
なお、この例では、CCDイメージセンサに、4列(垂直方向)×4列(水平方向)のフォトダイオードが配列されているが、実際にはもっと多くのフォトダイオードが配列される。 In this example, photodiodes of 4 rows (vertical direction) × 4 rows (horizontal direction) are arranged in the CCD image sensor, but more photodiodes are actually arranged.
また、フォトダイオード101a乃至101dの右側には、垂直転送CCD121が垂直方向に配列されている。垂直転送CCD121には、フォトダイオード101a乃至101dのそれぞれに対して、3つの電極(図示せず)が配置され、これがフォトダイオード101a乃至101dから読み出した電荷を蓄積するレジスタとして機能する。また、図中下側に水平方向に配列された水平転送CCD130にも、垂直方向に連結されたレジスタ(垂直転送CCD121)のセルを構成するように電極が配置されており、電極から供給される転送パルスにより、垂直転送CCD121は、レジスタに蓄積した電荷を、順次、図中下方向に連結されたレジスタに転送して、水平転送CCD130に出力する。
The
なお、垂直転送CCD122乃至124の動作も、垂直転送CCD121のそれと同様である。
The operations of the
電極から供給される読出しパルスに基づいて、フォトダイオード101乃至104に蓄積された電荷は、同期したタイミングで垂直転送CCD121乃至124に読み出されることになる。すなわち、フォトダイオード101乃至104には、水平方向に伸びるように配置された各電極に共通に接続されており、水平方向に並ぶフォトダイオード121乃至124の電荷は、同期したタイミングで(同時に)垂直転送CCD121乃至124に読み出される。また、垂直転送CCD121乃至124がフォトダイオード101乃至104より出力された電荷を水平転送CCD130に転送する際の転送パルスも、水平方向(垂直転送CCD121乃至124)に対して同期したタイミングで供給される。
Based on the readout pulse supplied from the electrodes, the charges accumulated in the photodiodes 101 to 104 are read out to the
そして、水平転送CCD130は、図示せぬ駆動電源から供給される転送パルスにより駆動され、垂直転送CCD121乃至124より転送されてきた電荷を出力端子141に出力する。その後、電荷は増幅され出力信号(映像(画像)の信号)となってCCDイメージセンサから出力される。
The
このように、CCDには電荷保持機能があるため、垂直転送CCD121乃至124を、フォトダイオード101乃至104から読み出される電荷の、いわばバッファメモリとして用いることができる。これにより、CCDイメージセンサにおいては、フォトダイオード101乃至104に蓄積された電荷が、同時に垂直転送CCD121乃至124に読み出され、フォトダイオード101乃至104のそれぞれは、自身に蓄積された電荷が読み出された時点から、同時に、再び電荷の蓄積を開始することになる。従って、CCDイメージセンサの中では電荷の蓄積に要する時間と読み出しに要する時間とを分離することができ、CCDイメージセンサの中においては、画素の位置にかかわらず、1画面の信号に蓄積時間(フォトダイオードに対する露光時間)の同時性をもたせることができる。
As described above, since the CCD has a charge holding function, the
これに対してCMOSイメージセンサは、図9に示されるように構成されている。図9は、CMOSイメージセンサの構成例を示すブロック図である。 On the other hand, the CMOS image sensor is configured as shown in FIG. FIG. 9 is a block diagram illustrating a configuration example of a CMOS image sensor.
同図に示されるように、CMOSイメージセンサには、露光された光を光電変換して電荷を生成し、蓄積するフォトダイオードが複数設けられており、この例では、図中最も左側の列に、上から順番にフォトダイオード151a乃至151cが配置されている。フォトダイオード151a乃至151dの右側の列には、同様に、フォトダイオード152a乃至152c、フォトダイオード153a乃至153cがそれぞれ配置されている。なお、垂直方向に配列される各ダイオードを特に区別する必要がない場合、単に、フォトダイオード151乃至153と称する。
As shown in the figure, the CMOS image sensor is provided with a plurality of photodiodes that photoelectrically convert exposed light to generate and store electric charges. In this example, the leftmost column in the figure is provided. The
なお、この例では、CMOSイメージセンサに、3列(垂直方向)×3列(水平方向)のフォトダイオードが配列されているが、実際にはもっと多くのフォトダイオードが配列される。 In this example, photodiodes of 3 rows (vertical direction) × 3 rows (horizontal direction) are arranged in the CMOS image sensor, but more photodiodes are actually arranged.
また、フォトダイオード151a乃至151cには、垂直CMOSスイッチ171a乃至171cがそれぞれ接続されている。この例では、フォトダイオード151aと垂直CMOSスイッチ171aの組み合わせによりCMOSイメージセンサの中の1つの画素が構成され、同様に、フォトダイオード151b(または151c)と垂直CMOSスイッチ171b(または171c)の組み合わせにより画素が構成される。
Further,
垂直CMOSスイッチ171a乃至171cは、それぞれMOS型トランジスタスイッチで構成され、垂直方向走査シフトレジスタ191または水平方向走査シフトレジスタ192から出力されるパルスに基づいて、それぞれフォトダイオード151a乃至151cに蓄積された電荷を増幅して、信号(各画素に対応する信号)として出力するよう構成されている。
The
なお、垂直CMOSスイッチ172a乃至172c、および垂直CMOSスイッチ173a乃至173cの動作も、垂直CMOSスイッチ171a乃至171cのそれと同様である。
The operations of the
CMOSイメージセンサにおいて、各画素の信号が出力される(読み出される)場合、垂直走査シフトレジスタ191から供給されるパルスにより水平方向に画素が一列選択される。例えば、垂直走査シフトレジスタ191に接続される回線191aに所定の電圧のパルスが供給されることにより、垂直CMOSスイッチ171a乃至173aがONの状態になる。その後、水平走査シフトレジスタ192により、水平CMOSスイッチ181乃至183が、左側から順次ONされることにより、フォトダイオード151a乃至153aと垂直CMOSスイッチ171a乃至173aの組み合わせによる、水平方向の1列の各画素の信号が、左側の画素の信号から順に、出力端子200にそれぞれ出力されていく。
In the CMOS image sensor, when a signal of each pixel is output (read), pixels are selected in a row in the horizontal direction by a pulse supplied from the vertical
次に、垂直走査シフトレジスタ191に接続される回線191bに所定の電圧のパルスが供給されることにより、垂直CMOSスイッチ171b乃至173bがONの状態になり、水平走査シフトレジスタ192により、水平CMOSスイッチ181乃至183が、左側から順次ONされることにより、フォトダイオード151b乃至153bと垂直CMOSスイッチ171b乃至173bの組み合わせによる、水平方向の1列の各画素の信号が、左側の画素の信号から順に、出力端子200にそれぞれ出力されていく。
Next, when a pulse of a predetermined voltage is supplied to the
その後同様にして、フォトダイオード151c乃至153cと垂直CMOSスイッチ171c乃至173cの組み合わせによる、水平方向の1列の各画素の信号が、左側の画素の信号から順に、出力端子200にそれぞれ出力されていく。
Thereafter, similarly, the signals of the pixels in one column in the horizontal direction by the combination of the
CMOSイメージセンサにおいては、このように図中左上に配置された画素(フォトダイオード151a)から、図中右下に配置された画素(フォトダイオード153c)に向かって、それぞれの画素に蓄積された電荷に基づく信号が順次読み出されていく。また、各画素のフォトダイオードは、それぞれ自身に蓄積した電荷が読み出された時点から、再び電荷の蓄積を開始するので、CMOSイメージセンサにおいては、1画面の中で、最初に読み出される図中左上の画素と、最後に読み出される図中右下の画素では、電荷の蓄積時間にずれ(ディレイ)が生じることになり、CCDイメージセンサのように、1画面の全ての画素の信号に蓄積時間(フォトダイオードに対する露光時間)の同時性をもたせることはできない。換言すれば、CMOSイメージセンサにおいては、画素位置により蓄積時間(フォトダイオードに対する露光時間)の差(ディレイ)が生じることになる。
In the CMOS image sensor, the charge accumulated in each pixel from the pixel (photodiode 151a) arranged at the upper left in the figure to the pixel (
上述したように、CCDイメージセンサの場合、1画面の信号の蓄積時間(フォトダイオードに対する露光時間)に同時性をもたせることができるので、CCDイメージセンサにおいては、図10に示されるように、制御露光時間(電子シャッタなどにより、イメージセンサに光を当てるように制御される時間)と、CCDイメージセンサの中のフォトダイオードが電荷を蓄積する時間(実際の露光時間)は、画素位置にかかわらずほぼ同じものとなる。 As described above, in the case of a CCD image sensor, the signal storage time (exposure time with respect to the photodiode) of one screen can be synchronized, so that the CCD image sensor is controlled as shown in FIG. The exposure time (time that is controlled so that light is applied to the image sensor by an electronic shutter or the like) and the time that the photodiode in the CCD image sensor accumulates electric charge (actual exposure time) are independent of the pixel position. It will be almost the same.
これに対して、CMOSイメージセンサの場合、画素位置により蓄積時間(フォトダイオードに対する露光時間)の差(ディレイ)が生じる。例えば、図11に示されるように、CMOSイメージセンサの全領域231の中で、水平方向の第3番目と第4番目のライン(列)上に配置された枠251で囲まれる範囲(以後、A枠と称する)の画素、水平方向の第5番目と第6番目のライン上に配置された枠252で囲まれる範囲(以後、B枠と称する)の画素、水平方向の第7番目と第8番目のライン上に配置された枠253で囲まれる範囲(以後、C枠と称する)の画素では、それぞれフォトダイオードが電荷の蓄積を開始するタイミングおよび終了するタイミングが異なることになる。つまり、CMOSイメージセンサにおいては、制御露光時間と、フォトダイオードが電荷を蓄積する、実際の露光時間とが異なってくる。
On the other hand, in the case of a CMOS image sensor, a difference (delay) in accumulation time (exposure time for a photodiode) occurs depending on the pixel position. For example, as shown in FIG. 11, in the
すなわち、図12に示されるように、A枠の画素の露光時間は、水平方向の第1番目のライン上に配置された画素の露光時間と比較して、2ライン分のディレイ(A枠ディレイ)が生じる。同様に、B枠の画素の露光時間は、水平方向の第1番目のライン上に配置された画素の露光時間と比較して、4ライン分のディレイ(B枠ディレイ)が生じ、C枠の画素の露光時間は、水平方向の第1番目のライン上に配置された画素の露光時間と比較して、6ライン分のディレイ(C枠ディレイ)が生じることになる。なお、ここでは、説明を簡単にするため、CMOSイメージセンサの全領域231の中における、垂直方向の画素位置の違いによるディレイのみを考えるものとする。
That is, as shown in FIG. 12, the exposure time of the pixels in the A frame is compared with the exposure time of the pixels arranged on the first line in the horizontal direction (A frame delay). ) Occurs. Similarly, the exposure time of the pixels in the B frame is delayed by 4 lines (B frame delay) compared to the exposure time of the pixels arranged on the first line in the horizontal direction. The pixel exposure time causes a delay of 6 lines (C frame delay) as compared to the exposure time of the pixels arranged on the first line in the horizontal direction. Here, in order to simplify the explanation, only the delay due to the difference in the pixel position in the vertical direction in the
従って、CMOSイメージセンサの場合、制御露光時間(電子シャッタなどにより、イメージセンサに光を当てる時間)と、CMOSイメージセンサの中のフォトダイオードが電荷を蓄積する、実際の露光時間との関係は、図13に示されるようになる。すなわち、制御露光時間に対して、A枠の実際の露光時間(A枠露光時間)は、制御露光時間の開始時点からA枠ディレイが経過した時点から開始され、第4番目のラインの露光が終了するまでの時間とされる。同様に、B枠の実際の露光時間(B枠露光時間)、またはC枠の実際の露光時間(C枠露光時間)も同図に示されるように、それぞれ制御露光時間とは異なるものとなる。 Therefore, in the case of a CMOS image sensor, the relationship between the control exposure time (the time during which light is applied to the image sensor by an electronic shutter or the like) and the actual exposure time in which the photodiode in the CMOS image sensor accumulates electric charge is: As shown in FIG. That is, with respect to the control exposure time, the actual exposure time of the A frame (A frame exposure time) is started when the A frame delay has elapsed from the start of the control exposure time, and the exposure of the fourth line is performed. It is the time to finish. Similarly, the actual exposure time of the B frame (B frame exposure time) or the actual exposure time of the C frame (C frame exposure time) is also different from the control exposure time, as shown in FIG. .
このため、撮像センサ4を構成する光電変換素子が、CMOSイメージセンサにより構成されている場合、CMOSイメージセンサの中のどの範囲(の画素)を利用して、オートフォーカスを行うかを考慮する必要がある。すなわち、オートフォーカスを行う場合、図3を参照して上述した重心位置を算出する必要があるが、重心位置は、露光時間履歴と重心履歴に基づいて、算出されるので、露光時間を正しく与えなければ正確な重心位置を算出することはできない。 For this reason, when the photoelectric conversion element which comprises the image sensor 4 is comprised by the CMOS image sensor, it is necessary to consider which range (pixel) in a CMOS image sensor is used for performing autofocus. There is. That is, when performing autofocus, it is necessary to calculate the center of gravity position described above with reference to FIG. 3, but since the center of gravity position is calculated based on the exposure time history and the center of gravity history, the exposure time is given correctly. Without it, it is not possible to calculate an accurate center of gravity position.
そこで、本発明を適用したAFモジュール8aには、図2を参照して上述したように、オートフォーカスで利用するCMOSイメージセンサの中の所定の範囲(以後、AF枠と称する)を選択するAF枠選択部42と、AF枠に対応するディレイを算出するディレイ算出部43が設けられている。ディレイ算出部43により算出されたディレイに基づいて、制御露光時間を補正して、実際の露光時間を算出すれば、撮像センサ4を構成する光電変換素子が、CMOSイメージセンサにより構成されている場合であっても、正確な重心位置を算出することができる。
Therefore, in the
次に、図14のフローチャートを参照して、図5のオートフォーカス準備処理に対応するCMOS用オートフォーカス準備処理について説明する。この処理は、撮像センサ4を構成する光電変換素子が、CMOSイメージセンサにより構成されている場合、実行される。 Next, a CMOS autofocus preparation process corresponding to the autofocus preparation process of FIG. 5 will be described with reference to the flowchart of FIG. This process is executed when the photoelectric conversion element constituting the imaging sensor 4 is constituted by a CMOS image sensor.
ステップS31において、露光時間算出部41は、入力部14を介してユーザの指定に基づいて供給される信号に基づいて、露出を決定する。なお、露出は、ビデオカメラのAE機能などによる指定に基づいて決定されるようにしてもよい。
In step S <b> 31, the exposure time calculation unit 41 determines the exposure based on a signal supplied based on the user's designation via the
ステップS32において、露光時間算出部41は、ステップS31で決定された露出に対応する制御露光時間を算出する。 In step S32, the exposure time calculation unit 41 calculates a control exposure time corresponding to the exposure determined in step S31.
ステップS33において、AF枠選択部42は、AF枠の選択を行う。AF枠は、上述したように、オートフォーカスで利用するCMOSイメージセンサの中の所定の範囲であり、例えば、図11に示されるA枠、B枠、またはC枠のいずれかが選択される。あるいはまた、図11に示されるA枠とB枠を合わせたもの、A枠乃至C枠をすべて合わせたものがAF枠として選択されてもよい。 In step S33, the AF frame selection unit 42 selects an AF frame. As described above, the AF frame is a predetermined range in the CMOS image sensor used for autofocus. For example, one of the A frame, the B frame, and the C frame shown in FIG. 11 is selected. Alternatively, a combination of the A frame and the B frame shown in FIG. 11 or a combination of all of the A frame to the C frame may be selected as the AF frame.
ステップS34において、ディレイ算出部43は、ステップS33で選択されたAF枠に基づいて、ディレイを算出する。例えば、ステップS33で、AF枠としてA枠が選択された場合、ステップ34では、図12を参照して上述したA枠ディレイを、選択されたAF枠に対応するディレイとして算出する。
In step S34, the delay calculation unit 43 calculates a delay based on the AF frame selected in step S33. For example, when the A frame is selected as the AF frame in step S33, in
ステップS35において、ディレイ算出部43は、ステップS32で算出された制御露光時間を、ステップS34で算出されたディレイに基づいて補正し、実際の露光時間を算出する。例えば、ステップS33で、AF枠としてA枠が選択された場合、ステップS35では、図13を参照して上述したA枠露光時間が算出される。また、ステップS33で、AF枠としてA枠乃至C枠をすべて合わせたものが選択された場合、ステップS35では、図13におけるA枠露光時間の開始時点からC枠露光時間の終了時点までの時間が実際の露光時間として算出される。 In step S35, the delay calculation unit 43 corrects the control exposure time calculated in step S32 based on the delay calculated in step S34, and calculates an actual exposure time. For example, when the A frame is selected as the AF frame in step S33, the A frame exposure time described above with reference to FIG. 13 is calculated in step S35. If, in step S33, a combination of all the A and C frames is selected as the AF frame, in step S35, the time from the start of the A frame exposure time to the end of the C frame exposure time in FIG. Is calculated as the actual exposure time.
そして、ステップS36において、重心位置算出部44は、ステップS35で算出された実際の露光時間と、フォーカスレンズ3の動きに基づいて、重心位置を求める。なお、算出された重心位置は、上述した場合と同様に、AF機能により、例えば、山登り制御などによるフォーカス位置のサーチを行うときに利用される。 In step S36, the center-of-gravity position calculation unit 44 obtains the center-of-gravity position based on the actual exposure time calculated in step S35 and the movement of the focus lens 3. Note that the calculated center of gravity position is used when searching for a focus position by, for example, hill climbing control or the like by the AF function, as in the case described above.
このようにして、CMOSイメージセンサを用いて撮像センサ4を構成した場合の重心位置の算出が行われる。重心位置の算出にあたっては、AF枠を選択して、ディレイを算出するようにしたので、撮像センサ4が、画素位置により電荷の蓄積時間にディレイが生じるCMOSイメージセンサで構成されていても、正確な重心位置を算出することができる。 In this way, the position of the center of gravity when the imaging sensor 4 is configured using a CMOS image sensor is calculated. In calculating the position of the center of gravity, the AF frame is selected and the delay is calculated. Therefore, even if the imaging sensor 4 is composed of a CMOS image sensor that causes a delay in charge accumulation time depending on the pixel position, it is accurate. A center of gravity position can be calculated.
撮像センサ4がCMOSイメージセンサにより構成されるビデオカメラにおいては、例えば、フォーカスレンズ3の位置を早い速度で移動させる場合、露出が大きく設定されていることにより露光時間が長く設定されるなどの場合、図5を参照して上述した方法で重心位置を算出して、オートフォーカスを行うと、正確な合焦点を得られない恐れがあるが、図14を参照して上述した方法で重心位置を算出して、オートフォーカスを行うことにより、フォーカスレンズ3の位置を早い速度で移動させても、また、露光時間が長く設定されていても正確な合焦点を得られるようにすることができる。 In a video camera in which the image sensor 4 is configured with a CMOS image sensor, for example, when the position of the focus lens 3 is moved at a high speed, when the exposure is set large, the exposure time is set long, etc. If the center of gravity position is calculated by the method described above with reference to FIG. 5 and autofocusing is performed, there is a possibility that an accurate in-focus point cannot be obtained. However, the position of the center of gravity is determined by the method described above with reference to FIG. By calculating and performing auto focus, it is possible to obtain an accurate in-focus point even if the position of the focus lens 3 is moved at a high speed or the exposure time is set long.
撮像センサ4に、CMOSイメージセンサを用いることにより、撮像センサ4の個々の画素で信号をいったん増幅してから読み出すことができるので、撮像センサ4にCCDイメージセンサを用いる場合と比較して信号伝送経路などから受けるノイズの影響を小さくすることができる。 By using a CMOS image sensor as the image sensor 4, signals can be read out after being amplified once at each pixel of the image sensor 4, so that signal transmission is performed as compared with the case where a CCD image sensor is used as the image sensor 4. The influence of noise received from a route or the like can be reduced.
また、CMOSイメージセンサの製造には、CCDイメージセンサのように特有のプロセスは必要なく、既存のメモリやLSIを製造するプロセスをそのまま使うことができるので、イメージセンサの製造コストを抑制することができるとともに、撮像素子としての機能だけではなく、信号処理やI/Oなどの複数の周辺回路を同じチップ上に形成でき、装置を小型化することができる。 In addition, the manufacture of a CMOS image sensor does not require a specific process like a CCD image sensor, and an existing process for manufacturing a memory or LSI can be used as it is, so that the manufacturing cost of the image sensor can be suppressed. In addition to the function as an image sensor, a plurality of peripheral circuits such as signal processing and I / O can be formed on the same chip, and the apparatus can be miniaturized.
さらに、CCDイメージセンサでは垂直CCDと水平CCDを駆動するために正負合わせて3電源が必要であるが、CMOSイメージセンサでは低電圧単一電源があればよいので、CMOSイメージセンサにより撮像センサ4を構成することにより、CCDイメージセンサにより撮像センサ4を構成する場合と比較して、装置の消費電力を抑制することができる。 Furthermore, in order to drive a vertical CCD and a horizontal CCD in a CCD image sensor, three power sources are required in combination with positive and negative. However, in a CMOS image sensor, a low voltage single power source is sufficient. By comprising, the power consumption of an apparatus can be suppressed compared with the case where the imaging sensor 4 is comprised by a CCD image sensor.
この結果、本発明によれば、CMOSセンサを利用して、低コストで、正確なオートフォーカス機能をもったビデオカメラを実現することができる。 As a result, according to the present invention, a video camera having an accurate autofocus function can be realized at low cost using a CMOS sensor.
以上の実施の形態においては、ビデオカメラを例に挙げて説明したが、本発明をディジタルスチルカメラに適用することも勿論可能である。 In the above embodiment, the video camera has been described as an example, but the present invention can of course be applied to a digital still camera.
なお、上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、ビデオカメラには、図15に示されるようなコンピュータ300が含まれる。
The series of processes described above can be executed by hardware, or can be executed by software. In this case, for example, the video camera includes a
図15において、CPU(Central Processing Unit)301は、ROM(Read Only Memory)
302に記憶されているプログラム、または記憶部308からRAM(Random Access Memory)303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 15, a CPU (Central Processing Unit) 301 is a ROM (Read Only Memory).
Various processes are executed according to a program stored in 302 or a program loaded from a
CPU301、ROM302、およびRAM303は、バス304を介して相互に接続されている。このバス304にはまた、入出力インタフェース305も接続されている。
The
入出力インタフェース305には、キーボード、マウスなどよりなる入力部306、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部307、ハードディスクなどより構成される記憶部308、モデム、ネットワークインタフェースカードなどより構成される通信部309が接続されている。通信部309は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース305にはまた、必要に応じてドライブ310が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部308にインストールされる。
A
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア311などからなる記録媒体からインストールされる。
When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as the
なお、この記録媒体は、図15に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア311により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM302や、記憶部308に含まれるハードディスクなどで構成されるものも含む。
The recording medium shown in FIG. 15 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body, Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 311 but also those configured by a
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Note that the steps of executing the series of processes described above in this specification are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series in the order described. The processing to be performed is also included.
3 フォーカスレンズ, 4 撮像センサ, 7 AF検波部, 8 カメラコントローラ, 8a AFモジュール, 9 レンズドライバ, 12 撮像素子ドライバ, 14 入力部, 41 露光時間算出部, 42 AF枠選択部, 43 ディレイ算出部, 44 重心算出部, 45 AF制御部, 301 CPU, 302 RAM, 303 ROM, 308 記憶部, 311 リムーバブルメディア 3 focus lens, 4 image sensor, 7 AF detection unit, 8 camera controller, 8a AF module, 9 lens driver, 12 image sensor driver, 14 input unit, 41 exposure time calculation unit, 42 AF frame selection unit, 43 delay calculation unit , 44 Center of gravity calculation unit, 45 AF control unit, 301 CPU, 302 RAM, 303 ROM, 308 storage unit, 311 removable media
Claims (9)
合焦のために、前記フォーカスレンズの移動を制御するフォーカスレンズ制御手段と、
前記撮像センサの露光時間を算出する露光時間算出手段と、
前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲を選択する範囲選択手段と、
前記範囲選択手段により選択された前記画素の範囲に基づいて、前記露光時間算出手段により算出された前記露光時間に対する前記画素の範囲に対応する露光時間の遅延を算出する遅延算出手段と、
前記露光時間算出部により算出された露光時間を、前記遅延算出手段が算出した遅延に基づいて補正した補正露光時間を算出する補正露光時間算出手段と、
合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動された前記フォーカスレンズの代表位置である重心位置を算出する重心位置算出手段と
を備えることを特徴とする撮像装置。 In an imaging apparatus having a focus lens and an imaging sensor,
Focus lens control means for controlling the movement of the focus lens for focusing;
Exposure time calculating means for calculating an exposure time of the imaging sensor;
In the imaging sensor, range selection means for selecting a range of pixels used for controlling movement of the focus lens for focusing;
A delay calculation unit that calculates a delay of an exposure time corresponding to the pixel range with respect to the exposure time calculated by the exposure time calculation unit based on the pixel range selected by the range selection unit;
Corrected exposure time calculating means for calculating a corrected exposure time obtained by correcting the exposure time calculated by the exposure time calculating section based on the delay calculated by the delay calculating means;
Based on the information on the movement of the focus lens whose movement is controlled by the focus lens control means and the information on the corrected exposure time for focusing, An image pickup apparatus comprising: a center-of-gravity position calculating unit that calculates a center-of-gravity position that is a representative position of the focus lens moved during the period.
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising: an evaluation value calculation unit that calculates a focus evaluation value for focusing based on an imaging signal output from the imaging sensor.
ことを特徴とする請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the evaluation value calculation unit calculates the focus evaluation value based on a high frequency component of a luminance signal of the imaging signal.
ことを特徴とする請求項3に記載の撮像装置。 The imaging apparatus according to claim 3, wherein an in-focus position of the focus lens is specified based on the focus evaluation value and a gravity center position of the focus lens.
ことを特徴とする請求項1に記載の撮像装置。 The delay calculation unit calculates the delay based on a difference between an exposure time of the imaging sensor and a time during which the pixels selected by the range selection unit accumulate charges. The imaging device described in 1.
ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the imaging sensor is configured by a CMOS image sensor.
前記撮像センサの露光時間を算出する露光時間算出ステップと、
前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲を選択する範囲選択ステップと、
前記範囲選択ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延を算出する遅延算出ステップと、
前記露光時間算出ステップの処理により算出された露光時間を、前記遅延算出ステップが算出した遅延に基づいて補正した補正露光時間を算出する補正露光時間算出ステップと、
合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動された前記フォーカスレンズの代表位置である重心位置を算出する重心位置算出ステップと
を含むことを特徴とする撮像方法。 In an imaging method of an imaging apparatus having a focus lens and an imaging sensor and moving the focus lens for focusing,
An exposure time calculating step for calculating an exposure time of the imaging sensor;
In the imaging sensor, a range selection step of selecting a range of pixels used for controlling movement of the focus lens for focusing;
Delay calculation for calculating a delay of an exposure time corresponding to the pixel range with respect to the exposure time calculated by the exposure time calculation step based on the pixel range selected by the range selection step processing Steps,
A corrected exposure time calculating step of calculating a corrected exposure time obtained by correcting the exposure time calculated by the processing of the exposure time calculating step based on the delay calculated by the delay calculating step;
Based on the information on the movement of the focus lens whose movement is controlled by the focus lens control means and the information on the corrected exposure time for focusing, And a center-of-gravity position calculating step of calculating a center-of-gravity position that is a representative position of the focus lens moved during the period.
前記撮像センサの露光時間の算出を制御する露光時間算出制御ステップと、
前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲の選択を制御する範囲選択制御ステップと、
前記範囲選択制御ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出制御ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延の算出を制御する遅延算出制御ステップと、
前記露光時間算出制御ステップの処理により算出された露光時間を、前記遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間の算出を制御する補正露光時間算出制御ステップと、
合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動された前記フォーカスレンズの代表位置である重心位置の算出を制御する重心位置算出制御ステップと
をコンピュータに実行させることを特徴とするプログラム。 In a program of an imaging apparatus that has a focus lens and an imaging sensor and moves the focus lens for focusing,
An exposure time calculation control step for controlling calculation of an exposure time of the imaging sensor;
In the imaging sensor, a range selection control step for controlling selection of a range of pixels used for controlling movement of the focus lens for focusing;
Based on the range of the pixel selected by the processing of the range selection control step, calculation of a delay of the exposure time corresponding to the range of the pixel with respect to the exposure time calculated by the processing of the exposure time calculation control step. A delay calculation control step to be controlled;
A corrected exposure time calculation control step for controlling calculation of a corrected exposure time obtained by correcting the exposure time calculated by the processing of the exposure time calculation control step based on the delay calculated by the delay calculation control step;
Based on the information on the movement of the focus lens whose movement is controlled by the focus lens control means and the information on the corrected exposure time for focusing, And a center-of-gravity position calculation control step for controlling calculation of a center-of-gravity position that is a representative position of the focus lens moved during the period.
前記撮像センサの露光時間の算出を制御する露光時間算出制御ステップと、
前記撮像センサにおいて、合焦のための前記フォーカスレンズの移動の制御に利用される画素の範囲の選択を制御する範囲選択制御ステップと、
前記範囲選択制御ステップの処理により選択された前記画素の範囲に基づいて、前記露光時間算出制御ステップの処理により算出された前記露光時間に対する、前記画素の範囲に対応する露光時間の遅延の算出を制御する遅延算出制御ステップと、
前記露光時間算出制御ステップの処理により算出された露光時間を、前記遅延算出制御ステップが算出した遅延に基づいて補正した補正露光時間の算出を制御する補正露光時間算出制御ステップと、
合焦のために、前記フォーカスレンズ制御手段により移動が制御された前記フォーカスレンズの移動に関する情報、および前記補正露光時間に関する情報に基づいて、合焦のために必要となる位置であって、所定の期間中に移動された前記フォーカスレンズの代表位置である重心位置の算出を制御する重心位置算出制御ステップと
をコンピュータに実行させるプログラムが記録されることを特徴とする記録媒体。 In a recording medium having a focus lens and an image sensor and recording a program of an image pickup apparatus that moves the focus lens for focusing,
An exposure time calculation control step for controlling calculation of an exposure time of the imaging sensor;
In the imaging sensor, a range selection control step for controlling selection of a range of pixels used for controlling movement of the focus lens for focusing;
Based on the range of the pixel selected by the processing of the range selection control step, calculation of a delay of the exposure time corresponding to the range of the pixel with respect to the exposure time calculated by the processing of the exposure time calculation control step. A delay calculation control step to be controlled;
A corrected exposure time calculation control step for controlling calculation of a corrected exposure time obtained by correcting the exposure time calculated by the processing of the exposure time calculation control step based on the delay calculated by the delay calculation control step;
Based on the information on the movement of the focus lens whose movement is controlled by the focus lens control means and the information on the corrected exposure time for focusing, A recording medium on which is recorded a program that causes a computer to execute a center-of-gravity position calculation control step for controlling calculation of a center-of-gravity position, which is a representative position of the focus lens moved during the period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004145896A JP2005326706A (en) | 2004-05-17 | 2004-05-17 | Imaging apparatus and method, program and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004145896A JP2005326706A (en) | 2004-05-17 | 2004-05-17 | Imaging apparatus and method, program and recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005326706A true JP2005326706A (en) | 2005-11-24 |
Family
ID=35473092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004145896A Pending JP2005326706A (en) | 2004-05-17 | 2004-05-17 | Imaging apparatus and method, program and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005326706A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100813404B1 (en) | 2006-12-05 | 2008-03-12 | 엘지이노텍 주식회사 | Apparatus and method for automatic focus control |
JP2011002568A (en) * | 2009-06-17 | 2011-01-06 | Hoya Corp | Image pickup device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196951A (en) * | 1998-12-28 | 2000-07-14 | Canon Inc | Solid-state image pickup device |
JP2001133680A (en) * | 1999-11-04 | 2001-05-18 | Olympus Optical Co Ltd | Electronic camera |
JP2002135646A (en) * | 2000-10-19 | 2002-05-10 | Canon Inc | Imaging unit, method for imaging and storage medium |
JP2003018458A (en) * | 2001-04-23 | 2003-01-17 | Hitachi Ltd | Imaging system using solid-state cmos imaging device |
JP2003244519A (en) * | 2002-02-19 | 2003-08-29 | Olympus Optical Co Ltd | Digital camera |
-
2004
- 2004-05-17 JP JP2004145896A patent/JP2005326706A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000196951A (en) * | 1998-12-28 | 2000-07-14 | Canon Inc | Solid-state image pickup device |
JP2001133680A (en) * | 1999-11-04 | 2001-05-18 | Olympus Optical Co Ltd | Electronic camera |
JP2002135646A (en) * | 2000-10-19 | 2002-05-10 | Canon Inc | Imaging unit, method for imaging and storage medium |
JP2003018458A (en) * | 2001-04-23 | 2003-01-17 | Hitachi Ltd | Imaging system using solid-state cmos imaging device |
JP2003244519A (en) * | 2002-02-19 | 2003-08-29 | Olympus Optical Co Ltd | Digital camera |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100813404B1 (en) | 2006-12-05 | 2008-03-12 | 엘지이노텍 주식회사 | Apparatus and method for automatic focus control |
JP2011002568A (en) * | 2009-06-17 | 2011-01-06 | Hoya Corp | Image pickup device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8964061B2 (en) | Image capturing apparatus with selection of thinning and readout mode in accordance with moving image recording mode | |
US8175447B2 (en) | Image pickup apparatus and control method therefor | |
US9277113B2 (en) | Image pickup apparatus and driving method therefor | |
US9106837B2 (en) | Image capturing device and image capturing method | |
JP6944846B2 (en) | Imaging device, control method of imaging device | |
EP2704422B1 (en) | Image capture apparatus | |
JP2007150643A (en) | Solid state imaging element, driving method therefor, and imaging apparatus | |
JP4862312B2 (en) | Imaging device and focus control device | |
CN101213832A (en) | Focus control method and unit | |
JP5105843B2 (en) | Imaging apparatus and determination method | |
KR20060129422A (en) | Autofocus controlling apparatus and method, recording medium, and program | |
JP2011135185A (en) | Imaging device | |
US11438504B2 (en) | Imaging element, imaging apparatus, operation method of imaging element, and program | |
US11716554B2 (en) | Solid-state imaging device and method for driving the same, and electronic apparatus | |
JP2007293370A (en) | Imaging apparatus | |
JP6066949B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2005326706A (en) | Imaging apparatus and method, program and recording medium | |
JP2008187614A (en) | Photographing apparatus | |
JP2009031343A (en) | Camera | |
JP6207360B2 (en) | Imaging apparatus and image signal processing method | |
JP2018050267A (en) | Imaging apparatus and method of controlling imaging element | |
US20150085172A1 (en) | Image capturing apparatus and control method thereof | |
JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
US11375113B2 (en) | Imaging element, and imaging apparatus which changes frame rate of output image data based on derived focus evaluation value | |
US11202015B2 (en) | Control apparatus and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100520 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100909 |